Generator (Markow-Prozesse)

Der Erzeuger, Generator, infinitesimale Erzeuger oder infinitesimale Generator der Übergangshalbgruppe eines zeithomogenen Markow-Prozesses in stetiger Zeit ist ein Operator, welcher das stochastische Verhalten des Prozesses in infinitesimaler Zeit erfasst. Aufgrund der Markow-Eigenschaft und der zeitlichen Homogenität wird der Prozess unter bestimmten Voraussetzungen durch seinen infinitesimalen Erzeuger bestimmt bzw. generiert.

Allgemeiner Fall (nach Breiman)

Gegeben sei ein zeithomogener Markow-Prozess $(M_{t})_{t\geq 0}$ auf einem Zustandsraum $(E,{\mathfrak {E}})$ mit Übergangshalbgruppe $(P^{t})_{t\geq 0}$ , das heißt für alle $t\in \mathbb {R} _{\geq 0}$ ist $P^{t}$ der entsprechende Übergangskern. Ferner sei $X$ der Raum der beschränkten, borelmessbaren Funktionen $f\colon E\rightarrow \mathbb {R}$ , dann kann jeder Übergangskern als Abbildung $P^{t}\colon X\to X$ aufgefasst werden.

Der infinitesimale Erzeuger $A$ des Prozesses ist der Operator mit Definitionsbereich

${\mathcal {D}}(A):=\left\{f\in X\;\left|\;\forall x\in E{\text{ existiert }}\lim _{t\downarrow 0}{\frac {P^{t}f(x)-f(x)}{t}}\right.\right\}$ ,

der für alle $f\in {\mathcal {D}}(A)$ gegeben ist durch

$Af=\lim _{t\downarrow 0}{\frac {P^{t}f-f}{t}}$ .

Ausführlich bedeutet das, dass für alle $x\in E$ gilt

$Af(x)=\lim _{t\downarrow 0}{\frac {P^{t}f(x)-f(x)}{t}}=\lim _{t\downarrow 0}{\frac {\operatorname {E} _{x}[f(M_{t})]-f(x)}{t}}$

mit

$P^{t}f(x)=\int f(y)P^{t}(x,dy)=\int f(y)\operatorname {P} _{x}^{M_{t}}(dy)=\operatorname {E} _{x}[f(M_{t})]$ .

Dabei bezeichnet $\operatorname {P} _{x}^{M_{t}}$ die Verteilung von $M_{t}$ und $\operatorname {E} _{x}$ den Erwartungswert bedingt auf den Startwert $M_{0}=x\in E$ .

Spezialfall abzählbarer Zustandsraum

Sei $(M_{t})_{t\geq 0}$ ein zeitlich homogener Markow-Prozess mit kontinuierlicher Zeit, diskretem Zustandsraum $E$ und Übergangshalbgruppe $(P^{t})_{t\geq 0}$ mit Übergangsmatrix $P^{t}:=(p_{ij}(t))_{(i,j)\in E^{2}}$ für alle $t\geq 0$ .

Halbgruppe, Intensitätsmatrix, Q-Matrix

Die Übergangsfunktion bzw. Übergangsmatrizen $(P^{t})_{t\geq 0}$ bilden wegen der Chapman-Kolmogorow-Gleichungen eine Halbgruppe. Sie können wie oben aufgefasst werden als Abbildungen $P^{t}\colon X\to X$ wobei $X$ den Raum der beschränkten, borelmessbaren Funktionen $f:E\rightarrow \mathbb {R}$ bezeichnet.

$(P^{t})_{t\geq 0}$ besitzt die Standard-Eigenschaft bzw. wird Standard-Übergangsfunktion genannt, wenn

$\lim _{t\downarrow 0}p_{ij}(t)=p_{ij}(0)\;\;\;\forall (i,j)\in E^{2}$

bzw. kurz

$\lim _{t\downarrow 0}P^{t}=I$

mit der Einheitsmatrix $I$ .

Besitzt $(P^{t})_{t\geq 0}$ die Standard-Eigenschaft, so gilt für alle $(i,j)\in E^{2}$ :
Die Abbildungen $t\mapsto p_{ij}(t)$ sind gleichmäßig stetig, für alle $t>0$ differenzierbar und besitzen im Punkt 0 die rechtsseitige Ableitung

$q_{ij}:=\lim _{t\downarrow 0}{\frac {p_{ij}(t)-p_{ij}(0)}{t}}\;\;\;\forall (i,j)\in E^{2}.$

Kurz geschrieben, definiert man dies durch

$Q:=\lim _{t\downarrow 0}{\frac {P^{t}-I}{t}}.$

$Q=(q_{ij})_{ij}$ heißt Intensitätsmatrix oder einfach Q-Matrix.

Für alle $i\in E$ gilt $q_{ii}\in [-\infty ,0]$ , und für alle $i,j\in E$ mit $i\neq j$ gilt $q_{ij}\in [0,\infty [$ .

Ein Zustand $i\in E$ heißt stabil, wenn $q_{ii}>-\infty$ , sonst augenblicklich.

Die Übergangsfunktion > $(P^{t})_{t\geq 0}$ heißt stabil, wenn alle Zustände stabil sind; in diesem Fall sind alle Einträge der zugehörigen Intensitätsmatrix endlich.

Ein Zustand $i\in E$ heißt absorbierend, wenn $q_{ii}=0$ gilt, was genau dann der Fall ist, wenn $p_{ii}(t)=1$ für alle $t\geq 0$ gilt.

Die Matrix $Q$ und der zugehörige Markov-Prozess werden als konservativ bezeichnet, wenn alle Zeilensummen von $Q$ null sind; dies ist genau dann der Fall, wenn $\sum _{i\neq j}q_{ij}=-q_{ii}<\infty$ für alle $i\in E$ gilt.

Ist $Q$ konservativ, der Prozess stabil und divergiert die Folge der Sprungzeiten vor Erreichen eines absorbierenden Zustands fast sicher, so wird der Prozess als regulär bezeichnet.

Die Einträge $q_{ij}$ lassen sich wie folgt interpretieren:

Betrachtet man den zu $P_{t}$ gehörigen Prozess, kann man mit Hilfe von $q_{ii}$ die Verweilzeit in einem Zustand $i\in E$ angeben. Diese ist exponentialverteilt mit Erwartungswert $-{\tfrac {1}{q_{ii}}}$ , das heißt für $t,h>0,q_{ii}>-\infty$ gilt $P(X_{s}=i,\forall s\colon t<s<t+h\mid X_{t}=i)=e^{hq_{ii}}$ . Ein absorbierender Zustand hat dann entsprechend eine unendliche Verweilzeit.
Es gilt $\quad p_{ij}(h)=q_{ij}h+o(h)$ , der Prozess ist also „lokal poisson“ und $q_{ij}$ gibt für kleine $h>0$ die Rate an, mit der Prozess aus $i$ in den Zustand $j$ springt ( $i,j\in E,i\neq j$ ).

Über diese Interpretation ist es in der Praxis oft leichter, eine geeignete Q-Matrix aus den Modellannahmen herzuleiten, als $P_{t}$ direkt anzugeben, zum Beispiel bei M/M/1/∞-Systemen.

Gleichmäßig stetige Halbgruppe mit infinitesimalem Erzeuger

Ist die Übergangsfunktion $(P^{t})_{t\geq 0}$ stabil, so ist sie eine gleichmäßig stetige Halbgruppe deren infinitesimaler Erzeuger $Q$ ist.
Dann kann aus dem Verhalten in infinitesimaler Zeit $Q$ das langfristige Verhalten zurückgewonnen werden:

$P(t)=e^{tQ}\quad {\text{für alle}}\quad t\geq 0$ ,

wobei $e$ das Matrixexponential bezeichnet. Dies ist zum Beispiel der Fall für endliche Zustandsräume. Die stationäre Verteilung $\pi$ von $(P^{t})_{t\geq 0}$ lässt sich dann als Lösung des folgenden Gleichungssystems

$\pi \cdot Q={\vec {0}}$

bestimmen, wobei $\pi$ als Zeilenvektor aufgefasst wird.

Generatoren von Feller-Prozessen

Feller-Prozesse sind Markow-Prozesse, bei denen die Übergangswahrscheinlichkeiten $P^{t}(x,A)$ qua $(P^{t}f)(x):=\int P^{t}(x,dy)f(y)=\operatorname {E} _{x}f(M_{t})$ einer stark stetigen Halbgruppe auf dem Raum $C_{0}(E)$ der stetigen, im Unendlichen verschwindenden Funktionen entsprechen. In diesem Fall kann der Generator der entsprechenden Halbgruppe

$Af={\underset {t\downarrow 0}{\operatorname {s-lim} }}{\frac {P^{t}f-f}{t}}$

(definiert für alle $f\in C_{0}(E)$ für die der Grenzwert bezüglich der Supremumsnorm existiert) betrachtet und der Satz von Hille-Yosida angewendet werden.

Dynkins charakteristischer Operator

Der charakteristische Operator ist eine probabilistische Entsprechung des analytischen Generators $A$ , mit dem oft leichter zu arbeiten ist.^[1] Während in obiger Definition der Erwartungswert von $f(X_{t})$ zu einem festen Zeitpunkt $t$ gebildet wird (und anschließend $t$ gegen 0 geht), wird hier der Erwartungswert von $f(X_{\tau })$ an den unterschiedlichen (zufälligen) Zeitpunkten $\tau =\tau (B)$ gebildet, zu denen der Prozess einen festgelegten räumlichen Bereich $B$ , zum Beispiel eine Kugel $B_{\nu ,x}$ um $x=X_{0}$ mit Radius $\nu$ , verlässt. Für nicht absorbierendes $x$ setzt man

$(Uf)(x):=\lim _{\nu \to 0}{\frac {\operatorname {E} _{x}[f(X_{\tau (B_{\nu ,x})})]-f(x)}{\operatorname {E} _{x}[\tau (B_{\nu ,x})]}},$

für absorbierendes $x$ setzt man $(Uf)(x)=0$ . Für große Klasse von Feller-Prozessen gilt $Af=Uf$ für stetige, im Unendlichen verschwindende Funktionen $f$ aufgrund von Dynkins Maximum-Prinzip.

Die Definition und der genannte Zusammenhang gehen auf eine Arbeit von E. B. Dynkin aus dem Jahr 1955 zurück.^[2]

Literatur

Leo Breiman: Probability. Addison-Wesley Publishing Company, Reading, Massachusetts 1968, ISBN 0-89871-296-3.
Bernt Øksendal: Stochastic Differential Equations. An Introduction with Applications. Springer Berlin 2003, ISBN 3-540-04758-1.
Daniel Revuz, Marc Yor: Continuous Martingales and Brownian Motion. Springer 2001, ISBN 3-540-64325-7.
Manuela Schmitz, Quasi-Stationarität in einem epidemiologischen Modell, 2006, Kapitel 1.1 (PDF-Datei; 418 kB).

Einzelnachweise

↑ Breiman, S. 377.
↑ E. B. Dynkin: Infinitesimal operators of Markov stochastic processes, Doklady Akademii Nauk Nr. 105, 1955, S. 206–209.

Basierend auf einem Artikel in:

Wikipedia.de