Modern valószínűségszámítás

$\\ \textbf{Definíció}:\\$ Legyen adott elemi események $\Omega$ halmazán értelmezett $A$ $\sigma$-algebra. Ekkor $(\Omega, A)$-t mérhető térnek, és $\mu : A \rightarrow [0;\infty]$-t mértéknek nevezzük, ha $\mu (\emptyset)=0$ és diszjunkt $A_i \in A$-kra $$\mu \left(\bigcup A_i\right) = \sum \mu (A_i),$$ végül az $(\Omega, A, \mu)$ rendezett hármast mértéktérnek nevezzük. $\\ \textbf{Definíció}:\\$ Azt a legszűkebb $\sigma$-algebrát, ami tartalmazza $\mathbb{R}$ nyílt részhalmazait, Borel-mérhető halmazok rendszerének nevezzük, melynek elemei a Borel-mérhető halmazok (ha az alaphalmaz nem $\mathbb{R}$, akkor az adott topologikus tér nyílt halmazait tartalmazó legszűkebb $\sigma$-algebra). $\\ \textbf{Definíció}:\\$ $(\Omega, A)$ mérhető téren értelmezett $f: \Omega \rightarrow \mathbb{R}$ függvény mérhető függvény, ha $\forall$ $\mathbb{R}$-ben Borel-mérhető halmaz $f$ általi ősképe mérhető, azaz $\in A$. Ha $P: A \rightarrow [0;1]$ mérték, melyre $P(\Omega)=1$, akkor az $(\Omega, A, P)$ hármast valószínűségi mezőnek nevezzük. $\\ \textbf{Definíció}:\\$ $(\Omega, A, P)$ valószínűségi mező $\Omega$ eseményterén értelmezett $X: \Omega \rightarrow \mathbb{R}$ függvény valószínűségi változó (ez a hivatalos definíció), ha $\forall x \in \mathbb{R}$-re $$\{\omega \in \Omega : X(\omega) \leq x \} \in A$$ $\\ \textbf{Definíció}:\\$ Általában valós/vektorértékű valószínűségi változón egy $(\Omega, A, P)$ valószínűségi mezőn definiált $(\mathbb{R}^n, \mathbb{B}^n)$ értékű mérhető függvényt értünk, ahol $\mathbb{B}^n$ az $\mathbb{R}^n$-ben Borel-mérhető halmazok $\sigma$-algebrája. Külön kikötés hiányában $I$ halmaz Borel-halmazait $\mathbb{B}_I$ vagy $\mathbb{B}$ jelöli (utóbbi csak akkor, ha a jelölés egyértelmű). $\\ \textbf{Definíció}:\\$ Az $(\Omega,A,P)$ valószínűségi mezőn értelmezett $X$ valószínűségi változó eloszlásfüggvénye $F_X: \mathbb{R} \rightarrow \mathbb{R}$, $F_X(x)=P(X < x)$. $f: \mathbb{R} \rightarrow \mathbb{R}$ az $X$ abszolút folytonos valószínűségi változó sűrűségfüggvénye, ha $$F_X(x) = \int_{-\infty}^x f(t)dt$$

A klasszikus valószínűségszámítás kurzusban már volt szó sztochasztikus folyamatról, ilyen volt a $W_t$ Brown-mozgás. Egy másik példa sztochasztikus folyamatra egy radioaktív anyag bomlása. A sztochasztikus folyamatok a valószínűségi változókból álló sorozatok általánosításainak tekinthetők. Általában sztochasztikus folyamatok a struktúrák amik ebben a kurzusban szerepelnek, például a martingálok vagy a Markov-folyamatok.$\\$ $\\ \textbf{Definíció}:\\$ Az $(\Omega, A, P)$ valószínűségi mezőn és annak $T$ időhalmazán értelmezett $$X(t,\omega): T \times \Omega \rightarrow \mathbb{R}$$ kétváltozós függvény $\textbf{\text{sztochasztikus folyamat}}$, ha $\forall$ rögzített $t \in T$-re $X(t,\omega)$ az $(\Omega,A,P)$ valószínűségi mezőn értelmezett valószínűségi változó. Az $X(t;\omega)$ a $T = \mathbb{N}$ esetben diszkrét idejű, $T=[0;\infty)$ esetben folytonos idejű sztochasztikus folyamat. Rögzített $\omega_0 \in \Omega$-ra $$X(t,\omega_0): T \rightarrow \mathbb{R}$$ az $X(t;\omega): T \times \Omega \rightarrow \mathbb{R}$ sztochasztikus folyamat $\omega_0$ kimenetel melletti $\textbf{\text{trajektóriája}}.$

$\\ \textbf{Definíció}:\\$ $$X(n;\omega) = X_n(\omega): \mathbb{N} \times \Omega \rightarrow I$$ diszkrét idejű sztochasztikus folyamat $\textbf{Markov-lánc}$, ha $\textbf{Markov-tulajdonságú}$, azaz $$A_n = \sigma (X_0,X_1,..., X_n)$$ esetén $\forall B \in \mathbb{B}_I$, $\forall m \geq n$-re $$P(X_m \in B | X_0,X_1,...,X_n) = P(X_m \in B | A_n) = P(X_m \in B | X_n)$$ $\\ \textbf{Definíció}:\\$ $$X_t(\omega)= X(t;\omega): [0, \infty] \times \Omega \rightarrow I$$ folytonos idejű sztochasztikus folyamat $\textbf{Markov-folyamat}$, ha $\textbf{Markov-tulajdonságú}$, azaz $$A_{t_0} = \sigma (\{X_{t}\}_{t \leq t_0})$$ esetén $\forall B \in \mathbb{B}_I$, $\forall t_1 \geq t_0$-ra $$P(X_{t_1} \in B | A_{t_0}) = P(X_{t_1} \in B | X_{t_0})$$

$\\ \textbf{Definíció}: \\$ $(X_n)_n$ Markov-lánc homogén/stacionárius, ha a $P(X_{n+1}=j | X_n = i)$ feltételes valószínűség minden $n$-re ugyanannyi, ekkor előbbi valószínűségre a $p_{ij}$ jelölést használjuk. $\\ \textbf{Definíció}: \\$ Legyen adott egy $(X_n)_n$ diszkrét idejű homogén Markov lánc. Ekkor a $$\text{P} = (p_{ij})_{i,j \in I}$$ mátrix a $$p_{ij}=P(X_{n+1}=j | X_n=i)$$ egylépéses átmenetvalószínűségek mátrixa. $\\ \textbf{Megjegyzés}: \\$ Előfordulhat, hogy $|I|$ megszámlálhatóan végtelen; ekkor szintén a mátrix megnevezést használjuk. $\\ X_0$ valószínűségi eloszlása a kezdeti eloszlás. $X_0$-nak $\mu= (\mu_i)_{i \in I}$ eloszlására a Markov-tulajdonság miatt $$P(X_0=i_0,X_1=i_1,...,X_n=i_n)$$ $$=P(X_n=i_n | X_0=i_0,X_1=i_1,...,X_{n-1}=i_{n-1}) \cdot P(X_0=i_1,X_1=i_1,...,X_{n-1}=i_{n-1})$$ $$=P(X_n=i_n | X_0=i_0,X_1=i_1,...,X_{n-1}=i_{n-1}) \cdot$$ $$ \cdot P(X_{n-1}=i_{n-1} | X_0=i_0,X_1=i_1,...,X_{n-2} =i_{n-2}) \cdot ... \cdot P(X_1=i_1 | X_0=i_0) \cdot P(X_0=i_0) $$ $$= p_{i_{n-1}i_n} \cdot ... \cdot p_{i_0i_1} \cdot \mu_{i_0}$$ Tehát a kezdeti eloszlás és az átmenetmátrix meghatározza a Markov-láncot. $\\$ Legyen $m \in \mathbb{N}^+$ tetszőleges, jelölje $p_{ij}^{(n)}=P(X_{n+m}=j |X_m = i)$ az $n$-lépéses átmenetvalószínűségeket (ezek a homogenitás miatt $m$-től függetlenek). $\\ \textbf{Állítás}: \\$ (Chapman-Kolmogorov egyenlőség): $$p_{ij}^{(n+m)}=\sum_{k \in I}p_{ik}^{(n)} \cdot p_{kj}^{(m)}$$ $\\ \textbf{Bizonyítás}: \\$ $P(X_{n+m}=j, X_n=k)= P(X_n=k) \cdot P(X_{n+m}=j | X_n=k)$ miatt $$P(X_{n+m}=j | X_0=i)= \sum_{k \in I} P(X_{n+m}=j, X_n=k | X_0=i)$$ $$= \sum_{k \in I} P(X_n=k |X_0=i) \cdot P(X_{n+m}=j |X_n=k, X_0=i)= \sum_{k \in I}p_{ik}^{(n)} \cdot p_{kj}^{(m)}$$

$\textbf{Markov-modell}$ $\\ \textbf{Definíció}:\\$ Legyen $X_n=X(n,\omega_X)$ diszkrét idejű Markov-lánc, $Y_n=Y(n,\omega_Y)$ diszkrét idejű sztochasztikus folyamat. Ekkor $(X_n,Y_n)$ sorozat (rejtett) \textbf{Markov-modell}, ha $\forall n$-re $\forall x_1,\dots,x_n$-re $\forall A$ Borel-halmazra $$P(Y_n \in A \mid X_1=x_1,\dots,X_n=x_n)= P(Y_n \in A \mid X_n=x_n)$$ $\\ \textbf{Definíció}:\\$ Legyen $X_t=X(t,\omega_X)$ folytonos idejű Markov-lánc, $Y_t=Y(t,\omega_Y)$ folytonos idejű sztochasztikus folyamat. Ekkor $(X_t,Y_t)_{t \geq 0}$ (rejtett) \textbf{Markov-modell}, ha $\forall t_0 \in [0, \infty)$-re $\forall A \in B(I_Y)$ Borel-halmazra $$P(Y_{t_0} \in A \mid \sigma(\{X_t: t \leq t_0\}) )= P(Y_{t_0} \in A \mid \sigma(X_{t_0}) )$$ Gyakorlatban $X_n$ viselkedése nem közvetlenül megfigyelhető (ezért rejtett), emiatt szükségünk van annak becslésére; diszkrét esetben a feladatot érdemes irányított gráfként ábrázolni, ahol a két pontosztály az $X_n$-ek és az $Y_n$-ek, ahol $\forall$ $X_n$-ből $\forall$ $X_m$-be vezet él $P(X_n \rightarrow X_m)$ súlyozással, továbbá $\forall Y_k$-ba $P(Y_k \mid X_n)$ súlyozással ($n,m,k \in \mathbb{N}^+$ tetszőleges), felvéve egy Start csúcsot, melyből $X_n$-ekbe vezet él a kezdeti eloszlásnak megfelelően. Az $X_n$-ek becslésére itt bemutatott módszer megköveteli az eloszlások típusának ismeretét. $\\ \textbf{Definíció}:\\$ Legyen $X$ egy rejtett (nem közvetlenül megfigyelhető) állapot, és $Y$ egy megfigyelés. Ekkor a $$P(X = x \mid Y = y)$$ feltételes valószínűséget $\textbf{utólagos valószínűségnek}$ (posterior probability) nevezzük. Az utólagos valószínűség azt fejezi ki, hogy a megfigyelés ismeretében mennyire valószínű az adott rejtett állapot. A Bayes-tétel segítségével az utólagos valószínűség kiszámítható: $$P(X = x \mid Y = y) = \frac{P(Y = y \mid X = x) \cdot P(X = x)}{P(Y = y)}$$ ahol:$\\$ $P(X = x)$ a $\textbf{prior}$ (előzetes) valószínűség,$\\$ $P(Y = y \mid X = x)$ a $\textbf{likelihood}$ (valószínűségfüggvény),$\\$ $P(Y = y)$ a $\textbf{normalizáló tényező}.\\$

$\textbf{Expectation-Maximization algoritmus}\\$ Gyakorlatban sokszor az eloszlás bonyolult formája miatt nehéz ML-becslést adni egy rejtett Markov-modellhez tartozó eloszlás paraméterére, ezért azt közelítenünk kell. Egy lehetséges közelítés megadására szolgál a következő algoritmus: Legyen adott egy (diszkrét idejű) $(X_n,Y_n)_{(1 \leq n \leq m)}$ rejtett Markov-modell, a megfigyelések $y=(y_1,\dots,y_m)$, azokhoz tartozó rejtett állapotok $x=(x_1,\dots,x_m)$, az eloszlás $$(X,Y) \sim p((x,y) \mid \theta) = p_{\theta}(x,y)=\exp(\eta (\theta) \cdot s(x,y)) \cdot h(x,y)/c(\theta),$$ ahol $\eta$ monoton függvény, $\Theta \subseteq \mathbb{R}^n$ nyílt halmaz a vizsgált eloszlástípus lehetséges paramétereinek halmaza, $$s: \mathbb{R}^d \rightarrow \mathbb{R}^k$$ elégséges statisztika, $$h: \mathbb{R}^d \rightarrow \mathbb{R}^{\geq 0},$$ $$c: \Theta \rightarrow \mathbb{R}^{\geq 0}$$ normalizáló függvény. Tehát $$c(\theta)= \int_{(X,Y)} \left(\exp( \eta (\theta) \cdot s(x,y))\cdot h(x,y)\right)d(x,y)$$ Célunk egy $\theta_{MLE} \in \Theta$ megadása, melyre $$\theta_{MLE} \in \arg\max_{\theta}(p_{\theta}(y)),$$ vagyis maximalizálja a $$p(\theta) = p_{\theta}(y)= \int p_{\theta}(x,y) dx$$ peremeloszlás likelihood-függvényét (legalábbis elég jól közelíti egy globális maximumhelyét). Feltehető tehát, hogy $\eta (\theta) = \theta$. $\\ \textbf{Állítás}:\\$ $$\nabla \log(c(\theta))=\mathbb{E}_{\theta}s(x,y)$$ $\\ \textbf{Bizonyítás}:\\$ $\forall j$-re $$(\partial/\partial \theta_j) \log(c(\theta))=\frac{1}{c(\theta)} \cdot (\partial/\partial \theta_j) c(\theta)$$ $$= \frac{1}{c(\theta)} \int s_j(x,y) p_{\theta}(x,y)d(x,y)= \mathbb{E}_{\theta}s_j(x,y)$$ (feltettük hogy a deriválás és az integrálás felcserélhető) $\\ \textbf{Következmény}:\\$ $\theta$ a likelihood függvény szélsőértéke $$\Rightarrow \mathbb{E}_{\theta}(s(X,Y) \mid Y=y)=\mathbb{E}_{\theta}(s(X,Y))$$ $\\ \textbf{Bizonyítás}:\\$ $$0 = (\partial/\partial \theta_i) \log(p_{\theta}(y)) = \frac{1}{p(\theta)} \cdot \int (\partial/\partial \theta_i) p_{\theta}(x,y)dx$$ $$=\frac{1}{p(\theta)} \cdot \int (\partial/\partial \theta_i) \exp(\theta s(x,y) - \log(c(\theta))) \cdot h(x,y) dx$$ $$=\frac{1}{p(\theta)} \cdot \int (s_i (x,y) - (\partial/\partial \theta_i)\log(c(\theta))) \cdot p_{\theta}(x,y)dx$$ $$= \frac{1}{p(\theta)} \cdot \int (s_i (x,y) - \mathbb{E}_{\theta} s_i(X,Y)) \cdot p_{\theta}(x,y)dx$$ $$= \int s_i (x,y) \cdot p_{\theta}(x \mid y) dx - \mathbb{E}_{\theta} s_i(X,Y)$$ $$= \mathbb{E}_{\theta}(s_i(X,Y) \mid Y=y)- \mathbb{E}_{\theta} s_i(X,Y) \iff \mathbb{E}_{\theta}(s(X,Y) \mid Y=y)=\mathbb{E}_{\theta}(s(X,Y))$$ Legyen $\forall t$-re $$Q( \theta \mid \theta_t)= \mathbb{E}_{\theta_t}(\log(p_{\theta}(X,Y)) \mid Y=y)$$ Az algoritmus ötlete, hogy kiindulunk tetszőleges $\theta_0 \in \Theta$ becslésből és minden iterációban javítunk rajta úgy, hogy megoldjuk a $$\theta_{t+1} = \arg\max_{\theta} Q(\theta \mid \theta_{t})$$ rekurziót. Vegyük észre, hogy az előző állítás miatt $$\nabla Q(\theta \mid \theta_{t}) = \nabla ( \theta \cdot \mathbb{E}_{\theta_t}(s(X,Y) \mid Y=y) - \log(c(\theta)) - \text{konstans})$$ $$= \mathbb{E}_{\theta_t}(s(X,Y) \mid Y=y)- \mathbb{E}_{\theta}(s(X,Y))$$ Az eredeti rekurzió megoldásához tehát megoldandó az $$\mathbb{E}_{\theta_{t-1}}(s(X,Y) \mid Y=y)=\mathbb{E}_{\theta_t}(s(X,Y))$$ rekurzió. Konyhaszabály: addig iteráljuk, mígnem rögzített $t$-re $\mathbb{E}_{\theta_{t}}(s(X,Y) \mid Y=y)$ és $\mathbb{E}_{\theta_t}(s(X,Y))$ majdnem egyenlő (mondjuk az eltérésük $< 10^{-5}$), ekkor ugyanis a becslés előbbi következmény miatt közelít egy szélsőértékhez. A konvergencia abból adódik, hogy a $\theta_t$-khez tartozó értékekből alkotott sorozat monoton és korlátos, márpedig az $$\mathbb{E}_{\theta_{t-1}}(s(X,Y) \mid Y=y)=\mathbb{E}_{\theta_t}(s(X,Y))$$ rekurzió miatt és mert $$Q( \theta \mid \theta_t)= \mathbb{E}_{\theta_t}(\log(p_{\theta}(X,Y)) \mid Y=y)$$ sorozat konvergens, adódik, hogy $\exists t$: $\mathbb{E}_{\theta_{t}}(s(X,Y) \mid Y=y)$ és $\mathbb{E}_{\theta_t}(s(X,Y))$ majdnem egyenlő (mert a tagokból alkotott sorozatoknak ugyanaz a határértéke). A kapott szélsőérték nem feltétlenül globális maximum, ennek érdekében különböző $\theta_0$ kezdőértékekből kell indítanunk az algoritmust. A legjobb becslést globális maximumnak feltételezzük.

$\textbf{Bayes-filter}\\$ Az EM-algoritmusban szereplő rejtett Markov-modellben nem ismerjük a $$p_{\theta}(X,Y \mid Y = y)$$ értékeket, emiatt szeretnénk azokat közelíteni. Egy lehetséges közelítés megadására szolgál a Bayes-filter: Tegyük fel, hogy a rejtett Markov-modellt leíró egyenletrendszer $$X_k=f(X_{k-1},u_k,w_k)$$ $$Y_k=g(X_k, n_k)$$ alakú, ahol \(u_k \in \mathbb{R}^N\) control input, \(w_k\) és \(n_k\) zajok. Célunk becslést adni a $$bel(X_k)=p( X_k \mid u_{1:k}, Y_{1:k} )$$ utólagos valószínűségekre, ehhez megadunk egy rekurziót. Nyilván \(bel(X_0)=p(X_0)\). $\\ \textbf{Lemma}:\\$ \[ p(x \mid y,z)= \frac{p(y \mid x,z) \cdot p(x \mid z)}{p(y \mid z)} \] $\\ \textbf{Bizonyítás}:\\$ \[ \frac{p(y \mid x,z) \cdot p(x \mid z)}{p(y \mid z)} = \frac{p(y \mid x,z) \cdot p(x,z)}{p(z) \cdot p(y \mid z) }= \frac{p(y \mid z,x) \cdot p(z,x)}{p(y,z)}= \frac{p(x,y,z)}{p(y,z)}=p(x \mid y,z) \] $\\ \textbf{Állítás}:\\$ \(\exists \eta\) konstans, amire $$bel(X_k)= \eta \cdot p(Y_k \mid X_k) \int p(X_k \mid X_{k-1}, u_k) \cdot bel(X_{k-1}) \, dX_{k-1}$$ $\\ \textbf{Bizonyítás}:\\$ Előbbi lemma és a Markov-tulajdonság miatt: $$bel(X_k)=p(X_k | u_{1:k}, Y_{1:k} )$$ $$=p(Y_k | X_k, u_{1:k}, Y_{1:k-1} ) \cdot \frac{p(X_k | u_{1:k}, Y_{1:k-1})}{p(Y_k | u_{1:k}, Y_{1:k-1} )}$$ $$=\eta \cdot p(Y_k | X_k, u_{1:k}, Y_{1:k-1} ) \cdot p(X_k | u_{1:k}, Y_{1:k-1}) $$ $$=\eta \cdot p(Y_k |X_k) \cdot p(X_k | u_{1:k}, Y_{1:k-1}) $$ $$=\eta \cdot p(Y_k |X_k) \cdot \int p(X_k, X_{k-1} | u_{1:k}, Y_{1:k-1}) \, dX_{k-1}$$ $$=\eta \cdot p(Y_k |X_k) \cdot \int p(X_k | X_{k-1}, u_{1:k}, Y_{1:k-1}) \cdot p(X_{k-1} | u_{1:k}, Y_{1:k-1}) \, dX_{k-1}$$ $$=\eta \cdot p(Y_k |X_k) \cdot \int p(X_k | X_{k-1}, u_k) \cdot p(X_{k-1} | u_{1:k-1}, Y_{1:k-1}) \, dX_{k-1}$$ $$=\eta \cdot p(Y_k | X_k) \int p(X_k |X_{k-1}, u_k) \cdot bel(X_{k-1}) \, dX_{k-1}$$ $\\ \textbf{Megjegyzés}:\\$ Itt \(bel(X_k)\) az \(X_k\) állapot utólagos valószínűségét jelöli a \(k\). időpontban, az összes eddigi megfigyelés (\(Y_{1:k}\)) és beavatkozás (\(u_{1:k}\)) ismeretében.

A Bayes-filter általános keretet ad a valódi eszközár becsléséhez zajos piaci adatokból. Egy market maker feladata, hogy vételi (bid) és eladási (ask) árakat határozzon meg. A valódi ár \(v_t\) nem megfigyelhető közvetlenül, de a kereskedések árából következtethetünk rá.$\\$ A modell: $$ v_t = v_{t-1} + \eta_t, \quad \eta_t \sim \mathcal{N}(0, \sigma_v^2) $$ $$ p_t = v_t + \varepsilon_t, \quad \varepsilon_t \sim \mathcal{N}(0, \sigma_p^2) $$ A Bayes-filter (jelen esetben a Kalman-szűrő) becslést ad a valódi árra (\(\hat{v}_t\)) és annak bizonytalanságára (\(\sigma_t\)). A market maker stratégiája: $$ \text{bid}_t = \hat{v}_t - \delta - \gamma \cdot \sigma_t $$ $$ \text{ask}_t = \hat{v}_t + \delta + \gamma \cdot \sigma_t $$ ahol \(\delta\) a tranzakciós költségek fedezete, \(\gamma\) pedig a kockázati prémium. Minél nagyobb a bizonytalanság (\(\sigma_t\)), annál szélesebb a bid-ask spread.

$\\ \textbf{Definíció:} \\$ Adott \(i, j\) állapotok esetén az \(i\)-ből \(j\)-be vezető út olyan átmenetek sorozata, amely \(i\)-ben kezdődik és \(j\)-ben végződik, úgy, hogy minden átmenetnek pozitív a valószínűsége. Azt mondjuk, hogy az \(i\) állapot elérhető a \(j\) állapotból, ha létezik \(i\)-ből \(j\)-be vezető út. Jelölés: \(i \rightarrow j\). Az \(i, j\) állapotok kommunikálnak, ha \(i \rightarrow j\) és \(j \rightarrow i\). Vegyük észre, hogy \(j\) elérhető \(i\)-ből véges sok lépésben \(\iff\) \(\exists n \geq 0\): \(p_{ij}^{(n)} > 0\). $\\ \textbf{Definíció:} \\$ Egy \(S\) állapothalmazt a Markov-láncban zártnak nevezünk, ha \(S\)-en kívülről nincs olyan állapot, amely elérhető lenne \(S\) bármely állapotából. $\\ \textbf{Definíció:} \\$ Az \(i\) állapot nyelő, ha \(p_{ii} = 1\). Más szóval, ha egyszer bekerülünk, soha nem lépünk ki belőle. $\\ \textbf{Definíció:} \\$ Az \(i\) állapotot átmenetinek (tranziensnek) nevezzük, ha \(\exists\) olyan \(j\) állapot, amelyre $$ i \rightarrow j \text{ és } j \nrightarrow i $$ Más szóval, pozitív a valószínűsége annak, hogy amikor elhagyjuk az \(i\) állapotot, soha nem térünk oda vissza, azaz a valaha való visszatérés valószínűsége kisebb, mint 1. Ezzel ekvivalens, hogy az adott állapotba való visszatérés átlagos ideje véges. Egy Markov-láncot átmenetinek nevezünk, ha minden állapota átmeneti. $\\ \textbf{Definíció:} \\$ Az \(i\) állapotot visszatérőnek (rekurrensnek) nevezzük, ha az \(i\) állapot elérése után a visszatérés valószínűsége 1. Ezzel ekvivalens, hogy a visszatérések várható száma végtelen. Egy Markov-láncot visszatérőnek nevezünk, ha minden állapota visszatérő. $\\ \textbf{Definíció:} \\$ Az \(i\) állapotot periodikusnak nevezzük, ha $$ d(i) = \gcd \{ n \geq 0: p_{ii}^{(n)} > 0 \} > 1 $$ Az \(i\) állapotot aperiodikusnak nevezzük, ha $$ d(i) = 1 $$ Egy Markov-láncot aperiodikusnak nevezünk, ha minden állapota aperiodikus (azaz nem ragad bent hurkokban). $\\ \textbf{Definíció:} \\$ Egy Markov-láncot irreducibilisnek nevezünk, ha bármely két állapota kommunikál. $\\ \textbf{Definíció:} \\$ Egy Markov-láncot ergodikusnak nevezünk, ha irreducibilis, visszatérő és aperiodikus.$\\$

Pista bácsi és Béla bácsi rendelkezik egy piac két tojás árulási monopóliumával (a piacon csak ők adhatnak el tojást). A piac tulajdonosa megfigyelte hogy mi a valószínűsége annak hogy ha egy vásárló ma Pista bácsitól vesz tojást, holnap is tőle fog, és annak hogy holnap már Béla bácsitól, megfigyelte ezeket fordított viszonyban is (Béla bácsitól hova mennek másnap a vásárlók), azt tudjuk hogy nem minden vásárló hűséges. A tulaj szeretne becslést adni arra hogy hosszú idő elteltével ugyanezeket az átmenetvalószínűségeket feltételezve mennyi a valószínűsége hogy egy vevő Pista bácsitól fog tojást vásárolni. $\\$ A következő tétel segítségünkre lesz egy olyan eloszlás megadására Pista bácsi és Béla bácsi átmenetgráfján aminél a csúcsbeli valószínűségek annak felelnek meg hogy hosszú idő után mi az ott vásárlás valószínűsége. A bizonyítás egyszerű valós analízisbeli eszközöket használ. $\\ \textbf{Tétel (Diszkrét felújítási egyenlet)} \\$ Legyenek adottak az $(a_k)_{k = 0}^{\infty}$, $(u_k)_{k = 0}^{\infty}$ és $(b_k)_{k=0}^{\infty}$ sorozatok úgy, hogy $$ b_k \geq 0, \quad a_k \geq 0, $$ $$ \sum a_k = 1, \quad \sum (|k| \cdot a_k) < \infty, \quad \sum (k \cdot a_k) > 0, \quad \sum (|b_k|) < \infty, $$ $$ \gcd \{ k \mid a_k > 0 \} = 1 $$ Ha a korlátos valós számsorozat $(u_n)_n$ kielégíti a $$ u_n - \sum (a_{n-k} \cdot u_k) = b_n $$ felújítási egyenletet, akkor a $\lim u_n$ határérték létezik, és $$ \lim u_n = \frac{\sum b_k}{\sum k \cdot a_k} \square$$ Ennek felhasználásával bizonyítható a keresett eloszlás létezése: $\\ \textbf{Tétel (Ergodtétel)} \\$ Legyen adott egy $(X_n)_n$ visszatérő, irreducibilis Markov-lánc, $$ p_{ii}^n = \mathbb{P}(i \rightarrow i \text{ $n$ lépés után}) $$ $$ f_{ii}^n = \mathbb{P}(i \rightarrow i \text{ először $n$ lépésben}) $$ Ekkor $$ p_{ii}^n - \sum_{k=0}^n f_{ii}^{n-k} \cdot p_{ii}^k = \begin{cases} 1, & \text{ha } n=0 \\ 0, & \text{egyébként} \end{cases} $$ és $$ \lim_{n \rightarrow \infty} p_{ii}^n = \frac{1}{\sum_{n=0}^{\infty} n \cdot f_{ii}^n} $$ Következményként kapjuk, hogy $$ \pi_i = \lim_{n \rightarrow \infty} p_{ji}^n = \lim_{n \rightarrow \infty} p_{ii}^n $$ $\\ \textbf{Bizonyítás:} \\$ Az első részhez használjuk a $$ p_{ji}^n = \sum_{v = 0}^n f_{ji}^v \cdot p_{ii}^{n-v} $$ összefüggést. A második részhez alkalmazzuk a diszkrét felújítási egyenletet az $$ u_n = p_{ii}^n, \quad a_n = f_{ii}^n, \quad b_n = \begin{cases} 1, & \text{ha } n=0 \\ 0, & \text{egyébként} \end{cases} $$ értékekre. $\square$ $\\ \textbf{Megjegyzés:} \\$ A $(\pi_i)_i$ sorozatot stacionárius eloszlásnak (steady-state distribution) nevezzük. Legyen \(P\) a szóban forgó Markov-lánc átmenetmátrixa. Ahogy korábban láttuk, létezik a folyamathoz egy \((\pi_j)_j\) stacionárius eloszlás, azaz annak valószínűsége, hogy hosszú idő után a \(j\) állapotban leszünk: $$ \lim_{n \rightarrow \infty} P_{ij}^n = \pi_j $$ Minden konvergens sorozat Cauchy-sorozat, így ahogy \(n\) növekszik, \(p_{ij}^{n+1} \approx p_{ij}^n \approx \pi_j\). A Chapman-Kolmogorov egyenlet alapján: $$ \pi_j \approx p_{ij}^{n+1} = \sum_{k=1}^s p_{ik}^n \cdot p_{kj} \approx \sum_{k=1}^s \pi_k \cdot p_{kj} $$ $$\iff \pi = \pi \cdot P$$ Ennek végtelen sok megoldása van (\(P\) rangja nem teljes, \(\mathbb{1}\) az egyik sajátvektora). Vegyük észre, hogy minden \(n\)-re $$ p_{i1} + p_{i2} + \dots + p_{is} = 1 $$ Ha \(n \rightarrow \infty\), akkor $$ \pi_1 + \dots + \pi_s = 1 $$ Ennek a feltételnek a használatával megkapjuk a minket valóban érdeklő megoldást. Vegyük a korábban említett két árus példát, amely egy kétállapotú ergodikus Markov-láncot definiál, például a következő átmenetmátrixszal: $$ P = \begin{pmatrix} 0.7 & 0.3 \\ 0.2 & 0.8 \end{pmatrix} $$ Ebből: $$ \begin{pmatrix} \pi_1 & \pi_2 \end{pmatrix} \begin{pmatrix} 0.7 & 0.3 \\ 0.2 & 0.8 \end{pmatrix} = \begin{pmatrix} \pi_1 & \pi_2 \end{pmatrix} $$ Ez egy egyenletrendszert ad, amiből \(\pi_1 = 0.4\) és \(\pi_2 = 0.6\) adódik. Ez azt jelenti, hogy függetlenül attól, hogy valaki jelenleg melyik stand vásárlója, hosszú távon 0.4 a valószínűsége, hogy az Pista bácsi vásárlója lesz, és 0.6 a valószínűsége, hogy Béla bácsi vásárlója lesz.

A 18. századi Franciaországban elterjedt egy pénzbeli fogadási stratégia miszerint minden veszteség során megduplázzák a tétet, avval érveltek hogy így az első nyeremény kompenzál minden azt megelőző vesztes fogadást. Magával az elgondolással egyetlen probléma volt: a fogadásokhoz nem áll rendelkezésre végtelen sok pénz. Ezt az egy problémát leszámítva a játék igazságosnak tekinthető abban az értelemben hogy hosszú távon a fogadó fél se nem nyer, se nem veszít semmit, ugyanakkor értelmetlen, mert ha valakinek végtelen sok pénze van, egyetlen nyeréssel vagy vesztéssel sem gyarapíthatja vagy csökkentheti vagyonát.$\\$ Később a kaszinók is felfigyeltek erre a stratégiára, ugyanis a szerencsejátékozók előnyösnek éreztek eszerint játszani. Előbbi elgondolásnak megfelelően jött létre a rulett, annyi kitétellel hogy a lehetséges kimenetelekből egynél a kaszinó nyer, illetve nem lehet bármekkora téttel játszani. Előbbi kitétel miatt a játékosnak kevesebb mint 50 % ($\approx 48,6 \%$) esélye van a győzelemre, utóbbi miatt ha maximálisan feltehető összeget megközelíti, nem folytathatja tovább a stratégiát, tehát vesztes pozícióba kerül.$\\$ Ez a stratégia motiválta az igazságos játék modelljét, a martingált. A fogalom mögötti elgondolás hogy a játékos nyereségének a várható értéke minden lépésben 0.$\\$ $\\ \textbf{Definíció}: \\$ Az $X_1, X_2, ...$ diszkrét idejű sztochasztikus folyamat martingál, ha minden $n$-re $E(|X_n|) < \infty$ és $E(X_{n+1} | X_1, ..., X_n) = X_n$

$\\ \textbf{Definíció}: \\$ Legyen $(\Omega), \mathcal{F}, P)$ valószínűségi mező, és $(\mathcal{F}_t)_{t \geq 0}$ egy filtráció ($\sigma$-algebrák $\mathcal{F}_s \subseteq \mathcal{F}_t$ családja). Azt mondjuk hogy az $(\mathcal{F}_t)_{t \geq 0}$ jobbról folytonos, ha minden $t \geq 0$ esetén $$\mathcal{F}_t = \mathcal{F}_{t+} (= \bigcap_{\epsilon > 0} \mathcal{F}_{t+\epsilon}),$$ azaz nem történik hirtelen információúgrás. $\\ \textbf{Definíció}: \\$ Egy $\tau$ időpont megállási idő, ha $\{ \tau < t \} \in \mathcal{F}_t$ minden $t$-re. Jobbról folytonos filtráció esetén ez a feltétel $\iff$ $\{ \tau \leq t \} \in \mathcal{F}_t$ minden $t$-re. $\\ \textbf{Definíció}: \\$ Ha egy filtráció (pl egy sztochasztikus folyamat természetes filtrációja) nem jobbról folytonos, akkor is mesterségesen azzá tehető: Az $(\mathcal{F}_{t+})_{t \geq 0}$ filtrációt az $(\mathcal{F}_t)_{t \geq 0}$ filtráció jobbról folytonos burkának nevezzük. Ez a legkisebb olyan jobbról folytonos filtráció ami tartalmazza az eredetit.$\\$ Továbbiakban legyen $(\Omega, \mathcal{A}, P)$ valószínűségi mező, $(\mathcal{F}_t)_{t \geq 0}$ folytonos filtráció, ami tartalmazza a nullhalmazokat. $\\ \textbf{Definíció}: \\$ Egy $(X_t, \mathcal{F}_t)_{t \geq 0}$ folyamatot martingálnak nevezünk, ha $$(1) \text{$X_t$ $\mathcal{F}_t$-mérhető minden $t \geq 0$-ra (adaptált)}$$ $$(2) \text{ $E|X_t| < \infty$ minden $t \geq 0$-ra}$$ $$(3) \text{$E(X_t | \mathcal{F}_s) = X_s$ minden $0 \leq s < t$-re}$$ Utolsó feltételt $\geq$-ra írva a szubmartingál, $\leq 0$-ra írva a szupermartingál definícióját kapjuk. $\\$ A martingál ezen definíciójának lényege hogy a folyamat jövőbeli értékének várható értéke a jelenlegi információ birtokában megegyezik a jelenlegi értékkel. Ez a fair játék matematikai megfogalmazása.

$\\ \textbf{Tétel}(\text{Doob opcionális megállási tétele}): \\$ Legyen $(X_t, \mathcal{F}_t)_{t \geq 0}$ jobbról folytonos szubmartingál, aminek létezik $X_{\infty}$ utolsó eleme. Ha $\sigma \leq \tau$ megállási idők (valószínűségi változók), akkor $$E(X_{\tau} \mid \mathcal{F}_{\sigma}) \geq X_{\sigma}$$ majdnem biztosan. Martingál esetén egyenlőség áll: $$E(X_{\tau} \mid \mathcal{F}_{\sigma}) = X_{\sigma}$$ majdnem biztosan. $\\ \textbf{Bizonyítás}: \\$ $\textbf{1. eset} \text{ (diszkrét idő)}:$ $\sigma \leq \tau \leq N$ valamilyen $N < \infty$-re (diszkrét időben minden folytonos). Minden $A \in \mathcal{F}_{\sigma}$ eseményre $$\int_A X_{\tau} dP \geq \int_A X_{\sigma} dP$$ Teleszkopikus összeget véve: $$X_{\tau} - X_{\sigma} = \sum_{k= \sigma + 1}^{\tau} (X_k - X_{k-1}) = \sum_{k=1}^N \mathbb{1}_{\sigma < k \leq \tau} \cdot (X_k - X_{k-1})$$ Ezt integrálva: $$\int_A (X_{\tau} - X_{\sigma}) dP = \sum_{k=1}^N \int_A \mathbb{1}_{\sigma < k \leq \tau} \cdot (X_k - X_{k-1}) dP$$ Mivel $A \in \mathcal{F}_{\sigma}$ és $\{ \sigma < k \} = \{ \sigma \leq k-1 \} \in \mathcal{F}_{k-1}$ (mert $\sigma$ megállási idő) és $\{ \tau \geq k \} = \{ \tau \leq k-1 \}^c \in \mathcal{F}_{k-1}$, ezért $$A \cap \{ \sigma < k \leq \tau \} \in \mathcal{F}_{k-1}$$ $$\Rightarrow \int_{A \cap \{ \sigma < k \leq \tau \}} (X_k - X_{k-1}) dP = \int_{A \cap \{ \sigma < k \leq \tau \}} E(X_k - X_{k-1} \mid \mathcal{F}_{k-1}) dP$$ Mivel $(X_n)_n$ szubmartingál, ezért $E(X_k \mid \mathcal{F}_{k-1}) \geq X_{k-1}$, tehát $$E(X_k - X_{k-1} \mid \mathcal{F}_{k-1}) \geq 0,$$ ezért minden tag a $\sum$-ban $\geq 0$, így $\int_A X_{\tau} - X_{\sigma} dP \geq 0$. Mivel ez $A \in \mathcal{F}_{\sigma}$-ra igaz, ezért $$E(X_{\tau} \mid \mathcal{F}_{\sigma}) \geq X_{\sigma} \text{ majdnem biztosan }$$ Martingál esetén $E(X_k \mid \mathcal{F}_{k-1}) = X_{k-1}$, így minden tag 0, tehát az összeg is 0.$\\$ $\textbf{2. eset} \text{ (általános)}$ A $[0; \infty)$ intervallumot felosztjuk egyre finomabb, $\frac{1}{2^n}$-hosszúságú intervallumokra. Minden egyes $n$-re megnézzük hogy a folytonos $\sigma(\omega)$ melyik intervallumba esik, $\sigma_n(\omega)$ legyen ezen részintervallumok jobb végpontja. Ekkor $\sigma_n(\omega)$ mindig diszkrét értékeket vesz fel: $$\sigma_n = \frac{k}{2^n} \text{ ha } \sigma(\omega) \in \left[\frac{k-1}{2^n}; \frac{k}{2^n}\right]$$ Ekkor $\sigma_n, \tau_n$ megállási idők, $\sigma_n \geq \sigma, \sigma_n \rightarrow \sigma, \tau_n \rightarrow \tau$ majdnem biztosan. $1.$ esetet alkalmazva az $(X_{\frac{k}{2^n}})$ szubmartingálra $$E(X_{\tau_n} \mid \mathcal{F}_{\sigma_n}) \geq X_{\sigma_n}$$ A jobbról való folytonosság miatt $X_{\tau_n} \rightarrow X_{\tau}, X_{\sigma_n} \rightarrow X_{\sigma}$ majdnem biztosan. Az egyenletes integrálhatóság miatt határátmenettel kapjuk a tétel állítását.$\square\\$ A feltételeknél a véges várható érték feltétele véges, például az $S_0=0$ kezdetű $(S_n)$ szimmetrikus bolyongás martingál, a rekurrenciájából $\tau = \min\{ n \mid S_n=1 \} < \infty$, márpedig $E \tau = \infty$, így a tétel állítása sem teljesül: $1 = E(S_{\tau}) = E(S_0) = 0$. A többi Doob tétel szintén egyszerű mértékelméleti megfontolásokkal igazolható: $\\ \textbf{Definíció}: \\$ $\left\{ \sup_{0 \leq s \leq t} X_s \geq x \right\} = \left\{ \omega \in \Omega \mid \sup_{0 \leq s \leq t} X_s(\omega) \geq x \right\}$ $\\$ Például ha adott egy részfényárfolyam és $x = 100$, akkor ez a halmaz azon világokból áll amikben a részvény árfolyama a következő órában meghaladja a 100 dollárt. Azaz $P(\{ \sup_{0 \leq s \leq t} X_s \geq x \})$ annak a valószínűsége hogy a folyamat meghaladja az $x$ küszöböt a $[0;t]$ időintervallum alatt. $\\ \textbf{Tétel}\text{(Doob maximális egyenlőtlensége)}: \\$ Legyen $(X_t, \mathcal{F}_t)_{t \geq 0}$ jobbról folytonos szubmartingál. Ekkor tetszőleges $x > 0$-ra $$x \cdot P\left(\left\{ \sup_{0 \leq s \leq t} X_s \geq x \right\}\right) \leq E(X_t^+) \square$$ $\\ \textbf{Definíció}:$ Egy $(Z_n)$ sorozat előrejelezhető az $(\mathcal{F}_n)$ filtrációra nézve ha $Z_n$ $\mathcal{F}_{n-1}$-mérhető minden $n$-re. $\\ \textbf{Tétel}\text{(Doob felbontási tétele diszkrét időben)}: \\$ Legyen $(X_n, \mathcal{F}_n)_{n \geq 0}$ szubmartingál, $\mathcal{F}_0 = \{ \emptyset; \Omega \}$. Ekkor létezik $(M_n, \mathcal{F}_n)$ martingál és egy $(Z_n)$ előrejelezhető, monoton növő folyamat ($Z_0=0, Z_n \leq Z_{n+1} \text{ m.b.}$) hogy $$X_n = M_n + Z_n$$ Ez az előállítás egyértelmű $\square$ $\\ \textbf{Definíció}\text{(Egyenletes integrálhatóság)}: \\$ Egy $\mathcal{D}$ halmaz egyenletesen integrálható, ha $$\sup_{X \in \mathcal{D}} \int_{\{ |X| > K \}} |X| dP \xrightarrow{K \rightarrow \infty} 0$$ $\\ \textbf{Tétel}\text{(Doob-Meyer felbontás)}: \\$ Legyen $(X_t, \mathcal{F}_t)_{t \geq 0}$ jobbról folytonos szubmartingál ami minden $t$-re eleme a $\mathcal{D}_L$ osztálynak (azaz a megállított változók egyenletesen integrálhatók). Ekkor létezik egy $M_t$ martingál és egy $A_t$ adaptált, monoton növő folyamat, hogy $$X_t = M_t + A_t \text{ m.b. minden } t \geq 0\text{-ra}$$ Ez az előállítás egyértelmű. $\square$

$\\ \textbf{Definíció}: \\$ A $(W_t)_{t \geq 0}$ sztochasztikus folyamat Wiener-folyamat, ha $$\textbf{(1)} W_0 = 0 \text{ m.b. }$$ $$\textbf{(2)} \text{Független növekményű: $0 \leq t_0 < t_1 < ... < t_n$ esetén $W_{t_0}, W_{t_1}, ...$ függetlenek } $$ $$\textbf{(3)} W_t - W_s \sim \mathcal{N}(0; t-s)$$ $$\textbf{(4)} \text{Mintafolytonos: $P(\{ \omega: W_t(\omega) \text{ folytonos függvénye $t$-nek } \})$ = 1}$$ $\\ \textbf{Definíció}: \\$ A $(W_t)$ Wiener-folyamathoz tartozó természetes filtráció $$\mathcal{F}_t^{(W)} = \sigma(W_s: s \leq t)$$ Előbbi definícióban nyilván $W_t$ adaptált $\mathcal{F}_t$-re nézve. A sztochasztikus integrál definiálásához szükségünk van ennél nagyobb filtrációra, ami több véletlent tartalmaz mint a Wiener-folyamat: $\\ \textbf{Definíció}: \\$ $(W_t)_{t \geq 0}$ Wiener-folyamat az $(\mathcal{F})_t$ filtrációra, ha $(W_t)$ adaptált, előbbi definíció $(1), (2), (4)$ feltételei teljesülnek és $(W_t - W_s)$ független $\mathcal{F}_s$-től, valahányszor $t > s$.

Továbbiakban az \([a;b]\) intervallum egy \(\pi_n = \{ a=t_0 < t_1 < \dots < t_n = b \}\) felosztásának finomságát jelölje \(\|\pi_n\|\), azaz \(\|\pi_n\| = \max\{ t_i - t_{i-1} : i=1,2,\dots,n \}\) $\\ \textbf{Tétel}: \\$ Legyen \((\pi_n)\) olyan felosztássorozat, hogy \(\|\pi_n\| \xrightarrow{n \rightarrow \infty} 0\). Ekkor $$ \sum_{i=1}^n (W_{t_i} - W_{t_{i-1}})^2 \xrightarrow{L^2} b-a $$ $\\ \textbf{Bizonyítás}: \\$ Feltehető hogy \([a;b] = [0;1]\). Ekkor \(\sum_{i=1}^n (t_i - t_{i-1}) = 1\). Megmutatjuk, hogy \(E\left(\left(\sum_{i=1}^n (W_{t_i} - W_{t_{i-1}})^2 - 1\right)^2\right) \xrightarrow{n \rightarrow \infty} 0\): $$ E\left(\left(\sum_{i=1}^n (W_{t_i} - W_{t_{i-1}})^2 - 1\right)^2\right) = \sum_{i,j=1}^n E\left[\left((W_{t_i} - W_{t_{i-1}})^2 - (t_i - t_{i-1})\right) \cdot \left((W_{t_j} - W_{t_{j-1}})^2 - (t_j - t_{j-1})\right)\right] $$ Itt ha \(i \neq j\), akkor \(W_{t_i} - W_{t_{i-1}}\) és \(W_{t_j} - W_{t_{j-1}}\) függetlenek. Ekkor a szorzat várható értéke a várható értékek szorzata, márpedig $$ E\left((W_{t_i} - W_{t_{i-1}})^2 - (t_i - t_{i-1})\right) = 0 $$ Tehát a vegyesszorzatok értéke 0, így felhasználva hogy \(W_t - W_s \sim \mathcal{N}(0; t-s)\), kapjuk hogy $$ E\left(\left(\sum_{i=1}^n (W_{t_i} - W_{t_{i-1}})^2 - 1\right)^2\right) = \sum_{i=1}^n E^2 \left((W_{t_i} - W_{t_{i-1}})^2 - (t_i - t_{i-1})\right) $$ $$ = \sum_{i=1}^n (t_i - t_{i-1})^2 \cdot E^2 \left(\left(\frac{W_{t_i} - W_{t_{i-1}}}{\sqrt{t_i - t_{i-1}}}\right)^2 - 1\right) = E^2(Z^2 - 1) \cdot \sum_{i=1}^n (t_i - t_{i-1})^2 $$ ahol \(Z \sim \mathcal{N}(0; 1)\). Mivel \(\sum_{i=1}^n(t_i - t_{i-1})^2 \leq \|\pi_n\| \cdot \sum_{i=1}^n (t_i - t_{i-1}) = \|\pi_n\| \xrightarrow{n \rightarrow \infty} 0\), így az állítást beláttuk. $\square$

Rögzítsünk egy $[0; T], T < \infty$ zárt intervallumot. Legyen $W_t$ Wiener-folyamat az $(\mathcal{F}_t)$ filtrációra. $\\ \textbf{Definíció}: \\$ Az $(X_t)$ egyszerű folyamat, ha minden $t$-re $$X_t(\omega) = \xi_0(\omega) \cdot I_{\{0\}} (t) + \sum_{i=1}^{n-1} \xi_i(\omega) \cdot I_{(t_i; t_{i+1}]}(t),$$ ahol $0 = t_0 < ... < t_n = T$ partíció, és $\xi_i$ $\mathcal{F}_{t_i}$-mérhető valószínűségi változó. Tehát az $X_t$ egy olyan folyamat ami minden $\omega \in \Omega$ esetén egy $0 = t_0 < ... < t_n = T$ felosztáshoz tartozó lépcsős függvény, csak a lépcsőfokok véletlenek. $\\$ Itt a $\xi_i$ valószínűségi változó az intervallum bal végpontjához tartozó $\sigma$-algebrára nézve mérhető (emiatt lesz adaptált a folyamat). Egy egyszerű folyamat integrálja a mértékelméleti definícióhoz hasonló: $\\ \textbf{Definíció}: \\$ Legyen $k$ olyan hogy $t \in (t_k; t_{k+1}]$. Ekkor $X$ sztochasztikus integrálja $t$-ben $$I_t(X) = \int_0^t X_s dW_s = \sum_{i=0}^{k-1} \xi_i (W_{t_{i+1}} - W_{t_i}) + \xi_k (W_t - W_{t_k})$$