Gibbsovo vzorkování

Gibbsovo vzorkování (Gibbsův výběrový plán, anglicky Gibbs sampler) je algoritmus, který umožňuje generovat náhodný výběr z mnohorozměrného rozdělení pomocí jednorozměrných plně podmíněných rozdělení. Tento algoritmus patří do třídy MCMC algoritmů, které náhodný výběr generují jako realizaci Markovova řetězce.

Implementace

Generování z rozdělení mnohorozměrné náhodné veličiny $\mathbf {X} =(X_{1},\dots ,X_{d})$ probíhá následujícím způsobem:

1. Zvolíme počáteční hodnotu $\mathbf {X} ^{(0)}=(x_{1}^{(0)},\dots ,x_{d}^{(0)})$ a položíme $t=0$.
2. Začneme generováním prvního prvku $x_{1}^{(t+1)}$ z podmíněného rozdělení $X_{1}|x_{2}^{(t)},\dots ,x_{d}^{(t)}$. Pro druhý prvek podmiňujeme i pomocí nově generované hodnoty, tedy prvek $x_{2}^{(t+1)}$ je generován z podmíněného rozdělení $X_{2}|x_{1}^{(t+1)},x_{3}^{(t)},\dots ,x_{d}^{(t)}$. Postupně generujeme ostatní prvky až do $x_{d}^{(t+1)}$ z rozdělení $X_{d}|x_{1}^{(t+1)},\dots ,x_{d-1}^{(t+1)}$. Nové hodnoty můžeme složit do vektoru $\mathbf {X} ^{(t+1)}=(x_{1}^{(t+1)},\dots ,x_{d}^{(t+1)})$.
3. Dokud není splněna předem stanovená podmínka (například počet iterací), položíme $t=t+1$ a vrátíme se ke druhému kroku.

Využití

Gibbsovo vzorkování je užitečné především v hierarchických bayesovských modelech, ve kterých jsou tvary plně podmíněných rozdělení přímočaré, ale úplné rozdělení parametrů může být komplikované. Počáteční hodnotu pro Gibbsovo vzorkování lze získat například pomocí EM algoritmu.

Modifikace

Gibbsovo vzorkování může být upraveno následovně:

• Místo pouze jednorozměrných plně podmíněných rozdělení můžeme používat i kombinaci vícerozměrných podmíněných rozdělení (např. $X_{1}|x_{2},x_{3}$ a $X_{2},X_{3}|x_{1}$).
• Místo generování od prvního prvku k poslednímu můžeme generovat v opačném pořadí; takový postup lze použít v důkazu existence limitního rozdělení.
• Index prvku, který aktualizujeme, může být vybrán náhodně (každý index má pravděpodobnost výběru ${\frac {1}{d}}$). V takovém případě mluvíme o náhodném procházení.

Literatura

• GELFAND, Alan E.; SMITH, Adrian F. M. Sampling-Based Approaches to Calculating Marginal Densities. Journal of the American Statistical Association. 1990, s. 398–409. DOI 10.2307/2289776. JSTOR 2289776. 
• GEMAN, Stuart; GEMAN, Donald. Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images. IEEE. 1984, s. 721–741. 

Portály: Matematika