Langevin Monte Carlo

Niniejsza praca koncentruje się na klasie algorytmów Langevin Monte Carlo, wykorzystujących informację o gradiencie logarytmu gęstości rozkładu docelowego. Implementacja tych metody wymaga dyskretyzacji ciągłego równania Langevina. Głównym celem pracy jest analiza teoretyczna algorytmów wywodzących się z dyfuzji Langevina oraz weryfikacja ich skuteczności poprzez przeprowadzenie eksperymentów numerycznych. W pracy omówione zostało równanie Langevina w czasie ciągłym wraz z udowodnieniem ergodyczności dyfuzji Langevina. Przedstawiona została jej dsykretyzacja poprzez zastosowanie schematu Eulera-Maruyamy (algorytm ULA) oraz jego ulepszenie poprzez dodanie kroku akceptacji-odrzucenia (algorytm MALA).

This thesis focuses on the class of Langevin Monte Carlo algorithms that utilize gradient information of log-density of the target distribution. The implementation of these methods requires the discretization of the continuous Langevin equation. The primary objective of this work is the theoretical analysis of algorithms derived from Langevin diffusion, as well as verification of their efficiency through numerical experiments. The thesis discusses the continuous-time Langevin equation along with a proog of the ergodicity of Langevin diffusion. Furthermore, the discretization using the Euler-Maruyama scheme (the ULA algorithm) is presented, followed by its improvement through the addition of ana accept-reject step (the MALA algorithm).