Long-term portfolio optimization with transaction costs: applications of reinforcement learning for risk-sensitive criterion.

Praca koncentruje się na problemie optymalizacji portfela finansowego na długim okresie czasu, uwzględniając proporcjonalne koszty transakcyjne i ryzyko. Celem jest minimalizacja ryzyka i maksymalizacja zysku na jednostkę czasu poprzez dobór odpowiednich strategii inwestycyjnych. Autor rozważa kryterium wrażliwe na ryzyko w formie entropicznej funkcji użyteczności. Korzystamy z metod iteracji operatora Bellmana i metod uczenia ze wzmocnieniem wrażliwego na ryzyko do znalezienia optymalnej strategii. Praca składa się z trzech głównych części: wprowadzenie do pojęć portfela finansowego, kryterium wrażliwego na ryzyko i operatora Bellmana; omówienie metod uczenia ze wzmocnieniem i procesu decyzyjnego Markowa; oraz porównanie implementacji obu metod. Wyniki sugerują, że metody uczenia ze wzmocnieniem mogą być skuteczniejsze niż proste strategie typu "kup i trzymaj", porównywalne ze strategią optymalną i gorsze od metody iteracyjnej. Niemniej jednak metody te wymagają istotnie mniejszej ilości założeń, a także są efektywniejsze obliczeniowo od metody iteracyjnej. Na końcu pracy wymieniono niedociągnięcia metod uczenia ze wzmocnieniem wynikające z implementacji, oraz potencjalne usprawnienia.

The paper focuses on the problem of financial portfolio optimization over a long period of time, taking into account proportional transaction costs and risk. The goal is to minimize risk and maximize profit per unit of time by selecting appropriate investment strategies. The author considers a risk-sensitive criterion in the form of an entropic utility function.We use the methods of Bellman operator iteration and risk-sensitive reinforcement learning to find the optimal strategy. The work consists of three main parts: an introduction to the concepts of financial portfolio, risk-sensitive criterion, and Bellman operator; a discussion of reinforcement learning methods and the Markov decision process; and a comparison of the implementation of both methods. The results suggest that reinforcement learning methods may be more effective than simple "buy and hold" strategies, comparable to the optimal strategy, and worse than the iterative method. Nevertheless, these methods require significantly fewer assumptions and are also more computationally efficient than the iterative method. At the end of the paper, the shortcomings of reinforcement learning methods resulting from the implementation, as well as potential improvements, are listed.