Principios básicos de las cadenas de Markov

Abstract

[ES] El propósito de este trabajo es estudiar y entender las cadenas de Markov en tiempo discreto. Comenzaremos con las nociones básicas de teoría de la probabilidad para llevar a cabo el posterior estudio de las cadenas de Markov. Empezaremos por la definición de procesos estocásticos, así como la clasificación de estos y seguiremos con el estudio de las cadenas de Markov, hablaremos de sus propiedades así como de sus usos y aplicaciones más generales. Veremos, mediante ejemplos, la utilidad que tienen estas cadenas de Markov en la vida real. Haremos especial hincapié en las cadenas de Markov homogéneas en tiempo discreto, nos centraremos en sus propiedades y daremos un resultado importante que nos indica cómo se comportan a largo plazo. Por último, presentaremos algunos ejemplos de cadenas de Markov, utilizando la herramienta informática R, que nos permite hacer simulaciones, calcular características y obtener representaciones gráficas de las cadenas de Markov.

[EN] The purpose of this work is to study and understand Markov’s chains in discrete time. We will begin with the basic notions of probability theory to carry out the further study of Markov chains. We will start with the definition of stochastic processes, as well as the classification of these and continue with the study of Markov chains. We will also refer to their properties as well as their more general uses and applications. We will see, through examples, how useful these Markov chains are in real life. Special emphasis will be placed on homogeneous Markov chains in discrete time, focused on their properties and an important result that tells us how they behave in the long term will be given. Finally, some examples of Markov strings will be given, using the computer tool R, which allows us to make simulations, calculate characteristics and obtain graphical representations of Markov strings.