для всех  и n . Эта задача представляет существенную трудность. Однако, многие вероятностные процессы допускают более простое описание. В основе классификации вероятностных процессов лежат три характеристики: пространство состояний; индексирующий параметр (время); статистические зависимости между случайными значениями процесса x (t ) для разных значение времени.

Пространство состояний - это множество всех возможных состояние процесса t (x ). Если множество состояние конечно или счетно, мы имеем дело о дискретным процессам, который часто называется цепью. Если множество состояний имеет мощность континуума, то процесс непрерывный.

Если изменения состоянии процесса допускаются в конечном или счетном числе моментов времени, имеет место процесс о дискретным временем. Если множество значений времени имеет мощность континуума, имеет место процесс с непрерывным временем.

Вероятностный процесс называется стационарным, если функция распределения инвариантна относительно сдвигов во времени для всех значений ее аргументов.

В 1907 г. А.А.Марков опубликовал работу, в которой были определены и исследованы процессы» известные сейчас под названием марковских. Эти процессы занимают центральное место в теории СМО.

Стационарный процесс с дискретным пространством состояний называется цепью Маркова. Наиболее простая - цепь Маркова о дискретным временем.

Множество случайных величин образует цепь Маркова, если вероятность того, что следующее состояние равно x_{n +1} , зависит только от текущего состояния x_n и не зависит от предыдущих значений параметров процесса.

Таким образом, процесс Маркова лишен памяти. Иначе говорят, что он лишен последействия.

Изменения состояний в цепи Маркова с дискретным временем можно полагать происходящими при целых значениях времени.

Пусть в какой-то момент времени цепь находится в состоянии i . В следующий момент времени с вероятностью P_ij она останется в этом состоянии и с вероятностью 1- P_ij покинет его. Здесь и далее принято: P_ij (n )=P [x_{n +1}=i /x_n =j ]. Если вероятности P_ij (n ) не зависят от времени, т.е. P_ij (n )= P_ij , то вероятность того, что процесс находился в состоянии i ровно K моментов времени равна . Это есть геометрическое распределение, которое единственное из дискретных имеет свойство отсутствия последействия.

Для цепи Маркова с непрерывным временем на первый план выступает экспоненциальное распределение, которое, как известно из курса теории вероятностей, также не имеет последействия.