(respectivamente) denotar acciones, recompensas y observaciones en la interacción o ciclo i **(o estado). Las recompensas y las observaciones son las salidas del entorno. El par** 
<ri, oi> **es también conocido como una percepción. El orden de los eventos es siempre:** 
recompensa, observación y acción. Una secuencia de estos eventos es entonces una cadena como r1o1a1r2o2a2**. Tanto el agente como el entorno se definen como una medida** 
probabilística. Por ejemplo, dado un agente, denotado como π, el termino π(ak | r1o1a1r2o2a2 … rkok) denota la probabilidad de que el agente π ejecute la acción ak **después** 
de la secuencia de eventos r1o1a1r2o2a2 … rkok**. De forma similar, un entorno µ también es** 
una medida probabilística la cual asigna probabilidades para cada posible par de observaciones y recompensas. Como µ(rkok | r1o1a1r2o2a2 … rk-1ok-1ak-1**), por ejemplo,** 
denota la probabilidad en el entorno µ de proporcionar rkok **después de la secuencia de** 
eventos r1o1a1r2o2a2 … rk-1ok-1ak-1**. Nótese que si para todos los ciclos existe una única** 
acción/percepción con probabilidad 1 (y 0 para el resto), entonces tenemos un agente/entorno determinista. Si combinamos la medición probabilística para el agente y el entorno tenemos una medida probabilística para el historial de interacción o secuencia. Los historiales de interacción serán deterministas (respectivamente, computables) si tanto el agente y el entorno son deterministas (respectivamente, computables). 

Denotaremos con ai µ,π, ri µ,π y oi µ,π**, la acción, la recompensa y la observación en la** 
interacción o ciclo i **para el entorno µ y el agente π.** 

## Ejemplo 1.

Considera el escenario de un test donde un chimpancé (el agente) puede presionar uno de tres posibles botones (A = {B1, B2, B3**}), las recompensas son solo** 
la entrega (o no) de una banana (R = {*0, 1***}) y la observación son tres celdas donde** 
una pelota debe estar exactamente dentro de una de ellas (O = {C1, C2, C3**}). Un** 
ejemplo de un posible entorno es: 
µ(rkok | r1o1a1r2o2a2 ... rk–1ok–1ak–1) = 1 si ((ak–1 = B1 y ok–1 = C1**) o (**ak–1 = B2 y ok–1 = 
C2) o (ak–1 = B3 y ok–1 = C3)) y (rk **= +1)** 
µ(rkok | r1o1a1r2o2a2 ... rk–1ok–1ak–1) = 1 si ¬((ak–1 = B1 y ok–1 = C1**) o (**ak–1 = B2 y ok–1
= C2) o (ak–1 = B3 y ok–1 = C3)) y (rk **= 0)** 
µ(rkok | r1o1a1r2o2a2 ... rk–1ok–1ak–1**) = 0 en cualquier otro caso.** 
La observación ok **en ambos casos es generada aleatoriamente con una** 
distribución uniforme entre las tres posibilidades de O**. La primera recompensa es** 1 (empezamos el juego dándole una banana al chimpancé). 

De acuerdo con la definición del entorno anterior, un chimpancé que siempre seleccione el botón correspondiente a la celda donde se encuentre la pelota puntuará una recompensa de +1 (una banana) en cada ciclo. Por ejemplo, si el entorno muestra C2 y el chimpancé presiona B2**, entonces se le recompensará con** 
una banana. Aunque el ejemplo anterior es muy sencillo, la configuración general que se muestra en la Figura 1, utilizando entornos, agentes, acciones, observaciones y recompensas es lo suficientemente poderoso como para representar los requisitos establecidos en [Laird & 