
## Recompensas

Trabajaremos con la noción de "rastro" y la noción de "recompensa de celda" que denotamos como r(Ci). Inicialmente, r(Ci) = 0 para todo i**. Las recompensas de las celdas se** 
actualizan con los movimientos de ⊕ y ⊖. En cada interacció**n, ponemos** ri
⊕ **a la** 
recompensa de la celda donde esté ⊕ y -ri
⊖ **a la recompensa de la celda donde esté** 
⊖. En cada interacción, todas las demá**s recompensas de las celdas se dividen entre 2.** 
Por lo que, intuitivamente podemos ver que **⊕ va dejando un rastro positivo y ⊖** **va** 
dejando un rastro negativo. El agente π *se come* **la recompensa que encuentra en la celda** 
que ocupa, actualizando la recompensa acumulada *p = p + r(C*i). Con *se come* **se refiere a** 
que justo después de obtener la recompensa, la recompensa de la celda se establece a 0. 

Los objetos ⊕ y ⊖ dan una recompensa de 0 si comparten una celda con π**. Los** 
valores de ri
⊕ **y -**ri
⊖ que dejan ⊕ y ⊖ en el resto de las ocasiones son tambié**n parte del** 
comportamiento de ⊕ y ⊖ **(lo cual es lo mismo, pero esto no significa que** ri
⊕ **= -**ri
⊖, 
para todo i). Solo una restricción es impuesta en có**mo estos valores pueden ser** 
generados, ∀i **: 0 <** ri
⊕ **≤ ½ y 0 <** ri
⊖ ≤ ½. Finalmente, nó**tese que las recompensas y los** 
rastros no son parte de las observaciones, por lo que no se pueden (directamente) 
observar por un objeto (incluyendo a π). 

A fin de mantener las recompensas acumuladas entre -1 y 1 y prevenir que π **se** 
duerma en los laureles, al final de la evaluación, dividimos la recompensa acumulada por el número final de interacciones, con un ajuste, como se ve en [Hernandez-Orallo 2010a]. 

Usaremos el término Λ para esta clase de entorno. 

## Ejemplos

Dada la configuración de la clase de entorno dada arriba, veamos algunos ejemplos dentro de Λ. Empecemos con el entorno más simple dentro de la clase. 

Ejemplo Considera na = 2 = |{α1, α2}|, nc = 2 y no **= 0. El espacio está necesariamente** 
compuesto de dos celdas y dos flechas, α1 que va a la misma celda y α2 **que se dirige a la** 
otra celda. El comportamiento más simple para ⊕ y ⊖ es ejecutar siempre α1 o α2**, y** 
teniendo ri
⊕ = ri
⊖ = ½ **para siempre. Inicialmente, Good y Evil son situados** 
aleatoriamente en las dos celdas (sin poder situarse en la misma celda). Ya que el entorno es simétrico, considera que ⊕ está en la celda 1 y ⊖ está **en la celda 2. En el caso de que** 
el comportamiento sea α1 (recuerda que es el mismo para ambos ⊕ y ⊖**), entonces** 
ambos Good y *Evil* se quedarán para siempre en su celda. La recompensa será **entonces** 
½ si el agente empieza en la posición donde está ⊖ **y se mueve al lugar donde est**á ⊕, 
entonces recibirá recompensas de 0 ya que se mantiene donde está ⊕**. Si el agente** 
empieza donde está ⊕ entonces el movimiento a la celda donde está ⊖ **recibir**á -½ y pronto intentará volver donde está ⊕, recibiendo ½. Aunque la media convergerá **a 0, es** 
conveniente mantenerse donde esté ⊕**. En el caso de que el comportamiento de** ⊕ y ⊖ sea α2, entonces ambos Good y Evil intercambiará**n siempre las celdas.** 
Consecuentemente, la mejor estrategia para el agente será **moverse a la celda donde est**é
⊕, obteniendo ½ de media. 