Wray 2010], así como cualquier medida de la inteligencia establecida vista en la subsección anterior (excepto, quizás, muchos tipos de tests psicométricos como CAPTCHAs o el Test de Turing, debido a la ausencia de recompensas). 

Bajo esta configuración primero tenemos que pensar en un conjunto de entornos tales que sean los suficientemente complejos como para cumplir los requisitos anteriores. O, en otras palabras, no podemos asumir ninguna restricción en los entornos y observaciones si queremos que la configuración sea lo suficientemente general para una medición de inteligencia. En particular, en el aprendizaje por refuerzo, muchas técnicas asumen que el entorno es un *Markov Decision Process* **(MDP). En otros casos, sin** embargo, se asume que los entornos son completamente observables, p. ej. que existe una función entre las observaciones y los estados. No podemos asumir esto, ya que muchos problemas del mundo real no son completamente observables. Este es especialmente el caso en contextos sociales donde otros individuos pueden tener vistas diferentes (y parciales) de la misma situación. 

En [Legg 2008], se desarrolla una taxonomía de entornos, mientras que se distingue entre muchos tipos de entornos. Por ejemplo, entornos pasivos son aquellos en los cuales las acciones de los agentes solamente pueden afectar a las recompensas pero no a las observaciones. Una sub-categoría especial es la secuencia de predicción como se utiliza en los tests psicométricos clásicos, y también los problemas de clasificación típicos en el aprendizaje automático. Algunos otros tipos de entornos son los **Markov Decision** 
Processes **(MDP) de orden n, donde la siguiente observación solo puede depender de las** 
últimas n observaciones y las últimas n **acciones. Se puede ver que los MDPs de orden n** 
pueden reducirse a MDPs de primer orden (o simplemente MDPs). En este caso, es natural hablar de "estados", como muchos juegos de mesa y algunos laberintos, ya que la próxima recompensa y observación solo dependen de la observación y acción anterior. Un tipo especial de MDPs son los MDPs ergódicos, los cuales se caracterizan por poderse alcanzar cualquier posible observación (en uno o más ciclos) a partir de cualquier estado. 

Esto significa que en cualquier estado, las acciones del agente pueden hacerle recuperarse de una mala decisión anterior. Creemos que esto es una gran limitación y, como ha sido anteriormente mencionado y defendido por muchos (p. ej. [Laird & Wray 2010]), necesitamos ser tan generales como sea posible en la clase de entornos que necesitamos considerar. 

Trataremos de considerar el concepto más general (o clase) de entorno y el concepto más general de agente, a fin de permitir una prueba universal, en la forma en la que da cuenta de una variedad de contextos y aplicable a cualquier tipo de agente. Por el momento, únicamente asumiremos que los entornos son infinitos (p. ej. ninguna secuencia de acciones los hace parar) y que están basados en un modelo, p. ej., tenemos una descripción, programa o modelo tras de ellos. También asumiremos que este modelo es computable. 

Aparte de las características de los entornos y agentes, cuando abordemos la cuestión de la evaluación del agente, necesitamos estudiar sin restricción alguna la distribución de las recompensas que se necesita, y, muy especialmente, cómo se agregan las recompensas. En el aprendizaje por refuerzo, se han definido muchas agregaciones de funciones o ganancias. Por ejemplo, la forma más común de evaluar el rendimiento de un 