En lugar de eso, vamos a restringir los entornos para que sean sensibles a las acciones de los agentes. Esto significa que una acción equivocada (p. ej. Ir por una puerta equivocada) podría llevar al agente a una parte del entorno desde donde nunca podrá volver (no-ergódico), pero al menos las acciones hechas por el agente pueden modificar las recompensas en este sub-entorno. Más precisamente, queremos que un agente sea capaz de influenciar en las recompensas en cualquier punto del sub-entorno. Esto no implica ergodicidad pero si al menos sensibilidad a las recompensas. Esto significa que no podemos alcanzar un punto en donde las recompensas se dan independientemente de lo que hagamos (un callejón sin salida). Esto se puede formalizar de esta manera: 
DEFINICIÓN 9. ENTORNO SENSIBLE A LAS RECOMPENSAS
Dado un entorno determinista µ**, decimos que es n-acciones sensible a las** 
recompensas si para toda secuencia de acciones a1a2…a3 de longitud k **existe un** 
entorno positivo m≤n **tal que existen dos secuencias de acciones** b1b2…bm y c1c2…cm cuya suma de recompensas que se obtiene con la secuencia de acciones a1a2…akb1b2…bm **es diferente a la suma de recompensas de la secuencia** a1a2…akc1c2…cm. 

Nótese que la definición anterior no significa que cualquier acción tiene un impacto en las recompensas (inmediata o posteriormente), pero sí que en cualquier punto siempre hay al menos dos secuencias de acciones diferentes que puede llevar al agente a obtener recompensas acumuladas diferentes para n **interacciones. Esto significa que estos** entornos pueden tener un agente pegado por un tiempo (en un "agujero") si no se realizan las acciones buenas, pero existe un camino para salir de ahí o al menos para encontrar recompensas diferentes dentro del agujero. En otras palabras, no existen puntos cielo/infierno ni tienen un comportamiento "observador", así que en cualquier punto el agente puede esforzarse para incrementar sus recompensas (o impedir que decrezcan). 

Según las definiciones anteriores, muchos juegos de mesa que conocemos no son entornos sensibles a las recompensas. Por ejemplo, existen posiciones en el juego de las damas donde inevitablemente cualquier movimiento conduce a una distinta forma de perder/ganar (asumiendo cierta habilidad por parte del oponente o usando la solución perfecta dada por [Schaeffer 2007]). Pero también nótese que no es muy difícil modificar la puntuación para hacerla completamente sensible a las recompensas asignándole puntos a la puntuación que dependan de los movimientos y la posición antes de perder (p. ej. perder en 45 movimientos es mejor que perder en 25 movimientos). 

Ahora vamos a dar a una definición más refinada de la Inteligencia Universal utilizando los entornos sensibles a las recompensas, las recompensas simétricas, el entorno balanceado y la media de las recompensas: 