Por ejemplo, los algoritmos de Markov [Markov 1960] son formalismos Turingcompletos que pueden fácilmente usarse para representar entornos (véase una definición de estos algoritmos y su uso para codificar entornos y agentes en [Hernandez-Orallo 2010b]). 

El problema de utilizar un lenguaje universal como un algoritmo de Markov es que muchos conjuntos de producción no construyen un entorno válido. Pueden producir una secuencia inválida de recompensas, observaciones y acciones, o secuencia alguna, o secuencias muy pequeñas (por lo que el entorno deja de interactuar muy pronto) o no terminan. Adicionalmente, considerando solo los entornos sintácticamente válidos y terminantes, hay otras restricciones impuestas por el marco [Hernandez-Orallo & Dowe 2010]: deben ser entornos sensibles a las recompensas y deben estar balanceados con respecto a los agentes aleatorios. Y finalmente, también hay una certeza de que de este modo es muy improbable generar un entorno que sea social, p. ej. que pueda contener otros agentes con los que interactuar. Como se ha tratado frecuentemente (véase p. ej. 

[Hernandez-Orallo & Dowe 2010]) la inteligencia de los animales (y consecuentemente de los humanos) debe haber evolucionado en entornos reales llenos de objetos y otros animales. 

Nuestra aproximación será diferente. En lugar de generar entornos de máquinas universales incontroladas, definiremos un conjunto controlado, y entonces incluiremos dentro el comportamiento universal. 

## 3.6.2. **Acciones, Observaciones Y El Espacio**

Aparte del comportamiento de un entorno, que puede variar desde ser muy simple a muy complejo, debemos primero clarificar la *interfaz***. ¿Cuántas acciones se van a** 
permitir? ¿Cuántas observaciones diferentes? Está claro que el mínimo número de acciones tienen que ser dos, pero no parece decidirse a priori ningún límite superior. Lo mismo ocurre con las observaciones. 

Si echamos un vistazo a algunos tests de cognición para humanos y animales nohumanos, las acciones pueden ser muy variadas. Para los humanos, puede ser escribiendo una palabra o número siguiendo una secuencia. Para animales, típicamente es más reducido, con un número de botones a presionar pequeño. Las observaciones pueden tener una variedad mucho mayor. Por ejemplo, una secuencia de cuadrados y símbolos, o una secuencia de números o palabras, o incluso imágenes, son típicas en los tests de IQ. 

Incluso en los tests para animales, podemos tener observaciones dinámicas (rotaciones, movimientos, sonidos…). Típicamente, incluso para entornos discretos, el espacio de observaciones se hace grande por simple combinatoria. 

Antes de meternos en detalles con la interfaz, tenemos que pensar en entornos que puedan contener agentes. Esto no solo sucede en la vida real, sino también es un requisito para la evolución y, por lo tanto, para la inteligencia como la conocemos. La existencia de varios agentes que pueden interactuar requiere de un *espacio***. El espacio no** es necesariamente un espacio físico o virtual, sino un conjunto de reglas comunes que 