El robot entrenado en simulación de juegos funciona mejor en la vida real

Por Chris Stokel-Walker

Lee y col., Sci. Robot. 5, eabc5986 (2020)

Entrenar a un robot en una simulación que le permita recordar cómo salir de situaciones difíciles le facilita atravesar terrenos difíciles en la vida real.

Joonho Lee de ETH Zurich en Suiza y sus colegas entrenaron un algoritmo de red neuronal, diseñado para controlar un robot de cuatro patas, en un entorno simulado similar a un videojuego, que estaba lleno de colinas, escalones y escalera.

Los investigadores le dijeron al algoritmo en qué dirección debería intentar moverse, mientras limitaban la velocidad a la que podía girar, reflejando las capacidades del robot real. Luego, iniciaron el algoritmo realizando movimientos aleatorios en la simulación, recompensándolo por moverse de la manera correcta y penalizándolo de lo contrario. Al acumular recompensas, la red neuronal ha aprendido a moverse sobre una variedad de terrenos.

Publicidad

Actualmente, la mayoría de los robots responden en tiempo real a las mediciones de su entorno utilizando reacciones preprogramadas, encontrando todos los problemas por primera vez. Una red neuronal permite que el robot confíe en sus errores y, al entrenar primero el algoritmo en una simulación, el equipo puede limitar el riesgo y reducir los costos. .

"No podemos llevarlo a los terrenos reales en los que queremos entrenarlo porque podría dañar el robot, lo cual es muy caro", dice Lee.

Inicialmente, los investigadores utilizaron una pequeña red neuronal preprogramada con conocimientos sobre el entorno simulado, lo que permitió que el algoritmo aprendiera rápidamente tomando entradas de sensores virtuales y memorizándolas. Luego transfirieron ese conocimiento a una gran red utilizada para controlar el robot real.

Gracias a este experimento, el robot pudo moverse 0,452 metros por segundo sobre un terreno cubierto de musgo, más del doble de rápido de lo que puede moverse con su programación predeterminada.

Referencia de la revista: Robótica científica, DOI: 10.1126 / scirobotics.abc5986