Las IA se volverán inútiles si siguen aprendiendo de otras IA

Las inteligencias artificiales que se entrenan con texto e imágenes de otras IA, que a su vez han sido entrenadas con los resultados de la IA, eventualmente podrían volverse funcionalmente inútiles.

Las IA como ChatGPT, conocidas como modelos de lenguaje grande (LLM), utilizan grandes depósitos de texto escrito por humanos de Internet para crear un modelo estadístico del lenguaje humano, de modo que puedan predecir qué palabras tienen más probabilidades de aparecer a continuación en una oración. . Desde que estuvieron disponibles, Internet se ha inundado de texto generado por IA, pero no está claro qué efecto tendrá esto en las futuras IA.

Ahora, Ilia Shumailov de la Universidad de Oxford y sus colegas han descubierto que los modelos de IA entrenados con los resultados de otras IA se vuelven muy sesgados, simplificados en exceso y desconectados de la realidad, un problema que denominan colapso del modelo.

Este fallo se debe a la forma en que los modelos de IA representan estadísticamente el texto. Es probable que una IA que ve una frase o una frase varias veces la repita en una salida y es menos probable que produzca algo que rara vez ha visto. Cuando los nuevos modelos se entrenan con texto de otras IA, solo ven una pequeña fracción de los posibles resultados de la IA original. Es poco probable que este subconjunto contenga lanzamientos más raros, por lo que la nueva IA no los incorporará en sus propios lanzamientos posibles.

El modelo tampoco tiene forma de saberlo. si el texto generado por IA que ve coincide con el real, lo que podría introducir aún más información errónea que los modelos actuales.

La falta de datos de entrenamiento suficientemente diversos se ve agravada por las deficiencias en los propios modelos y la forma en que se entrenan, que no siempre representan perfectamente los datos subyacentes en primer lugar. Shumailov y su equipo han demostrado que esto conduce al colapso del modelo para una variedad de modelos de IA diferentes. “A medida que este proceso se repite, eventualmente convergemos a ese estado de locura donde solo hay errores, errores y errores, y la magnitud de los errores es mucho mayor que cualquier otra cosa”, dice Shumailov.

La velocidad de este proceso depende de la cantidad de contenido generado por la IA en los datos de entrenamiento de una IA y el tipo de modelo que utiliza, pero todos los modelos expuestos a los datos de la IA finalmente parecen colapsar.

La única forma de evitar esto sería etiquetar y excluir los resultados generados por IA, dice Shumailov. Pero eso es imposible de hacer de manera confiable a menos que tenga una interfaz en la que se sepa que los humanos ingresan texto, como Google o la interfaz ChatGPT de OpenAI, una dinámica que podría aumentar los beneficios financieros y de TI que ya son importantes para las grandes empresas de tecnología.

Algunos de los errores podrían mitigarse pidiéndoles a las IA que prioricen los datos de entrenamiento antes de que la web se inundara con contenido de IA, dice Vinu Sadasivan de la Universidad de Maryland.

También es posible que los humanos no publiquen contenido de IA en Internet sin modificarlo ellos mismos primero, dice Florian Tramèr del Instituto Federal Suizo de Tecnología de Zúrich. «Incluso si el LLM en sí mismo está sesgado de alguna manera, el proceso de evaluación e indicación humana podría mitigar esto para que los resultados finales estén más cerca del sesgo humano original», dice.