Las empresas de inteligencia artificial como OpenAI están tratando de superar los retrasos y desafíos inesperados en la búsqueda de modelos de lenguaje cada vez más grandes mediante el desarrollo de técnicas de entrenamiento que utilizan formas más parecidas a las humanas para que los algoritmos «piensen».
Una docena de científicos, investigadores e inversores de IA dijeron que creen que estas técnicas, que están detrás del modelo o1 lanzado recientemente por OpenAI, podrían remodelar la carrera armamentista de la IA y tener implicaciones para los tipos de recursos que las empresas de IA tienen una demanda insaciable, desde energía hasta tipos de chips.
OpenAI se negó a hacer comentarios para esta historia. Después del lanzamiento del chatbot viral ChatGPT hace dos años, las empresas de tecnología, cuyas valoraciones se han beneficiado enormemente del auge de la IA, han mantenido públicamente que «ampliar» los modelos actuales mediante la adición de más datos y potencia informática conducirá constantemente a modelos de IA mejorados.
Pero ahora, algunos de los científicos de IA más destacados están hablando sobre las limitaciones de esta filosofía de «cuanto más grande, mejor».
Ilya Sutskever, cofundador de los laboratorios de inteligencia artificial Safe Superintelligence (SSI) y OpenAI, dijo a Reuters recientemente que los resultados de la ampliación del preentrenamiento (la fase de entrenamiento de un modelo de IA que utiliza una gran cantidad de datos no etiquetados para comprender los patrones y las estructuras del lenguaje) se han estancado.
A Sutskever se le reconoce ampliamente como uno de los primeros defensores de lograr grandes avances en el avance de la IA generativa mediante el uso de más datos y potencia informática en el preentrenamiento, lo que finalmente creó ChatGPT. Sutskever dejó OpenAI a principios de este año para fundar SSI.
