Los programas de software de inteligencia artificial se están volviendo increíblemente hábiles para mantener conversaciones, ganar juegos de mesa y generar obras de arte, pero ¿qué pasa con la creación de programas de software? En un artículo recientemente publicado, los investigadores de Google DeepMind dicen que su programa AlphaCode puede mantenerse al día con el programador humano promedio en concursos de programación estandarizados.
“Este resultado marca la primera vez que un sistema de inteligencia artificial se ha desempeñado de manera competitiva en concursos de programación”, informan los investigadores en la edición de esta semana de la revista Science.
No hay necesidad de hacer sonar la alarma sobre Skynet todavía: el sistema de generación de código de DeepMind obtuvo una clasificación promedio en el 54,3% superior en evaluaciones simuladas en competencias de programación recientes en la plataforma Codeforces, que es un promedio muy «promedio».
“La programación competitiva es un desafío extremadamente difícil, y hay una gran brecha entre donde estamos ahora (resolviendo alrededor del 30 % de los problemas en 10 envíos) y los mejores programadores (resolviendo >90 % de los problemas en un solo envío)”, científico investigador de DeepMind Yujia Li, uno de los principales autores del artículo de Science, le dijo a GeekWire en un correo electrónico. «Los problemas restantes también son significativamente más difíciles que los problemas que estamos resolviendo actualmente».
Sin embargo, el experimento apunta a una nueva frontera en las aplicaciones de IA. Microsoft también está explorando la frontera con un programa de sugerencia de código llamado Copilot que se ofrece a través de GitHub. Amazon tiene una herramienta de software similar, llamada CodeWhisperer.
Oren Etzioni, director ejecutivo fundador del Instituto Allen de Inteligencia Artificial de Seattle y director técnico de la Incubadora AI2, dijo a GeekWire que la investigación recientemente publicada destaca el estado de DeepMind como un jugador importante en la aplicación de herramientas de IA conocidas como modelos de lenguaje grande o LLM.
“Este es un recordatorio impresionante de que OpenAI y Microsoft no tienen el monopolio de las impresionantes hazañas de los LLM”, dijo Etzioni en un correo electrónico. «Lejos de eso, AlphaCode supera tanto a GPT-3 como a Github Copilot de Microsoft».
Podría decirse que AlphaCode es tan notable por cómo se programa como es para Que tan bien programa. “Lo que quizás sea más sorprendente sobre el sistema es lo que AlphaCode no hace: AlphaCode no contiene ningún conocimiento incorporado explícito sobre la estructura del código informático. En cambio, AlphaCode se basa en un enfoque puramente ‘basado en datos’ para escribir código, aprendiendo la estructura de los programas de computadora simplemente observando muchos códigos existentes”, escribió J. Zico Kolter, científico informático de la Universidad Carnegie Mellon, en un comentario de Science. sobre el estudio
AlphaCode utiliza un modelo de lenguaje grande para crear código en respuesta a las descripciones de un problema en lenguaje natural. El software aprovecha un conjunto masivo de datos de problemas y soluciones de programación, además de un conjunto de código no estructurado de GitHub. AlphaCode genera miles de soluciones propuestas para el problema en cuestión, filtra esas soluciones para descartar las que no son válidas, agrupa las soluciones que sobreviven en grupos y luego selecciona un solo ejemplo de cada grupo para enviar.
“Puede parecer sorprendente que este procedimiento tenga alguna posibilidad de crear el código correcto”, dijo Kolter.
Kolter dijo que el enfoque de AlphaCode posiblemente podría integrarse con métodos de lenguaje de máquina más estructurados para mejorar el rendimiento del sistema.
«Si los métodos ‘híbridos’ de ML que combinan el aprendizaje basado en datos con el conocimiento de ingeniería pueden funcionar mejor en estas tareas, déjenlos intentarlo», escribió. “AlphaCode echa la suerte”.
Li le dijo a GeekWire que DeepMind continúa refinando AlphaCode. “Si bien AlphaCode es un paso significativo de ~0 % a 30 %, aún queda mucho trabajo por hacer”, escribió en su correo electrónico.
Etzioni estuvo de acuerdo en que «hay mucho margen» en la búsqueda de crear software de generación de código. “Espero una iteración y mejoras rápidas”, dijo.
“Estamos a solo 10 segundos del ‘big bang’ de la IA generativa. Próximamente estarán disponibles muchos más productos impresionantes sobre una variedad más amplia de datos, tanto textuales como estructurados”, dijo Etzioni. “Estamos tratando febrilmente de averiguar hasta dónde llega esta tecnología”.
A medida que avanza el trabajo, AlphaCode podría suscitar el prolongado debate sobre la promesa y los peligros potenciales de la IA, tal como lo hizo el programa AlphaGo de DeepMind cuando demostró el dominio basado en máquinas sobre el antiguo juego de Go. Y la programación no es el único campo donde el rápido avance de la IA está causando controversia:
Cuando le preguntamos a Li si DeepMind tenía algún reparo en lo que estaba creando, nos dio una respuesta reflexiva:
“La IA tiene el potencial de ayudar con los mayores desafíos de la humanidad, pero debe construirse de manera responsable y segura, y usarse para el beneficio de todos. Si es beneficioso o perjudicial para nosotros y la sociedad depende de cómo lo implementemos, cómo lo usemos y para qué tipo de cosas decidamos usarlo.
“En DeepMind, adoptamos un enfoque reflexivo para el desarrollo de la IA, invitando al escrutinio de nuestro trabajo y no liberando tecnología antes de considerar las consecuencias y mitigar los riesgos. Guiados por nuestros valores, nuestra cultura de ser pioneros de manera responsable se centra en la gobernanza responsable, la investigación responsable y el impacto responsable (puede ver nuestros Principios operativos aquí).
Actualización para el 8 de diciembre a la 1 p. m. (hora del Pacífico): Sam Skjonsberg, ingeniero principal del Instituto Allen de Inteligencia Artificial que dirige el equipo que construye Beaker, la plataforma interna de experimentación de IA de AI2, intervino con sus observaciones sobre AlphaCode:
“La aplicación de LLM a la síntesis de código no es sorprendente. La generalización de estos modelos a gran escala se está volviendo ampliamente evidente, con esfuerzos como DALL-E, OpenAI Codex, Unified-IO y, por supuesto, ChatGPT.
“Una cosa que es interesante sobre AlphaCode es el paso de procesamiento posterior para filtrar el espacio de la solución, para descartar aquellas que son obviamente incorrectas o fallan. Esto ayuda a enfatizar un punto importante: que estos modelos son más efectivos cuando aumentan nuestras habilidades, en lugar de tratar de reemplazarlas.
“Me encantaría ver cómo se compara AlphaCode con ChatGPT como fuente de sugerencias de codificación. El ejercicio de codificación competitivo contra el que se evaluó AlphaCode es una medida objetiva del rendimiento, pero no dice nada sobre la inteligibilidad del código resultante. Estoy impresionado con las soluciones producidas por ChatGPT. A menudo contienen pequeños errores y fallas, pero el código es legible y fácil de modificar. Eso no es algo fácil de evaluar, pero es un aspecto realmente importante de estos modelos que necesitaremos encontrar una manera de medir.
“En una nota aparte, aplaudo a Google y al equipo de investigación detrás de AlphaCode por publicar públicamente el conjunto de datos en papel y los requisitos de energía. ChatGPT debería hacer lo mismo. Estos LLM ya inclinan la balanza hacia las grandes organizaciones, debido al costo significativo de capacitarlos y operarlos. La publicación abierta ayuda a compensar eso, fomentando la colaboración científica y una mayor evaluación, lo cual es importante tanto para el progreso como para la equidad”.
Además de Li, los principales autores del artículo de investigación en Science, «Generación de código a nivel de competencia con AlphaCode», incluyen a David Choi de DeepMind, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles, James Keeling, Felix Gimeno , Agustín Dal Lago, Thomas Hubert, Peter Choy y Cyprien de Masson d’Autume. Otros trece investigadores figuran como coautores. Una versión preimpresa del papel y los materiales complementarios están disponibles a través de ArXiv.
Deja una respuesta