La capacidad de un niño pequeño para adquirir el lenguaje es asombrosa. Pero de vez en cuando, un niño pequeño captará una palabra inapropiada, a menudo sin comprender su significado. Afortunadamente, con la orientación adecuada, se puede evitar que el niño utilice el término ofensivo.
Una situación similar puede ocurrir con la generación de lenguaje natural (NLG) en el aprendizaje automático, aunque el proceso es muy diferente de cómo las personas usan las palabras. Los sistemas NLG como el modelo de lenguaje GPT-3 de OpenAI son redes neuronales que se han entrenado previamente en un corpus: una enorme colección de escritos. Usando métodos de aprendizaje profundo, el modelo se usa para crear automáticamente texto similar a un humano a partir de una simple solicitud de entrada. Los resultados pueden ser increíblemente realistas y, en ocasiones, difíciles de distinguir de algo escrito por una persona real.
Desafortunadamente, el enfoque también conduce con frecuencia a la generación de lenguaje tóxico, lo que dificulta la confianza en dichos sistemas para usos comerciales automatizados. Como el niño pequeño, el sistema no comprende las palabras que usa; solo sabe que la gente los ha utilizado en un contexto similar anterior.
Ahora, los investigadores del Instituto Allen de Inteligencia Artificial (AI2) y la Universidad de Washington han desarrollado una forma novedosa de guiar estos sistemas de aprendizaje automático, incluida la reducción de su potencial para el lenguaje tóxico.
“DExperts: Generación de texto controlado sobre la marcha con expertos y anti-expertos” es un nuevo artículo de un grupo de investigadores que trabajan en este problema. El equipo quería saber si podían controlar los atributos del texto generados por los modelos de lenguaje (LM) en el momento de la decodificación, sin sacrificar la fluidez o la diversidad. El resultado fue un enfoque que utiliza dos LM más pequeños que modelan el texto con atributos deseables e indeseables para «dirigir» LM más grandes como GPT-3.
“Estos métodos basados en el ajuste fino están modificando el modelo del lenguaje original ellos mismos. Entonces, en el momento de la decodificación, pueden generar directamente desde el modelo ”, dijo Alisa Liu, autora principal del artículo. “No estamos modificando en absoluto el modelo del idioma original. En cambio, estamos afinando a estos expertos más pequeños «.
El enfoque del equipo se basa en una técnica tradicional de aprendizaje automático conocida como «producto de expertos», que permite combinar una serie de resultados más simples para determinar el resultado de un sistema más grande y complejo. Este método permite que cada modelo más pequeño se especialice en analizar un aspecto particular del problema.
En lugar de utilizar solo expertos, el equipo de DExperts agregó un anti-experto a la mezcla. Los investigadores del estudio creen que el suyo puede ser el primer uso de una combinación de LM de expertos y anti-expertos, dos modelos de lenguaje contrastantes que se han ajustado en ciertos datos de atributos específicos del dominio. Al combinarlos, la señal específica del dominio se puede cancelar mientras se sigue dirigiendo el LM objetivo hacia un cierto sentimiento o lejos de un resultado, como un lenguaje tóxico.
Este enfoque se produce en el momento de la decodificación, lo que tiene una serie de ventajas. No es posible que los usuarios finales descarguen enormes conjuntos de datos como GPT-2 y GPT-3 para ejecutarlos en su propia computadora o dispositivo. En cambio, estos modelos de lenguaje de aprendizaje profundo deben operar en grandes clústeres de computadoras y, por lo general, se accede a ellos a través de una API (interfaz de programación de aplicaciones). Debido a esto, el LM grande no se puede alterar directamente, que es donde entran en juego los LM más pequeños.
“Estamos operando en este espacio de modelos de lenguaje que son tan grandes que ni siquiera podemos ejecutarlos nosotros mismos”, dijo Maarten Sap, uno de los autores del artículo. “Y, sin embargo, sorprendentemente, nuestro método todavía funciona en un modelo tan grande. Por lo tanto, al utilizar expertos más pequeños, podemos conducir un modelo como GPT-3, que es realmente genial «.
Según los investigadores, los DExperts superan a los métodos de control de sentimientos existentes, así como a los métodos de desintoxicación existentes. Aunque el estudio solo exploró la dirección hacia o lejos de un solo atributo, el marco es lo suficientemente general como para extenderse a varios expertos y anti-expertos. Presumiblemente, esto le permitiría beneficiarse aún más del método de «producto de expertos» de atributos múltiples que se usa ampliamente en el aprendizaje automático.
Si bien numerosas empresas están desarrollando actualmente productos que utilizan GPT-3, el potencial de resultados inexactos o inapropiados aún dificulta confiar en estos para obtener resultados confiables, especialmente en ciertos entornos comerciales. Las mejoras como los DExperts podrían generar una confianza y una utilidad mucho mayores al utilizar estos modelos. Desde la redacción de una carta o propuesta hasta la automatización de reseñas de películas y libros y la creación de asistentes virtuales, ser capaz de dirigir con más determinación la generación de lenguaje natural solo puede beneficiar a sus muchas aplicaciones.
Pero aunque desarrollos como los DExperts probablemente conducirán a muchos avances y beneficios nuevos, también existe un potencial de uso indebido que no debe ignorarse. Los investigadores reconocen que existe la posibilidad de que sus métodos se utilicen para generar automáticamente textos de odio o extremistas. A medida que la generación automatizada de lenguaje natural se vuelve más poderosa, los estafadores y piratas informáticos también podrían utilizarla para manipular a los incautos. Los chatbots basados en texto y las estafas por correo electrónico impulsadas por inteligencia artificial ya se han vuelto cada vez más frecuentes en los últimos años. La ampliación de estas capacidades a interacciones más sofisticadas, incluidas las comunicaciones de voz sintetizadas, no se queda atrás.
Estas preocupaciones no son nuevas. Dado que cada nueva tecnología da como resultado usos inesperados y consecuencias imprevistas, es bueno pensar en cómo se podrían incorporar las salvaguardas al principio del ciclo de desarrollo.
¿Cómo podría la generación del lenguaje natural volverse más resistente y confiable en el futuro? De cara al futuro, podríamos ver que un método como el razonamiento algorítmico neuronal desempeña un papel. Descrito recientemente en un artículo de investigadores de DeepMind, este enfoque fusiona redes neuronales como estos modelos de lenguaje con computación algorítmica basada en reglas para construir una línea de razonamiento más confiable que se beneficia de las fortalezas de ambos.
La capacidad de los DExperts para controlar potentes LM como GPT-3 en el momento de la decodificación podría tener un gran potencial para las empresas y los consumidores, automatizando muchas tareas administrativas repetitivas y simplificando las rutinas diarias de nuestra vida diaria. También tiene el potencial de hacer que estas aplicaciones sean más respetuosas con el medio ambiente.
“Debido a que este enfoque funciona en tiempo de generación y no se está reentrenando todo el modelo, se está haciendo mucho menos cálculo”, señaló Sap. «Por lo tanto, reduce la huella de carbono y está en el espíritu de la IA verde, que es algo que también nos interesa mucho en AI2».
Deja una respuesta