Los modelos de lenguaje de la IA cometen errores de percepción que afectan a la ciencia
A los investigadores les preocupa que los flujos de lenguaje generados por computadoras puedan cometer errores y generar confusión en asuntos vinculados a la ciencia Pixabay
Las tecnologías emergentes de la Inteligencia Artificial se acercan cada vez más a la perfectibilidad al hacer investigaciones sesudas a partir de data. También realizan traducciones, escritos bien redactados y fluidos, pero estos modelos de lenguaje extenso de la IA aun cometen errores, que podrían cambiar la forma en que se hace ciencia
Los algoritmos de aprendizaje automático que generan un lenguaje fluido a partir de grandes cantidades de texto podrían cambiar la forma en que se hace ciencia. Pero no necesariamente para mejor, dijo Shobita Parthasarathy, especialista en gobernanza de tecnologías emergentes de la Universidad de Michigan en Ann Arbor.
Parthasarathy, y su equipo de investigadores intentan anticipar los impactos sociales de las tecnologías emergentes de IA llamadas modelos de lenguaje extenso (LLM).
Estos pueden producir una prosa sorprendentemente convincente, traducir entre idiomas, responder preguntas e incluso producir código. Las corporaciones que los crean, incluidas Google, Facebook y Microsoft, tienen como objetivo usarlos en chatbots. Y en motores de búsqueda, y para resumir documentos, dice un informe publicado en Nature.
Al menos una empresa, Debería, en San Francisco, California, está probando LLM en investigación. Está construyendo una herramienta llamada ‘Elicit’ para responder preguntas utilizando la literatura científica.
Estos modelos de la Inteligencia Artificial ya son controvertidos. A veces repiten errores o estereotipos problemáticos en los millones o miles de millones de documentos en los que están capacitados. Y a los investigadores les preocupa que los flujos de lenguaje generados por computadoras que no se distinguen de la escritura humana puedan causar desconfianza y confusión.
Parthasarathy comentó que los LLM podrían fortalecer los esfuerzos para comprender la investigación compleja. Pero también podrían profundizar el escepticismo público sobre la ciencia.
Particularidades de los modelos de lenguaje de la IA
En entrevista con la publicación científica, Shobita Parthasarathy se refirió a los modelos de lenguaje de la IA. Dijo que confió que “originalmente había pensado que los LLM podrían tener impactos democratizadores y de empoderamiento. Cuando se trata de ciencia, podrían capacitar a las personas para extraer rápidamente información de la información. Consultando síntomas de enfermedades, por ejemplo, o generando resúmenes de temas técnicos”.
Pero los resúmenes algorítmicos podrían cometer errores. Incluir información desactualizada o eliminar matices e incertidumbres, sin que los usuarios lo aprecien. Si alguien puede usar LLM para hacer que la investigación compleja sea comprensible, puede correr el riesgo de obtener una visión simplificada e idealizada de la ciencia. Y que está en desacuerdo con la desordenada realidad. Esto, sin dudas, podría amenazar el profesionalismo y la autoridad.
También podría exacerbar los problemas de confianza pública en la ciencia. Y las interacciones de las personas con estas herramientas serán muy individualizadas. Y cada usuario obtendrá su propia información.
Señaló que es un gran problema el hecho de que los modelos puedan basarse en investigaciones obsoletas o poco confiables. Pero eso no significa que las personas no usarán LLM. Son atractivos y tendrán una apariencia de objetividad asociada con su producción fluida y su representación como nuevas tecnologías emocionantes. Es posible que el usuario medio no reconozca el hecho de que tienen límites, que pueden basarse en conjuntos de datos parciales o históricos.
Es fácil para los científicos afirmar que son inteligentes y darse cuenta de que los LLM son herramientas útiles pero incompletas. Aún así, este tipo de herramienta podría reducir su campo de visión y podría ser difícil reconocer cuándo un LLM se equivoca en algo.
Tecnologías útiles en humanidades
La experta afirmó que los modelos de lenguaje extenso de la IA podrían ser útiles en humanidades digitales y en la literatura. Por ejemplo, para resumir lo que dice un texto histórico sobre un tema en particular. Pero los procesos de estos modelos son opacos y no proporcionan fuentes junto con sus resultados. Por lo tanto, los investigadores deberán pensar detenidamente cómo los van a utilizar. “He visto algunos usos propuestos en sociología y me ha sorprendido lo crédulos que han sido algunos académicos”, dijo a Nature.
Cree que las grandes editoriales científicas estarán en la mejor posición para desarrollar LLM específicos de ciencia. Adaptados de modelos generales, capaces de rastrear el texto completo patentado de sus artículos. También podrían buscar automatizar aspectos de la revisión por pares, como consultar textos científicos para averiguar quién debe ser consultado como revisor. Los LLM también pueden usarse para tratar de seleccionar resultados particularmente innovadores en manuscritos o patentes, y tal vez incluso para ayudar a evaluar estos resultados.
Los editores también podrían desarrollar software LLM para ayudar a los investigadores en países de habla no inglesa a mejorar su prosa.
En su opinión “los editores pueden llegar a acuerdos de licencia, por supuesto. Poniendo su texto a disposición de las grandes empresas para que lo incluyan en su corpus. Pero creo que es más probable que intenten mantener el control. Si es así, sospecho que los científicos, cada vez más frustrados por sus monopolios del conocimiento, lo cuestionarán. Existe cierto potencial para los LLM basados en documentos de acceso abierto y resúmenes de documentos de pago. Pero puede ser difícil obtener un volumen grande de texto científico actualizado de esta manera”.
Capacitación y regulación
En el análisis de los modelos de lenguaje extenso de la IA, Parthasarathy adelantó que algunas personas usarán LLM para generar documentos falsos o casi falsos. Si es fácil y creen que les ayudará en su carrera. Aún así, eso no significa que la mayoría de los científicos, que quieren ser parte de las comunidades científicas, no podrán ponerse de acuerdo sobre las regulaciones y normas para el uso de LLM.
“Es fascinante para mí que casi ninguna herramienta de IA haya sido sometida a regulaciones sistemáticas. O mecanismos de mantenimiento de estándares”, refirió. “Eso también es cierto para los LLM: sus métodos son opacos y varían según el desarrollador. En nuestro informe, hacemos recomendaciones para que los organismos gubernamentales intervengan con la regulación general”.
Específicamente para el posible uso de LLM en la ciencia, la transparencia es crucial. Aquellos que desarrollan LLM deben explicar qué textos se han utilizado y la lógica de los algoritmos involucrados. Y deben ser claros acerca de si se ha utilizado software de computadora para generar un resultado. Creemos que la Fundación Nacional de Ciencias de EE UU también debería apoyar el desarrollo de un LLM capacitado en todos los artículos científicos disponibles públicamente.
Y los científicos, asentó, deben tener cuidado con las revistas o los financiadores que confían en los LLM para encontrar revisores pares. O (posiblemente) extender este proceso a otros aspectos de la revisión, como la evaluación de manuscritos o subvenciones. Debido a que los LLM se desvían hacia los datos anteriores, es probable que sean demasiado conservadores en sus recomendaciones.
Lee también en Cambio16.com:
Suscríbete y apóyanos «Por un mundo más humano, justo y regenerativo»
Gracias por leer Cambio16. Vuestra suscripción no solo proporcionará noticias precisas y veraces, sino que también contribuirá al resurgimiento del periodismo en España para la transformación de la conciencia y de la sociedad mediante el crecimiento personal, la defensa de las libertades, las democracias, la justicia social, la conservación del medio ambiente y la biodiversidad.
Dado que nuestros ingresos operativos se ven sometidos a una gran presión, su apoyo puede ayudarnos a llevar a cabo el importante trabajo que hacemos. Si puedes, apoya a Cambio16 ¡Gracias por tu aportación!
Las aves son las primeras víctimas de una ola de calor en la India, caen por miles del cielo sin vida
Próximo artículoPrograma Artemis de la NASA pide recursos para volver a la Luna
Citations & References:
How language-generation AIs could transform science. Nature.com
Dateline:
Madrid, España
