Una enfermedad ocular inventada ha expuesto un problema actual con la inteligencia synthetic.Investigadores en Suecia inventaron deliberadamente una condición llamada bixonimanía para ver si los chatbots de IA populares podrían reconocer información médica falsa. En cambio, varios grandes modelos lingüísticos describieron con confianza la enfermedad inexistente como si fuera genuina, mostrando con qué facilidad se puede difundir información errónea a través de sistemas de inteligencia synthetic entrenados con datos de Web, especialmente en temas delicados como la salud.El experimento también reveló otra preocupación. Algunos investigadores citaron artículos científicos falsos relacionados con la enfermedad imaginaria sin darse cuenta de que los estudios admitían abiertamente que habían sido inventados.
Una enfermedad falsa con un propósito actual
El proyecto fue dirigido por Almira Osmanovic Thunström, investigadora médica de la Universidad de Gotemburgo, que también trabaja como estratega de IA y directora de innovación en Chalmers Industriteknik en Suecia.Se le ocurrió la thought mientras enseñaba a los estudiantes cómo se construyen y entrenan modelos de lenguaje grandes, o LLM.«Fue interesante ver cómo pocos de ellos, o incluso cuán pocas personas dentro de la IA, entienden cómo se construyen los grandes modelos de lenguaje», le cube a Rachel Feltman en Científico americano‘s Ciencia rápidamente podcast.Para demostrar cómo estos sistemas recopilan información, Osmanovic Thunström y sus colegas crearon la bixonimanía, una afección ocular supuestamente relacionada con el uso excesivo de pantallas y la exposición a la luz azul.El objetivo no period engañar a la gente, sino ver si los chatbots podían distinguir información confiable del materials fabricado que se había colocado deliberadamente en línea.«Así que realmente quería tener un caso claro que dejara rutas de navegación a lo largo de todo el sistema para mostrar cómo se procesan los datos, cómo se generan y cómo funcionan el modelo de predicción y el modelo de entrenamiento cuando se trata de distribuir información», añade Osmanovic Thunström.
‘Perdedor mentiroso’
A principios de 2024, los investigadores comenzaron a sembrar Web con información sobre la enfermedad falsa.Publicaron dos publicaciones de weblog en Medium y subieron dos artículos de investigación a un servidor de preimpresión científica, donde se comparten los estudios antes de la revisión por pares.Los propios documentos contenían varias pistas obvias de que no eran auténticos.El autor principal figuraba como Lazljiv Izgubljenovic, un nombre que se traduce como «perdedor mentiroso». Un estudio llevaba un título que significaba aproximadamente «Hiperpigmentación: un verdadero diseño de tontería». Los documentos agradecieron a organizaciones como la Tríada Galáctica y El Señor de los Anillosal tiempo que reconoce a los colegas de Starship Enterprise y al profesor Ross Geller de Amigos.Al menos un artículo incluso decía: «Todo este artículo está inventado».Desde entonces, los informes han sido eliminados del servidor.«No pensé que los preprints, que son una especie de tabloides académicos, porque cualquier cosa puede terminar allí, serían considerados tan seriamente en la base de datos», cube Osmanovic Thunström. Ciencia rápidamente.
Los chatbots aceptaron la enfermedad como un hecho
Las advertencias no fueron suficientes.Después de que el materials falso apareció en línea, varios chatbots de inteligencia synthetic líderes comenzaron a tratar la bixonimanía como una condición médica legítima.De acuerdo a NaturalezaCopilot de Microsoft Bing lo describió como «de hecho, una condición intrigante y relativamente rara». Gemini de Google dijo que se trataba de «una condición causada por la exposición excesiva a la luz azul». ChatGPT de OpenAI también sugirió la enfermedad cuando los usuarios describieron síntomas como picazón en los ojos, párpados rosados e irritación después del uso prolongado de la pantalla.Algunas respuestas del chatbot se produjeron después de que los usuarios preguntaran directamente sobre la bixonimania. Otros sugirieron la enfermedad falsa cuando las personas describieron síntomas asociados con la exposición a la luz azul, incluso sin mencionar su nombre.Los resultados revelaron una grieta, una debilidad de los grandes modelos lingüísticos. Generan respuestas identificando patrones en la información que han absorbido, en lugar de verificar de forma independiente si esa información es verdadera o completamente inventada.
Incluso los investigadores quedaron sorprendidos
El experimento descubrió otro problema inesperado.Algunos científicos citaron los artículos de investigación inventados en su propio trabajo, sugiriendo que en realidad no habían leído los artículos a los que hacían referencia.Si lo hubieran hecho, habrían encontrado numerosos chistes y declaraciones claras que revelaban que los documentos eran ficticios.Para Alex Ruani, investigador de desinformación del College Faculty de Londres que no participó en el proyecto, los hallazgos ilustran cómo la información errónea puede viajar a través de sistemas científicos y tecnológicos por igual.«Esta es una clase magistral sobre cómo opera la información errónea y la desinformación», cube Ruani. Naturaleza.Agregaron: «Si el proceso científico en sí y los sistemas que lo respaldan son hábiles y no capturan y filtran fragmentos como estos, estamos condenados».
Por qué es importante
Millones de usuarios utilizan cada vez más modelos de lenguaje de gran tamaño para responder preguntas sobre salud, explicar afecciones médicas e incluso brindar apoyo emocional a diario.Muchos usuarios ahora tratan a los chatbots como una primera fuente de información antes de consultar a los profesionales sanitarios. Esto puede ser peligroso si el usuario de alguna manera intenta autodiagnosticar enfermedades utilizando IA en lugar de consultar a los médicos.El experimento de la bixonimanía demuestra por qué ese enfoque conlleva riesgos. Estos sistemas aprenden de grandes cantidades de contenido en línea, y la información inexacta o fabricada puede convertirse en parte de sus respuestas si ingresa a sus datos de capacitación.Jonathan Goodman y Mariam Rashid, científicos sociales de la Universidad de Cambridge que no participaron en el estudio, dicen que las herramientas de inteligencia synthetic pueden ser valiosas, pero los usuarios aún deben abordarlas de manera crítica.Si bien herramientas como la IA e Web son útiles, «depende de nosotros asegurarnos de que las utilizamos y no somos manipulados por ellas», escriben para La conversación.También argumentan que el problema subyacente se extiende mucho más allá de la IA.«La desinformación siempre ha existido», escriben Goodman y Rashid para La conversación. «Lo nuevo es la velocidad con la que se propaga, las herramientas que lo generan y cuán convincentemente imita la realidad».
