Joseph Weizenbaum se propuso demostrar que las computadoras podían imitar una conversación. En cambio, su experimento lo convenció de que las personas podían apegarse emocionalmente a las máquinas mucho más fácilmente de lo que había imaginado. Ese descubrimiento cambió el curso de su carrera.El informático, que creó el primer chatbot del mundo a mediados de los años 1960, pasó el resto de su vida advirtiendo que la inteligencia synthetic (IA) nunca debería sustituir el juicio, la empatía o la responsabilidad humanos. Décadas antes de ChatGPT y otros sistemas modernos de inteligencia synthetic, Weizenbaum argumentó que convencer a las máquinas podría inducir a error a los usuarios a confiar en la tecnología con decisiones que nunca debieron tomar.Sus preocupaciones tenían su origen en un sencillo programa informático llamado Eliza, ahora reconocido como el primer chatbot.
Un chatbot que sorprendió hasta a su creador
Mientras trabajaba como profesor en el Instituto Tecnológico de Massachusetts (MIT), Weizenbaum desarrolló Eliza para demostrar cómo las computadoras podían imitar el lenguaje humano. Eligió deliberadamente el estilo conversacional de la psicoterapia rogeriana (enfoque humanista centrado en la persona) porque requería que la computadora hiciera preguntas en lugar de ofrecer consejos de expertos.El programa buscaba en los mensajes de los usuarios palabras clave como «yo» o «tú» y luego seguía reglas simples para generar respuestas. Cuando no pudo identificar una respuesta adecuada, confió en indicaciones genéricas que incluían «continua», «ya veo» y «cuéntame más» para mantener la conversación en movimiento.El sistema en sí period muy sencillo.«‘Soy bla’ puede transformarse en ‘¿Cuánto tiempo has sido bla’, independientemente del significado de ‘bla'», explicó Weizenbaum en un artículo de 1966.Creía que las capacidades limitadas del chatbot serían obvias para los usuarios. En cambio, muchos rápidamente trataron a Eliza como si realmente los entendiera.La reacción lo sorprendió.Cuando la secretaria de Weizenbaum probó el programa, le pidió que saliera de la habitación para poder continuar su conversación con Eliza en privado. La tendencia a atribuir cualidades humanas a las máquinas se conoció más tarde como el «efecto Eliza».El chatbot en sí lleva el nombre de Eliza Doolittle, el personaje central de la obra de 1913 de George Bernard Shaw. Pigmaliónque pasa de ser una vendedora de flores de clase trabajadora a ser una mujer aceptada por la alta sociedad.«Ha sido muy difícil convencer a algunos sujetos de que Eliza (con su guión precise) no es humana», observó Weizenbaum en su artículo de 1966.Esa experiencia alteró su forma de pensar.«Lo que no me había dado cuenta es que exposiciones extremadamente breves a un programa de computadora relativamente easy podrían inducir pensamientos delirantes poderosos en personas bastante normales», escribió en 1976.Y añadió: «Esta concept me llevó a dar nueva importancia a las cuestiones de las relaciones entre el individuo y la computadora y, por lo tanto, a decidirme a pensar en ellas».
Un pionero de la informática moderna
La advertencia de Weizenbaum tenía peso porque había ayudado a dar forma a la temprana period de las computadoras.Después de huir de la Alemania nazi con su familia durante la década de 1930, sirvió como meteorólogo en el ejército estadounidense durante la Segunda Guerra Mundial. En la década de 1950, se unió a Normal Electrical, donde ayudó a desarrollar la Máquina de Registro Electrónico, Contabilidad o ERMA, que transformó la banca al automatizar el procesamiento de cheques.Su trabajo en el MIT coincidió con un período de rápidos avances en informática.La concept de máquinas capaces de pensar como los humanos existía desde hacía años. En 1950, el matemático Alan Turing propuso lo que más tarde se conoció como la prueba de Turing, preguntando si las máquinas podían imitar la conversación humana lo suficientemente bien como para que las personas no pudieran distinguirlas de los humanos.La inteligencia synthetic en sí surgió como un campo de investigación formal después del taller de Dartmouth de 1956, donde los investigadores propusieron que el aprendizaje y la inteligencia podrían eventualmente ser simulados por máquinas.La financiación militar, particularmente a través de la Agencia de Proyectos de Investigación Avanzada del gobierno de Estados Unidos, ayudó a acelerar la investigación durante las décadas siguientes. El MIT se convirtió en uno de los centros líderes para el desarrollo de la IA, y los pioneros John McCarthy y Marvin Minsky ayudaron a establecer el Laboratorio de Inteligencia Synthetic de la universidad.Su trabajo en sistemas de tiempo compartido también allanó el camino para Arpanet en 1969, la purple informática que más tarde evolucionó hasta convertirse en la precise Web.
Rompiendo con la comunidad de IA
Mientras que muchos de sus colegas veían a Eliza como un vislumbre del futuro, Weizenbaum la veía cada vez más como una advertencia.Había elegido la psicoterapia simplemente porque period una conversación fácil de imitar para una computadora.«Reflexionando sobre ‘cualquier conversación en la que una de las partes no tiene por qué saber nada'», recordó Weizenbaum en una entrevista de 1984, se decidió por un psiquiatra. «Quizás si lo hubiera pensado diez minutos más», añadió el informático, «se me habría ocurrido un barman».Otros vieron potencial comercial y médico.El psiquiatra Kenneth Colby adaptó la concept a un chatbot llamado Parry, que simulaba el pensamiento paranoide desde la perspectiva de una persona con esquizofrenia. Colby creía que tales sistemas podrían convertirse en herramientas útiles para la salud psychological porque los pacientes a menudo tenían dificultades para distinguirlos de los terapeutas humanos.El astrónomo Carl Sagan también imaginó que habría redes de terapeutas informáticos ampliamente disponibles.Weizenbaum rechazó enérgicamente esa visión.Eliza «fue inmediatamente malinterpretada como básicamente el comienzo de la psiquiatría computarizada, que detesto», dijo en 1984.Más tarde fue aún más lejos y describió la concept como «una concept obscena».Su oposición provocó una división pública con varias figuras destacadas de la inteligencia synthetic.En su libro de 1976 El poder de la computadora y la razón humana: del juicio al cálculoWeizenbaum argumentó que la capacidad técnica por sí sola nunca debería determinar cómo se utilizan las computadoras.«La intelectualidad synthetic sostiene, como hemos visto, que no hay ningún ámbito del pensamiento humano que las máquinas no puedan abarcar», escribió.Por el contrario, argumentó que «hay ciertas tareas que las computadoras no deberían realizar, independientemente de si se puede obligar a que las realicen».John McCarthy criticó el libro por considerarlo «moralista e incoherente», argumentando que el uso de programas informáticos como terapeutas estaría justificado si realmente ayudaran a los pacientes.
Advertencias que aún resuenan
Weizenbaum también criticó la estrecha relación del MIT con la investigación militar y se opuso a la guerra de Vietnam.Advirtió que las computadoras cada vez más sofisticadas también podrían convertirse en poderosas herramientas de vigilancia.«Las máquinas de escucha… harán que el seguimiento de la comunicación de voz sea mucho más fácil de lo que es ahora», escribió en Poder de la computadora.Sus opiniones a menudo lo dejaron aislado de muchos colegas.«He declarado herejía y soy un hereje», dijo Weizenbaum al New York Occasions en 1977.
Un debate renovado por la IA moderna
Casi dos décadas después de la muerte de Weizenbaum en 2008, las preguntas que planteó se han vuelto centrales en los debates sobre la IA generativa.A diferencia de Eliza, los chatbots actuales pueden generar ensayos, responder preguntas complejas, crear imágenes y vídeos e imitar conversaciones emocionales después de entrenar con enormes cantidades de datos de Web.Herbert Lin, investigador principal de la Universidad de Stanford, cube que comparar ChatGPT con Eliza es «como decir que un 747 es related al avión de los hermanos Wright».El vínculo emocional que en un principio afectó a Weizenbaum también se ha vuelto cada vez más seen.Los informes han vinculado las interacciones de los chatbots con pensamientos delirantes, dependencia emocional y, en algunos casos, autolesiones. Los padres de hijos adolescentes que se suicidaron han alegado públicamente que las conversaciones con chatbot fomentaban pensamientos suicidas.Una investigación publicada en 2025 encontró que el 72 por ciento de los adolescentes había utilizado una IA. compañero al menos una vez, mientras que más de la mitad interactuaba con dichos sistemas regularmente.Jodi Halpern, psiquiatra y bioética de la Universidad de California, Berkeley, dijo a NPR: «Las personas pueden desarrollar apegos poderosos y los robots no tienen la capacitación ética ni la supervisión para manejar eso. Son productos, no profesionales».La hija de Weizenbaum, Miriam, cree que su padre no se sorprendería.«Él reconocería la tragedia de las personas que se apegan literalmente a ceros y unos, literalmente se apegan al código».Después de retirarse del MIT en 1988, Weizenbaum regresó a Alemania, donde fue reconocido como un intelectual público y continuó escribiendo y hablando sobre tecnología hasta su muerte a la edad de 85 años.Hablando durante una mesa redonda en 2008, reflexionó sobre sistemas de software program cada vez más complejos.«Hemos creado un mundo complejo sobre el que ya no tenemos management», afirmó. «Ya nadie los entiende, nadie puede entenderlos, porque hemos perdido la información sobre su creación, la historia de su creación, y eso es un gran peligro para la humanidad».Su advertencia de hace más de cuatro décadas sigue siendo igualmente relevante hoy.«Dado que ahora no tenemos ninguna manera de hacer que las computadoras sean inteligentes», advirtió Weizenbaum en 1976, «no deberíamos asignarles tareas que exijan sabiduría».
