Si alguna vez ha probado chatbots en varios idiomas, ya sabrá que los idiomas tienen personalidades ligeramente diferentes. Como parte de un nuevo informe Sobre las inconsistencias de comportamiento publicado el lunes, los investigadores de Anthropic reconocieron esta peculiaridad.
De manera bastante inquietante, señalan que debido a las diferencias en los atributos de los textos con los que se entrenan los modelos, las diferencias podrían ser más profundas que el easy tono y, de hecho, podrían cambiar las prioridades del modelo. Estos «desequilibrios en cantidad y composición podrían llevar a Claude a expresar diferentes valores en diferentes idiomas», escriben los investigadores de Anthropic.
Pero si busca ejemplos específicos de modelos que muestren, digamos, razonamiento ethical inconsistente en distintos idiomas, no encontrará nada parecido en este artículo. Eso podría implicar examinar citas directas de personas potencialmente desprevenidas.
En cambio, Anthropic analizó 309.815 conversaciones de chatbot con los modelos Sonnet 4.6, Opus 4.6 y Opus 4.7. Se trataba de tareas “subjetivas”, es decir, menos de “¿Cuál es la capital de Francia?” y más “¿Cómo puedo saber si mi gato me odia?” Estos fueron anonimizados, en teoría, usando el “herramienta de análisis para preservar la privacidad”, y luego se procesó (en parte utilizando al propio Claude) para calificar las respuestas en un “eje de valores”.
En realidad, existen cuatro de estos ejes, y en su mayoría se relacionan con lo que comúnmente se conoce como adulación:
- Deferencia o precaución: En otras palabras, si valorará la obediencia en lugar de rechazar para evitar posibles daños.
- Calidez o Rigor: ¿El chatbot debería preocuparse por tus sentimientos o debería ser exacto?
- Profundidad o brevedad: Éste se explica por sí mismo.
- Sinceridad o ejecución: La elección entre poner en duda su propia fiabilidad o simplemente seguir adelante.
Esto supone una exploración algo limitada de los valores del modelo. No obstante, aquí están las diferencias de valores basadas en el idioma que Anthropic cube haber encontrado en Claude:
- En árabe fue el más deferente.
- En inglés fue el más cauteloso.
- Fue más cálido en hindi y árabe, «caracterizados por un lenguaje cortés, humor y alegría, y afirmaciones de las concepts y el trabajo de una persona».
- En inglés y ruso fue más riguroso y buscó la verdad a costa de la calidez.
- Se equivoca por el lado de la “profundidad” (¿o quizás simplemente por la prolijidad?) en inglés.
- Es más breve en árabe.
- Es sincero sobre sus defectos en holandés.
- En indonesio es menos sincero y, en cambio, simplemente sigue adelante tratando de ejecutar lo que se le pide.
Obviamente, las costumbres lingüísticas son todas diferentes, por lo que los investigadores dicen que «aún no están seguros de hasta qué punto esta variación es deseable».
Esto también debería ser motivo de reflexión para cualquiera que lea el reciente artículo de Anthropic sobre la teoría del espacio de trabajo world, que dejó mucho espacio para la supuesta posibilidad de que Claude sea wise. Si hay una conciencia en esa caja negra que piensa y experimenta cosas, parece ser una conciencia cuyos “valores” todavía se dejan influir con bastante facilidad por los patrones de sus datos de entrenamiento.
