Las personas razonables pueden no estar de acuerdo sobre lo que es apropiado y lo que no, pero el sistema de moderación automatizado de Discord decidió trazar una línea dura muy extraña: sin cuadrículas.
Según un informe de El bordeel sistema de seguridad de Discord prohibió por error a más de 8.000 usuarios por imágenes de cosas como tableros de ajedrez e inventarios de Minecraft, un problema que la compañía atribuyó a un error.
Aparentemente, el problema ha estado afectando a los usuarios de Discord desde al menos mayo, y finalmente llamó la atención de la compañía después de aproximadamente 200 usuarios fueron baneados en un solo fin de semana para imágenes en forma de cuadrícula. Un usuario reclamado su cuenta fue marcada por publicar materials supuestamente de abuso sexual infantil (CSAM), lo que resultó en una suspensión permanente. En realidad, el usuario publicó una captura de pantalla de Minecraft.
En respuesta al incidente, Discord intentó explicar lo sucedido. en un serie de publicaciones sobre Xla compañía detalló cómo su sistema automatizado está diseñado para marcar contenido comparándolo con materials dañino conocido. Se supone que esas coincidencias deben ser revisadas por el equipo de confianza y seguridad antes de tomar cualquier medida contra la cuenta de un usuario. Sin embargo, un «error» en el sistema aparentemente impidió que los usuarios afectados borraran su libro de contabilidad mediante revisión humana y, en cambio, permanecieron prohibidos.
Stanislav Vishnevskiy, cofundador y director de tecnología de Discord, explicado Al parecer, el sistema de moderación había atrapado al menos a 8.000 personas en la trampa de los falsos positivos, y todas ellas publicaron “imágenes benignas” que fueron marcadas falsamente. Desde entonces, a los afectados se les ha quitado la prohibición.
Lo interesante de toda esta debacle es que Discord y Vishnevskiy parecieron evitar intencionalmente llamar a su sistema de moderación «IA», a pesar de que la mayoría de los usuarios enfadados por el sistema se referían a él como tal. La compañía ha publicado previamente publicaciones de weblog que detallan cómo utiliza el aprendizaje automático para identificar y detener la propagación del CSAM y discutió cómo utiliza IA para ayudar a moderar el contenido compartido en toda su plataforma.
Discord está lejos de ser la única empresa que se enfrenta a una moderación excesiva por parte de sistemas automatizados, independientemente de si técnicamente se trata de «IA» o no. El año pasado, ambos Instagram y Facebook tuvo una ola de prohibiciones de cuentas aparentemente injustificadas que afectaron a sus usuarios y que muchos creían que se debían a los sistemas de inteligencia synthetic utilizados para moderar el contenido. TikTok también ha visto un aumento de las prohibiciones emitido por sus filtros de contenido automatizados e incluso es Reducir el número de moderadores humanos. a favor de la alternativa de IA. Todo esto para decir, prepárate para discutir con los robots mucho más a menudo.
