RightsCon: Prevención de la deshumanización digital

El 10 de junio, la Campaña para detener a los robots asesinos celebró su sesión de panel “Prevención de la deshumanización digital” como parte del evento anual RightsCon de Access Now. Para celebrar su décimo aniversario, RightsCon se desarrolló del 10 de junio al 7 de junio de 11 y se llevó a cabo virtualmente por segundo año. La conferencia reunió a personas, partes interesadas y activistas de todo el mundo para discutir temas clave en el espacio de la tecnología y los derechos humanos. Esta es la segunda vez que la Campaña participa en RightsCon.

La sesión de una hora fue tuiteó en vivo y se centró en explorar cómo las tecnologías emergentes, como las máquinas con capacidades de toma de decisiones automatizadas o autónomas, pueden reproducir o exacerbar los daños sociales, las desigualdades y la opresión. El evento contó con la participación de Lucy Suchman, Profesora Emérita de Antropología de la Ciencia y la Tecnología de la Universidad de Lancaster; Dra. Sarah Shoker, becaria postdoctoral de la Universidad de Waterloo y fundadora de Glassbox; Laura Nolan, ingeniera de software y miembro del Comité Internacional de Control de Armas Robóticas (ICRAC); y Mutale Nkonde Nkonde, directora ejecutiva de AI for the People. La Gerente de Alcance de la Campaña, Isabelle Jones, moderó con la asistencia de más de 85 participantes.

La sesión se abrió con un debate sobre lo que significa la deshumanización digital, como se describió anteriormente en un del blog por Nolan. La deshumanización digital se describió como un fenómeno en el que la dependencia del software de las máquinas y los sistemas para analizar, evaluar y tomar decisiones sobre los seres humanos reduce a una persona a “algo sobre lo que actuar [como] un objeto, no una persona con derechos humanos y agencia." Nkonde destacó la discriminación racial como un aspecto de la deshumanización digital. El uso de conjuntos de datos de entrenamiento sesgados para los sistemas se presta a las mismas estructuras del “viejo racismo que usa nuevas máquinas” que continúa alimentando el aumento de la violencia contra los cuerpos negros e impulsando una mayor desigualdad.

Dichos sistemas, desde la vigilancia policial predictiva hasta la puntuación social, pueden tener intenciones bien intencionadas, pero en realidad pueden tener efectos dañinos a medida que continúan perpetuando los ciclos de opresión y violencia. Los oradores señalaron al perro robot. desplegado en la ciudad de Nueva York o el bugsplat programa como ejemplos de cómo estas tecnologías ya se están implementando. Suchman continuó hablando sobre el "aprendizaje" que implica el desarrollo de lo que esencialmente son sistemas de focalización. Entrenar máquinas para diferenciar entre conjuntos de datos de manzanas y naranjas, o perros y gatos, no es lo mismo que entrenar al sistema para distinguir entre civiles y combatientes que poseen distintas identidades y relaciones humanas. En cambio, lo que obtenemos es un "estereotipo muy crudo ... luego afirmamos que eso permite una orientación más precisa y precisa".  

Shoker también destacó cuando “al utilizar cualquier tipo de software de aprendizaje automático, esencialmente estás auditando la vida humana, seleccionando ciertos atributos con el propósito de la intervención humana”. Con la opacidad del aprendizaje automático, esto genera serias preocupaciones de que las identidades que se nos atribuyen reduzcan en última instancia la agencia humana y violen los derechos. Shoker se basa en el ejemplo del uso de supuestos patriarcales y de género para identificar a los hombres en edad militar, lo que a menudo hace que los niños de hasta 15 años se coloquen en una categoría de combatientes.

La sesión se cerró con las reflexiones de cada panelista sobre lo que podemos hacer para tomar medidas e impulsar cambios en las políticas para prevenir daños futuros. Las reflexiones incluyeron un llamado a mejorar la regulación de los datos a través de auditorías y evaluaciones de impacto en los derechos humanos, orientación para el cumplimiento, reimaginar las narrativas existentes para el cambio de políticas, desmitificar la tecnología y la acción colectiva.