imagen de héroe de menú
Sin tecnología deshumanizante Foto de portada de John Sloan Photography (CC BY-NC-SA)

Sin tecnología deshumanizante

Laura Nolan es una programadora de computadoras que renunció a Google por Project Maven. Ahora es miembro del Comité Internacional para el Control de Armas Robóticas (ICRAC) y miembro fundador de la Campaña para detener a los robots asesinos. #EquipoHuman.

Foto por Fotografía John Sloan (CC BY-NC-SA)

La deshumanización es la falta de reconocimiento de la humanidad de los demás. Es una negación de la dignidad humana, el valor intrínseco de las personas humanas, que es una de las piedras angulares de los derechos humanos y del pensamiento ético moderno. Por el contrario, la deshumanización puede ser el primer paso hacia la guerra, el genocidio y otras atrocidades.

¿Cómo, en the Siglo XXI, ¿construimos y operamos sistemas de bienestar social computarizados que matar de hambre a los beneficiarios de los beneficios or negar derechos básicos para aquellos menos capaces de navegar por un complejo proceso de aplicación mediado por software?

Es posible que las organizaciones con las que interactuamos no nos traten como seres humanos cuando quedamos reducidos a un registro en un almacén de datos. Los sistemas informáticos ahora operan la mayoría de los procesos burocráticos, como los sistemas de bienestar, y distancian al personal de los efectos del sistema. Como escribe el renombrado sociólogo y filósofo Zygmunt Bauman, “la distancia práctica y mental del producto final significa […] que la mayoría de los funcionarios de la jerarquía burocrática pueden dar órdenes sin un conocimiento completo de sus efectos. En muchos casos, les resultaría difícil visualizar esos efectos ”.

Los ingenieros de software que construyen los sistemas de toma de decisiones suelen estar aún más alejados del efecto de los sistemas que construimos que los altos directivos. Intencionalmente o no, a menudo construimos sistemas rígidos que conducen a peores resultados para muchas personas que las burocracias más antiguas, integradas por seres humanos con el poder de tomar decisiones y acomodar excepciones.

Los sistemas de bienestar son solo un ejemplo de este tipo de fenómeno. Ibrahim Diallo fue marcado repetidamente como ya no empleado por los sistemas de recursos humanos de su empleador. Fue efectivamente despedido por las computadoras.

La pandemia de COVID-19 ha visto un aumento en la cantidad de interacciones mediadas por software en la mayor parte de nuestras vidas. Los empleados han criticado los efectos deshumanizantes de vigilancia automatizada por parte de los empleadores. Estudiantes que toman exámenes han hablado sobre el impacto del software de supervisión que llama la atención sobre sus discapacidades, no funciona con el color de su piel y es invasivo.

Ser examinado, evaluado y que el software tome decisiones sobre nosotros a menudo se siente injusto y deshumanizador. Sabemos que las personas pueden estar sujetas a resultados injustos como resultado de la toma de decisiones automatizada o la elaboración de perfiles; esta es la razón de la existencia de Artículo 22 del Reglamento General de Protección de Datos de la Unión Europea:

El interesado tendrá derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o que le afecte significativamente de forma similar.

Los ciudadanos de las naciones occidentales ricas a menudo tienen algunas protecciones legales contra las manifestaciones más dañinas de la deshumanización digital. Esto es menos cierto para otras personas. La historia de la herramienta de evaluación de clasificación de riesgos del Servicio de Inmigración y Control de Aduanas (ICE) de los Estados Unidos es una advertencia. En 2017 este la herramienta fue modificada recomendar siempre la detención de cualquier inmigrante indocumentado, en una desviación de años de práctica. Los oficiales pudieron anular la recomendación de la herramienta, pero pocos lo hicieron y las detenciones se dispararon.

Una imagen de un poste con las palabras "datos de bits te están mirando" escritas en él.

Foto de ev.

Bauman señala que "[el uso de la violencia es más eficiente y rentable cuando los medios están sujetos a criterios exclusivamente instrumentales-racionales y, por lo tanto, disociados de la evaluación moral de los fines". Nada parece más racional que una recomendación hecha por una computadora, por muy defectuosa que pueda ser esa decisión en el contexto.

En una organización donde las decisiones están mediadas por software, la responsabilidad por los resultados está completamente distribuida. Aquellos de nosotros que construimos los sistemas de toma de decisiones somos juzgados como trabajadores especializados: ¿nuestro código funciona? ¿Es eficiente y rápido? ¿Agregamos las nuevas funciones que se solicitaron?

La gestión de una organización de este tipo está lejos del "extremo agudo", donde se niegan los beneficios, donde se detiene a los inmigrantes, donde se acusa a los examinados de ser tramposos porque no pueden mirar una pantalla sin parpadear durante horas. Se espera que los miembros del personal de rango y archivo trabajen dentro del sistema, y ​​su curso de acción más fácil es seguir las recomendaciones del software con el que trabajan.

Como concluye Bauman: 'el resultado es la irrelevancia de los estándares morales para el éxito técnico de la burocracia [énfasis de Bauman]. Una burocracia, como lo son todas las grandes organizaciones modernas, desde las que administran el bienestar social hasta las fuerzas armadas, solo se preocupa por la eficiencia y el éxito técnico. La toma de decisiones informatizada tiende a reducir aún más la importancia del juicio humano. "La moralidad se reduce al mandamiento de ser un experto y trabajador bueno, eficiente y diligente", según Bauman.

La deshumanización es la antítesis de la dignidad humana y el respeto por los derechos humanos. El único fin lógico para el aumento de la deshumanización digital es automatizar la decisión de acabar con vidas humanas: construir y usar armas autónomas.

A medida que los sistemas de toma de decisiones computarizados se vuelven más frecuentes en nuestros sistemas de educación, trabajo, bienestar y justicia, la defensa de la dignidad humana y los derechos humanos debe ser una prioridad. Los ingenieros de software no son juzgados por nuestra contribución a la defensa de los derechos humanos en nuestras evaluaciones de desempeño de fin de año. Sin embargo, tenemos la obligación de comprender y mitigar los impactos negativos de los sistemas que construimos, y de abstenernos de construir sistemas que dañen y deshumanicen.

En 2019, gran parte de la industria del software dijo 'Sin tecnología para ICE. Ese es un gran mensaje y vale la pena repetirlo, pero tenemos que ir más allá: 'No a la tecnología deshumanizadora'.

Una instalación multimedia que muestra a personas mirándose a sí mismas en una pantalla.

Foto de Maxim Hopman.

Para obtener más información sobre los robots asesinos y Usted puede hacer, visite: www.stopkillerrobots.org. Si este artículo le resuena como tecnólogo, consulte los recursos de Campaign to Stop Killer Robots para trabajadores de tecnología: www.stopkillerrobots.org/tech.

  1. Zygmunt Bauman, Modernidad y Holocausto (Prensa Polity, 1989), 115.
  2. Zygmunt Bauman, Modernidad y Holocausto, 114.
  3. Zygmunt Bauman, Modernidad y Holocausto, 117.
  4. Zygmunt Bauman, Modernidad y Holocausto, 115.

    Artículo original sobre Medium.com.

laura nolan

Texto alternativo de la imagen
Icono de puntos SKR

Detén a los robots asesinos

Unáse con nosotros

Manténgase al día con los últimos avances en el movimiento para detener a los robots asesinos.

Unáse con nosotros