La inteligencia artificial está creando dilemas éticos que la filosofía moral solo había abordado en abstracto. Esta selección de 10 dilemas reales documentados entre 2014 y 2026 sirve para entrenar el criterio de cualquier comité de ética IA, equipo legal o estudiante de la materia.

1. COMPAS · Predicción de reincidencia (Florida, 2016)

Dilema: ¿Es ético usar un sistema con tasas de error desigualadas por raza si la métrica global es más alta que la del juez humano?
Hechos: ProPublica demostró que COMPAS sobreestimaba reincidencia en personas negras y subestimaba en blancos. Northpointe defendió que sus tasas eran iguales en otra métrica (calibration). Ambos tenían razón: el teorema de imposibilidad (Chouldechova 2017) demuestra que las dos métricas no pueden cumplirse a la vez.

2. Amazon hiring · CVs cribados con sesgo (2014-2018)

Dilema: ¿La automatización de RRHH discrimina o solo refleja sesgos históricos?
Hechos: Amazon entrenó el sistema con 10 años de contrataciones masculinizadas. El modelo aprendió a penalizar palabras como «women’s». Lo retiró antes del despliegue. Caso de manual sobre cómo el sesgo histórico se transmite al modelo.

3. Apple Card · Crédito y género (2019)

Dilema: ¿Es discriminatorio que un algoritmo otorgue diferente límite de crédito a mujeres con perfil financiero idéntico al de sus parejas?
Hechos: Goldman Sachs (emisor) defendió que el género no era variable de entrada. La NYDFS investigó. Cerró sin sanción formal pero con recomendaciones sobre opacidad algorítmica.

4. Google Photos · Clasificación racista (2015)

Dilema: ¿Cómo balancear despliegue rápido de tecnología nueva con riesgos previsibles de errores graves?
Hechos: el clasificador etiquetó fotos de personas negras como «gorilas». Google respondió bloqueando la categoría. Ocho años después la prensa documentó que la solución provisional seguía vigente.

5. Reconocimiento facial policial

Dilema: ¿Es proporcional usar reconocimiento facial con tasas de error 30× superiores en mujeres de piel oscura (Buolamwini & Gebru, MIT 2018)?
Hechos: varias ciudades EEUU prohibieron su uso (San Francisco, Boston, Portland). El AI Act lo restringe en espacios públicos.

6. Algoritmo A-Level Reino Unido (2020)

Dilema: ¿Es ético usar predicciones algorítmicas para asignar notas cuando los exámenes no se pueden hacer?
Hechos: Ofqual aplicó un algoritmo que penalizaba a estudiantes de centros públicos. Tras protestas masivas, el gobierno revirtió el sistema en agosto de 2020.

7. SyRI · Detección de fraude social (Países Bajos, 2014-2020)

Dilema: ¿Puede el Estado utilizar IA para detectar fraude en ayudas sin afectar derechos fundamentales?
Hechos: un tribunal nacional declaró el sistema contrario al artículo 8 del Convenio Europeo de Derechos Humanos. Primer caso UE de anulación judicial de IA pública.

8. Algoritmos de moderación de contenido

Dilema: ¿Es legítimo que las plataformas moderen contenido con peor exactitud en lenguas no-inglesas?
Hechos: estudios consistentes muestran que Meta, X y otros tienen tasas de error superiores en árabe, portugués y otras lenguas frente a inglés.

9. Diagnóstico médico · Obermeyer et al. (Science, 2019)

Dilema: ¿Cómo asegurar que algoritmos sanitarios no replican desigualdades históricas en acceso a salud?
Hechos: un estudio sobre 200 millones de pacientes en EEUU encontró que el algoritmo subestimaba sistemáticamente las necesidades de cuidado de pacientes negros porque usaba «gasto previo» como proxy de necesidad.

10. Modelos de lenguaje y sesgos políticos

Dilema: ¿Deben los LLMs tener postura política propia? ¿Quién decide qué postura?
Hechos: estudios de Stanford y Oxford (2023-2025) documentan posiciones sistemáticas en ChatGPT, Gemini y Claude que pueden interpretarse como sesgo. Las propias empresas reconocen el problema y publican guías de neutralidad.

Preguntas frecuentes

En síntesis

Estos diez casos no son anécdotas: son la base sobre la que se diseña la regulación europea actual y la docencia en ética de la IA. Para el marco completo ver la guía pilar de ética IA.

Fuentes: ProPublica COMPAS investigation; Buolamwini & Gebru, MIT 2018; Obermeyer et al., Science 2019; Reuters Amazon hiring report; NYDFS Apple Card investigation; Tribunal Países Bajos sentencia SyRI; Stanford HAI; Oxford LLM Bias Studies.

Autor: Daniel Bellido Pérez · iasostenible.com · 4 mayo 2026