KI-Systeme werden auf der Grundlage menschlicher Daten trainiert und unter Zugrundelegung menschlicher Annahmen entwickelt. Daher zeigen sie vorhersehbare und systematische Verzerrungen, wenn sie Menschen beurteilen. Die Systeme „verstehen“ keine Individuen, sondern arbeiten mit Mustern, Korrelationen und vereinfachten Stellvertretern, die oft gesellschaftliche Stereotype beinhalten.

Dadurch wirken ihre Urteile zwar konsistent, können aber trotzdem fehlerhaft oder unfair sein. Die Verzerrungen sind nicht zufällig, sondern strukturell bedingt durch Datenauswahl, Modelldesign und Bewertungsmethoden. Um dem entgegenzuwirken, muss man anerkennen, dass KI menschliche Grenzen widerspiegelt, und stattdessen Kontrollmechanismen, bessere Datensätze und kontinuierliche Tests einführen, anstatt perfekte Objektivität zu erwarten.