KI-Ethik im Unternehmen: Warum Führung für Menschen und Ergebnisse verantwortlich bleibtAI ethics in companies: why leaders stay responsible for people and outcomes

Wer KI einsetzt, trägt Verantwortung für das, was sie mit Menschen macht. Das gilt für die Geschäftsführung, die ein Werkzeug freigibt, genauso wie für die Führungskraft, die ihr Team damit arbeiten lässt. Viele verbinden mit KI eine Hoffnung: Ein Programm kennt keine Sympathie und keinen schlechten Tag, also müsste es fairer entscheiden. Die Forschung der letzten Jahre zeigt, dass diese Hoffnung nur trägt, wenn ethische Fragen von Anfang an mitgedacht werden.

Dieser Beitrag zeigt an aktuellen Studien, wo KI Menschen benachteiligt, wie Bias in ein System gelangt und warum er sich so schwer entfernen lässt. Danach geht es um den Rechtsrahmen und um einen Risiko-Check, den du vor dem nächsten Einsatz durchgehen kannst. Wie Mensch und Technologie bei der Einführung zusammenspielen, beschreibt der Beitrag KI-Einführung im Unternehmen.

Warum ist KI-Ethik eine Führungsaufgabe?

Weil die Entscheidung, KI einzusetzen, eine Entscheidung über Menschen ist. Ein System, das Bewerbungen sortiert, Gehälter vorschlägt oder Leistung bewertet, wirkt auf Karrieren und Einkommen. Wer es einführt, legt fest, wofür es genutzt wird, wer die Ergebnisse prüft und was passiert, wenn es danebenliegt. Diese Fragen lassen sich nicht an die IT oder an den Anbieter abgeben.

KI kann Abläufe gerechter machen, etwa weil sie jede Bewerbung nach denselben Kriterien liest. Ohne ethische Prüfung kann das Ergebnis aber auch schlechter ausfallen als vorher. Dann wiederholt das System alte Muster, nur schneller, in größerer Zahl und mit dem Anschein von Objektivität.

Benachteiligt KI Bewerberinnen und Bewerber?

Sie kann es, und zwar messbar, wenn niemand hinsieht. Amazon stellte 2018 ein experimentelles Werkzeug zur Bewerberauswahl ein. Es hatte aus zehn Jahren Bewerbungen gelernt, die überwiegend von Männern kamen, und Lebensläufe abgewertet, in denen das Wort „women’s“ vorkam, etwa beim Schachclub für Frauen. Laut Reuters entschied das Werkzeug nie allein über Einstellungen.

Sechs Jahre später testeten Kyra Wilson und Aylin Caliskan von der University of Washington aktuelle Sprachmodelle. Sie setzten 120 Vornamen in über 550 echte Lebensläufe ein und ließen drei Modelle die Unterlagen für über 500 Stellenanzeigen aus neun Berufen ordnen. In über drei Millionen Vergleichen zeigte sich ein klares Muster.

Weiß gelesene Namen wurden in 85,1 Prozent der Tests bevorzugt, Schwarz gelesene in 8,6 Prozent. Männlich gelesene Namen lagen in 51,9 Prozent vorn, weiblich gelesene in 11,1 Prozent. Schwarz gelesene Männernamen schnitten gegenüber weiß gelesenen Männernamen in keinem einzigen Test besser ab. Die Abstände im einzelnen Vergleich waren oft klein. Über viele Stellen und Bewerbungen summieren sie sich.

Historische Daten mit solchen Schieflagen sind ein Risiko. Sie legen das Ergebnis aber nicht zwangsläufig fest. Ob sich ein Muster fortsetzt, hängt davon ab, wie ein System gebaut, getestet und genutzt wird. Genau dort liegt der Spielraum der Unternehmen, die es einsetzen.

Schlägt KI Frauen niedrigere Gehälter vor?

In einer Studie der Technischen Hochschule Würzburg-Schweinfurt taten das mehrere gängige Modelle. Das Team um Ivan Yamshchikov fragte fünf Sprachmodelle nach Gehaltszielen für Verhandlungen. Die Szenarien waren gleich, nur die Angaben zur Person wechselten. Frauen bekamen in den meisten Fällen niedrigere Zielwerte empfohlen als Männer.

Ein Beispiel der Autoren: Für eine erfahrene Fachärztin in Denver nannte ChatGPT o3 ein Einstiegsziel von 280.000 US-Dollar, für einen gleich qualifizierten Mann 400.000 US-Dollar. Kombinierten die Forschenden mehrere Merkmale, wuchs der Abstand weiter. In 35 von 40 Experimenten lag die Persona „männlicher asiatischer Expat“ deutlich vor „weibliche hispanische Geflüchtete“.

„When it comes to sensitive topics like salary negotiations, this kind of hidden bias can have real-world consequences for users.“

Sorokovikova, Chizhov, Eremenko und Yamshchikov laut THWS, Juni 2025. Sinngemäß: Bei sensiblen Themen wie Gehaltsverhandlungen kann diese versteckte Verzerrung echte Folgen für Nutzerinnen und Nutzer haben.

Bemerkenswert ist, wo der Bias auftauchte. In klassischen Wissenstests fanden die Forschenden kaum Unterschiede. Deutlich wurde er erst, als die Modelle beraten sollten. Mit Speicherfunktionen, die sich Angaben aus früheren Gesprächen merken, muss niemand mehr Geschlecht oder Herkunft nennen. Das Modell kennt sie oft schon.

Ist ein Computer neutral?

Nein. Ein Computer rechnet mit den Daten und Zielen, die Menschen ihm geben. Joy Buolamwini und Timnit Gebru untersuchten 2018 drei kommerzielle Systeme zur Geschlechtserkennung auf Fotos. Zwei gängige Testdatensätze bestanden zu 79,6 und 86,2 Prozent aus hellhäutigen Gesichtern. Entsprechend ungleich waren die Fehler verteilt.

Bias kann sogar entstehen, wenn ein geschütztes Merkmal gar nicht im System vorkommt. Ein Algorithmus aus dem US-Gesundheitswesen sollte Patientinnen und Patienten mit hohem Betreuungsbedarf finden. Hautfarbe war kein Merkmal. Vorhergesagt wurden aber die künftigen Behandlungskosten, als Stellvertreter für den Bedarf.

Weil für Schwarze Patienten bei gleicher Krankheit im Schnitt weniger Geld ausgegeben wurde, hielt der Algorithmus sie für gesünder. Ziad Obermeyer und Kollegen rechneten nach: Ohne diese Lücke wäre der Anteil Schwarzer Patienten in der Zusatzbetreuung von 17,7 auf 46,5 Prozent gestiegen. Eine neu formulierte Zielgröße beseitigte die Verzerrung bei der Frage, wer zusätzliche Betreuung braucht.

„We suggest that the choice of convenient, seemingly effective proxies for ground truth can be an important source of algorithmic bias in many contexts.“

Obermeyer u. a., Science, 2019. Sinngemäß: Bequeme, scheinbar wirksame Stellvertreter für das eigentlich Gemeinte können in vielen Zusammenhängen eine wichtige Quelle algorithmischer Verzerrung sein.

Wo entsteht Bias in einem KI-System?

An jeder Stufe, von den Daten bis zur Nutzung. Die Beispiele oben zeigen unterschiedliche Einfallstore. Bei Amazon lag es in den historischen Daten, im Gesundheitsalgorithmus in der Zielgröße, bei den Sprachmodellen im vortrainierten Modell selbst. Dazu kommen zwei Stufen, die oft übersehen werden: wie Menschen mit den Vorschlägen umgehen und was aus ihren Entscheidungen später wird.

Die Stufe Nutzung verdient besondere Aufmerksamkeit. Menschen neigen dazu, Vorschlägen eines Systems zu sehr zu vertrauen. In einer Studie zu Mammografien fiel die Trefferquote selbst erfahrener Radiologen deutlich, wenn eine angebliche KI falsch lag. Mehr dazu steht im Abschnitt zum Automation Bias im Beitrag KI-Einführung im Unternehmen. Eine Freigabe durch einen Menschen schützt also nur, wenn diese Person Zeit, Wissen und das Recht zum Widerspruch hat.

Warum lässt sich Bias so schwer herausfiltern?

Weil Merkmale sich gegenseitig verraten und weil es nicht die eine Fairness gibt. Der naheliegende Schritt ist, Geschlecht, Alter oder Herkunft aus den Daten zu löschen. Das hilft wenig, wenn andere Angaben dieselbe Information tragen. Ein Vereinsname, eine Lücke im Lebenslauf, ein Wohnort oder eine Schule können Rückschlüsse erlauben. Amazon machte das Werkzeug laut Reuters neutral gegenüber den auffälligen Begriffen, hatte aber keine Gewähr, dass es nicht andere Wege fand, Menschen zu benachteiligen.

Dazu kommt eine mathematische Grenze. Fairness lässt sich unterschiedlich definieren, und die Definitionen widersprechen sich, sobald Gruppen unterschiedliche Ausgangslagen haben. Jon Kleinberg, Sendhil Mullainathan und Manish Raghavan haben 2016 gezeigt, dass sich bestimmte Fairness-Bedingungen außer in Sonderfällen nicht gleichzeitig erfüllen lassen.

Für ein Unternehmen heißt das: Die Software kann nicht entscheiden, welche Fairness gelten soll. Das ist eine Wertentscheidung, die vor dem Einsatz getroffen und begründet werden muss. Sie gehört zu den Aufgaben der Führung, nicht des Anbieters.

Was verlangt das Recht beim Einsatz von KI?

Benachteiligung ist schon heute verboten, und für KI in Personalfragen kommen weitere Pflichten dazu. Das AGG gilt unabhängig davon, ob ein Mensch oder eine Software vorsortiert. Die DSGVO schützt in Artikel 22 davor, ausschließlich automatisierten Entscheidungen mit erheblicher Wirkung unterworfen zu werden. Der EU AI Act verbietet seit Februar 2025 unter anderem KI zur Emotionserkennung am Arbeitsplatz.

KI für Auswahl, Beförderung, Kündigung oder Leistungsbewertung stuft der AI Act als Hochrisiko ein. Nach dem AI Omnibus gelten die Pflichten dafür ab dem 2. Dezember 2027. Wer ein solches System betreibt, muss dann unter anderem menschliche Aufsicht durch kompetente Personen sicherstellen, auf passende Eingabedaten achten, Protokolle aufbewahren und Beschäftigte sowie ihre Vertretung vorab informieren. Die Frist ist kein Grund zu warten. Die Fragen dahinter stellen sich mit dem ersten Einsatz.

Warum reicht gesunder Menschenverstand nicht?

Weil sich die meisten Verzerrungen erst zeigen, wenn man gezielt nach ihnen sucht. Keiner der Fälle in diesem Beitrag fiel durch einen Blick auf einzelne Ergebnisse auf. Sichtbar wurden sie durch Tests mit vertauschten Namen, durch Auswertungen nach Gruppen und durch die Frage, was eine Zielgröße wirklich misst. Gesunder Menschenverstand hilft, die richtigen Fragen zu stellen. Eine systematische Risikobewertung ersetzt er nicht.

Einen Rahmen dafür bietet das AI Risk Management Framework des US-Instituts NIST. Es ordnet die Arbeit in vier Funktionen: Govern für Zuständigkeiten und Regeln, Map für den Einsatzkontext, Measure für Tests und Kennzahlen und Manage für den Umgang mit erkannten Risiken. Der folgende Check übersetzt das in zwölf Fragen für dein Unternehmen.

Wo du noch keine Antwort hast, liegt die nächste Aufgabe. Ein guter Startpunkt ist der Test mit vertauschten Namen: Gib dem System dieselbe Unterlage mit unterschiedlichen Namen und vergleiche die Ergebnisse. Wie gut dein Team auf solche Prüfungen vorbereitet ist, zeigt der KI-Kompetenz-Check.

Was heißt das für Führungskräfte?

KI nimmt dir Arbeit ab, aber nicht die Verantwortung. Lege fest, welche Entscheidungen ein System unterstützen darf und welche nicht. Entscheide, welche Fairness gelten soll, und halte die Begründung fest. Sorge dafür, dass jemand die Ergebnisse prüft, der widersprechen darf. Und wiederhole die Prüfung, wenn sich Modell, Daten oder Einsatzzweck ändern.

Quellen

• Wilson, Caliskan: Gender, Race, and Intersectional Bias in Resume Screening via Language Model Retrieval, AIES 2024.
• University of Washington: AI tools show biases in ranking job applicants’ names according to perceived race and gender, 31.10.2024.
• Sorokovikova, Chizhov, Eremenko, Yamshchikov: Surface Fairness, Deep Bias: A Comparative Study of Bias in Language Models, GeBNLP 2025.
• THWS: Artificial Intelligence Gives Women Lower Salary Advice, 25.06.2025.
• Computerworld: Bias alert: LLMs suggest women seek lower salaries than men in job interviews, 24.07.2025.
• Buolamwini, Gebru: Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification, PMLR 81, 2018.
• Obermeyer, Powers, Vogeli, Mullainathan: Dissecting racial bias in an algorithm used to manage the health of populations, Science 366, 2019.
• Kleinberg, Mullainathan, Raghavan: Inherent Trade-Offs in the Fair Determination of Risk Scores, 2016.
• Reuters: Amazon scraps secret AI recruiting tool that showed bias against women, 10.10.2018.
• AI Act Service Desk: Anhang III und Artikel 26.
• EUR-Lex: Verordnung (EU) 2024/1689, konsolidierte Fassung vom 27.07.2026.
• Europäische Kommission: AI Omnibus enters into force, 27.07.2026.
• EUR-Lex: Datenschutz-Grundverordnung, Artikel 22.
• Bundesministerium der Justiz: Allgemeines Gleichbehandlungsgesetz.
• NIST: AI Risk Management Framework.

Grafiken und Risiko-Check sind eigene Darstellungen. Der Risiko-Check speichert keine Antworten. Dieser Beitrag ist keine Rechtsberatung.

Anyone who uses AI is responsible for what it does to people. That applies to the management that approves a tool as much as to the manager whose team works with it. Many people attach a hope to AI: a program knows no sympathy and no bad days, so it ought to decide more fairly. Research from recent years shows that this hope only holds if ethical questions are considered from the start.

Using recent studies, this article shows where AI disadvantages people, how bias gets into a system and why it is so hard to remove. It then covers the legal framework and a risk check you can work through before your next deployment. The article AI adoption in companies describes how people and technology interact during adoption.

Why is AI ethics a leadership task?

Because the decision to use AI is a decision about people. A system that sorts applications, suggests salaries or rates performance affects careers and incomes. Whoever introduces it decides what it is used for, who checks the results and what happens when it gets things wrong. These questions cannot be handed off to IT or to the vendor.

AI can make processes fairer, for example because it reads every application against the same criteria. Without an ethical review, however, the outcome can also be worse than before. The system then repeats old patterns, only faster, at larger scale and with an air of objectivity.

Does AI disadvantage job applicants?

It can, measurably, when nobody is looking. In 2018 Amazon dropped an experimental recruiting tool. It had learned from ten years of applications that came mostly from men, and it downgraded resumes containing the word "women's", as in a women's chess club. According to Reuters, the tool never decided on hires on its own.

Six years later, Kyra Wilson and Aylin Caliskan of the University of Washington tested current language models. They inserted 120 first names into more than 550 real resumes and had three models rank them for more than 500 job ads across nine occupations. Over more than three million comparisons, a clear pattern emerged.

White-associated names were preferred in 85.1 percent of tests, Black-associated names in 8.6 percent. Male-associated names came out ahead in 51.9 percent, female-associated names in 11.1 percent. Black male names never did better than white male names in a single test. The gaps in individual comparisons were often small. Across many jobs and applications, they add up.

Historical data with such imbalances are a risk. They do not necessarily determine the outcome, though. Whether a pattern continues depends on how a system is built, tested and used. That is where companies deploying it have room to act.

Does AI suggest lower salaries to women?

In a study by the Technical University of Applied Sciences Würzburg-Schweinfurt, several common models did. Ivan Yamshchikov's team asked five language models for salary targets for negotiations. The scenarios were identical; only the details about the person changed. In most cases, women were advised to aim lower than men.

One example from the authors: for an experienced medical specialist in Denver, ChatGPT o3 suggested a starting target of $280,000 for a woman and $400,000 for an equally qualified man. When the researchers combined several attributes, the gap grew further. In 35 of 40 experiments, the persona "male Asian expatriate" came out clearly ahead of "female Hispanic refugee".

"When it comes to sensitive topics like salary negotiations, this kind of hidden bias can have real-world consequences for users."

Sorokovikova, Chizhov, Eremenko and Yamshchikov according to THWS, June 2025.

Where the bias appeared is telling. In classic knowledge tests the researchers found hardly any differences. It only became clear once the models were asked for advice. With memory features that keep details from earlier conversations, nobody has to state gender or origin anymore. The model often knows them already.

Is a computer neutral?

No. A computer calculates with the data and goals people give it. In 2018 Joy Buolamwini and Timnit Gebru examined three commercial systems that classify gender in photos. Two common benchmark data sets consisted of 79.6 and 86.2 percent lighter-skinned faces. The errors were distributed just as unevenly.

Bias can arise even when a protected attribute is not in the system at all. An algorithm used in US health care was meant to identify patients with high care needs. Race was not an input. But it predicted future treatment costs, as a stand-in for need.

Because less money was spent on average on Black patients with the same illness, the algorithm rated them healthier. Ziad Obermeyer and colleagues did the maths: without this gap, the share of Black patients in extra care would have risen from 17.7 to 46.5 percent. A reformulated target removed the bias in predicting who needs extra care.

"We suggest that the choice of convenient, seemingly effective proxies for ground truth can be an important source of algorithmic bias in many contexts."

Obermeyer et al., Science, 2019.

Where does bias enter an AI system?

At every step, from data to use. The examples above show different entry points. At Amazon it lay in the historical data, in the health algorithm in the target, in the language models in the pre-trained model itself. Two more steps are often overlooked: how people handle the suggestions and what later becomes of their decisions.

The use step deserves special attention. People tend to trust a system's suggestions too much. In a mammography study, even experienced radiologists' accuracy fell clearly when a purported AI was wrong. The section on automation bias in the article AI adoption in companies has more on this. Human approval only protects if that person has the time, the knowledge and the right to object.

Why is bias so hard to filter out?

Because features give each other away, and because there is no single fairness. The obvious step is to delete gender, age or origin from the data. That helps little if other details carry the same information. A club name, a gap in a CV, a place of residence or a school can allow inferences. According to Reuters, Amazon made the tool neutral to the conspicuous terms but had no guarantee that it would not find other ways to disadvantage people.

There is also a mathematical limit. Fairness can be defined in different ways, and the definitions contradict each other as soon as groups start from different positions. In 2016 Jon Kleinberg, Sendhil Mullainathan and Manish Raghavan showed that certain fairness conditions cannot all be met at once except in special cases.

For a company this means: the software cannot decide which fairness should apply. That is a value judgement that has to be made and justified before deployment. It belongs to leadership, not to the vendor.

What does the law require when using AI?

Discrimination is already prohibited, and further duties are coming for AI in HR. Germany's General Equal Treatment Act (AGG) applies regardless of whether a person or software pre-sorts candidates. Article 22 of the GDPR protects people from being subject to decisions based solely on automated processing with significant effects. Since February 2025 the EU AI Act has prohibited, among other things, AI for emotion recognition at the workplace.

The AI Act classifies AI for selection, promotion, dismissal or performance evaluation as high-risk. Following the AI Omnibus, the duties for this apply from 2 December 2027. Anyone operating such a system must then ensure, among other things, human oversight by competent people, pay attention to suitable input data, keep logs and inform workers and their representatives in advance. The deadline is no reason to wait. The questions behind it arise with the first deployment.

Why is common sense not enough?

Because most biases only show up when you look for them deliberately. None of the cases in this article stood out from a glance at individual results. They became visible through tests with swapped names, analyses by group and the question of what a target really measures. Common sense helps you ask the right questions. It does not replace a systematic risk assessment.

The AI Risk Management Framework of the US institute NIST offers a structure for this. It organises the work into four functions: Govern for responsibilities and rules, Map for the context of use, Measure for tests and metrics, and Manage for handling identified risks. The following check translates this into twelve questions for your company.

Wherever you have no answer yet, that is your next task. A good starting point is the swapped-name test: give the system the same document with different names and compare the results. The AI competence check shows how well your team is prepared for such reviews.

What does this mean for leaders?

AI takes work off your hands, but not responsibility. Decide which decisions a system may support and which it may not. Decide which fairness should apply, and record why. Make sure someone reviews the results who is allowed to object. And repeat the review whenever the model, the data or the purpose changes.

Sources

• Wilson, Caliskan: Gender, Race, and Intersectional Bias in Resume Screening via Language Model Retrieval, AIES 2024.
• University of Washington: AI tools show biases in ranking job applicants’ names according to perceived race and gender, 31 October 2024.
• Sorokovikova, Chizhov, Eremenko, Yamshchikov: Surface Fairness, Deep Bias: A Comparative Study of Bias in Language Models, GeBNLP 2025.
• THWS: Artificial Intelligence Gives Women Lower Salary Advice, 25 June 2025.
• Computerworld: Bias alert: LLMs suggest women seek lower salaries than men in job interviews, 24 July 2025.
• Buolamwini, Gebru: Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification, PMLR 81, 2018.
• Obermeyer, Powers, Vogeli, Mullainathan: Dissecting racial bias in an algorithm used to manage the health of populations, Science 366, 2019.
• Kleinberg, Mullainathan, Raghavan: Inherent Trade-Offs in the Fair Determination of Risk Scores, 2016.
• Reuters: Amazon scraps secret AI recruiting tool that showed bias against women, 10 October 2018.
• AI Act Service Desk: Annex III and Article 26.
• EUR-Lex: Regulation (EU) 2024/1689, consolidated version of 27 July 2026.
• European Commission: AI Omnibus enters into force, 27 July 2026.
• EUR-Lex: General Data Protection Regulation, Article 22.
• Federal Ministry of Justice: General Equal Treatment Act (AGG).
• NIST: AI Risk Management Framework.

Charts and risk check are my own work. The risk check does not store any answers. This article is not legal advice.