Anti-Diskriminierungs-Filter

Zweck und Einsatzkontext

Der Anti-Diskriminierungs-Filter kontrolliert Stellenanzeigen bei der Erstellung oder Bearbeitung. Ziel ist es, den Arbeitgeber auf Formulierungen hinzuweisen, die dem Diskriminierungsverbot widersprechen können, und die Veröffentlichung ohne Anpassung oder ohne nachgewiesene berechtigte berufliche Anforderung zu verhindern. Betroffen sind Arbeitgeber, Kandidaten und interne Moderatoren.

Klassifizierung nach dem AI Act

Nach der Verordnung (EU) 2024/1689 (AI Act) beurteilen wir diese Komponente als außerhalb von Anhang III, Nummer 4(a), weil sie ausschließlich der Kontrolle des Wortlauts von Stellenanzeigen dient und weder der Anwerbung noch der Auswahl natürlicher Personen dient. Nach den Auslegungsleitlinien zum AI Act fällt ein System, das ausschließlich zur Identifizierung nicht inklusiver oder diskriminierender Formulierungen in der Anzeigenbeschreibung verwendet wird, nicht unter den Use Case von Anhang III, Nummer 4(a). Diese Einordnung überprüfen wir laufend, und sie unterliegt einer abschließenden rechtlichen Beurteilung. Auch außerhalb des Regimes für Hochrisikosysteme führt der Betreiber freiwillig eine technische Dokumentation der Regeln, Eval-Ergebnisse, eine Modellkarte, Post-Market-Monitoring und ein Audit der Overrides; schwerwiegende Vorfälle würden den zuständigen Behörden nach dem AI Act und der tschechischen Umsetzungsgesetzgebung gemeldet.

Eingaben und Ausgaben

Eingabe sind der tschechische Titel und die Beschreibung der Stelle, gegebenenfalls englische Phrasen im Text. Der Text wird auf lowercase normalisiert, die diakritischen Zeichen werden entfernt und mit den Regeln verglichen. Die verarbeiteten PII-Kategorien sind auf den Inhalt beschränkt, den der Arbeitgeber selbst in die Anzeige einstellt; das System verlangt keine personenbezogenen Daten von Kandidaten. Ausgabe sind hasIssue, eine Liste der Kategorien, der gefundene Abschnitt und eine tschechische Umformulierungsempfehlung.

Verwendete Modelle und Versionen

Die Komponente ist ein regelbasierter Classifier (verwendet weder LLM noch Embeddings oder Fine-Tuning), Version der Regeln vom 2026-05-12. Die Kategorien im Code sind age, gender, nationality, race_ethnicity, religion, sexual_orientation, disability, family_status, political_views und union_membership. Ein Wissens-Cutoff findet keine Anwendung; die Regeln werden im Repository versioniert.

Trainingsdaten

Das Modell wird nicht gradientenbasiert trainiert. Die Regeln beruhen auf einem internen tschechischen Evaluierungsset von 140 Trainingszeilen zur Feinabstimmung der Regeln und 60 ungesehenen Testzeilen ohne Duplikate zwischen den Splits. Ein Prompt wird nicht verwendet. Der rechtliche Rahmen beruht auf dem Gesetz Nr. 198/2009 Slg., der Richtlinie 2000/78/EG und der Richtlinie 2000/43/EG.

Beschränkungen und bekannte Risiken

Die Regeln können bei Gesetzeszitaten, legitimen Anforderungen an die körperliche Eignung oder parallelen Genderformen false positives erzeugen. False negatives drohen bei neuen kodierten Ausdrücken, Ironie und sehr indirekter Diskriminierung. Die Abdeckung ist vor allem auf Tschechisch und grundlegendes Englisch abgestimmt.

Fairness und Anti-Diskriminierung

Der Filter schützt ausdrücklich die im Gesetz Nr. 198/2009 Slg. und in den zugehörigen Vorschriften genannten Kategorien. Zu den Minderungsmaßnahmen gehören tschechische Umformulierungsvorschläge, die Möglichkeit, eine berechtigte berufliche Anforderung nachzuweisen, ein Audit der Overrides, ein internes Review und eine interne Methodik des Fairness-Audits. Letztes Audit: 2026-05-14, bestanden.

Position	Wert
Letztes Audit	2026-05-14, bestanden

Ein breiteres Produktions-Audit ist für Q1 nach dem Launch geplant.

Menschliche Aufsicht

Ohne Befund läuft die Anzeige im normalen Ablauf weiter. Bei einem Befund muss der Arbeitgeber den Text anpassen oder eine BFOQ/GORD-Begründung nachweisen. Der Override wird im Audit gespeichert und ist den Administratoren im Review-Prozess sichtbar; strittige Fälle kann Trust & Safety manuell genehmigen, ablehnen oder eine Anpassung verlangen.

Leistungsmetriken

Auf dem ungesehenen internen Split erreicht der Filter einen Makro-F1 von 0.815. F1 pro Kategorie: Alter 0.750, Geschlecht 0.667, Nationalität 0.667, Rasse und ethnische Herkunft 0.857, Religion 0.889, sexuelle Orientierung 1.000, Behinderung 0.857, Familienstand 0.857, politische Anschauungen 0.750, Gewerkschaftszugehörigkeit 0.857. Der Produktions-Drift wird ab dem Launch-Fenster Sprint 5 gemessen.

Sicherheit und Datenschutz

Die Kontrolle läuft lokal im Anwendungscode und sendet den Text der Anzeige nicht an Dritte. Die Verarbeitung personenbezogener Daten richtet sich nach der Verordnung (EU) 2016/679 (DSGVO); bei der Validierung von Anzeigen ist die Rechtsgrundlage die Erfüllung des Vertrags mit dem Arbeitgeber nach Art. 6 Abs. 1 Buchst. b DSGVO sowie das berechtigte Interesse an der Verhinderung von Diskriminierung und Missbrauch des Dienstes nach Art. 6 Abs. 1 Buchst. f DSGVO. Die Audit-Aufzeichnungen der Overrides enthalten Textabschnitte, Kategorien, die Begründung und die Identität des genehmigenden Nutzers; der Zugang soll auf berechtigte Administratoren beschränkt sein. Einzelheiten finden sich in den Grundsätzen zum Schutz personenbezogener Daten.

Beschwerden und Kontakt

Beschwerden über ein Flag oder einen Antrag auf Überprüfung senden Sie an [email protected]. Formelle Anträge zum Schutz personenbezogener Daten richten Sie an den Datenschutz-Kontakt in den Grundsätzen zum Schutz personenbezogener Daten.

Version der Karte

Version der Karte 1.0.3, letzte Aktualisierung 2026-07-08.