JobsAI
Modelové karty AI / Anti-diskriminační filtr

Obsah

  1. Účel a kontext nasazení
  2. Klasifikace dle AI Act
  3. Vstupy a výstupy
  4. Použité modely a verze
  5. Trénovací data
  6. Omezení a známá rizika
  7. Spravedlnost a anti-diskriminace
  8. Lidský dohled
  9. Metriky výkonu
  10. Bezpečnost a soukromí
  11. Stížnosti a kontakt
  12. Verze karty

Anti-diskriminační filtr

Účel a kontext nasazení

Anti-diskriminační filtr kontroluje pracovní inzeráty při vytvoření nebo úpravě. Cílem je upozornit zaměstnavatele na formulace, které mohou odporovat zákazu diskriminace, a zabránit publikaci bez úpravy nebo doloženého oprávněného profesního požadavku. Ovlivněni jsou zaměstnavatelé, kandidáti a interní moderátoři.

Klasifikace dle AI Act

Podle nařízení EU 2024/1689 (AI Act) tuto komponentu posuzujeme jako mimo přílohu III, bod 4(a), protože slouží výhradně ke kontrole znění pracovních inzerátů a neslouží k náboru ani výběru fyzických osob. Podle výkladových vodítek k AI Actu systém používaný výhradně k identifikaci neinkluzivních nebo diskriminačních formulací v popisu inzerátu nespadá do use case přílohy III, bod 4(a). Toto zařazení průběžně revidujeme a podléhá finálnímu právnímu posouzení. I mimo režim vysokorizikových systémů provozovatel dobrovolně vede technickou dokumentaci pravidel, eval výsledky, modelovou kartu, post-market monitoring a audit override; závažné incidenty by byly oznámeny příslušným orgánům podle AI Actu a české implementační legislativy.

Vstupy a výstupy

Vstupem je český název a popis pozice, případně anglické fráze v textu. Text se normalizuje na lowercase, skládá se diakritika a porovnává se s pravidly. Zpracovávané PII kategorie jsou omezené na obsah, který zaměstnavatel sám vloží do inzerátu; systém nevyžaduje osobní údaje kandidátů. Výstupem je hasIssue, seznam kategorií, nalezený úsek a české doporučení přepisu.

Použité modely a verze

Komponenta je pravidlový classifier (nepoužívá LLM, embeddingy ani fine-tuning), verze pravidel z 2026-05-12. Kategorie v kódu jsou age, gender, nationality, race_ethnicity, religion, sexual_orientation, disability, family_status, political_views a union_membership. Znalostní cutoff se neuplatní; pravidla se verzují v repozitáři.

Trénovací data

Model není trénovaný gradientně. Pravidla vycházejí z interní české evaluační sady 140 trénovacích řádků pro ladění pravidel a 60 neviděných testovacích řádků bez duplicit mezi splity. Prompt se nepoužívá. Právní rámec vychází ze zákona č. 198/2009 Sb., směrnice 2000/78/ES a směrnice 2000/43/ES.

Omezení a známá rizika

Pravidla mohou vytvořit false positives u citací zákona, legitimních požadavků na fyzickou způsobilost nebo paralelních genderových tvarů. False negatives hrozí u nových kódovaných výrazů, ironie a velmi nepřímé diskriminace. Pokrytí je laděné hlavně pro češtinu a základní angličtinu.

Spravedlnost a anti-diskriminace

Filtr explicitně chrání kategorie uvedené v zákoně č. 198/2009 Sb. a souvisejících předpisech. Mitigace zahrnují české návrhy přepisu, možnost doložit oprávněný profesní požadavek, audit override, interní review a interní metodiku fairness auditu. Poslední audit: 2026-05-14, prošel.

PoložkaHodnota
Poslední audit2026-05-14, prošel

Širší produkční audit je plánován pro Q1 po launchi.

Lidský dohled

Bez nálezu inzerát pokračuje běžným tokem. Při nálezu musí zaměstnavatel text upravit nebo doložit BFOQ/GORD zdůvodnění. Override se ukládá do auditu a je viditelný administrátorům v review procesu; sporné případy může Trust & Safety ručně schválit, zamítnout nebo vyžádat úpravu.

Metriky výkonu

Na neviděném interním splitu má filtr makro-F1 0.815. Per-kategorie F1: věk 0.750, pohlaví 0.667, národnost 0.667, rasa a etnický původ 0.857, náboženství 0.889, sexuální orientace 1.000, zdravotní postižení 0.857, rodinný stav 0.857, politické názory 0.750, členství v odborech 0.857. Produkční drift bude měřen od launch okna Sprint 5.

Bezpečnost a soukromí

Kontrola běží lokálně v aplikačním kódu a neposílá text inzerátu třetí straně. Zpracování osobních údajů se řídí nařízením EU 2016/679 (GDPR); u validace inzerátů je právním základem plnění smlouvy se zaměstnavatelem podle čl. 6 odst. 1 písm. b GDPR a oprávněný zájem na prevenci diskriminace a zneužití služby podle čl. 6 odst. 1 písm. f GDPR. Auditní záznamy override obsahují textové úseky, kategorie, zdůvodnění a identitu schvalujícího uživatele; přístup má být omezen na oprávněné administrátory. Podrobnosti jsou v zásadách ochrany osobních údajů.

Stížnosti a kontakt

Stížnosti na flag nebo žádost o přezkum posílejte na [email protected]. Formální žádosti o ochranu osobních údajů směřujte na privacy kontakt v zásadách ochrany osobních údajů.

Verze karty

Verze karty 1.0.3, poslední aktualizace 2026-07-08.

Další modelové karty: Matching ranker, Moderace obsahu, Generátor vysvětlení shody.

NápovědaPlatyAI agentiBezpečnostStav službyTransparentnost

© JobsAI

Ochrana osobních údajůCookiesPodmínky užíváníModelové karty AI
JobsAI
Nabídky práceCeník
Přihlásit se