JobsAI
Modelové karty AI / Anti-diskriminačný filter

Obsah

  1. Účel a kontext nasadenia
  2. Klasifikácia podľa AI Act
  3. Vstupy a výstupy
  4. Použité modely a verzie
  5. Trénovacie dáta
  6. Obmedzenia a známe riziká
  7. Spravodlivosť a anti-diskriminácia
  8. Ľudský dohľad
  9. Metriky výkonu
  10. Bezpečnosť a súkromie
  11. Sťažnosti a kontakt
  12. Verzia karty

Anti-diskriminačný filter

Účel a kontext nasadenia

Anti-diskriminačný filter kontroluje pracovné inzeráty pri vytvorení alebo úprave. Cieľom je upozorniť zamestnávateľov na formulácie, ktoré môžu odporovať zákazu diskriminácie, a zabrániť publikácii bez úpravy alebo doloženej oprávnenej profesijnej požiadavky. Ovplyvnení sú zamestnávatelia, kandidáti a interní moderátori.

Klasifikácia podľa AI Act

Podľa nariadenia EU 2024/1689 (AI Act) túto komponentu posudzujeme ako mimo prílohu III, bod 4(a), pretože slúži výhradne na kontrolu znenia pracovných inzerátov a neslúži na nábor ani výber fyzických osôb. Podľa výkladových vodítok k AI Actu systém používaný výhradne na identifikáciu neinkluzívnych alebo diskriminačných formulácií v popise inzerátu nespadá do use case prílohy III, bod 4(a). Toto zaradenie priebežne revidujeme a podlieha finálnemu právnemu posúdeniu. Aj mimo režimu vysokorizikových systémov prevádzkovateľ dobrovoľne vedie technickú dokumentáciu pravidiel, eval výsledky, modelovú kartu, post-market monitoring a audit override; závažné incidenty by boli oznámené príslušným orgánom podľa AI Actu a českej implementačnej legislatívy.

Vstupy a výstupy

Vstupom je český názov a popis pozície, prípadne anglické frázy v texte. Text sa normalizuje na lowercase, skladá sa diakritika a porovnáva sa s pravidlami. Spracúvané PII kategórie sú obmedzené na obsah, ktorý zamestnávateľ sám vloží do inzerátu; systém nevyžaduje osobné údaje kandidátov. Výstupom je hasIssue, zoznam kategórií, nájdený úsek a české odporúčanie prepisu.

Použité modely a verzie

Komponenta je pravidlový classifier (nepoužíva LLM, embeddingy ani fine-tuning), verzia pravidiel z 2026-05-12. Kategórie v kóde sú age, gender, nationality, race_ethnicity, religion, sexual_orientation, disability, family_status, political_views a union_membership. Znalostný cutoff sa neuplatní; pravidlá sa verzujú v repozitári.

Trénovacie dáta

Model nie je trénovaný gradientne. Pravidlá vychádzajú z internej českej evaluačnej sady 140 trénovacích riadkov pre ladenie pravidiel a 60 nevidených testovacích riadkov bez duplicít medzi splitmi. Prompt sa nepoužíva. Právny rámec vychádza zo zákona č. 198/2009 Sb., smernice 2000/78/ES a smernice 2000/43/ES.

Obmedzenia a známe riziká

Pravidlá môžu vytvoriť false positives pri citáciách zákona, legitímnych požiadavkách na fyzickú spôsobilosť alebo paralelných rodových tvaroch. False negatives hrozia pri nových kódovaných výrazoch, irónii a veľmi nepriamej diskriminácii. Pokrytie je ladené hlavne pre češtinu a základnú angličtinu.

Spravodlivosť a anti-diskriminácia

Filter explicitne chráni kategórie uvedené v zákone č. 198/2009 Sb. a súvisiacich predpisoch. Zmierňujúce opatrenia zahŕňajú české návrhy prepisu, možnosť doložiť oprávnenú profesijnú požiadavku, audit override, interné review a internú metodiku fairness auditu. Posledný audit: 2026-05-14, prešiel.

PoložkaHodnota
Posledný audit2026-05-14, prešiel

Širší produkčný audit je plánovaný pre Q1 po launchi.

Ľudský dohľad

Bez nálezu inzerát pokračuje bežným tokom. Pri náleze musí zamestnávateľ text upraviť alebo doložiť BFOQ/GORD zdôvodnenie. Override sa ukladá do auditu a je viditeľný administrátorom v review procese; sporné prípady môže Trust & Safety ručne schváliť, zamietnuť alebo vyžiadať úpravu.

Metriky výkonu

Na nevidenom internom splite má filter makro-F1 0.815. Per-kategória F1: vek 0.750, pohlavie 0.667, národnosť 0.667, rasa a etnický pôvod 0.857, náboženstvo 0.889, sexuálna orientácia 1.000, zdravotné postihnutie 0.857, rodinný stav 0.857, politické názory 0.750, členstvo v odboroch 0.857. Produkčný drift bude meraný od launch okna Sprint 5.

Bezpečnosť a súkromie

Kontrola beží lokálne v aplikačnom kóde a neposiela text inzerátu tretej strane. Spracovanie osobných údajov sa riadi nariadením EU 2016/679 (GDPR); pri validácii inzerátov je právnym základom plnenie zmluvy so zamestnávateľom podľa čl. 6 ods. 1 písm. b GDPR a oprávnený záujem na prevencii diskriminácie a zneužitia služby podľa čl. 6 ods. 1 písm. f GDPR. Auditné záznamy override obsahujú textové úseky, kategórie, zdôvodnenie a identitu schvaľujúceho používateľa; prístup má byť obmedzený na oprávnených administrátorov. Podrobnosti sú v zásadách ochrany osobných údajov.

Sťažnosti a kontakt

Sťažnosti na flag alebo žiadosť o preskúmanie posielajte na [email protected]. Formálne žiadosti o ochranu osobných údajov smerujte na privacy kontakt v zásadách ochrany osobných údajov.

Verzia karty

Verzia karty 1.0.3, posledná aktualizácia 2026-07-08.

Ďalšie modelové karty: Matching ranker, Moderácia obsahu, Generátor vysvetlenia zhody.

PomocníkPlatyAI agentiBezpečnosťStav službyTransparentnosť

© JobsAI

Ochrana osobných údajovCookiesPodmienky používaniaModelové karty AI
JobsAI
Pracovné ponukyCenník
Prihlásiť sa