Moderace obsahu

Účel a kontext nasazení

Moderace obsahu chrání jobsai.cz před diskriminačním, nelegálním, podvodným nebo jinak škodlivým obsahem v pracovních inzerátech a nahlášeních. Aktuálně existuje pouze pravidlová anti-diskriminační kontrola inzerátů, aplikační validační pravidla a lidský notice-and-action proces. Samostatný obecný toxicity classifier není v repozitáři ani v produkčním kódu nasazený.

Klasifikace dle AI Act

Podle nařízení EU 2024/1689 (AI Act) není aktuální obecná moderace obsahu samostatným systémem pro náborové hodnocení kandidátů podle přílohy III, bod 4(a). V dnešním rozsahu jde o pravidlovou a lidskou kontrolu publikace uživatelského obsahu; pokud by začala automaticky hodnotit kandidáty nebo filtrovat přihlášky, musí být překlasifikována jako vysokoriziková. Provozovatel přesto vede technickou dokumentaci, logování, post-market monitoring a incidentní proces; závažné incidenty se oznamují příslušným orgánům podle AI Actu a české implementační legislativy; po finálním určení dozorového orgánu bude tato část aktualizována. Povinnosti pro případné vysokorizikové rozšíření by nabyly účinnosti 2. srpna 2026.

Vstupy a výstupy

Vstupem je název a popis pracovního inzerátu, text nahlášení, interní poznámky a další uživatelsky vložený obsah. Tyto texty mohou obsahovat kontaktní údaje, firemní identifikátory a citlivé údaje, pokud je uživatel vloží do volného textu. Výstupem aktuálního systému je nález anti-diskriminačního pravidla, validační chyba, fronta lidského přezkumu nebo DSA notice-and-action záznam; nikoli skóre toxicity z hosted modelu.

Použité modely a verze

K 2026-05-13 nebyl v kódu nalezen samostatný hosted toxicity model. Produkčně zdokumentovaná automatizovaná část používá pravidlový anti-diskriminační classifier a běžná pravidla aplikační validace pracovních inzerátů. Obecný toxicity classifier je plánováno nejdříve pro Q1 po launchi; před zapnutím musí být doplněny podrobnosti modelu, DPA/SCC, eval sada, metriky a samostatné schválení modelové karty. Fine-tuning není evidován. Znalostní cutoff se u aktuální pravidlové části neuplatní.

Trénovací data

Pravidlová část používá interní eval sadu anti-diskriminačních vět a právní/policy taxonomii v dokumentaci. Obecný toxicity/legality classifier zatím nemá v repozitáři trénovací dataset ani prompt. Pro lidské přezkumy se používají DSA důvody, report uživatele a kontext inzerátu; plné interní pokyny moderátorům se nezveřejňují, aby se nesnadno obcházely.

Omezení a známá rizika

Aktuální pravidlová kontrola nezachytí všechny formy podvodu, nenávisti, obtěžování, nelegálních nabídek ani toxického obsahu. Proto se karta nesmí vykládat jako tvrzení, že jobsai.cz provozuje obecný production toxicity classifier. Kritické zásahy musí mít lidský dohled, odvolání a auditní stopu. Pokud se v budoucnu zapne externí LLM nebo moderation API, musí být před produkčním použitím změřena kvalita pro češtinu a false-positive dopady.

Spravedlnost a anti-diskriminace

Moderace obsahu zohledňuje chráněné kategorie ze zákona č. 198/2009 Sb. a povinnost nediskriminačního přístupu k zaměstnání. Mitigace zahrnují oddělení policy důvodů, možnost odvolání, auditování zásahů a kontrolu dopadů podle kategorie porušení. Pre-launch audit pravidlové anti-diskriminační části je dokončen podle interní metodiky. Poslední audit: 2026-05-14, prošel.

Položka	Hodnota
Poslední audit	2026-05-14, prošel

Audit obecného moderation classifieru proběhne před jeho případným zapnutím.

Lidský dohled

Každé skrytí nebo zamítnutí obsahu musí být přezkoumatelné. Zaměstnavatel dostane důvod a cestu odvolání. Trust & Safety může rozhodnutí zvrátit, požádat o úpravu nebo incident eskalovat na právní kontakt. DSA notice-and-action, odvolání i policy spory přijímá [email protected].

Metriky výkonu

Pro obecný moderation classifier zatím nejsou naměřené precision/recall, protože není nasazený. Měřeno bude až před jeho případným spuštěním: počet nahlášení, medián času do zásahu, podíl úspěšných odvolání, false-positive review rate a kategorie zásahu. Anti-diskriminační část má samostatné metriky v příslušné modelové kartě.

Bezpečnost a soukromí

Pravidlová část běží lokálně bez přenosu třetí straně. Zpracování osobních údajů se řídí nařízením EU 2016/679 (GDPR); právním základem pro moderaci, prevenci zneužití a audit je oprávněný zájem podle čl. 6 odst. 1 písm. f GDPR, u zákonných notice-and-action povinností také právní povinnost podle čl. 6 odst. 1 písm. c GDPR. Pokud se zapne externí moderation API, texty inzerátů a nahlášení mohou opustit hranici jobsai.cz; provozovatel musí před launchí doplnit EU/US zpracování, retenční režim a DPA/SCC. Moderátorské fronty musí maskovat zbytečné PII a uchovávat auditní stopu pouze po nezbytnou dobu. Podrobnosti jsou v zásadách ochrany osobních údajů.

Stížnosti a kontakt

Nahlášení nelegálního obsahu, odvolání proti moderaci i stížnosti na automatizovaný nástroj posílejte na [email protected]. Žádosti o ochranu osobních údajů směřujte na zásady ochrany osobních údajů.

Verze karty

Verze karty 1.0.3, poslední aktualizace 2026-07-08.