Moderácia obsahu

Účel a kontext nasadenia

Moderácia obsahu chráni jobsai.cz pred diskriminačným, nelegálnym, podvodným alebo inak škodlivým obsahom v pracovných inzerátoch a nahláseniach. Aktuálne existuje len pravidlová anti-diskriminačná kontrola inzerátov, aplikačné validačné pravidlá a ľudský notice-and-action proces. Samostatný všeobecný toxicity classifier nie je v repozitári ani v produkčnom kóde nasadený.

Klasifikácia podľa AI Act

Podľa nariadenia EU 2024/1689 (AI Act) nie je aktuálna všeobecná moderácia obsahu samostatným systémom pre náborové hodnotenie kandidátov podľa prílohy III, bod 4(a). V dnešnom rozsahu ide o pravidlovú a ľudskú kontrolu publikácie používateľského obsahu; ak by začala automaticky hodnotiť kandidátov alebo filtrovať prihlášky, musí byť preklasifikovaná ako vysokoriziková. Prevádzkovateľ napriek tomu vedie technickú dokumentáciu, logovanie, post-market monitoring a incidentný proces; závažné incidenty sa oznamujú príslušným orgánom podľa AI Actu a českej implementačnej legislatívy; po finálnom určení dozorného orgánu bude táto časť aktualizovaná. Povinnosti pre prípadné vysokorizikové rozšírenie by nadobudli účinnosť 2. augusta 2026.

Vstupy a výstupy

Vstupom je názov a popis pracovného inzerátu, text nahlásenia, interné poznámky a ďalší používateľsky vložený obsah. Tieto texty môžu obsahovať kontaktné údaje, firemné identifikátory a citlivé údaje, ak ich používateľ vloží do voľného textu. Výstupom aktuálneho systému je nález anti-diskriminačného pravidla, validačná chyba, fronta ľudského preskúmania alebo DSA notice-and-action záznam; nie skóre toxicity z hosted modelu.

Použité modely a verzie

K 2026-05-13 nebol v kóde nájdený samostatný hosted toxicity model. Produkčne zdokumentovaná automatizovaná časť používa pravidlový anti-diskriminačný classifier a bežné pravidlá aplikačnej validácie pracovných inzerátov. Všeobecný toxicity classifier je plánovaný najskôr pre Q1 po launchi; pred zapnutím musia byť doplnené podrobnosti modelu, DPA/SCC, eval sada, metriky a samostatné schválenie modelovej karty. Fine-tuning nie je evidovaný. Znalostný cutoff sa u aktuálnej pravidlovej časti neuplatní.

Trénovacie dáta

Pravidlová časť používa internú eval sadu anti-diskriminačných viet a právnu/policy taxonómiu v dokumentácii. Všeobecný toxicity/legality classifier zatiaľ nemá v repozitári trénovací dataset ani prompt. Pre ľudské preskúmania sa používajú DSA dôvody, report používateľa a kontext inzerátu; plné interné pokyny moderátorom sa nezverejňujú, aby sa nedali ľahko obchádzať.

Obmedzenia a známe riziká

Aktuálna pravidlová kontrola nezachytí všetky formy podvodu, nenávisti, obťažovania, nelegálnych ponúk ani toxického obsahu. Preto sa karta nesmie vykladať ako tvrdenie, že jobsai.cz prevádzkuje všeobecný production toxicity classifier. Kritické zásahy musia mať ľudský dohľad, odvolanie a auditnú stopu. Ak sa v budúcnosti zapne externý LLM alebo moderation API, musí byť pred produkčným použitím zmeraná kvalita pre češtinu a false-positive dopady.

Spravodlivosť a anti-diskriminácia

Moderácia obsahu zohľadňuje chránené kategórie zo zákona č. 198/2009 Sb. a povinnosť nediskriminačného prístupu k zamestnaniu. Zmierňujúce opatrenia zahŕňajú oddelenie policy dôvodov, možnosť odvolania, auditovanie zásahov a kontrolu dopadov podľa kategórie porušenia. Pre-launch audit pravidlovej anti-diskriminačnej časti je dokončený podľa internej metodiky. Posledný audit: 2026-05-14, prešiel.

Položka	Hodnota
Posledný audit	2026-05-14, prešiel

Audit všeobecného moderation classifiera prebehne pred jeho prípadným zapnutím.

Ľudský dohľad

Každé skrytie alebo zamietnutie obsahu musí byť preskúmateľné. Zamestnávateľ dostane dôvod a cestu odvolania. Trust & Safety môže rozhodnutie zvrátiť, požiadať o úpravu alebo incident eskalovať na právny kontakt. DSA notice-and-action, odvolania aj policy spory prijíma [email protected].

Metriky výkonu

Pre všeobecný moderation classifier zatiaľ nie sú namerané precision/recall, pretože nie je nasadený. Merané bude až pred jeho prípadným spustením: počet nahlásení, medián času do zásahu, podiel úspešných odvolaní, false-positive review rate a kategória zásahu. Anti-diskriminačná časť má samostatné metriky v príslušnej modelovej karte.

Bezpečnosť a súkromie

Pravidlová časť beží lokálne bez prenosu tretej strane. Spracovanie osobných údajov sa riadi nariadením EU 2016/679 (GDPR); právnym základom pre moderáciu, prevenciu zneužitia a audit je oprávnený záujem podľa čl. 6 ods. 1 písm. f GDPR, pri zákonných notice-and-action povinnostiach aj právna povinnosť podľa čl. 6 ods. 1 písm. c GDPR. Ak sa zapne externý moderation API, texty inzerátov a nahlásení môžu opustiť hranicu jobsai.cz; prevádzkovateľ musí pred launchom doplniť EU/US spracovanie, retenčný režim a DPA/SCC. Moderátorské fronty musia maskovať zbytočné PII a uchovávať auditnú stopu len po nevyhnutnú dobu. Podrobnosti sú v zásadách ochrany osobných údajov.

Sťažnosti a kontakt

Nahlásenie nelegálneho obsahu, odvolania proti moderácii aj sťažnosti na automatizovaný nástroj posielajte na [email protected]. Žiadosti o ochranu osobných údajov smerujte na zásady ochrany osobných údajov.

Verzia karty

Verzia karty 1.0.3, posledná aktualizácia 2026-07-08.