Модерація контенту

Мета та контекст впровадження

Модерація контенту захищає jobsai.cz від дискримінаційного, нелегального, шахрайського чи іншого шкідливого контенту в оголошеннях про вакансії та повідомленнях. Наразі існує лише правилова антидискримінаційна перевірка оголошень, валідаційні правила застосунку та людський процес notice-and-action. Самостійний загальний класифікатор токсичності не впроваджений ні в репозиторії, ні в продакшн-коді.

Класифікація згідно з AI Act

Згідно з регламентом ЄС 2024/1689 (AI Act) наразі загальна модерація контенту не є самостійною системою для оцінювання кандидатів під час набору згідно з додатком III, пункт 4(a). У сьогоднішньому обсязі йдеться про правилову та людську перевірку публікації користувацького контенту; якби вона почала автоматично оцінювати кандидатів чи фільтрувати відгуки, вона має бути перекласифікована як високоризикова. Оператор попри це веде технічну документацію, логування, post-market monitoring та інцидентний процес; серйозні інциденти повідомляються компетентним органам згідно з AI Act та чеським імплементаційним законодавством; після остаточного визначення наглядового органу ця частина буде актуалізована. Обов'язки для можливого високоризикового розширення набули б чинності 2 серпня 2026 року.

Вхідні та вихідні дані

Вхідними даними є назва та опис оголошення про вакансію, текст повідомлення, внутрішні нотатки та інший внесений користувачем контент. Ці тексти можуть містити контактні дані, корпоративні ідентифікатори та чутливі дані, якщо користувач внесе їх у вільний текст. Вихідними даними актуальної системи є виявлення антидискримінаційного правила, валідаційна помилка, черга людського перегляду чи запис DSA notice-and-action; а не скор токсичності з хостованої моделі.

Використані моделі та версії

Станом на 2026-05-13 у коді не було знайдено самостійної хостованої моделі токсичності. Продакшн-задокументована автоматизована частина використовує правиловий антидискримінаційний класифікатор та звичайні правила валідації застосунку для оголошень про вакансії. Загальний класифікатор токсичності є запланованим найраніше на Q1 після launch; перед увімкненням мають бути доповнені подробиці моделі, DPA/SCC, eval-набір, метрики та окреме схвалення модельної картки. Fine-tuning не зафіксований. Cutoff знань для актуальної правилової частини не застосовується.

Тренувальні дані

Правилова частина використовує внутрішній eval-набір антидискримінаційних речень та правову/policy-таксономію в документації. Загальний класифікатор токсичності/легальності поки не має в репозиторії ні тренувального датасету, ні prompt. Для людських переглядів використовуються причини DSA, звіт користувача та контекст оголошення; повні внутрішні вказівки модераторам не оприлюднюються, щоб їх не можна було легко обійти.

Обмеження та відомі ризики

Актуальна правилова перевірка не виявить усіх форм шахрайства, ненависті, переслідування, нелегальних вакансій чи токсичного контенту. Тому картку не можна тлумачити як твердження, що jobsai.cz експлуатує загальний продакшн-класифікатор токсичності. Критичні втручання повинні мати людський нагляд, оскарження та аудиторський слід. Якщо в майбутньому буде увімкнено зовнішній LLM чи moderation API, перед продакшн-використанням мають бути виміряні якість для чеської мови та false-positive впливи.

Справедливість та антидискримінація

Модерація контенту враховує захищені категорії із закону № 198/2009 Зб. та обов'язок недискримінаційного доступу до працевлаштування. Заходи пом'якшення включають відокремлення policy-причин, можливість оскарження, аудитування втручань та контроль впливів за категорією порушення. Pre-launch аудит правилової антидискримінаційної частини завершений згідно з внутрішньою методикою. Останній аудит: 2026-05-14, пройдено.

Пункт	Значення
Останній аудит	2026-05-14, пройдено

Аудит загального moderation-класифікатора відбудеться перед його можливим увімкненням.

Людський нагляд

Кожне приховування чи відхилення контенту має бути переглядним. Роботодавець отримає причину та шлях оскарження. Trust & Safety може скасувати рішення, попросити про редагування чи ескалувати інцидент на юридичний контакт. DSA notice-and-action, оскарження та policy-спори приймає [email protected].

Метрики продуктивності

Для загального moderation-класифікатора поки не виміряні precision/recall, оскільки він не впроваджений. Вимірювання відбудеться лише перед його можливим запуском: кількість повідомлень, медіана часу до втручання, частка успішних оскаржень, false-positive review rate та категорія втручання. Антидискримінаційна частина має окремі метрики у відповідній модельній картці.

Безпека та приватність

Правилова частина виконується локально без передавання третій стороні. Обробка персональних даних регулюється регламентом ЄС 2016/679 (GDPR); правовою підставою для модерації, запобігання зловживанню та аудиту є законний інтерес згідно зі ст. 6 п. 1 літ. f GDPR, а для законних обов'язків notice-and-action також правовий обов'язок згідно зі ст. 6 п. 1 літ. c GDPR. Якщо буде увімкнено зовнішній moderation API, тексти оголошень та повідомлень можуть покинути межі jobsai.cz; оператор повинен перед launch доповнити обробку EU/US, режим зберігання та DPA/SCC. Модераторські черги повинні маскувати зайві PII та зберігати аудиторський слід лише протягом необхідного часу. Подробиці наведені в політиці захисту персональних даних.

Скарги та контакт

Повідомлення про нелегальний контент, оскарження модерації та скарги на автоматизований інструмент надсилайте на [email protected]. Запити щодо захисту персональних даних спрямовуйте на політику захисту персональних даних.

Версія картки

Версія картки 1.0.3, остання актуалізація 2026-07-08.