ToxicLord v1

ToxicLord v1 - русскоязычная модель классификации токсичности для чат-модерации. Модель классифицирует короткие сообщения как clean или toxic и настроена под стиль Telegram-чатов.

Модель является fine-tune версии deepvk/deberta-v1-base для задачи бинарной классификации токсичности на русском языке.

Модель предназначена для помощи в модерации. Она может ошибаться, поэтому для реального использования рекомендуется логирование, ручная проверка спорных случаев и подбор порога под конкретное сообщество.

Метки

0: clean
1: toxic

Рекомендуемый порог

Для осторожной Telegram-модерации лучше использовать вероятность токсичного класса, а не только argmax:

toxic, если P(toxic) >= 0.90

Метрики

Внутренний тестовый набор:

accuracy:        0.9689
precision_toxic: 0.9310
recall_toxic:    0.9052
f1_toxic:        0.9179
macro_f1:        0.9494

Внешние фиксированные тестовые выборки при пороге 0.90:

Обычный Telegram-чат: 2/500 срабатываний, 0.4%
Токсичная выборка:    364/500 срабатываний, 72.8%

Использование

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer

model_id = "Egor-3926/ToxicLord"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForSequenceClassification.from_pretrained(model_id)
model.eval()

text = "ты грубый и неприятный человек"
inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=192)

with torch.inference_mode():
    probs = torch.softmax(model(**inputs).logits, dim=-1)[0]

clean_score = float(probs[0])
toxic_score = float(probs[1])
label = "toxic" if toxic_score >= 0.90 else "clean"

print(label, toxic_score)

Примеры

Ниже приведены примеры, близкие к реальным коротким сообщениям из чатов. Явная нецензурная лексика в карточке модели не приводится, поэтому часть грубых слов заменена на нейтральные формулировки или скрыта. Итоговый результат зависит от выбранного порога и контекста сообщения.

Сообщение: Блин, я вообще ничего не понял
Ожидаемый класс: clean

Сообщение: Да мне всё равно, делайте как хотите
Ожидаемый класс: clean

Сообщение: Ну и зачем это было делать?
Ожидаемый класс: clean

Сообщение: Сам ты лох
Ожидаемый класс: toxic

Сообщение: Ты полный идиот
Ожидаемый класс: toxic

Сообщение: Иди отсюда, никто тебя тут не ждёт
Ожидаемый класс: toxic

Сообщение: У тебя синдром дауна
Ожидаемый класс: toxic

Сообщение: Даун
Ожидаемый класс: toxic

Обучающие данные

Модель дообучалась на смеси публичных русскоязычных датасетов токсичности и приватных модерационных разметок/исправлений.

Сырые обучающие данные, Telegram-логи, идентификаторы пользователей и приватные разметки вместе с моделью не распространяются.

Ограничения

• Модель оптимизирована для русскоязычных Telegram-чатов и может хуже работать на формальных текстах, длинных документах и других языках.
• Короткие оскорбления и токсичные ярлыки могут классифицироваться как токсичные даже без широкого контекста.
• Сарказм, цитаты, шутки, обсуждение правил и мета-комментарии могут распознаваться неверно.
• Модель не стоит использовать как единственный источник решения для необратимых наказаний.

Лицензия

Модель опубликована под лицензией cc-by-nc-nd-4.0.

Разрешено некоммерческое использование с указанием авторства. Коммерческое использование и распространение производных версий запрещены условиями лицензии.