Контекст
В проекте ФСК обсуждалась автоматизация классификации тикетов поддержки с использованием LLM. У клиента были обращения, которые сотрудники вручную разбирали по командам и услугам, поэтому качество разметки и скорость маршрутизации зависели от человеческого разбора.
Для демонстрационного контура KT.Team использовала массив из 12 тысяч закрытых тикетов за первый квартал. Перед запуском LLM-классификации данные очистили от мусора, пустых описаний, длинных цепочек писем и непригодной разметки.
Задача
Нужно было показать, как ручной разбор тикетов можно перевести в управляемый AI-процесс: с понятными терминами, контролируемыми промптами, проверкой качества и возможностью дообучать правила по ошибкам классификации.
Отдельная цель воркшопа — согласовать, какие данные нужны для запуска, как будет устроена логика обучения, где фиксируются инструкции для модели и как команда будет понимать, что качество классификации не ухудшается после изменений.
Решение
Подход построен как двухэтапная LLM-классификация. На первом шаге модель по теме и описанию тикета определяет команду, которая должна обработать обращение. На втором шаге внутри выбранной команды определяется услуга.
Для повышения качества заложен механизм самообучения через правила и инструкции. Если тикет классифицирован неверно, система анализирует фактическое распределение, предлагает корректировку описаний или триггеров и прогоняет контрольные тикеты, чтобы не допустить регрессии.
- Подготовили и очистили исторические тикеты для демонстрации.
- Разделили классификацию на уровень команды и уровень услуги.
- Описали контур корректировки правил после ошибок модели.
Воркшоп
На воркшопе команда показала работу системы на подготовленных тикетах и обсудила термины, модель, промпты, запуск, Telegram-уведомления и дальнейшую методику внедрения.
По итогам встречи у проекта появился рабочий демонстрационный контур и согласованный путь от ручного разбора тикетов к AI-классификации, где изменения в правилах можно проверять на контрольных обращениях.
Результат
ФСК получила демонстрацию LLM-классификатора на реальном массиве обращений и понятную методику дальнейшего внедрения. Это не заменяет проект промышленного запуска, но дает команде проверенную основу для обсуждения данных, промптов, качества классификации и контроля ошибок.
Следующий шаг — уточнить термины, подход к обучению и правила работы с промптами, чтобы перевести демонстрационный контур в устойчивый процесс поддержки.
