ИИ работает в контуре: чему учат фаззинг, эвалы и политики GitHub

Фаззинг с агентом. Фаззинг - метод тестирования: программа получает большой поток искажённых входных данных, а система записывает каждое падение.

Чтобы данные дошли до нужной функции, инженер пишет обвязку (harness).

Покрытие (coverage) показывает, какая доля кода вообще получила входные данные.

Автор из GitHub Security Lab объясняет, почему непрерывный фаззинг ничего не гарантирует: инженер должен следить за покрытием, писать обвязки для кода, до которого фаззер не добрался, и разбирать найденные падения. Taskflow Agent забирает часть этой рутины, а решение по-прежнему принимает человек. Оценка LLM перед продом.

Во втором материале GitHub перечисляет, где ломается модель с хорошим результатом на бенчмарке. В проде пользователи присылают неоднозначные запросы, разметка противоречит сама себе, контекст теряется или обрезается, а реальные данные распределены иначе, чем тестовый набор.

Если администратор ничего не выберет, пользователи получат функции по политике по умолчанию. Чат как интерфейс.

Автор колонки замечает: ИИ-инструментами массово пользуются три года, а основным интерфейсом к LLM так и осталось текстовое поле.

Через три месяца операционисты открывают инструмент раз в неделю, а метрика, ради которой запускали проект, стоит на месте.

Модель в таких историях обычно ни при чём.

Команда не собрала проверочный набор из реальных запросов, не назначила ответственного за разбор ошибок и выкатила новые функции сотрудникам без правил и обучения.

Здесь работает принцип TTU (time to use): ценность инструмента измеряется временем, за которое он выдаёт полезный результат в реальной работе.

Эффектность на демо в эту метрику не входит.

### Проверки на своих данных В проверочный набор берут реальные запросы из вашей системы, включая грязные: неполные карточки, противоречивые справочники, обрезанные документы.

Каждый ответ модели сравнивают с эталоном, который согласовал человек из бизнеса.

После смены модели или промпта набор прогоняют заново, как регрессионные тесты после релиза. ### Человек на исключениях Фаззинг даёт рабочую схему.

Агент берёт на себя объём: покрытие, первичный разбор, черновики обвязок.

Человек разбирает случаи, которые агент пометил как сомнительные.

Эксперт тратит меньше часов и по-прежнему отвечает за результат. ### Управляемое включение

Политику Copilot с окном в 28 дней можно взять за образец для внутренних ИИ-систем.

Администратор сначала решает, какие функции получает каждая группа сотрудников, и только потом функция включается.

Запросы к моделям идут через единую точку, где их логируют и ограничивают. ### Интерфейс под задачу

Переписка с ботом замедлит его на каждой из этих 40 000 позиций.