AI-дайджест новостей: дороже всего обходится отбор

54 из 60 новостей оказались перепечатками одного релиза. Как каскад фильтров экономит вызовы LLM и почему без него AI-дайджест и RAG теряют смысл.

  • Где уходит бюджет
  • Как устроен дешёвый отбор
  • Мусор на входе ломает и RAG
  • Надёжность проверяют на кривых данных

Повод

Его главная мысль совпадает с нашим опытом.

Найти и пересказать новости стоит дёшево.

Основные деньги и время уходят на решение, какую новость стоит читать

В его примере из шестидесяти утренних статей пятьдесят четыре оказались перепечатками одного пресс-релиза.

Если компания прогоняет такой поток через большую языковую модель, она платит за каждый вызов, и модель тратит их на поиск дублей.

Где уходит бюджет

  1. Поисковый API возвращает ссылки за доли секунды.

  2. Пересказ одной статьи занимает у модели несколько секунд и стоит недорого.

  3. Дорого обходится оценка: по каждой новости нужно решить, важна ли она. В простой схеме на это уходит отдельный вызов модели общего назначения.

  4. Шестьдесят новостей дают шестьдесят вызовов каждое утро, и каждый стоит столько же денег и секунд ожидания, сколько остальные.

  5. По наблюдению Истмена, большинство дайджестов в итоге отказываются от фильтрации и отправляют читателю всю ленту целиком.

  6. Читатель получает простыню из повторов и через неделю перестаёт её открывать, после чего вложения в автоматизацию ничего не возвращают.

  7. Здесь полезна метрика TTU (time to use): время, за которое инструмент начинает приносить пользу. У дайджеста, который никто не дочитывает, TTU бесконечен, сколько бы моделей в нём ни работало.

Как устроен дешёвый отбор

Инженеры решают эту задачу каскадом: каждый следующий фильтр дороже предыдущего и получает меньше данных. 1. Детерминированные проверки.

Нормализация URL, хэш текста, сравнение заголовков.

Обычный код бесплатно отсекает точные копии. 2. Правила.

Свежесть публикации, авторитет источника, доступность ссылки, совпадение домена с заявленным изданием. 3. Кластеризация.

Эмбеддинги или лёгкая модель объединяют пересказы одного события в кластер. В примере

Истмена пятьдесят четыре перепечатки превращаются в одну запись. 4. Экспертная оценка.

Большая модель получает несколько кластеров и решает, какие из них заслуживают внимания руководителя.

До последнего шага доходит небольшая доля исходного потока

В примере с перепечатками шестьдесят статей сжимаются до семи кандидатов, и дорогая модель оценивает семь записей вместо шестидесяти. ### Как это работает у нас

По этой схеме мы построили собственный news-machine.

Каждое утро агент собирает новости из реестра источников, где у каждого источника есть вес авторитета от 0 до

Новости старше 120 дней, ссылки на чужой домен и недоступные URL агент в пул не пускает.

По каждому источнику он записывает HTTP-статусы, число принятых и отклонённых записей и дубликаты, поэтому качество источника видно в цифрах.

Пул хранит записи 180 дней, синтез работает с кластерами.

Если ни один кластер не проходит планку значимости, агент в этот день ничего не публикует.

Мы сознательно выбрали такое правило: пропущенный день обходится дешевле потерянного доверия читателя.

Оценить, где ИИ даст эффект в вашем процессе

Мусор на входе ломает и RAG

  1. С той же проблемой сталкиваются RAG-системы, где модель отвечает по корпоративным документам.

  2. Автор разбора в сообществе n8n показывает типичную поломку: обычное извлечение текста из PDF превращает таблицу без рамок в столбец разрозненных чисел, и модель уверенно отвечает по чужой строке.

  3. Его решение переводит таблицы в Markdown, распознаёт сканы через OCR и режет документ на фрагменты с номерами страниц `pageStart` и `pageEnd`, чтобы каждый ответ можно было сверить с первоисточником. Для бизнеса это вопрос денег.

  4. Характеристики товаров, прайсы и спецификации обычно хранятся в таблицах.

  5. Если при подготовке данных теряется структура таблицы, RAG-ассистент будет путать размеры и цены, и замена модели на более мощную этого не исправит: модель не восстановит связь между числом и строкой, которую потерял парсер.

  6. Поэтому в проектах на Akeneo и Pimcore мы сначала приводим атрибуты товаров к структуре PIM и только потом подключаем модель к уже чистым данным.

Надёжность проверяют на кривых данных

В ветках n8n-сообщества специалисты по тестированию предлагают список проверок, который подходит как чек-лист для любой AI-автоматизации:

  • повторные события вебхука
  • битые и неожиданные входные данные
  • таймауты внешних API
  • невалидный ответ модели
  • повторы после сбоя
  • уведомления об ошибках

На демо команда подаёт чистые данные, и эти сбои не проявляются

В продакшене повторный вебхук или таймаут случаются регулярно, и систему нужно строить с расчётом на них.

Шина интеграции на Apache Kafka или Datareon обеспечивает идемпотентность, и повторный вебхук не создаёт второй заказ.

Ответ модели проходит проверку по JSON-схеме до того, как попадает в учётную систему. LLM & Security Gateway стоит между бизнес-системами и моделями: ведёт журнал вызовов, ограничивает расходы и не пускает персональные данные во внешние API.

Что это значит для руководителя

  1. Дайджест или RAG-ассистент на n8n можно собрать за вечер, и для проверки гипотезы это быстрый путь.

  2. Авторы блога n8n в обзоре 11 DevOps-инструментов дают точное предупреждение: стек автоматизации не должен требовать больше сил на координацию, чем ручная работа, которую он заменил.

  3. Перед запуском в продакшен задайте команде три вопроса.

  4. Сколько стоит одно решение модели и сколько таких решений система принимает за день?

  5. Какие фильтры отсекают мусор до вызова модели?

  6. Что произойдёт, если вебхук придёт дважды, а модель вернёт сломанный JSON?

  7. Мой вывод: ценность AI-автоматизации определяет инженерия вокруг модели.

  8. Дешёвый отбор, чистые данные и проверка на сбоях превращают демо в инструмент, который открывают каждое утро.

  9. Без этой работы остаётся красивая схема в n8n, за вызовы которой компания платит впустую.

Обсудить статью: AI-дайджест новостей: дороже всего…

Укажите email или телефон, чтобы мы могли вам ответить.

Отправить через: