Как мы снижаем стоимость токенов без потери результата

Токены дорожают не в момент генерации, а раньше: когда в модель кладут лишний архив, длинный лог, повторяющиеся правила, слишком широкий контекст и просят большой отчёт там, где нужен ответ в три строки.

Поэтому мы снижаем стоимость не одним «промптом», а устройством рабочего процесса.

Мы сравниваем не цену миллиона токенов, а стоимость готового результата: сколько контекста, вызовов, итераций и ручной доработки нужно, чтобы получить ответ нужного качества.

Эта логика продолжает наш разбор выбора LLM под процесс и бюджет: модель важна, но экономику чаще решает маршрут задачи.

Большие выводы команд опасны тем, что выглядят полезно. В них действительно есть нужная строка, но вокруг неё сотни строк шума: прогресс, повторяющиеся заголовки, длинные списки, диагностические хвосты. RTK нужен как фильтр между инструментом и рабочим контекстом.

Он не «улучшает интеллект» и не заменяет инженерную проверку.

Его задача проще: не показывать модели весь поток, если для решения достаточно короткого результата, ошибки и нескольких строк вокруг неё.

На практике это меняет дисциплину работы.

Широкий поиск должен вернуть найденные места, а не весь архив совпадений.

Проверка должна вернуть статус и причину падения, а не весь журнал.

Повторный запуск не делается вслепую, если первая ошибка была вызвана формой команды.

Много токенов уходит не на факты, а на служебные обвязки: приветствия, перестраховки, повтор постановки задачи, длинные переходы между очевидными шагами.

Внутри рабочего процесса это не вежливость, а оплачиваемый шум. Caveman убирает этот слой. В лёгком режиме остаются нормальные предложения, но исчезают filler, hedging и повтор очевидного.

Ответ держится на фактах: что найдено, что сломано, какой риск, какой следующий шаг. Cavecrew применяет ту же дисциплину к консилиуму.

Если широкую проверку делает отдельный участник, основной контекст получает не эссе о ходе исследования, а короткие findings: путь, строка, проблема, действие.

Это важно в длинных задачах: главный контур должен помнить решения, а не протокол раскопок.