Сложение словами: тест перед внедрением ИИ

Саймон Уиллисон повторил на локальном железе (DGX Spark) эксперимент Колина Фрейзера.

Модель складывает числа и возвращает сумму словами, а размер чисел растёт. Два года назад

Фрейзер прогнал тот же тест на GPT-4o, и модель часто ошибалась. Новый прогон

Уиллисон сделал на Qwen3.8 27B (разбор Уиллисона).

Меня интересует схема эксперимента.

Руководитель может провести такую проверку на своей задаче за вечер, и она обойдётся дешевле одной ошибки в проде.

Задача выглядит детской: сложить два числа и записать результат прописью.

Фрейзер усложнял её ступенями, увеличивая разрядность слагаемых, и строил график доли верных ответов.

Уиллисон отмечает, что GPT-4o не мог пользоваться калькулятором.

Поэтому его ошибки показывают, где кончается способность модели считать самостоятельно. У теста есть однозначный эталон.

Сумму считает обычный код, затем сравниваются строки.

Спорить о «качестве» ответа не приходится. Я опираюсь только на описание эксперимента.

Результаты Qwen3.8 27B в приведённом отрывке не показаны, поэтому цифр по ним я не называю. График смотрите в оригинале.

В тот же период вышла Kimi-K3 от Moonshot AI: 2,8 трлн параметров, открытые веса, $3 и $15 за миллион токенов на входе и выходе.

Лицензия нестандартная и требует коммерческого соглашения, если выручка от MaaS превышает $20 млн.

Для выбора модели эти условия весят не меньше размера.

Каталог моделей быстро растёт, а пресс-релизы плохо подходят для сравнения.

Надёжнее мерить долю верных ответов на ваших данных и цену за правильный результат.

То же касается места, где работает ИИ-агент. Феликс

Ризеберг из Anthropic пишет, что прежняя версия Cowork запускала ВМ на компьютере пользователя, а инференс шёл в облаке.

Пользователям не нравились расход диска и батареи, а работа останавливалась при закрытии ноутбука. В новой версии и инференс, и ВМ живут в облаке, у каждой сессии своя песочница.

Среда исполнения влияет на результат и стоимость владения так же, как модель, и измерять её стоит тем же способом.