# Как я перестал верить одной модели и начал проверять документы роем

В начале 2026 года в [Trend Radar](https://radar.looi.ru/) я упёрся в проблему: автоматические отчёты, собранные из сотен источников, выглядели красиво, но при ближайшем рассмотрении напоминали галлюцинацию. Система собирала сигналы, но не умела их «сшивать». Я тратил часы на ручную чистку дублей, пока не понял, что бороться надо не с качеством генерации, а с логикой приема данных.

Началось всё с квартальных отчётов. Q1-обзор Радара собирается из сотен сигналов за три месяца, и первые сборки показали неприятное: чем больше источников, тем увереннее звучит текст — и тем труднее поймать, где он опирается на один слабый пост, пересказанный пятью сайтами. Качество сводного отчёта упиралось не в модель, а в гигиену данных под ним.

Весной 2026-го я переписал пайплайн верификации. Битые ссылки, которые раньше пролезали в отчёты  стали отсекаться на этапе `verify_url` — если сервис возвращал 404, сигнал аннулировался до публикации. Мы ввели жёсткий дедуп, привязанный к сущностям, а не к заголовкам, и установили правило «трёх сигналов»: если для подтверждения тренда нет трёх независимых источников, пайплайн падает с ошибкой, а не выдает «предупреждение». Запустилось — не значит работает. С тех пор система молчит, если не уверена.

### Фиаско 60/100 и рождение Anti-Drift Review

Когда я собирал [Anti-Drift Review](https://looi.ru/check), я был уверен в успехе. Идея проста: несколько независимых моделей рецензируют документ, затем мы сводим расхождения и нормализуем формулировки. После первого прогона стало ясно, что система «сломана» — ни один документ не набрал выше 60 баллов из 100. Я искал баги в промптах и архитектуре, пока не осознал очевидное: документы пишут люди в режиме дедлайна, и 60/100 — это не провал ИИ, а реальное состояние корпоративной документации.

Ценность инструмента оказалась не в выставлении оценки, а в составлении карты «минных полей». Система теперь помечает, где именно она сомневается, а не делает вид, что знает истину. Я перестал выжимать из модели «идеальный вердикт» и стал использовать её как сканер расхождений, который подсвечивает места, требующие человеческого внимания.

### Локальный консилиум: архитектура недоверия

К июлю 2026 года стало понятно, что отправлять чувствительные данные во внешние API — это стратегия не для всех. Я собрал контур, где данные не покидают периметр, используя панель из трёх малых моделей разных семейств: `qwen3:4b`, `gemma3:4b` и `phi4-mini`. Они занимают около 8 ГБ видеопамяти и помещаются на одну потребительскую карту. 

Роль судьи выполняет модель покрупнее, `gpt-oss:20b`, которая работает только с результатами «тройки». Каждый вердикт обязан опираться на дословную цитату из текста, иначе он отбрасывается. На знакомом эталоне я получил 10/10 без ложных срабатываний, а на 42 специально спроектированных ловушках — полноту 0,88 при 4 % ложных. 

Это научило меня главному: промпт — это тоже модель. Любое изменение в нем проходит через автоматический замер. В один из дней я решил «улучшить» систему, добавив в промпт судьи примеры для точности. Система выглядела безупречно, но автоматический гейт завернул обновление: полнота рухнула с 0,88 до 0,53. Оказалось, модель начала переобучаться на моих примерах и перестала видёть контекст. Разметку эталона, которую делала одна модель, я отдал на аудит модели другого семейства — она нашла три однотипные ошибки направления строгости, которые «коллеги» пропустили. Разнообразие семейств моделей спасает от «туннельного зрения» одной архитектуры.

### Где это работает сегодня

Роевая верификация — это не про замену человека, а про экономию его ресурса на чтении мусора. Этот подход применим в нескольких сценариях:

1. **Нормативное соответствие.** Когда выходит новый приказ, его нужно проверить против сотен внутренних регламентов. Человек пропустит противоречие на 40-й странице, рой — нет.
2. **Подрядная документация.** Сверка проекта с фактическим исполнением. Если в документах подрядчика есть расхождение с проектной сметой, система выводит цитаты обоих документов рядом.
3. **Финансовый контроль.** Автоматическая проверка отчётов аналитиков и агентств перед оплатой. Здесь не ищется «правильный ответ» — ищутся места, где данные не бьются.
4. **Приемка ИИ-контуров.** Если компания внедряет свои модели, их нужно проверять по «золотому стандарту». Система выступает как независимый аудитор, который сверяет выводы новой модели с эталонными ответами.

Интеграция выглядит так: документ попадает в контур, панель размечает кандидатов на ошибку, судья фильтрует шум, и эксперт получает на стол короткий список цитат. Это меняет работу с документами: вместо того чтобы читать всё, ты читаешь только то, где ИИ не смог прийти к консенсусу.

Принципы, на которых строится такой контур, — в [ИИ-инфраструктуру — в каждый дом и в каждую компанию](https://looi.ru/a/ai-infra/). В конечном счёте, доверие к автоматизации начинается там, где заканчивается слепая вера в один «умный» ответ. Если система не может доказать свою правоту цитатой, значит, она не работает. Всё остальное — просто шум.

---

Артур Арсёнов · art@looi.ru · t.me/artloooi
Оригинал: https://looi.ru/a/consilium/