# ИИ-инфра: тренды *Свой ИИ-контур перестал быть проектом на миллионы. Пять трендов, конкретные инструменты под каждый — и что попробовать в выходные, не отдавая данные наружу.* Артур Арсёнов · 7 июля 2026 Ещё год назад «свой ИИ-контур» звучал как проект на миллионы: сервера, команда, интеграторы. Сейчас я собираю такие контуры на консьюмерской видеокарте, и большинство деталей ставится одной командой. Порог рухнул — но об этом мало кто знает, потому что каждая деталь живёт в своём углу интернета. Ниже — пять трендов, которые это изменили, и конкретные инструменты под каждый. Сквозная мысль одна: всё это может работать у вас, и чувствительные данные не обязаны покидать ваш контур. Слои контура, сверху вниз: - Проверка качества: консилиум, эталоны, автозамер — без этого слоя всем нижним нельзя верить - Инструменты по одному стандарту: MCP — подключил один раз, работает у всех клиентов - Знания: Qdrant/Chroma + bge-m3 + Docling — положил документ, ищется с цитатой - Одна точка доступа: OpenWebUI/LibreChat + шлюз LiteLLM/Bifrost — ключи, лимиты и журнал в одном месте - Модели дома: Ollama · LM Studio · llama.cpp · vLLM — малые модели догнали большие на рутине ## Модели пришли домой Локальный запуск моделей перестал быть спортом для энтузиастов с паяльником. [Ollama](https://ollama.com) ставится одной командой и скачивает модель ещё одной — через пять минут у вас на машине работает модель, которой не нужен интернет. Для тех, кто не дружит с терминалом, есть [LM Studio](https://lmstudio.ai) — обычное приложение с кнопками, где модели выбираются как фильмы в кинотеатре. Под капотом у обоих — llama.cpp, проект, который научил большие модели работать на обычном железе. А когда одна машина перестаёт справляться с потоком запросов, берут vLLM — это уже серверный инструмент для компаний. Главное, что изменилось: малые модели догнали большие на рутинных задачах. Проверить документ, разметить данные, ответить по базе знаний — с этим справляется модель на 4 миллиарда параметров, которая занимает меньше трёх гигабайт в 4-битной квантизации. У меня три таких модели сидят в одной видеокарте одновременно и [проверяют документы лучше, чем каждая поодиночке](/a/consilium/). ## Одна точка вместо зоопарка Вторая боль, которая закрылась: раньше каждый инструмент ходил к моделям по-своему, со своими ключами и настройками. Теперь есть два слоя, которые наводят порядок. Интерфейс — [OpenWebUI](https://openwebui.com) или LibreChat: свой «ChatGPT» на своём сервере, с пользователями, историей и правами. И шлюз — LiteLLM или Bifrost: одна точка, через которую все приложения ходят к любым моделям. Ключи, лимиты и журнал запросов живут в одном месте, а не разбросаны по конфигам. Для дома это удобство. Для компании — необходимость: шлюз отвечает на вопрос «кто, когда и к какой модели ходил», без которого ни одна служба безопасности разговор продолжать не станет. ## Знания подключаются из коробки Год назад «чат с вашими документами» был отдельным проектом с программистом. Сейчас это галочка в настройках. Векторная база ([Qdrant](https://qdrant.tech) или Chroma) хранит смысл документов, локальная модель-переводчик в векторы (для русского хорошо работает bge-m3) делает их искомыми, а парсер (Docling, Tika) разбирает PDF и сканы. В OpenWebUI всё это уже собрано: положил документ в коллекцию — и спрашиваешь по нему, получая ответ с цитатой. Ключевое слово — «с цитатой». Ответ без указания на документ и пункт — это пересказ, которому нельзя верить. Ответ с цитатой можно проверить за десять секунд. ## Инструменты подключаются по одному стандарту Самое тихое и самое важное изменение — MCP, протокол подключения инструментов к моделям. Раньше каждую связку «модель + календарь», «модель + база», «модель + браузер» программировали отдельно. Теперь инструмент описывается один раз как MCP-сервер — и его видят все совместимые клиенты сразу: локальный чат, агент, редактор кода. Практический смысл: «дать ИИ доступ к рабочим системам» превратилось из интеграционного проекта в настройку. А для компании точкой контроля становится шлюз вокруг этого слоя: реестр разрешённых инструментов, права и журнал вызовов в одном месте. ## Проверяемость становится отдельным слоем Последний тренд — мой любимый, потому что без него всё предыдущее опасно. Модели уверенно ошибаются. Единственный способ им доверять — не верить на слово: несколько моделей разных семейств проверяют друг друга, спорные случаи уходят человеку, а каждое изменение системы прогоняется через эталонный набор задач до ввода в работу. Это перестало быть теорией — [я собрал такой консилиум на локальном железе](/a/consilium/) и замер не раз заворачивал мои же «улучшения», которые выглядели правильными. Инструменты для этого простые: набор проверочных примеров в файле и скрипт, который сравнивает «до» и «после». ## Что попробовать в выходные Если хочется потрогать руками, вот путь на пару часов, целиком бесплатный: 1. Поставьте Ollama и скачайте маленькую модель — например, qwen3:4b. Это одна команда и десять минут ожидания. 2. Поставьте LM Studio или OpenWebUI, чтобы разговаривать с моделью в нормальном окне, а не в терминале. 3. Загрузите в коллекцию несколько своих документов и задайте по ним вопрос. Посмотрите, где ответ опирается на цитату, а где модель фантазирует. Этого достаточно, чтобы понять главное на собственном опыте: работает, быстро, и ваши файлы никуда не улетели. ## Что дальше Компоненты готовы, и собрать их может один человек за выходные. Но домашняя сборка и рабочая система — разные вещи: систему делает сшивка. Права, аудит, общие знания для команды, проверка качества — именно на этом слое умирает большинство попыток «внедрить ИИ», и именно с него [начинается настоящая трансформация](/a/ai-native-100-days/). Как такой контур растёт от первой модели до рабочего места целой команды — я разбирал на [примере своей системы](https://habr.com/ru/companies/garage8/articles/1016972/). А если хочется не собирать, а пользоваться: [какой личный агент для чего — разбор с примерами](/agent). --- Обсудить задачу: art@looi.ru · t.me/artloooi · https://looi.ru/solutions/ Оригинал: https://looi.ru/a/ai-infra/