Vision-нейросети: распознавание документов на флешке

Vision-модели (или мультимодальные LLM) — это нейросети, которые умеют не только читать текст, но и «видеть» изображения. Описывают фотографии, распознают рукописные документы, разбирают таблицы и графики. И главное — всё это локально, без отправки картинок в облако. Разбираем, какие Vision-модели существуют и какие задачи они решают.

Что такое мультимодальная модель

Классическая языковая модель (LLM) работает только с текстом: получила запрос — выдала ответ в виде слов. Vision-модель добавляет «зрение» — она может принять на вход не только текст, но и изображение.

Что это даёт на практике:

• Прислать скан документа и попросить вытащить из него текст
• Загрузить график и спросить, какие тренды видны
• Сфотографировать поломку в технике — получить описание возможной причины
• Кинуть скриншот таблицы — превратить её в редактируемый CSV
• Показать чертёж и попросить объяснить, что на нём изображено

До 2024 года Vision-модели были доступны только в облаке — ChatGPT с GPT-4V, Claude с Claude 3 Opus. В 2025–2026 годах появилось много открытых мультимодальных моделей, которые работают локально на обычном железе.

Vision-модели в комплекте AinFlash

На обычной флешке в комплект подобраны три специализированные Vision-модели плюс мультимодальные универсальные:

Granite Vision 2B — для документов

Модель от IBM, специально обученная распознавать структурированные документы: таблицы, диаграммы, формы, чертежи, графики. Размер всего 2.4 ГБ — работает на ноутбуке без видеокарты с 8+ ГБ ОЗУ.

Когда использовать: сканы договоров, отсканированная первичка, графики и диаграммы из отчётов, чертежи, технические схемы. Превращает картинку в структурированный текст с сохранением логики (если в оригинале была таблица — на выходе таблица, а не одна строка).

Qwen 2.5 VL 3B — универсальный взгляд

Модель Alibaba для общих задач компьютерного зрения. Описывает фотографии, объекты, сцены. Работает без видеокарты на ноутбуке с 16+ ГБ ОЗУ.

Когда использовать: описание сложных изображений, анализ интерфейсов программ, разбор скриншотов ошибок, описание сцен на фото.

Gemma 3 12B — мощная мультимодальная (в Pro)

Флагманская мультимодальная модель Google. Глубокий анализ изображений плюс хорошие тексты. Требует видеокарту с 12+ ГБ VRAM.

Когда использовать: сложные задачи с изображениями — анализ медицинских снимков для подготовки описаний (не для диагнозов!), разбор сложных инфографик, аналитика большого количества графиков.

Qwen 3.5 9B и Qwen 3 14B — универсальные с мультимодальностью

Главные универсальные модели в комплекте, обе понимают и текст, и изображения. Используются как «всё-в-одном», если не хочется переключаться между специализированными.

Реальные сценарии применения

Юрист: разбор отсканированных договоров

Контрагент прислал договор на 30 страницах в PDF, и это скан, а не текстовый файл. Без OCR работать невозможно. Granite Vision проходит документ постранично и превращает каждую страницу в редактируемый текст. Дальше — обычная работа с нейросетью по поиску проблемных пунктов.

Бухгалтер: распознавание первички

Подрядчик прислал акт и счёт-фактуру в виде фотографий с телефона. Granite Vision вытаскивает реквизиты, суммы, наименования — данные готовы к перенесению в 1С. Контроль за человеком, но рутина автоматизирована.

Врач: расшифровка результатов исследований

Результаты УЗИ или МРТ часто приходят в виде сканов или фотографий бланков. Vision-модель помогает извлечь структурированную информацию для дальнейшего анализа.

Инженер: разбор технической документации

Старая советская книга с чертежами, отсканированные иностранные мануалы — нейросеть «читает» их и описывает содержание. Особенно ценно для работы с архивной документацией.

Преподаватель: проверка рукописных работ

Тетради учеников младшей школы, сочинения, контрольные. Vision распознаёт рукописный текст и переводит в формат, с которым удобно работать дальше — проверять ошибки, давать комментарии.

Журналист: расшифровка пометок и заметок

Свои рукописные заметки с интервью, скриншоты документов от источников — всё это можно «прочитать» через Vision-модель локально, не отправляя ничего в облако.

Удалённый IT-специалист: разбор скриншотов

Клиент прислал скриншот ошибки. Нейросеть «смотрит» на него и описывает, что видит, помогает локализовать проблему. Особенно ценно при работе с проектами под NDA.

Что Vision-модели делают плохо

Реалистичные ограничения:

• Сложный рукописный текст с плохим качеством скана — может «выдумать» отдельные слова, если оригинал неразборчив.
• Узкоспециализированные изображения — рентген, спутниковые снимки, профессиональные медицинские исследования. Универсальные модели уступают специализированному ПО.
• Очень мелкие детали — мелкий шрифт в углу скана, тонкие линии на схеме. Лучше делать качественные фотографии или повышать разрешение скана.
• Многоязычные документы со смешанным алфавитом — иногда путаются, особенно если в одном документе латиница и кириллица в разных регистрах.
• Распознавание лиц и идентификация людей — модели в комплекте AinFlash намеренно этого не делают. Конкретных людей не «опознают».

Производительность на разном железе

Vision-модели тяжелее обычных LLM, потому что обрабатывают и текст, и изображения:

Что это даёт в реальности

Главное преимущество локальных Vision-моделей — приватность. Все картинки остаются на твоём компьютере. Это критично для всех профессий, которые работают с конфиденциальной информацией в визуальном формате: юристы со сканами договоров, врачи со снимками, инженеры с чертежами под NDA, журналисты с материалами от источников.

До появления локальных Vision-моделей альтернатив для таких задач не было. Загружать чувствительные сканы в Google Vision, Yandex DataLens или AWS Textract — это всё тот же риск утечки. Vision-модели на флешке закрывают пробел.