Часть 3. Практика · Глава 8
Мультимодальное тестирование
Цели раздела
4 пунктаК концу раздела вы сможете:
- Понять, что мультимодальная модель надёжно «видит» и что остаётся зоной ручной или инструментальной проверки.
- Выбрать QA-сценарий (UI review, сравнение с макетом, a11y-сигналы, OCR) и подобрать шаблон промпта под задачу.
- Верифицировать выводы модели по скриншотам и снизить false positive / false negative.
- Применять правила безопасности при работе со скриншотами: staging/synthetic, без PII в публичных чатах.
Начните с одного скриншота staging и шаблона анализа — откалибруйте промпт на известных дефектах, прежде чем встраивать проверку в пайплайн.
⏱ Время (обзор шаблонов): 15–20 минут чтения и выбора сценария под свою задачу.
Мультимодальность — способность модели принимать и анализировать несколько типов данных одновременно: текст + изображение (+ аудио, + видео).
Нажмите на пункт — откроется пояснение
Нажмите на пункт — откроется пояснение
Нажмите на сценарий — откроются подходы и выигрыш
Нажмите на шаблон, чтобы развернуть структуру по шагам
Типичные галлюцинации
Нажмите на тип — откроется пояснение и способ верификации
Методы верификации
Нажмите на метод — откроется описание
Отмечайте пункты по мере проверки. Нажмите на пункт — откроется подсказка.
Практикум «Калибровка модели»: 5 скриншотов с известными проблемами → студент составляет промпт → сравнение finding с ground truth → итерация промпта по пропускам и ложным срабатываниям.
⏱ Время (практикум «Калибровка»): 30–45 минут на 5 скриншотов, итерацию промпта и сверку с эталоном (ground truth).
Локальные мультимодальные модели
Мультимодальность доступна не только в облаке. Локальные варианты (через Ollama, май 2026):
| Модель | Команда | Возможности | RAM (ориентир) |
|---|---|---|---|
| qwen3.5:9b (рекомендуем) | ollama pull qwen3.5:9b | Текст + изображение, длинный контекст 256K | 8–12 ГБ |
| qwen3.5:4b | ollama pull qwen3.5:4b | То же, меньше RAM | 8 ГБ |
| qwen2.5vl:7b | ollama pull qwen2.5vl:7b | UI, OCR на скриншотах | 8 ГБ |
| llava:7b / llava:13b | ollama pull llava:7b | Классический vision-стек | 8–16 ГБ |
| moondream | ollama pull moondream | Быстрые простые задачи | 4 ГБ |
В Groq Console для vision: meta-llama/llama-4-scout-17b-16e-instruct (см. Vision).
Интеграция в пайплайн автоматизации: пример
# Пример: проверка скриншота через Ollama API import requests import base64 def check_screenshot(image_path: str, prompt: str) -> str: with open(image_path, "rb") as f: image_b64 = base64.b64encode(f.read()).decode() response = requests.post( "http://localhost:11434/api/generate", json={ "model": "qwen3.5:9b", "prompt": prompt, "images": [image_b64], "stream": False, }, ) return response.json()["response"] result = check_screenshot( "screenshot_after_login.png", "На скриншоте — страница после входа. Проверь: (1) имя в шапке, " "(2) главное меню, (3) нет сообщений об ошибке. Ответь Yes/No по каждому пункту.", )
Частые ошибки применения шаблона
- Скриншот production с реальными именами пользователей.
- Критерии приёмки не переданы — модель «придумывает» требования к UI.
- Вывод модели принят без выборочной ручной проверки 10–20% finding.
Полные шаблоны и чек-листы — в разделе шаблонов этой главы (блок выше) и в Приложении C.
Материалы к главе
OpenAI — GPT-4o: Vision and multimodal
Работа с изображениями в API: формат запросов, ограничения контекста, лучшие практики.
Anthropic — Claude: Vision
Мультимодальный ввод в Claude: изображения, документы, скриншоты.
Google AI — Gemini: Multimodal prompts
Работа с изображениями и видео в Gemini API.
Microsoft — Azure AI Vision + OpenAI (image input)
Интеграция vision-моделей в Azure OpenAI для анализа изображений.
W3C — Accessibility (a11y) and automated testing
Официальные материалы по тестированию доступности; vision-модель дополняет, не заменяет axe/Lighthouse.
Playwright — скриншоты
Захват экрана для визуального регресса.
Playwright — Test assertions
Ассерты для автоматизации UI-сценариев.
Groq Console — Vision
Vision-модели в Groq Console.
ISTQB
Международные стандарты и сертификация в тестировании.
Applitools — Best Practices (visual testing)
Практики автоматизированного визуального тестирования.