Что такое ИИ и LLM

Цели раздела

3 пункта

К концу раздела вы сможете:

1. 1Разобраться в устройстве LLM на базовом уровне.
2. 2Понимать причины их поведения и ограничений.
3. 3Сформировать понимание LLM как генератора гипотез, а не источника истины.

Как работает «магия» и почему она ошибается

Принцип работы LLM: предсказание следующего токена

Фундаментальный принцип функционирования всех современных LLM можно сформулировать чрезвычайно просто: модель предсказывает наиболее вероятный следующий токен в последовательности.

LLM работает абсолютно похожим образом, но вместо одного писателя она представляет собой миллиарды математических связей, которые обрабатывают триллионы слов из интернета, книг и другой текстовой массы.

1. 1
   ✍️

   Пользовательский вводпромпт

   Текст, который вы отправляете модели

   "Напиши 3 тест-кейса для формы логина"

2. 2

   Цикл автогенерации

   🔢

   Токенизациятекст → токены → ID

   Текст разбивается на части (токены) и кодируется в числа

   "напиши" → [1842] · "тест" → [5291, 222]

   Что такое токен →

3. 3
   ⚙️

   Обработка модельюв циклетрансформер + attention

   Миллиарды параметров вычисляют вероятности следующего токена

   Анализирует контекст всего промпта одновременно

4. 4
   🎯

   Предсказание токенав циклесэмплинг по вероятностям

   Из тысяч вариантов выбирается следующий токен (temperature влияет здесь)

   P("Сценарий") = 0.42 · P("Шаг") = 0.31 · …

5. 5
   📝

   Детокенизацияв циклечисла → текст

   Числовые ID преобразуются обратно в читаемый текст

   [5291] + [222] → "тест-кейс"

6. 6
   ✅

   Сгенерированный ответфинальный текст

   Ответ собирается токен за токеном до стоп-сигнала

   "1. Сценарий: корректный логин…"

Шаги 2–5 повторяются, пока модель не сформирует весь ответ.

Что такое «токен» и почему это важно

Правило перевода страниц в токены:

• 1 страница A4 (обычный текст) ≈ 500-700 токенов
• 1 страница технической документации ≈ 800-1000 токенов
• 1 страница кода ≈ 600-1200 токенов (зависит от языка)

Практический пример: У вас документ требований на 30 страниц → примерно 15 000–21 000 токенов. Для компактной локальной модели с окном 8K–32K (старые 7B) нужно разбить на части или сжать контекст; для Qwen 3.5 / Llama 3.3 / Groq (128K–256K) тот же объём часто помещается в один запрос — но эффект потери в середине всё равно возможен, поэтому декомпозиция по критериям приёмки остаётся лучшей практикой.

Природа галлюцинаций

Галлюцинации — фундаментальное свойство LLM, коренящееся в самой архитектуре генеративных моделей. Поскольку модель предсказывает лингвистически правдоподобное продолжение, а не извлекает проверенные факты из базы знаний, она способна «придумывать» информацию.

Почему возникают галлюцинации:

• Модель не «знает» факты в человеческом смысле
• Она генерирует лингвистически правдоподобное продолжение
• Если в обучающих данных есть неточности, модель их повторит
• При недостатке информации модель всё равно сгенерирует что-то правдоподобное

Пример для QA: Модель придумала поле «Код подтверждения» в форме, которого нет в требованиях — это галлюцинация; всегда проверяйте по спецификации.

Таксономия ошибок LLM для тестировщика

Интерактивное упражнение: "Найди выдумку"

Задание: Найдите минимум 3 признака галлюцинации в ответе LLM:

Признаки галлюцинации:

1. RFC 6749 не специфицирует конкретные URL-схемы — это решение разработчика
2. Длина state-параметра не регламентирована стандартом
3. Обновление refresh_token каждые 14 дней — конкретный срок без обоснования

Алгоритм проверки LLM-артефакта

Главный вывод для тестировщика

Модель не является авторитетным экспертом или оракулом — она инструмент для генерации вариантов, структурирования информации, ускорения анализа и преодоления «белого листа».

---