Галлюцинации LLM

Почему нельзя доверять ИИ без экспертизы

Цикл из шести частей

📚 Оглавление

Цикл вырос из одной презентации, в которую с течением времени набилось слишком много разнородного материала. Разбит на шесть частей, которые можно читать независимо. Первые три — ядро: что такое галлюцинация, где проходит граница компетентности, как распознавать ошибки конкретных моделей. Четвёртая — эссеистическая, с аналогиями и культурными параллелями. Пятая — практическая, про приёмы работы. Шестая — мета-заключение.
🔬

I. Механика галлюцинаций

Что такое галлюцинация LLM, почему возникает, как проявляется в эксперименте. Три попытки Qwen3-8B написать сложение на Z80. Chain-of-thought, самопроверка, обратимость ошибок.

10 секций
🗺️

II. Граница компетентности

Даннинг-Крюгер + LLM. Иллюзия масштабирования. Правило половины ответа. Граница половины как свойство домена, а не человека. Кейс «слот — это страница».

6 секций
🔍

III. Почерк моделей и кейсы

LLM как детектор LLM. GPT-5.3 и тонкая ошибка. Гранулярность ошибок от каши к иглам. Кейс Алисы AI: средний полюс шкалы и заплатка вместо пересмотра.

5 секций
🎭

IV. Философия и аналогии

«tree /» против «grep». AGI-анекдоты, скрепочный максимизатор, бесконечная рекурсия. ELIZA. LLM как хеш-таблица. Инверсия абстракции. Провенанс и Земмельвейс.

12 секций
🛠️

V. Практика

Наблюдай за процессом. Глаз эксперта. Rubber duck debugging. «Подожди следующую модель». Проверяй понимание, а не авторство. Рекомендации и самореферентный меташтрих.

7 секций
🧬

VI. Эпилог

Человек = модель, LLM = RAG. Ключевой тезис всего цикла: LLM усиливает то, что уже есть. Без pretraining чистый retrieval превращается в галлюцинацию на стороне человека.

2 секции
Части можно читать независимо, но самое сильное — читать подряд
Как читать

Если читаете впервые и нет контекста — начните с части I. Если уже работаете с LLM и интересует практика — смело прыгайте в часть V. Если хочется концептуального заключения — часть VI читается за десять минут и держится на одном тезисе.