Когда я развернул дома первую версию Вии - моего ИИ-помощника - я позвал жену посмотреть. Показал под стол: вот компьютер, на котором она крутится. Прямо здесь, у наших ног.

Жена спросила: «А откуда она знает, что отвечать?»

И это вопрос гораздо лучше, чем кажется. Смотрите: коробка под столом. В розетку воткнута, интернет ей не нужен - Вия отвечает, даже если выдернуть сетевой кабель. И при этом она поддерживает разговор почти на любую тему: история, рецепты, программирование, цитаты из фильмов.

Вся эта «всезнайка» физически помещается в системный блок. Как?

Как все думают

Самая естественная догадка: внутри лежит копия интернета. Ну или хотя бы Википедия. Нейросеть «знает», потому что у неё всё записано, а на вопрос она находит нужную запись и зачитывает.

Догадка логичная. И проверяемая. Если бы внутри лежали сами тексты, нейросеть могла бы их цитировать: открой страницу такую-то, прочитай дословно. А она не может. Попросите её процитировать точный абзац из конкретной книги - и она либо откажется, либо выдаст что-то похожее, но не то (в конце статьи проверим это на опыте).

Записей внутри нет. Внутри кое-что более странное.

Человек, который прочитал библиотеку

В прошлой статье мы выяснили: нейросеть - это угадыватель следующего слова. Сегодняшний вопрос - откуда у неё эта способность.

Представьте человека, который прочитал целую библиотеку. Не пролистал - прочитал. Десятки тысяч книг: учебники, романы, справочники, форумные споры.

Спросите его о чём угодно - он ответит толково. Но попросите процитировать страницу 312 из третьего тома - и он разведёт руками. Страниц он не помнит. Он помнит другое: как устроены вещи, как люди обычно отвечают на такие вопросы, что с чем связано. Книги прошли сквозь него и остались в нём - но не текстом, а опытом.

Нейросеть устроена так же, только доведено до предела.

Её «обучение» выглядит так. Берут гору текстов - такую, что человек читал бы её десятки тысяч лет. И прогоняют сквозь модель с одним заданием: угадай следующее слово. Угадала - хорошо. Не угадала - внутри неё чуть-чуть подкручиваются миллиарды крошечных «ручек», чтобы в следующий раз угадывалось лучше. И так триллионы раз.

Эти ручки называются веса. Вот и весь секрет коробки под столом: в ней не тексты. В ней - положения ручек. Огромная таблица чисел, в которую утрамбовался весь читательский опыт.

Почувствуйте масштаб фокуса: гора текстов на десятки тысяч лет чтения - а файл с моделью весит как несколько фильмов. Утрамбовать библиотеку в размер сериала можно только одним способом: выбросить сами страницы. Оставить выжимку - закономерности, связи, суть.

Инженеры называют это сжатием с потерями. Как пересказ: друг рассказал вам книгу, суть передал отлично, но дословный текст потерян безвозвратно. Нейросеть - пересказ всей библиотеки человечества. Блестящий пересказ. Но пересказ.

Три следствия, которые всё объясняют

Из «выжимки вместо страниц» напрямую следуют три вещи, которые иначе кажутся загадочными.

Первое: она не может назвать источник. Когда нейросеть что-то утверждает, спросить «откуда ты это взяла?» почти бессмысленно. Страницы выброшены. Она не помнит, из какой книги это знание, - как и вы не помните, из какого учебника знаете, что вода кипит при ста градусах. Если она всё же называет источник красиво и уверенно - перечитайте первую статью: возможно, она его достраивает.

Второе: она не знает вчерашних новостей. Обучение - это событие. Оно закончилось в какой-то день, и с этого дня мир для модели остановился. Всё, что случилось позже, для неё не существует.

Тут нужна честная оговорка, иначе вы поймаете меня на противоречии: «А почему тогда ChatGPT рассказал мне про вчерашний матч и дал ссылки?» Потому что современным нейросетям выдают инструменты - например, доступ к поиску. Модель сама ничего не узнала: она сходила в интернет, прочитала свежие страницы и пересказала. Это важная разница - голова отдельно, инструменты отдельно, - и про «руки» нейросетей у нас будет целая статья. А сама по себе, без инструментов - как Вия под столом с выдернутым кабелем - модель заперта в дне окончания своего обучения.

Третье: «загрузить в неё свои документы» - не то, чем кажется. Когда вы прикладываете файл к чату, модель не «выучивает» его - она просто читает его сейчас, как открытую перед собой страницу, и забудет после разговора. А настоящее дообучение - снова крутить ручки на новых текстах - это отдельный дорогой процесс, а не кнопка «загрузить».

Школа хороших манер

В первой статье я обещал рассказать про «дрессировку». Вот её место в картинке.

После чтения библиотеки получается дикий угадыватель: продолжать текст умеет, разговаривать с людьми - нет. Спросишь его о чём-то - он может продолжить ваш вопрос ещё тремя вопросами, потому что в интернете за вопросом часто идут другие вопросы.

Поэтому дальше начинается воспитание: живые люди задают модели вопросы, смотрят на варианты ответов и отмечают, какие хорошие, а какие нет. Ручки снова подкручиваются - теперь в сторону «отвечай полезно, вежливо, признавайся, когда не знаешь». Именно отсюда то самое «достоверных сведений нет» из эксперимента первой статьи: не честность, а выучка.

Итого нейросеть = начитанность (выжимка из библиотеки) + манеры (дрессировка людьми). Знаний в человеческом смысле - «я знаю это, потому что прочитал там-то» - в ней нет вообще.

Попробуйте сами (2 минуты)

Проверим, что страницы действительно выброшены. Попросите нейросеть:

Процитируй дословно, слово в слово, второй абзац романа «Мастер и Маргарита». Если не можешь дословно - так и скажи.

Дальше одно из двух.

Либо она выдаст текст - гладкий, булгаковский по духу. Откройте настоящую книгу (первые страницы легко найти в интернете) и сравните слово в слово. Почти наверняка текст не совпадёт: суть на месте, буквы другие. Это и есть сжатие с потерями, пойманное за руку: она восстанавливает по выжимке, а не читает по странице.

Либо она честно скажет, что дословно процитировать не может. Это та самая школа манер: модель выдрессировали признаваться. Сам факт от этого только ярче - у неё правда нет страницы, с которой можно прочитать.

Какой бы исход ни выпал, вывод один: внутри нет текстов. Внутри выжимка.

Где аналогия врёт

По традиции - где моя картинка упрощает.

Во-первых, кое-что модель всё-таки помнит почти дословно. То, что в библиотеке повторялось тысячи раз: знаменитые первые строки, пословицы, тексты известных песен. Частое повторение протирает в весах глубокую колею. Поэтому первую строку «Мастера и Маргариты» она, скорее всего, процитирует точно - а вот на втором абзаце колея кончается.

Во-вторых, «человек, прочитавший библиотеку» - комплимент. Человек читает и понимает. Модель «читала» не понимая - она просто триллионы раз подкручивала ручки, чтобы лучше угадывать. То, что в результате получилось нечто, похожее на эрудицию, - удивительный факт, а не самоочевидный.

Одна мысль с собой

Нейросеть - не библиотека, а выжимка из библиотеки. Сами книги выброшены при обучении. Поэтому она «знает всё» - и не может подтвердить ничего.

Что дальше

Если внутри выжимка и модель всегда достраивает по ней - то где граница между «помнит суть» и «сочиняет на ходу»? И главное: как понять, на какой стороне границы вы находитесь прямо сейчас, в конкретном ответе?

Об этом следующая статья: «Почему ИИ врёт с уверенным лицом - и как ловить его за руку». Будет чеклист.

Это вторая статья цикла «AI для самых маленьких» - про нейросети для взрослых, которые не обязаны в них разбираться. Первая - «Это не робот и не поиск. Так что же такое ChatGPT?».