Даже то, что GPT2/3 делает с текстами уже магия. Он сочиняет новости, пишет стихи, ему можно сунуть любой текст, попросить “TLDR:” и он перескажет своими словами.
Кто-то накормил этот генератор всеми текстами Юдковского и заставил его генерировать новые посты, и он сочиняет почти осмысленные тексты! Даже кажется, ТЫ САМ их не понимаешь как следует, а смысл есть.
То есть, GPT не подбирает наугад, у него есть представление о предмете речи. Но самое удивительное: он заранее не знает, что скажет! Каждый раз он выбирает одно новое слово; чтобы получилось предложение, его нужно спрашивать снова и снова. Связность речи хранится не в скрытых переменных, а в самой речи и в памяти GPT вообще.
Мне и самому часто кажется, что пока я мысль не выразил в словах, никакой мысли и нет, а есть только интуитивное ощущение, вроде того, что бессловесно руководит животными. Из него как-то рождаются слова, одно за другим, и рождение это бессловесно. Если остановиться и спросить себя: какие слова я заготовил дальше? Обычно этих слов нет. Знаешь только направление мысли.
А теперь кто-то запряг её рисовать картинки! И она их рисует! Это магия какая-то, так не бывает!
Последние 50 лет все, кто понимает в компах, объясняли, что невозможно “сделать искуственный интеллект вообще”, нет никакого “секрета разума”, можно только решать сотни сложных задач типа распознавания объектов, речи, и результат в одной не переходит магически в другую.
И вот пожалуйста, программа для генерации текста рисует картинку, причём по строкам без разделения строк, просто ниточку точек. Мистика.