Мы спрашиваем нейросеть о лекарствах, книгах, политике, истории, выбираем с её помощью товары и специалистов. Но редко задумываемся, кто и как сформировал знания, на основании которых она отвечает. Представьте, что вы задаёте искусственному интеллекту вопрос о человеке, которого хорошо знаете. Машина отвечает уверенно, приводит биографические сведения, характеризует профессиональную деятельность, иногда даже оценивает репутацию. И вдруг выясняется, что часть сведений неверна, какие-то факты перепутаны, а о важных обстоятельствах нейросеть вообще не знает.
Откуда она взяла эту информацию? Почему одним сведениям отдала предпочтение, а другие проигнорировала? И, наконец, кто решил, что конкретно искусственный интеллект должен знать о мире?
Эти вопросы становятся всё важнее. Мы постепенно привыкаем обращаться к нейросети не только за справкой, но и за советом. Между нами и огромным массивом человеческих знаний появляется новый посредник. Чтобы понимать его возможности и ограничения, стоит разобраться, как он получает свои знания.
Интернет, который прочитала машина
Основой обучения больших языковых моделей стали огромные собрания текстов. В них входят интернет-страницы, книги, научные публикации, программный код, справочные материалы и специально подготовленные наборы данных. Но это не весь интернет и даже не его случайная выборка.
В исследовании Language Models are Few-Shot Learners, опубликованном в 2020 году, разработчики GPT-3 подробно описали состав обучающей смеси. Около 60% примеров при обучении поступало из Common Crawl – огромного общедоступного архива интернет-страниц, которые специальные программы автоматически собирают по всему миру. Прежде чем использовать эти материалы для обучения, разработчики удаляли повторения, отсеивали технический мусор и тексты, не соответствовавшие выбранным критериям качества. Однако такая очистка не гарантировала достоверности содержащихся в них сведений.
Ещё 22% обучающей смеси приходилось на WebText2 – набор страниц, отобранных по ссылкам из Reddit. Книги составляли около 16%, Википедия – приблизительно 3%. Сумма немного превышает 100% из-за округления.
Здесь важно понять, что речь идёт не о доле этих источников во всём накопленном массиве текстов, а об их весе при обучении. Разные наборы данных использовались с разной интенсивностью. Разработчики сознательно чаще обращались к некоторым источникам, которые считали более качественными.
Таким образом, ещё до того, как нейросеть начала отвечать на вопросы, определённые решения уже были приняты. Какие тексты собрать, какие исключить, каким придать больший вес – всё это влияет на будущие возможности модели.
И речь не только об устранении технического мусора. Отбор данных неизбежно определяет, какие языки, темы, культурные традиции и способы описания действительности будут представлены лучше, а какие – хуже.
Нейросеть изучает не мир непосредственно. Она обучается на его текстовых и других цифровых описаниях.
Как меняется состав знаний
За прошедшие годы обучение моделей заметно усложнилось. Разработчики всё активнее используют специализированные материалы, математические задачи, программный код, образовательные тексты и синтетические данные, созданные с помощью других моделей.
В 2025 году Яндекс рассказал о подготовке YandexGPT 5 Lite. На первом этапе обучения 60% данных составляли веб-страницы, 15% – программный код, 10% – математические материалы. Остальное приходилось на другие источники, включая синтетические данные и наборы из сервисов компании.
На следующем этапе, который разработчики назвали Powerup, соотношение изменилось. Доля веб-страниц в этом специализированном обучающем наборе составила уже 25%, а математика, код и образовательные материалы вместе заняли больше половины.
Это не означает, что интернет перестал быть главным источником обучения всех нейросетей. Но хорошо показывает, что разработчики всё меньше полагаются на накопление произвольных текстов и всё больше внимания уделяют их составу, назначению и качеству.
Особенно интересны синтетические данные. Машины начинают учиться на материалах, созданных другими машинами. Такой подход позволяет формировать задания, объяснения и примеры для обучения. Но он же ставит вопрос о том, как контролировать ошибки и ограниченность автоматически созданного материала.
Возникает новая цепочка передачи знаний: человек создаёт тексты, машина обучается на них, затем генерирует новые тексты, которые могут попасть в последующие обучающие наборы.
От качества каждого звена зависит надёжность результата.
Хорошо написанное ещё не означает правдивое
Представим, что некоторое историческое событие ошибочно описано в популярной публикации. Её пересказывают другие сайты, копируют справочники, используют авторы блогов. Через несколько лет одно и то же заблуждение встречается в сотнях материалов.
Для человека, не знакомого с предметом, такая повторяемость может создавать впечатление достоверности. Но множество публикаций не превращает ошибочное утверждение в доказанный факт.
Для языковых моделей эта проблема тоже существует.
В 2021 году исследователи Стефани Лин, Джейкоб Хилтон и Оуайн Эванс представили тест TruthfulQA. Его задача состояла в проверке способности языковых моделей избегать распространённых заблуждений. Учёные составили 817 вопросов из разных областей, включая медицину, право, финансы и политику.
Результаты показали, что исследованные тогда модели нередко воспроизводили распространённые ложные представления. В том эксперименте лучший результат среди проверенных моделей составлял 58% правдивых ответов, тогда как люди показывали 94%. (Эти цифры относятся к моделям того времени, а не к нынешним системам искусственного интеллекта.)
Смысл исследования, однако, выходит за пределы конкретных процентов. Суть в том, что языковая модель может хорошо усвоить распространённый способ говорить о предмете, не получив надёжного механизма проверки истинности каждого утверждения.
Конечно, современные модели используют дополнительные методы обучения, проверки и обращения к источникам. Но сама проблема различия между правдоподобным и доказанным никуда не исчезла.
Ведь красиво сформулированная неправда остаётся неправдой – независимо от того, кто её произнёс, человек или машина.
Два разных способа отвечать
Здесь мы подходим к обстоятельству, которое особенно важно понимать каждому пользователю искусственного интеллекта.
Когда нейросеть отвечает на вопрос, она не обязательно ищет информацию в интернете. Многие ответы формируются на основе закономерностей, усвоенных при обучении, и контекста текущего разговора. Модель не открывает мысленно определённую страницу учебника и не извлекает из неё готовую цитату. Она формирует последовательность слов, опираясь на выученные связи и дополнительные механизмы своей работы.
Но существуют и системы, которые во время ответа обращаются к внешним источникам: поисковым индексам, документам, базам данных и веб-страницам. Они находят материалы, передают их модели, а та использует полученную информацию при формировании ответа. Такой подход часто называют генерацией с дополнением поиском – RAG.
Поэтому вопрос «Откуда нейросеть это знает?» имеет как минимум два разных смысла.
Первый – на каких данных её обучали. Второй – какими источниками она воспользовалась именно сейчас, отвечая конкретному человеку.
Для пользователя разница не всегда очевидна. В обоих случаях он видит связный текст, написанный уверенным языком. Но в первом случае установить происхождение отдельного утверждения бывает чрезвычайно трудно. Во втором появляется возможность проверить найденные источники, хотя наличие ссылки ещё не гарантирует правильности вывода.
Иногда система вообще комбинирует оба способа, дополняя найденные сведения тем, что уже усвоила при обучении.
Уверенность ответа по-прежнему не следует принимать за доказательство его истинности.
Кто становится видимым для нейросети
Теперь перенесёмся из области технологии в повседневную жизнь.
Предположим, человек просит искусственный интеллект рекомендовать строительную компанию, врача, образовательный центр или специалиста по недвижимости. Если система использует поиск, ей необходимо найти сведения о подходящих кандидатах, сопоставить их и подготовить ответ.
Но что произойдёт, если об одной компании существуют подробные и согласованные сведения на официальном сайте, в справочниках и независимых публикациях, а информация о другой разрозненна, устарела или противоречит сама себе?
Это не значит, что первая автоматически получит рекомендацию. На результат влияют запрос, доступные источники, поисковый механизм и множество других факторов. Однако доступность, ясность и проверяемость информации становятся существенными условиями присутствия компании в машинном ответе.
Здесь и возникает область, которую сегодня обозначают сокращениями GEO – Generative Engine Optimization и AEO – Answer Engine Optimization. Речь идёт о работе над тем, чтобы сведения об организации, продукте или человеке могли быть обнаружены и использованы системами, формирующими ответы.
При этом сами разработчики поисковых систем предупреждают против представления, будто существует универсальный набор хитростей, гарантирующих попадание в ответы искусственного интеллекта. Например, Google подчёркивает значение обычных принципов поисковой оптимизации: доступности страниц, полезности материалов, понятной структуры и надёжности информации.
Но для специалиста по коммуникациям появляется новая задача. Раньше он стремился к тому, чтобы человек увидел нужную информацию среди поисковых результатов. Теперь ему приходится учитывать ситуацию, когда человек может вообще не открыть ни одного сайта, получив готовый ответ от искусственного интеллекта.
И тогда значение имеет уже не только то, что организация рассказывает о себе. Важно и то, какую картину о ней система способна собрать из доступных свидетельств.
Когда информация становится представлением о мире
Мы привыкли считать, что интернет предоставляет человеку материалы для самостоятельного изучения. Конечно, поисковые системы никогда не были нейтральными проводниками: они ранжировали результаты, персонализировали выдачу и влияли на то, что именно мы увидим. Но у человека сохранялась возможность просмотреть несколько источников, сравнить их и самостоятельно выбрать, каким сведениям доверять.
Генеративный искусственный интеллект предлагает иной способ получения информации: он соединяет сведения из разных источников в связный рассказ, избавляя человека от необходимости самостоятельно просматривать множество страниц. Но вместе с этим значимая часть работы по отбору и интерпретации информации переходит от человека к машине.
Человек задаёт вопрос и получает не десяток ссылок, а текст, уже содержащий определённую интерпретацию действительности. При этом многие промежуточные решения остаются невидимыми: какие источники были найдены, какие использованы, какие исключены и почему одни утверждения оказались важнее других.
Когда человек самостоятельно сравнивает источники, ему приходится замечать расхождения, сомневаться, принимать решение. Готовый машинный ответ сокращает эту работу. Вместе с экономией времени появляется соблазн отказаться и от проверки, особенно если ответ звучит убедительно и совпадает с нашими ожиданиями.
Так постепенно меняется сам механизм доверия. Вместо того чтобы оценивать источники и сопоставлять свидетельства, человек оценивает готовый ответ по его связности и убедительности. Но убедительность изложения ещё ничего не говорит о достоверности изложенного.
Мы постепенно привыкаем получать знания в форме готового объяснения. И чем естественнее звучит машинный собеседник, тем легче забыть о сложной технологической цепочке, которая стоит за его словами.
Поэтому вопрос об источниках знаний искусственного интеллекта касается не только разработчиков, учёных и специалистов по продвижению.
Он касается каждого из нас.
Мы имеем дело с системой, которая способна сделать огромное количество человеческих знаний доступнее. Но одновременно она становится посредником между человеком и информацией, а иногда – между человеком и представлением человека о самом себе.
В ближайших публикациях мы подробнее разберём, почему искусственный интеллект способен воспроизводить массовые заблуждения, как он выбирает источники и почему одни люди и организации оказываются заметнее других.
Но главную проблему уже можно сформулировать.
Мы всё чаще спрашиваем у искусственного интеллекта, что происходит в мире. А часто ли спрашиваем, откуда он это узнал?