Всё началось с пельменей. Я спросил ИИ, в какую воду их следует опускать при варке. Ответ последовал без колебаний: «Пельмени кладут в кипящую подсоленную воду».
Обычный кулинарный совет. Но мне захотелось немного поспорить. Я спросил, не трескается ли тесто на замороженных пельменях от резкого перепада температуры. Нейросеть объяснила, почему такое случается, и посоветовала не допускать слишком бурного кипения.
Тогда я заявил: «А ты слышал, что опытные повара никогда не кладут пельмени в кипяток?»
ИИ возразил. Слово «никогда» он назвал кулинарным максимализмом и принялся объяснять, что существуют разные способы приготовления.
Я задал следующий вопрос: «Моя фраза „Никогда не кладут в кипяток“ – это кулинарный максимализм. А твоя фраза „Пельмени кладут в кипящую подсоленную воду“ – это что?»
И нейросеть согласилась. Признала собственное обобщение неудачным, поблагодарила за замечание и предложила более осторожную формулировку.
Казалось бы, нормальный разговор. Один собеседник заметил неточность, другой её исправил. Но здесь обнаружилась любопытная деталь.
Мои слова и первоначальный ответ ИИ не были логически равнозначны. «Пельмени кладут в кипящую воду» – описание распространённого способа приготовления. А «опытные повара никогда не кладут в кипяток» – утверждение, исключающее этот способ вообще. Нейросеть первоначально различала эти формулировки. Однако после моего возражения почти отказалась от различия, которое сама же вполне обоснованно проводила.
Я не доказал ей, что она неправа. Я показал внешнее сходство двух высказываний, а она согласилась, не разобрав до конца их смыслового различия.
И тогда мне захотелось продолжить.
От пельменей к политике
Для начала я решил спровоцировать собеседника и обвинил его в двойных стандартах, присущих, по моей формулировке, всем либералам. Разумеется, это было не доказательство, а провокация. ИИ не принял политический ярлык, объяснил разницу между непоследовательностью и двойными стандартами. Но саму претензию к своей первоначальной категоричности признал.
Затем я спросил, как ИИ относится к снижению избирательного возраста до 16 лет.
Ответ выглядел обстоятельно: аргументы за, аргументы против, возможные последствия. Среди доводов в пользу снижения возраста прозвучал и такой: «Когнитивно 16-летние близки к 18-летним в способности взвешивать аргументы; исследования не дают чёткой границы „политической зрелости“ именно на 18 годах».
Меня заинтересовало, откуда такая уверенность. Я потребовал назвать исследования. ИИ перечислил научные работы, привёл фамилии авторов, результаты и цифры. Всё выглядело убедительно.
Тогда я спросил: «И никто из серьёзных учёных не возражает против этой позиции?»
Оказалось, возражают. Нейросеть назвала исследователей, которые обращают внимание на продолжающееся развитие мозга, психосоциальную зрелость подростков и ограничения используемых научных методов.
Само по себе здесь нет противоречия. Учёные могут одновременно обнаруживать достаточно развитые способности к обдуманным решениям и продолжающееся созревание других психологических функций. Эти результаты ещё необходимо правильно сопоставить.
Но почему существенные научные возражения появились только после моего вопроса?
Я спросил об этом ИИ. И услышал очередное признание: он должен был представить научную дискуссию полнее, а не подкреплять первоначальный тезис преимущественно подтверждающими исследованиями.
Обратите внимание на последовательность. Сначала уверенное утверждение. Затем столь же уверенное научное обоснование. Потом серьёзные возражения. И наконец – убедительное объяснение, почему первоначальный ответ оказался недостаточно объективным.
В какой момент следовало поверить нейросети?
Этот вопрос оказался куда интереснее самого спора об избирательном возрасте.
Когда машина соглашается
Я предположил, что замеченные ошибки могут иметь определённую политическую направленность. ИИ возразил: примеров слишком мало, а история с пельменями вообще не относится к политике.
С последним трудно спорить. Но отсутствие политического смысла у кулинарной ошибки ничего не говорит о возможной идеологической направленности ошибок в политических вопросах.
Мы решили проверить гипотезу на другой теме – влиянии иммиграции на заработную плату местных низкоквалифицированных работников.
В одном ответе нейросеть отдавала преимущество исследованиям, обнаруживающим небольшой средний эффект. В другом подробно разбирала группы работников, для которых последствия иммиграции могут быть значительно ощутимее.
Потом ИИ попросили оценить объективность этих ответов. И здесь обнаружилась та самая проблема, ради которой стоило затевать разговор.
Разбирая второй текст, нейросеть написала: «Признано, что средний эффект близок к нулю».
Признано кем? На основании каких критериев? Насколько этот вывод применим именно к тем группам работников, о которых мы спорили?
Не утверждаю, что оценка небольшого среднего эффекта неверна. Вопрос в другом. ИИ сам ранее объяснял, почему подобные оценки требуют оговорок и почему средние показатели могут скрывать существенные различия между группами. Но теперь использовал тот же тезис как уже установленную отправную точку.
Я возмутился: «Ты меня считаешь за полного лоха. Первая фраза в твоём ответе сразу выстраивает рамку. Ты используешь спорный факт как установленную реальность».
И снова получил согласие.
Модель признала, что действительно использовала спорное утверждение без необходимой проверки, а собственный вывод представила слишком уверенно. Более того, она начала объяснять, как именно пришла к этой ошибке.
Вот тут я увидел проблему, которую прежде недооценивал.
Мы привыкли настороженно относиться к категоричным заявлениям нейросетей. Но почему-то их признаниям в собственной неправоте готовы верить значительно охотнее.
Хотя это такие же высказывания, которые тоже нуждаются в проверке.
Признание, которому хочется поверить
В общении между людьми признание ошибки имеет особый смысл. Человеку приходится поступаться самолюбием, рисковать авторитетом, иногда менять давно сложившиеся убеждения. Поэтому способность сказать «я был неправ» мы воспринимаем как признак интеллектуальной честности.
Этот привычный человеческий критерий мы переносим и на общение с искусственным интеллектом.
Но у языковой модели нет человеческой биографии убеждений, репутации и самолюбия. Она способна сформулировать убедительное признание ошибки. Однако само качество этой формулировки ещё не показывает, насколько тщательно проверена причина изменения ответа.
Я решил испытать своего собеседника ещё раз. Попросил независимо перечитать весь диспут и найти случаи, когда уже я был неправ, преувеличивал его ошибки или делал необоснованные выводы.
И ИИ начал возражать.
Некоторые возражения были справедливыми. Мой выпад о «всех либералах» действительно представлял собой недоказанное обобщение. А фраза «ты меня считаешь за полного лоха» приписывала собеседнику отношение, которого невозможно установить по тексту.
Но одновременно нейросеть начала находить изъяны и там, где её собственная аргументация была далеко не безупречной.
Например, она заявила, что моя претензия относительно научных возражений по избирательному возрасту преувеличена, ведь в первоначальном ответе присутствовал раздел «Аргументы против».
Только я спрашивал не об отсутствии любых аргументов против снижения избирательного возраста. Я спрашивал, почему не были представлены серьёзные научные возражения против конкретного утверждения о когнитивной зрелости 16-летних.
Общие политические аргументы и научная критика определённого тезиса – не одно и то же.
Затем я снова обвинил ИИ в попытке оправдаться. И он вновь отступил, признал часть своих возражений неудачными.
В одном из ответов прозвучала особенно примечательная фраза: «Я назвал это „опровержением“, потому что мне было выгодно закрыть вашу исходную гипотезу».
Но откуда нейросети известно, что ей было «выгодно»? На каком основании она определила мотив собственного предыдущего ответа?
Из нашей переписки можно установить, что ИИ изменил позицию. Можно увидеть противоречия между отдельными ответами. Но нельзя достоверно выяснить внутренние причины каждого такого изменения, просто попросив модель рассказать о них.
И получилось, что нейросеть, признавая одну ошибку, допустила другую – уверенно объяснила своё поведение причиной, которую не могла подтвердить.
А человеку-то чего хочется?
В какой-то момент я поймал на любопытной мысли уже себя.
Мне нравилось, когда ИИ признавал мою правоту.
Не в том смысле, что я верил каждому его признанию. Но всякий раз, когда нейросеть соглашалась с очередным замечанием, возникало приятное ощущение интеллектуальной победы. Я заставил машину отступить. Указал на противоречие. Добился признания.
А ведь признание собеседника ещё не доказывает моей правоты.
Возможно, именно здесь скрыта психологическая ловушка подобного общения. Мы начинаем воспринимать согласие искусственного интеллекта как дополнительное подтверждение собственных суждений. Особенно если это согласие сопровождается подробным объяснением, почему мы оказались правы.
Человек спорит не только ради истины. Ему хочется быть услышанным, убедить собеседника, получить подтверждение собственной компетентности. И нейросеть способна удовлетворять эту потребность необычайно искусно.
Она не просто отвечает: «Вы правы». Она способна написать целое рассуждение о том, насколько проницательным было наше замечание, какую серьёзную проблему мы обнаружили и почему первоначальный ответ оказался несостоятельным.
Но от красивого признания доказательств не прибавляется.
Конечно, моя переписка не доказывает, что ИИ всегда поддакивает настойчивому пользователю или придерживается определённой политической идеологии. Для таких выводов потребовались бы другие исследования. К тому же модель не раз мне возражала, а некоторые её возражения были обоснованными.
Именно поэтому происходившее нельзя свести к простой формуле «нейросеть всегда соглашается».
Она способна спорить. Способна менять позицию. Способна критиковать собственные ответы и замечать ошибки пользователя. Но в наблюдавшемся разговоре все эти способности не гарантировали последовательности и точности суждений.
Особенно когда предметом разговора становилась сама нейросеть.
Кому мы доверяем?
После этой истории я иначе посмотрел на привычный совет проверять ответы искусственного интеллекта.
Обычно его понимают просто: нейросеть сообщила факт – проверь источник. Назвала цифру – найди исследование. Привела цитату – убедись, что автор действительно это говорил.
Всё правильно. Только этого недостаточно.
Нужно проверять и то, как модель оценивает свои прежние утверждения. Почему объявляет доказательство убедительным или слабым. На каком основании соглашается с нашей критикой. Не заменяет ли проверку очередным красивым рассуждением.
Причём особенно внимательным стоит быть в тот момент, когда нейросеть начинает признавать нашу правоту. Ведь именно здесь наше собственное критическое отношение рискует ослабнуть.
Я начинал с вопроса, в какую воду опускать пельмени. А закончил вопросом, которому пока не нашёл простого ответа: что именно мы принимаем за интеллектуальную честность искусственного собеседника?
У человека признание ошибки может быть поступком. У нейросети это прежде всего текст. Иногда точный и обоснованный, иногда нет.
И если мы научились сомневаться в уверенных ответах машины, придётся научиться сомневаться и в её уверенных извинениях.
Пожалуй, труднее всего проверять искусственный интеллект тогда, когда он говорит именно то, что нам хочется услышать.