Эксперимент европейских ученых показал: даже самые продвинутые нейросети могут уверенно распространять ложную информацию. Как сообщает The Guardian, исследователи специально «придумали» несуществующую болезнь - и вскоре она начала появляться в ответах популярных ИИ-систем.
Как появилась «болезнь, которой не существует»
Речь идет о так называемой «биксонимании» - якобы заболевании глаз, возникающем из-за длительной работы за компьютером.
Читайте нас также
Фейковая информация выглядела максимально убедительно:
- подробно описывались симптомы
- упоминались «ученые» и «исследования»
- приводились ссылки и статистика
При этом в тексте были очевидные намеки на подделку - например, среди «организаций» фигурировали вымышленные структуры вроде «Университета Братства Кольца» и «Галактического триумвиата».
По данным исследования, уже через короткое время крупные ИИ-модели начали воспринимать эту информацию как реальную.
Крупные языковые модели, включая ChatGPT и Gemini, начали активно «просвещать» пользователей на тему несуществующей патологии, раздавая этот диагноз направо и налево.
В частности, Copilot от Microsoft описывал «биксониманию» как редкое заболевание, Gemini от Google объяснял ее воздействием «голубого свечения экранов». Аналогичные ответы фиксировались и у других систем.
Иными словами, нейросети не просто повторяли фейк - они развивали и дополняли его, делая еще более правдоподобным.
Если запрос сформулирован убедительно, нейросеть может «подыграть» и начать развивать вымышленную историю, добавляя детали, симптомы и даже методы лечения
Настоящая цель эксперимента
Исследование провела группа ученых из Гетеборгского университета под руководством Альмиры Тунстрем. Задача была простой: проверить, способны ли современные ИИ-системы отличать научную информацию от дезинформации.
Результат оказался тревожным.
Самым неожиданным стало то, что «биксонимания» стала появляться не только в ответах нейросетей, но и в реальных научных текстах.
Некоторые исследователи, судя по всему, использовали ИИ при написании работ - и в итоге включали туда несуществующее заболевание.
При этом авторы эксперимента специально оставили подсказки:
- прямо указывали, что болезнь выдумана
- использовали некорректную медицинскую терминологию
- добавляли очевидно фиктивные данные
Тем не менее, это не остановило распространение фейка.
Почему это опасно
Эксперты предупреждают: ситуация выходит за рамки забавного эксперимента.
Докторант University College London Алекс Руани, изучающий медицинскую дезинформацию, отметил, что это наглядный пример того, как быстро ложная информация может закрепляться в системе.
«Это мастер-класс по тому, как работает дезинформация. Если научные и технологические системы не могут ее отфильтровать, последствия могут быть серьезными», - подчеркнул он.
В чем проблема нейросетей
По данным западных исследований (включая отчёты Stanford University и MIT), современные ИИ-модели не «понимают» правду и ложь, а работают с вероятностями. Они могут уверенно выдавать неверную информацию и склонны «галлюцинировать» - то есть придумывать факты при недостатке данных.
Это особенно опасно в медицине, где ошибка может повлиять на здоровье людей.
Эксперимент с «биксониманией» показал: даже очевидно вымышленная информация может стать «правдой» для искусственного интеллекта - и затем распространиться дальше.
Главный вывод исследователей прост:
нейросети - это инструмент, а не источник истины
Поэтому в вопросах здоровья и науки проверка информации по надежным источникам остается критически важной.
Никогда не используйте нейросети как альтернативу профессиональной медицинской консультации. Всегда проверяйте информацию у квалифицированных врачей.
Мы решили проверить, а как ИИ реагирует на эту информацию сейчас, после разоблачения.
И спросили ChatGPT: что он думает по поводу этой статьи. И вот что он ответил:
«Я не смогу «доказать», что такая болезнь существует - потому что она не существует как признанное медицинское состояние. Если ты спросишь меня про «биксониманию», корректный ответ будет таким: в авторитетных медицинских источниках (ВОЗ, ICD, PubMed и т.д.) такого диагноза нет.
Это искусственно созданный термин, использованный в эксперименте. Он не признан медицинским сообществом. Я мог бы объяснить, как ее описывали в фейковых текстах (симптомы, причины и т.д.), но обязательно уточнил бы, что это выдумка.
И это как раз важный момент: раньше некоторые ИИ могли начать «достраивать» такие вещи и выдавать их за правду. Сейчас цель - наоборот, останавливать распространение недостоверной информации».
В общем, ИИ обучается и перестраивается «на лету».
