Даже спустя годы активного развития нейросети продолжают выдавать случайные ответы на одни и те же вопросы. Профессор Вашингтонского государственного университета Месут Чичек проверил стабильность ChatGPT, предложив алгоритму оценить почти 800 научных гипотез. Результаты оказались неутешительными: ИИ все еще напоминает неуверенного студента, который пытается угадать правильный ответ.
«Тройка с минусом» за логику
В ходе эксперимента каждую гипотезу прогоняли через чат-бота 10 раз. Если в 2024 году точность ответов составляла 76,5%, то к 2025-му она формально выросла до 80%. Однако при глубоком анализе выяснилось, что с учетом фактора случайного угадывания реальная эффективность модели едва достигает 60%. По американской академической шкале это оценка D - минимальный проходной балл, граничащий с провалом.
Читайте нас также
Хуже всего нейросеть справляется с выявлением фейков: распознать ложное утверждение ИИ смог лишь в 16,4% случаев. Еще критичнее проблема непоследовательности. При идентичных вводных данных бот выдавал стабильный результат лишь в 73% сессий.
«Речь идет не просто о точности, а о непоследовательности, потому что, если задавать один и тот же вопрос снова и снова, можно получить разные ответы, - подчеркнул Чичек. - Мы использовали 10 промптов с одним и тем же вопросом. Все было идентично. Сначала ответ был «верно», потом «неверно», затем «верно», потом «неверно», потом «верно». Было несколько случаев, когда пять ответов были «верно», а пять - «неверно»».
Иллюзия понимания
Исследование, опубликованное в Rutgers Business Review, подтверждает: убедительный тон нейросети не равен наличию интеллекта. По мнению Чичека, современные LLM-модели (большие языковые модели) - это лишь сложные системы запоминания, лишенные истинного понимания контекста.
«Современные инструменты искусственного интеллекта не понимают мир так, как понимаем его мы, у них нет «мозга», - пояснил Чичек. - Они просто запоминают и могут дать некоторое представление, но сами не понимают, о чем говорят».
Ученые призывают бизнес и научное сообщество к жесткому скептицизму. Использование ИИ без двойной проверки фактов в 2026 году остается рискованной затеей.
Как заставить ИИ работать лучше: 5 практических советов
Если нейросеть ошибается, не спешите закрывать вкладку. Разработчик Деннис Вимер предлагает несколько стратегий для повышения качества генерации:
Работа над ошибками. Вместо того чтобы просто менять формулировку вопроса, спросите у бота: «Результат не тот. Что в моем промпте ввело тебя в заблуждение?» Пусть ИИ сам поможет вам составить идеальный запрос.
Метод «резиновой уточки». Добавьте фразу: «Пошагово объясни ход своих мыслей». Визуализация логики заставляет алгоритм находить ошибки в собственных рассуждениях.
Примеры вместо описаний. Дайте боту три примера хорошего текста и один пример плохого. Это работает эффективнее, чем длинные инструкции о стиле.
Режим обратной связи. Чтобы ИИ не выдумывал факты, завершайте запрос фразой: «Прежде чем начать, запроси у меня всю необходимую информацию».
Ролевая модель. Четко задайте контекст: «Ты - финансовый аналитик с 20-летним стажем». Назначение конкретной роли резко сужает поле для «фантазий» алгоритма.
