Институт инженеров электротехники и электроники (IEEE) в США провел тест Тьюринга, чтобы проверить способность искусственного интеллекта имитировать человеческое общение. В эксперименте участвовали 500 человек, которые общались с человеком и моделями ИИ: ELIZA, GPT-3.5 и GPT-4.
По данным портала LiveScience, результаты показали, что 54% участников приняли за человека GPT-4, 50% — GPT-3.5, и только 22% — ELIZA 1960-х годов.
В то же время живого собеседника распознали 67% испытуемых. Разговоры длились по пять минут, после чего участники должны были ответить, общались ли они с человеком или ИИ.
«Машины могут рассуждать, смешивая воедино правдоподобные обоснования вещей постфактум, как это делают люди. Они подвластны когнитивным искажениям, их обманывают и ими манипулируют, они сами становятся все более обманчивыми. Все эти элементы означают, что человеческие слабости и причуды отображаются в системах ИИ, что делает их более похожими на человека, чем предыдущие ИИ, которые владели чуть больше чем списком готовых ответов», — заявила исследователь ИИ Нелл Уотсон.
Тест Тьюринга — это эмпирический тест, предложенный математиком и криптографом Аланом Тьюрингом в 1950 году, чтобы отличить компьютер от человека. Тест считается пройденным, если более 30% судей, задавая вопросы машине, спутают ее с человеком.