Специалисты по «пограничным биологическим наукам» из Университета Осаки научили известную нейросеть рисовать картинки «прямо из головы» человека. Испытания показали: искусственный интеллект способен считывать наши мысли с точностью 80%.
Команда взяла для работы нейронную сеть для преобразования текста в изображения с глубоким обучением Dall-E 2 от американской компании OpenAI. В эксперименте участвовали четверо добровольцев, каждому из них ученые показывали поочередно фотографии - в общей сложности десять тысяч изображения. И фиксировали при этом мозговую активность с помощью МРТ. ИИ расшифровывал снимки и должен был реконструировать то, что он «увидел» на сканах.
Читайте нас также
Читайте 
МРТ для наблюдений было выбрано потому, что она обнаруживает молекулы кислорода там, где нейроны мозга активно работают и потребляют больше кислорода - это происходит, когда человек думает или испытывает эмоции. Таким образом МРТ улавливает изменения кровотока в активных областях.
bioRxiv
По словам авторов нового алгоритма, информация извлекается из затылочной и височной долей мозга, отвечающих за восприятие изображений. ИИ основывается на своем опыте - картинках, на которых его обучили, и находит совпадения в активности мозга. Сначала он «рисует» что-то вроде помех на телеэкране, а затем добавляет все больше нюансов.
bioRxiv
«Мы демонстрируем, что наша простая структура может восстанавливать изображения с высоким разрешением (512×512) из активности мозга с высокой семантической точностью. В отличие от предыдущих исследований реконструкции изображений, наш метод не требует тонкой настройки сложных моделей глубокого обучения», - пишут ученые в исследовании, опубликованном на портале bioRxiv.
Авторы показали два ряда изображений: сверху те, которые были показаны участникам, а под ними то, что считал из их мыслей искусственный интеллект. Он смог реконструировать около 1000 снимков с точностью 80%, среди них плюшевый мишка, самолет, лыжник на склоне, башня с часами и другие.
