Квантовая математика [поможет в поиске ключевых слов]

Испанские ученые создали новый алгоритм поиска в тексте ключевых слов, основанный на использовании теории случайных матриц, сообщает New Scientist. Работа ученых опубликована в журнале Physical Review E.

Читайте

Знаки зодиака, рожденные с мудростью старых душ

Козероги, Рыбы, Стрельцы и Овны в гороскопе Василисы Володиной на…

Юмор за день и наряд

🧠 Испытание на ясность ума: задача, которая кажется простой, пока не…

Самый простой метод поиска ключевых слов в тексте заключается в следующем. Чтобы определить, является ли слово ключевым, изучается частота его повторения в тексте. Затем частота того же слова определяется для некоторого базового текста, привязанного к изучаемому из некоторых сторонних соображений. Если частота в исходном тексте оказывается выше, чем в базовом, то слово признается ключевым.

В рамках нового исследования ученые предложили считать не только частоту вхождения слов, но их группировку. Ученые полагают, что более важные слова обычно группируются автором вместе, в тех частях текста, где он пытается донести основную мысль. При этом менее значимые слова оказываются более равномерно распределены в тексте.

Для описания данной идеи исследователи использовали так называемую теорию случайных матриц - раздел теории вероятности и статистики, занимающийся изучением случайных величин, которые принимают матричные значения. Оказалось, что многие математические методы данной теории представляется возможным применять к изучению текстов.

В качестве тестирования своего метода ученые предприняли попытку обнаружить ключевые слова в нескольких известных текстах на разных языках: английском, немецком, испанском, итальянском и латыни. Опыт оказался достаточно успешным. Например, в труде Эйнштейна, посвященном общей и специальной теориям относительности, в первую десятку ключевых слов новый метод поместил «поле» (field) и «гравитационный» (gravitational). В «Трех мушкетерах» Александра Дюма первую строчку оккупировала «миледи», а Атос оказался важнее д’Артаньяна. Полный список изучавшихся текстов доступен здесь.

Кроме этого исследователи провели тестирование нового метода в текстах, предварительно удалив из них пробелы. Результаты, по словам исследователей, указывают на то, что новый метод может применяться для изучения абстрактных массивов данных.

Создатели нового метода позиционируют его в качестве будущего метода для интернет-поиска. Специалисты в данной области, однако, пока настроены скептически. Они полагают, что, прежде чем можно будет говорить о практическом применении нового метода, необходимо провести сравнительное тестирование с существующими методами поиска.

_Нормальное случайное распределение, часто используемое в различных статистических моделях (в том числе и поиска слов). Изображение с сайта isutech.org_