Ученые изучили восприятие речи и музыки через «Гарри Поттера»


Ученые выяснили с помощью Гарри Поттера, как мозг отличает речь от музыки

Если в кинокартине персонажи беседуют на фоне музыки, зритель улавливает и слова, и мелодию. Исследователи из Канады и Франции установили, какие характеристики звука позволяют мозгу разделять эти потоки. Для распознавания речи критичны быстрые временные изменения сигнала, тогда как для музыки важнее распределение энергии по частотам. В материале «Известий» рассказывается, зачем ученым потребовались первые минуты «Гарри Поттера» и что продемонстрировали записи активности мозга.

Почему исследователи выбрали «Гарри Поттера»

Почти восемь минут звуковой дорожки картины «Гарри Поттер и философский камень» на французском языке воспроизвели для эксперимента. В записи речь и музыка звучали то по отдельности, то вместе. Ранее в подобных исследованиях обычно применялись короткие изолированные сигналы. Отрывок из фильма дал возможность проверить, сохраняются ли обнаруженные закономерности при наложении звуков и постоянной смене их сочетаний.

Один и тот же фрагмент представили двум группам участников. Первую составили 19 здоровых взрослых: они отмечали кнопками моменты, когда воспринимали речь, музыку или оба звука сразу. Во вторую группу вошли 11 пациентов с эпилепсией, которым ранее вживили внутричерепные электроды для диагностики. Эти участники просто слушали запись без выполнения заданий, а специалисты регистрировали активность их мозга. Таким образом, исследователи смогли связать субъективные оценки первой группы с реакциями слуховой коры второй.

Какие признаки отличают речь и музыку

Звук обладает временным и частотным рисунком. Во время беседы слоги быстро чередуются, и короткие звуковые всплески чередуются с паузами. Когда звучит несколько нот, их сочетание создает другой ориентир — специфическое распределение энергии между высокими и низкими частотами. Такие изменения сигнала во времени и по частотам называют спектрально-временными модуляциями. Анализ продемонстрировал, что для распознавания речи большее значение имели быстрые временные изменения, а для музыки — нюансы частотной картины.

В слуховых зонах обоих полушарий специалисты обнаружили 39 участков, где мозговая активность стабильно изменялась в ответ на указанные акустические характеристики. На основе сигналов с электродов компьютерные алгоритмы восстанавливали параметры звуковой дорожки. После этого ученые оценивали, насколько успешно по этим данным можно предсказать момент, когда участники из первой группы нажимали кнопку, отмечая речь или музыку.

Судя по отдельным точкам записи, модели предсказывали речевые отметки с точностью 54–60%, а музыкальные — 54–71%. Оба результата оказались выше порога случайного угадывания, равного 50%. Если же анализировались акустические признаки, извлеченные напрямую из звуковой дорожки, точность возрастала до 97–99% для речи и 99–100% для музыки.

Эту закономерность дополнительно проверили на другом аудиоматериале. Пятерым добровольцам включили специально созданную комбинацию речи и органной музыки. В этой записи ученые заранее определили моменты звучания каждого компонента. Анализ дал аналогичный итог: для распознавания речи вновь оказались важнее временные изменения, а для музыки — характеристики ее частотной структуры.

Как мозг распределяет обработку звука между полушариями

Быстрые изменения звука во времени наиболее тесно коррелировали с гамма-колебаниями мозговой активности. Частотные детали лучше сопровождались более медленными альфа-колебаниями. В обработку и речи, и музыки включались оба полушария. Однако слуховые зоны левого полушария точнее синхронизировались с акустическими характеристиками речи, а правого — с характеристиками музыки.

Подобную асимметрию некоторые авторы уже фиксировали в 2020 году. Тогда они записали пропетые фразы на английском и французском языках и обработали аудиозаписи двумя разными способами. Если из звука удаляли часть данных о временных изменениях, участникам становилось сложнее различать слова. Если убирали часть частотной информации, ухудшалось распознавание мелодии. В том исследовании мозговую активность регистрировали методом функциональной МРТ. Эксперимент с фильмом позволил проследить аналогичную закономерность по сигналам с электродов, когда реплики и музыка чередовались или звучали одновременно.

Как мозг реагирует на пение

Данные эксперимента свидетельствуют о том, что отличить речь от музыкального сопровождения можно уже на уровне того, как слуховая кора фиксирует характеристики звука.

«Сами акустические характеристики уже содержат информацию, необходимую для такого различения», — пишут авторы.

Какая роль в этом процессе принадлежит участкам мозга, избирательно реагирующим на определенные типы звуков, пока неясно. Пример такой избирательности был описан в 2022 году: в слуховой коре нашли группу нейронов, которая сильно активировалась при пении и заметно слабее — при обычной речи или инструментальной музыке. В новом эксперименте перед учеными стояла иная цель. Им удалось продемонстрировать, на основе каких признаков мозг различает два звука, когда голос и музыка звучат одновременно и каждый сохраняет свою акустическую структуру.