Слепой ABX тест звучания аудиофайлов

В этой статье я расскажу, как правильно сравнить два аудиофайла и выяснить, слышите ли вы между ними разницу. Речь пойдет об ABX тесте — разновидности слепого метода тестирования, когда испытуемый не знает, какой из сравниваемых файлов звучит в данный момент и должен определить это исключительно на слух по определённым правилам. При помощи данной методики можно получить ответы на вопросы типа «слышу ли лично я разницу между MP3 и FLAC и, если да, то при каких условиях» или «какова верхняя граница моего слухового диапазона». Ну и на другие подобные, всё зависит только от вашей фантазии и любознательности. Ответы будут точны ровно настолько, насколько аккуратны и терпеливы вы будете при проведении тестирований.

У кого-то может возникнуть вопрос — а зачем вообще нужны все эти «слепые» заморочки, почему нельзя сравнить файлы, просто слушая их попеременно в проигрывателе? Дело в том, что при обычном, «зрячем» сравнении возникает для многих неочевидная, но очень существенная проблема. Наши органы чувств не являются точными и беспристрастными приборами. Скорее, наоборот, являются очень неточными и пристрастными. Субъективные факторы часто вносят значительные искажения в восприятие и трактовку информации мозгом. Как известно из опыта общения с аудиофилами, шильдики с брендами, ценники или внешний вид устройств часто определяют результаты их «зрячего» сравнения в большей степени, чем непосредственно звучание этих устройств. В медицине это называют «эффектом плацебо», а в быту — самовнушением и предвзятостью. С аудиоформатами, режимами работы кодеров, битрейтами и прочим ситуация ничуть не лучше, чем с «железом». Соответственно, если мы хотим получить более или менее объективные результаты сравнительных тестов всего этого дела, наша главная задача — снизить влияние субъективных факторов настолько, насколько это возможно, в идеале до нуля. Именно поэтому правильное сравнение аудиофайлов просто обязано быть слепым.

Данный материал я адресую аудиоэнтузиастам. Проведу жирную черту между терминами «аудиоэнтузиаст» и «аудиофил», это важно.

Аудиоэнтузиаст — человек, увлечением которого является хороший звук и всё, что необходимо для получения оного: проигрыватели, звуковые карты, ЦАПы, усилители, акустика, программное обеспечение. Такой человек смотрит на своё хобби трезво, принимая решения в целом осознанно и рационально.

Аудиофил на первый взгляд похож на аудиоэнтузиаста, но его принципиальным отличием является религиозный тип мышления и соответствующий подход к делу. Философия аудиофила строится на догмах, и сама мысль подвергнуть эти догмы сомнению хотя бы ради интереса кажется аудиофилу крамолой. Ответной реакцией такого человека на призывы к проверке фактов и приведению доказательств будет в лучшем случае безразличие, а часто — агрессия по отношению к собеседнику. «Зачем мне ваши дурацкие слепые тесты, я и без них всё прекрасно слышу!» — вот типичный непробиваемый аудиофильский ответ на аргументы оппонента.

Как уже было сказано выше, ориентируюсь я именно на аудиоэнтузиастов, аудиофилам же советую не тратить время на дальнейшее чтение.

Подготовка

Для проведения тестирования необходимо следующее:

  1. Более или менее качественные звуковая карта и наушники. Идеально, если в вашей звуковой карте есть встроенный усилитель для наушников. Если такового в карте нет, настоятельно рекомендую воспользоваться внешним усилителем, хоть даже «ушным» выходом обычного интегральника или ресивера. Вместо наушников можно использовать и приличные АС, но для отлавливания мелких деталей в звучании наушники подходят лучше. Как было точно подмечено кем-то, в хороших наушниках «звук как под микроскопом».
  2. Компьютер с ОС Windows, плеер foobar2000 и плагин ABX Comparator к нему. Плагин нужно установить в foobar через меню File > Preferences > Components > Install.
  3. Пара тестовых аудиофайлов. В реальных тестированиях используется одна музыкальная композиция, но по-разному обработанная — например, один файл в MP3-формате, другой во FLAC. Но в нашем случае, чтобы быстро понять, как всё работает, возьмём два разных трека, которые при всём желании невозможно спутать друг с другом. Пусть это будет комбинация из творчества Rammstein и Аллы Пугачевой.

Прохождение тестирования

Создаём в foobar новый плейлист, добавляем в него наши тестовые композиции. Имена их файлов должны быть такими, чтобы визуально было понятно, что есть что. В нашем случае это не столь важно, так как треки на слух абсолютно разные, однако, при реальном тестировании возможность быстрой идентификации файла по имени будет полезной.

Выделяем обе композиции и кликаем по ним правой кнопкой мыши. В контекстном меню выбираем Utilities > ABX tracks:

 

Выбор треков для сравнения и запуск ABX Comparator

 

В появившемся окне преднастройки теста оставляем всё по умолчанию, включая количество попыток:

 

Окно преднастройки тестирования в ABX Comparator

 

Сразу скажу пару слов о том, какое количество попыток стоит выбирать при реальном тестировании. Общий принцип таков — чем больше их количество, тем статистически достовернее результаты теста. Однако, впадать в крайность, изнуряя себя сотнями попыток, не стоит, обычно достаточно 20-30-ти. При большем количестве попыток процесс имеет смысл разбить на несколько подходов с перерывами на отдых.

Жмём Ok в окне преднастройки, после чего ABX Comparator подготовит файлы и появится основное окно тестирования:

 

Основное окно тестирования в ABX Comparator

 

Разберём элементы управления подробно. Кнопка Play A включает проигрывание первого трека из плейлиста (в нашем примере это Rammstein), Play B — второго (Пугачёва). При проведении настоящего тестирования информацию о том, какая буква чему соответствует, полезно записать на бумажку, чтобы не путаться — например, «A — FLAC, B — MP3». Таким образом в процессе тестирования мы всегда имеем возможность прослушать каждый из сравниваемых треков «зрячим» способом, когда точно известно, какой кнопкой он включается.

Ниже идут кнопки Play X и Play Y. Собственно, X и Y — это те же A и B, которые для каждой попытки перемешиваются случайным образом. Как они перемешались, мы не знаем и должны определить это на слух. Тут может быть два варианта: X — это A, Y — это B или, наоборот, Y — это A, X — это B. Ответ даём в блоке Choice, нажав соответствующую кнопку. Перед тем, как его дать, никто не мешает нам сколько угодно раз вернуться к кнопкам Play A и Play B для прослушивания треков «зрячим» способом. После выбора ответа переходим к следующей попытке нажатием «Next trial». Данный процесс повторяется столько раз, сколько было задано попыток в окне преднастройки теста.

На словах описанное может показаться несколько запутанным, однако, когда вы перейдёте к практическим действиям, всё быстро встанет на свои места. При использовании двух совершенно разных композиций, как в нашем примере, на освоение методики вообще должно уйти не более пяти минут.

Интерпретация результатов

После прохождения теста ABX Comparator выведет лог с результатами тестирования:

 

Окно результатов тестирования в ABX Comparator

 

На параметр «Probability that you were guessing» можно не обращать внимания, его практическая ценность сомнительна. Самая важная строчка — это Total, где указано отношение количества правильных ответов к количеству попыток. Рассмотрим два крайних варианта:

1. Отношение близко к 1/2 или 50 на 50%. Вспоминаем, что такое соотношение между количеством выпадений орла и решки получается, если подбросить монетку случайным образом достаточное количество раз. То есть результат, близкий к 1/2 означает, что вы давали ответы наугад. Для получения подобного расклада можно во всех попытках просто жать кнопку одного и того же ответа, что я и проделал на вышеприведённом скриншоте. Если при тестировании двух треков вы, несмотря на все старания, стабильно выдаёте результат, близкий к 50 на 50, это означает, что разницы между данными треками вы не слышите, звучат они для вас совершенно одинаково.

2. Отношение близко к единице или 100%. Такой расклад означает ровно обратное — при сравнении вы отвечали не наугад, а ориентировались на хорошо фиксируемые вашим слухом отличия между треками. В нашем примере с творчеством Rammstein и Аллы Пугачёвой дать 100% правильных ответов по очевидной причине может даже полуглухой дедушка.

Вывод из сказанного: чем надёжнее ваш слух фиксирует разницу между исследуемыми файлами, тем сильнее отклонится от 50 на 50% ваш результат. Если процент правильных ответов стабильно лежит в диапазоне 70-100, можно смело утверждать, что отличия в звучании треков для вас достаточно существенны. Если правильных ответов не более 60-70%, рекомендуется провести дополнительное тестирование с другим музыкальным материалом.

Всё понятно, но что конкретно?

Что ж, давайте наконец перейдём от теоретических моментов к конкретике и рассмотрим, что и как можно исследовать при помощи ABX тестов.

1. То, из-за чего испокон веков идут религиозные войны на аудиофильских форумах — lossless vs. lossy. Попросту говоря, FLAC/APE/ALAC vs. MP3/AAC/WMA/OGG. Начать рекомендую с банального FLAC vs. MP3 в исполнении кодера LAME. Полезно провести эксперименты с разными битрейтами (128, 192, 256 кбит/с), режимами работы LAME (CBR/VBR/пресеты) и тестовыми композициями. Собственно, для этого понадобятся только соответствующие кодеры и foobar.

2. Обычное CDDA 16 бит/44.1 кГц vs. форматы высокого разрешения (так называемый «хайрез»). Имеет смысл отдельно исследовать, как влияет на звук разрядность квантования (16 vs. 24 бита) и как частота дискретизации (44.1 кГц vs. 96-192 кГц). Тут кроме фубара понадобится звуковой редактор для приведения исходника высокого разрешения в стандартный 16/44.1 вид. Сразу укажу на вроде бы очевидную, но часто совершаемую при проведении подобных тестов ошибку: не нужно брать разные издания одной и той же композиции (например CD и DVD-Audio), они почти наверняка будут отличаться студийной обработкой материала. Для корректного сравнения нужно взять трек в высоком разрешении и самостоятельно сделать из него вариант с более низким разрешением. В познавательных целях можно не ограничиваться стандартными значениями параметров, сделав, например, 8-битную версию или версию с дискретизацией на 32 кГц — потестировать такое тоже полезно.

3. Собственные уши на предмет верхней границы слухового диапазона. Вместо банального прослушивания синусоид разной частоты предлагаю другую методику, главный плюс которой заключается в том, что тесты проходят в условиях, максимально приближенных к реальной жизни.

Нам понадобятся звуковой редактор и фонограмма, богатая высокочастотными составляющими. К её выбору нужно подойти ответственно, так как от этого будут сильно зависеть результаты. Берём выбранный исходник и при помощи ФНЧ с достаточно крутым срезом удаляем из него всё, что выше 12 кГц. Сохраняем получившийся «обрезок» в отдельный файл с соответствующим именем. Возвращаемся к исходной фонограмме и снова проделываем аналогичную операцию, но уже с более высокой частотой среза фильтра — 14 кГц. Результат опять сохраняем в отдельный файл. С каждым шагом увеличивая частоту среза на 2 кГц доходим до значения 20 кГц, получив в итоге набор из шести файлов для тестирования (оригинал и пять «обрезков»).

Далее загружаем в ABX Comparator оригинальный трек и «обрезок» на 12 кГц, сравниваем их. Если различия между файлами надежно фиксируются (правильных ответов 70-100%), делаем отметку, что рубеж 12 кГц успешно пройден. Далее заменяем первый «обрезок» на следующий, 14 кГц и повторяем процедуру сравнения с оригиналом снова. Таким образом повышая планку и отмечая пройденные значения, доходим до момента, когда процент правильных ответов опустится ниже 70. Очевидно, наша верхняя граница слухового диапазона лежит между этим и предыдущим значениями частоты среза.

Пример: при сравнении оригинального файла и файла со срезом на 16 кГц вы даёте более 70% правильных ответов. При замене «обрезка» на следующий, со срезом на 18 кГц, процент правильных ответов падает до 50-60. Следовательно, ваша граница находится между значениями 16 и 18 кГц. Определив этот диапазон приблизительно в первом подходе, затем можно его уточнить, сделав новые тестовые файлы, например, со срезами на 16.5, 17 и 17.5 кГц.

4. Coca Cola vs. Pepsi Cola. Ой, нет, прошу прощения. Это ABX Comparator’ом не протестировать.

Заключение

Освоив в своё время метод слепого сравнения, я обнаружил, что некоторые распространённые представления о тех или иных вещах в мире аудио слабо коррелируют с действительностью. Иногда вообще доходит до абсурда, когда множество людей увлечённо обсуждает нечто годами, тратит на это нечто силы, время и деньги, а по факту выясняется, что «король-то голый». Подобные ситуации нередки не только в аудиотусовке, они регулярно встречаются и в других сферах человеческой жизни. Положение дел усугубляется тем, что маркетологи, в совершенстве научившись использовать слабости человеческой психики, часто раздувают из плотвы кита в своих корыстных целях. Выше я упомянул про колу не просто так. Многие из нас пребывают в полной уверенности, что, несмотря на похожесть вкусов, упомянутые напитки всё-таки ощутимо отличаются друг от друга. Но однажды ты принимаешь участие в весёлом эксперименте и задумываешься…

Что же делать? Ответ не блещет оригинальностью: доверяй, но проверяй. Правильно проверяй.

 

Дополнение от 29.10.2023. Не могу удержаться, чтобы не добавить сюда ссылку на ролик про сравнение аудиотехники. Автор, конечно, тот ещё радикал, но тема в целом раскрыта достаточно хорошо. Ключевые принципы при таком сравнении: максимально точное выравнивание громкости звучания сравниваемых устройств, отключение всех «улучшайзеров» в них, мгновенное переключение между устройствами, критический подход к процессу и результату. В ролике показаны зрячие сравнительные прослушивания, логика слепых тестов схожа, только в этом случае требуется два и более человека.

Метки:

7 комментариев

  • Надо проверить себя )) Пару месяцев слушал саундтреки из Бетмена, во FLAC. Недавно скачал программку Spek, глянул спектр файлов и ужаснулся… Выше 16 кГц все срезано, а я сидел, кайфовал от lossless качества, как я думал. ОЧЕНЬ легко ввести себя в заблуждение…

    [ответить]
  • Чтобы провести слепой тест, достаточно просто Flac перевести в любой сжатый формат (Lossy), а дальше прослушать эти два формата закрыв глаза, периодически кликая в плеере кнопку на следующий файл «Вперёд» по очерёдности. Кстати, я спокойно слышу до 22 кГц, и потому сразу чувствую разницу на слух. Хранить музыкальную коллекцию во Flac конечно здорово, пока не увидишь, как внешний накопитель на 1 ТБ быстро заполняется на твоих глазах. После этого начинаешь поглядывать в сторону форматов Lossy, правда вот выбор среди них большой, и какой выбрать для хранения своей коллекции — это уже другой вопрос (MP3, OGG, OPUS, MPC, WMA, AC3, WavPack, AAC).

    [ответить]
    • Да, можно сравнивать треки, просто переключая их в плеере кнопкой «вперёд». Однако, подобное сравнение не будет слепым, так как ты заранее знаешь последовательность проигрывания треков. А тестирование обязано быть слепым, если требуется получить хоть сколько-нибудь объективные результаты. Поэтому при ручном переключении следует учитывать следующие моменты:

       

      1) Как я уже написал выше, после нажатия «вперёд» ты точно знаешь, что трек переключился на альтернативный, и этой информации достаточно, чтобы определить во всех последующих попытках, какой из треков какой. При сравнении следует использовать не кнопку «вперёд», а кнопку «случайный выбор из плейлиста» — в этом случае может включаться как другой, так и тот же самый трек повторно, угадать что-либо просто по номеру попытки уже будет невозможно. Предварительно следует убедиться, что используемый плеер нормально работает в рандомном режиме при наличии всего двух композиций в плейлисте.

       

      2) Для точного определения, слышишь ты разницу или нет, важна статистика, выраженная в цифрах. Пары-тройки ответов самому себе в духе «вроде слышу разницу»/«вроде не слышу разницы» недостаточно для объективной оценки, мозг — очень изворотливая штука. Обязательно нужно сделать довольно большое количество попыток, фиксируя результат каждой из них. После теста следует подсчитать количество правильных/неправильных ответов и уже на этом основании делать выводы.

       

      3) Переключение кнопками «вперёд» или «случайный выбор» будет каждый раз приводить к запуску трека с начала, что очень неудобно в большинстве случаев. Обычно самые сложные в звуковом плане и подходящие для сравнения места композиции находятся не в начале, а где-то в середине трека. Следовательно, придется после каждого переключения перематывать композицию туда-сюда, пытаясь попасть ровно в тот же фрагмент, который звучал до этого. В процессе этого занятия очень легко случайно увидеть, какой трек играет, что сразу отбраковывает попытку. Плагин же позволяет мгновенно переключаться между сравниваемыми дорожками в любом удобном для тестируемого месте сколько угодно раз, при этом не давая никаких подсказок.

       

      Разработчики специализированных инструментов — таких, как ABX Comparator — всё вышеописанное учли изначально, сделав процесс сравнения максимально простым. Почему бы этим не воспользоваться? Но, конечно, никто никому не запрещает сравнивать файлы вручную.

      [ответить]
      • Очень полезная статья, наткнулся совершенно случайно (давно хотелось провести похожий тест для себя, карта Creative АЕ-5+уши Philips A5-Pro). А вышло так, что даже и плагин имеется на тарелочке, огромное спасибо!

        [ответить]
    • Во-первых, я не сторонник сравнительных аудиотестирований онлайн, ибо никто не гарантирует, что конкретный браузерный проигрыватель реализован корректно и не повлияет существенным образом на результаты. Во-вторых, по приведённым ссылкам нет информации о том, каким кодером и с какими настройками сжаты тестовые MP3 (информации только о битрейте недостаточно). В-третьих, я бы предпочел самостоятельно выбрать музыкальный материал. Итого: поиграться онлайн-тестами, конечно, можно, но делать на основании полученных в них результатов какие-либо выводы я бы не стал. Правильнее будет подготовить и провести тестирование самостоятельно.

      [ответить]
    • 6 из 6 wav, все прекрасно слышно на верхах

      [ответить]

Оставить комментарий