В этой статье я расскажу, как правильно сравнить два аудиофайла и выяснить, слышите ли вы между ними разницу. Речь пойдет об ABX тесте — разновидности слепого метода тестирования, когда испытуемый не знает, какой из сравниваемых файлов звучит в данный момент и должен определить это исключительно на слух по определённым правилам. При помощи данной методики можно получить ответы на вопросы типа «слышу ли лично я разницу между MP3 и FLAC и, если да, то при каких условиях» или «какова верхняя граница моего слухового диапазона». Ну и на другие подобные, всё зависит только от вашей фантазии и любознательности. Ответы будут точны ровно настолько, насколько аккуратны и терпеливы вы будете при проведении тестирований.
У кого-то может возникнуть вопрос — а зачем вообще нужны все эти «слепые» заморочки, почему нельзя сравнить файлы, просто слушая их попеременно в проигрывателе? Дело в том, что при обычном, «зрячем» сравнении возникает для многих неочевидная, но очень существенная проблема. Наши органы чувств не являются точными и беспристрастными приборами. Скорее, наоборот, являются очень неточными и пристрастными. Субъективные факторы часто вносят значительные искажения в восприятие и трактовку информации мозгом. Как известно из опыта общения с аудиофилами, шильдики с брендами, ценники или внешний вид устройств часто определяют результаты их «зрячего» сравнения в большей степени, чем непосредственно звучание этих устройств. В медицине это называют «эффектом плацебо», а в быту — самовнушением и предвзятостью. С аудиоформатами, режимами работы кодеров, битрейтами и прочим ситуация ничуть не лучше, чем с «железом». Соответственно, если мы хотим получить более или менее объективные результаты сравнительных тестов всего этого дела, наша главная задача — снизить влияние субъективных факторов настолько, насколько это возможно, в идеале до нуля. Именно поэтому правильное сравнение аудиофайлов просто обязано быть слепым.
Данный материал я адресую аудиоэнтузиастам. Проведу жирную черту между терминами «аудиоэнтузиаст» и «аудиофил», это важно.
Аудиоэнтузиаст — человек, увлечением которого является хороший звук и всё, что необходимо для получения оного: проигрыватели, звуковые карты, ЦАПы, усилители, акустика, программное обеспечение. Такой человек смотрит на своё хобби трезво, принимая решения в целом осознанно и рационально.
Аудиофил на первый взгляд похож на аудиоэнтузиаста, но его принципиальным отличием является религиозный тип мышления и соответствующий подход к делу. Философия аудиофила строится на догмах, и сама мысль подвергнуть эти догмы сомнению хотя бы ради интереса кажется аудиофилу крамолой. Ответной реакцией такого человека на призывы к проверке фактов и приведению доказательств будет в лучшем случае безразличие, а часто — агрессия по отношению к собеседнику. «Зачем мне ваши дурацкие слепые тесты, я и без них всё прекрасно слышу!» — вот типичный непробиваемый аудиофильский ответ на аргументы оппонента.
Как уже было сказано выше, ориентируюсь я именно на аудиоэнтузиастов, аудиофилам же советую не тратить время на дальнейшее чтение.
Подготовка
Для проведения тестирования необходимо следующее:
- Более или менее качественные звуковая карта и наушники. Идеально, если в вашей звуковой карте есть встроенный усилитель для наушников. Если такового в карте нет, настоятельно рекомендую воспользоваться внешним усилителем, хоть даже «ушным» выходом обычного интегральника или ресивера. Вместо наушников можно использовать и приличные АС, но для отлавливания мелких деталей в звучании наушники подходят лучше. Как было точно подмечено кем-то, в хороших наушниках «звук как под микроскопом».
- Компьютер с ОС Windows, плеер foobar2000 и плагин ABX Comparator к нему. Плагин нужно установить в foobar через меню File > Preferences > Components > Install.
- Пара тестовых аудиофайлов. В реальных тестированиях используется одна музыкальная композиция, но по-разному обработанная — например, один файл в MP3-формате, другой во FLAC. Но в нашем случае, чтобы быстро понять, как всё работает, возьмём два разных трека, которые при всём желании невозможно спутать друг с другом. Пусть это будет комбинация из творчества Rammstein и Аллы Пугачевой.
Прохождение тестирования
Создаём в foobar новый плейлист, добавляем в него наши тестовые композиции. Имена их файлов должны быть такими, чтобы визуально было понятно, что есть что. В нашем случае это не столь важно, так как треки на слух абсолютно разные, однако, при реальном тестировании возможность быстрой идентификации файла по имени будет полезной.
Выделяем обе композиции и кликаем по ним правой кнопкой мыши. В контекстном меню выбираем Utilities > ABX tracks:
В появившемся окне преднастройки теста оставляем всё по умолчанию, включая количество попыток:
Сразу скажу пару слов о том, какое количество попыток стоит выбирать при реальном тестировании. Общий принцип таков — чем больше их количество, тем статистически достовернее результаты теста. Однако, впадать в крайность, изнуряя себя сотнями попыток, не стоит, обычно достаточно 20-30-ти. При большем количестве попыток процесс имеет смысл разбить на несколько подходов с перерывами на отдых.
Жмём Ok в окне преднастройки, после чего ABX Comparator подготовит файлы и появится основное окно тестирования:
Разберём элементы управления подробно. Кнопка Play A включает проигрывание первого трека из плейлиста (в нашем примере это Rammstein), Play B — второго (Пугачёва). При проведении настоящего тестирования информацию о том, какая буква чему соответствует, полезно записать на бумажку, чтобы не путаться — например, «A — FLAC, B — MP3». Таким образом в процессе тестирования мы всегда имеем возможность прослушать каждый из сравниваемых треков «зрячим» способом, когда точно известно, какой кнопкой он включается.
Ниже идут кнопки Play X и Play Y. Собственно, X и Y — это те же A и B, которые для каждой попытки перемешиваются случайным образом. Как они перемешались, мы не знаем и должны определить это на слух. Тут может быть два варианта: X — это A, Y — это B или, наоборот, Y — это A, X — это B. Ответ даём в блоке Choice, нажав соответствующую кнопку. Перед тем, как его дать, никто не мешает нам сколько угодно раз вернуться к кнопкам Play A и Play B для прослушивания треков «зрячим» способом. После выбора ответа переходим к следующей попытке нажатием «Next trial». Данный процесс повторяется столько раз, сколько было задано попыток в окне преднастройки теста.
На словах описанное может показаться несколько запутанным, однако, когда вы перейдёте к практическим действиям, всё быстро встанет на свои места. При использовании двух совершенно разных композиций, как в нашем примере, на освоение методики вообще должно уйти не более пяти минут.
Интерпретация результатов
После прохождения теста ABX Comparator выведет лог с результатами тестирования:
На параметр «Probability that you were guessing» можно не обращать внимания, его практическая ценность сомнительна. Самая важная строчка — это Total, где указано отношение количества правильных ответов к количеству попыток. Рассмотрим два крайних варианта:
1. Отношение близко к 1/2 или 50 на 50%. Вспоминаем, что такое соотношение между количеством выпадений орла и решки получается, если подбросить монетку случайным образом достаточное количество раз. То есть результат, близкий к 1/2 означает, что вы давали ответы наугад. Для получения подобного расклада можно во всех попытках просто жать кнопку одного и того же ответа, что я и проделал на вышеприведённом скриншоте. Если при тестировании двух треков вы, несмотря на все старания, стабильно выдаёте результат, близкий к 50 на 50, это означает, что разницы между данными треками вы не слышите, звучат они для вас совершенно одинаково.
2. Отношение близко к единице или 100%. Такой расклад означает ровно обратное — при сравнении вы отвечали не наугад, а ориентировались на хорошо фиксируемые вашим слухом отличия между треками. В нашем примере с творчеством Rammstein и Аллы Пугачёвой дать 100% правильных ответов по очевидной причине может даже полуглухой дедушка.
Вывод из сказанного: чем надёжнее ваш слух фиксирует разницу между исследуемыми файлами, тем сильнее отклонится от 50 на 50% ваш результат. Если процент правильных ответов стабильно лежит в диапазоне 70-100, можно смело утверждать, что отличия в звучании треков для вас достаточно существенны. Если правильных ответов не более 60-70%, рекомендуется провести дополнительное тестирование с другим музыкальным материалом.
Всё понятно, но что конкретно?
Что ж, давайте наконец перейдём от теоретических моментов к конкретике и рассмотрим, что и как можно исследовать при помощи ABX тестов.
1. То, из-за чего испокон веков идут религиозные войны на аудиофильских форумах — lossless vs. lossy. Попросту говоря, FLAC/APE/ALAC vs. MP3/AAC/WMA/OGG. Начать рекомендую с банального FLAC vs. MP3 в исполнении кодера LAME. Полезно провести эксперименты с разными битрейтами (128, 192, 256 кбит/с), режимами работы LAME (CBR/VBR/пресеты) и тестовыми композициями. Собственно, для этого понадобятся только соответствующие кодеры и foobar.
2. Обычное CDDA 16 бит/44.1 кГц vs. форматы высокого разрешения (так называемый «хайрез»). Имеет смысл отдельно исследовать, как влияет на звук разрядность квантования (16 vs. 24 бита) и как частота дискретизации (44.1 кГц vs. 96-192 кГц). Тут кроме фубара понадобится звуковой редактор для приведения исходника высокого разрешения в стандартный 16/44.1 вид. Сразу укажу на вроде бы очевидную, но часто совершаемую при проведении подобных тестов ошибку: не нужно брать разные издания одной и той же композиции (например CD и DVD-Audio), они почти наверняка будут отличаться студийной обработкой материала. Для корректного сравнения нужно взять трек в высоком разрешении и самостоятельно сделать из него вариант с более низким разрешением. В познавательных целях можно не ограничиваться стандартными значениями параметров, сделав, например, 8-битную версию или версию с дискретизацией на 32 кГц — потестировать такое тоже полезно.
3. Собственные уши на предмет верхней границы слухового диапазона. Вместо банального прослушивания синусоид разной частоты предлагаю другую методику, главный плюс которой заключается в том, что тесты проходят в условиях, максимально приближенных к реальной жизни.
Нам понадобятся звуковой редактор и фонограмма, богатая высокочастотными составляющими. К её выбору нужно подойти ответственно, так как от этого будут сильно зависеть результаты. Берём выбранный исходник и при помощи ФНЧ с достаточно крутым срезом удаляем из него всё, что выше 12 кГц. Сохраняем получившийся «обрезок» в отдельный файл с соответствующим именем. Возвращаемся к исходной фонограмме и снова проделываем аналогичную операцию, но уже с более высокой частотой среза фильтра — 14 кГц. Результат опять сохраняем в отдельный файл. С каждым шагом увеличивая частоту среза на 2 кГц доходим до значения 20 кГц, получив в итоге набор из шести файлов для тестирования (оригинал и пять «обрезков»).
Далее загружаем в ABX Comparator оригинальный трек и «обрезок» на 12 кГц, сравниваем их. Если различия между файлами надежно фиксируются (правильных ответов 70-100%), делаем отметку, что рубеж 12 кГц успешно пройден. Далее заменяем первый «обрезок» на следующий, 14 кГц и повторяем процедуру сравнения с оригиналом снова. Таким образом повышая планку и отмечая пройденные значения, доходим до момента, когда процент правильных ответов опустится ниже 70. Очевидно, наша верхняя граница слухового диапазона лежит между этим и предыдущим значениями частоты среза.
Пример: при сравнении оригинального файла и файла со срезом на 16 кГц вы даёте более 70% правильных ответов. При замене «обрезка» на следующий, со срезом на 18 кГц, процент правильных ответов падает до 50-60. Следовательно, ваша граница находится между значениями 16 и 18 кГц. Определив этот диапазон приблизительно в первом подходе, затем можно его уточнить, сделав новые тестовые файлы, например, со срезами на 16.5, 17 и 17.5 кГц.
4. Coca Cola vs. Pepsi Cola. Ой, нет, прошу прощения. Это ABX Comparator’ом не протестировать.
Заключение
Освоив в своё время метод слепого сравнения, я обнаружил, что некоторые распространённые представления о тех или иных вещах в мире аудио слабо коррелируют с действительностью. Иногда вообще доходит до абсурда, когда множество людей увлечённо обсуждает нечто годами, тратит на это нечто силы, время и деньги, а по факту выясняется, что «король-то голый». Подобные ситуации нередки не только в аудиотусовке, они регулярно встречаются и в других сферах человеческой жизни. Положение дел усугубляется тем, что маркетологи, в совершенстве научившись использовать слабости человеческой психики, часто раздувают из плотвы кита в своих корыстных целях. Выше я упомянул про колу не просто так. Многие из нас пребывают в полной уверенности, что, несмотря на похожесть вкусов, упомянутые напитки всё-таки ощутимо отличаются друг от друга. Но однажды ты принимаешь участие в весёлом эксперименте и задумываешься…
Что же делать? Ответ не блещет оригинальностью: доверяй, но проверяй. Правильно проверяй.
Дополнение от 29.10.2023. Не могу удержаться, чтобы не добавить сюда ссылку на ролик про сравнение аудиотехники. Автор, конечно, тот ещё радикал, но тема в целом раскрыта достаточно хорошо. Ключевые принципы при таком сравнении: максимально точное выравнивание громкости звучания сравниваемых устройств, отключение всех «улучшайзеров» в них, мгновенное переключение между устройствами, критический подход к процессу и результату. В ролике показаны зрячие сравнительные прослушивания, логика слепых тестов схожа, только в этом случае требуется два и более человека.
Метки: работа с аудиозаписями
Надо проверить себя )) Пару месяцев слушал саундтреки из Бетмена, во FLAC. Недавно скачал программку Spek, глянул спектр файлов и ужаснулся… Выше 16 кГц все срезано, а я сидел, кайфовал от lossless качества, как я думал. ОЧЕНЬ легко ввести себя в заблуждение…
Чтобы провести слепой тест, достаточно просто Flac перевести в любой сжатый формат (Lossy), а дальше прослушать эти два формата закрыв глаза, периодически кликая в плеере кнопку на следующий файл «Вперёд» по очерёдности. Кстати, я спокойно слышу до 22 кГц, и потому сразу чувствую разницу на слух. Хранить музыкальную коллекцию во Flac конечно здорово, пока не увидишь, как внешний накопитель на 1 ТБ быстро заполняется на твоих глазах. После этого начинаешь поглядывать в сторону форматов Lossy, правда вот выбор среди них большой, и какой выбрать для хранения своей коллекции — это уже другой вопрос (MP3, OGG, OPUS, MPC, WMA, AC3, WavPack, AAC).
Да, можно сравнивать треки, просто переключая их в плеере кнопкой «вперёд». Однако, подобное сравнение не будет слепым, так как ты заранее знаешь последовательность проигрывания треков. А тестирование обязано быть слепым, если требуется получить хоть сколько-нибудь объективные результаты. Поэтому при ручном переключении следует учитывать следующие моменты:
1) Как я уже написал выше, после нажатия «вперёд» ты точно знаешь, что трек переключился на альтернативный, и этой информации достаточно, чтобы определить во всех последующих попытках, какой из треков какой. При сравнении следует использовать не кнопку «вперёд», а кнопку «случайный выбор из плейлиста» — в этом случае может включаться как другой, так и тот же самый трек повторно, угадать что-либо просто по номеру попытки уже будет невозможно. Предварительно следует убедиться, что используемый плеер нормально работает в рандомном режиме при наличии всего двух композиций в плейлисте.
2) Для точного определения, слышишь ты разницу или нет, важна статистика, выраженная в цифрах. Пары-тройки ответов самому себе в духе «вроде слышу разницу»/«вроде не слышу разницы» недостаточно для объективной оценки, мозг — очень изворотливая штука. Обязательно нужно сделать довольно большое количество попыток, фиксируя результат каждой из них. После теста следует подсчитать количество правильных/неправильных ответов и уже на этом основании делать выводы.
3) Переключение кнопками «вперёд» или «случайный выбор» будет каждый раз приводить к запуску трека с начала, что очень неудобно в большинстве случаев. Обычно самые сложные в звуковом плане и подходящие для сравнения места композиции находятся не в начале, а где-то в середине трека. Следовательно, придется после каждого переключения перематывать композицию туда-сюда, пытаясь попасть ровно в тот же фрагмент, который звучал до этого. В процессе этого занятия очень легко случайно увидеть, какой трек играет, что сразу отбраковывает попытку. Плагин же позволяет мгновенно переключаться между сравниваемыми дорожками в любом удобном для тестируемого месте сколько угодно раз, при этом не давая никаких подсказок.
Разработчики специализированных инструментов — таких, как ABX Comparator — всё вышеописанное учли изначально, сделав процесс сравнения максимально простым. Почему бы этим не воспользоваться? Но, конечно, никто никому не запрещает сравнивать файлы вручную.
Очень полезная статья, наткнулся совершенно случайно (давно хотелось провести похожий тест для себя, карта Creative АЕ-5+уши Philips A5-Pro). А вышло так, что даже и плагин имеется на тарелочке, огромное спасибо!
https://stereo.ru/news/how-well-can-you-hear-audio-quality
https://www.npr.org/sections/therecord/2015/06/02/411473508/how-well-can-you-hear-audio-quality/
Проходили этот тест? Какой резултат?
Во-первых, я не сторонник сравнительных аудиотестирований онлайн, ибо никто не гарантирует, что конкретный браузерный проигрыватель реализован корректно и не повлияет существенным образом на результаты. Во-вторых, по приведённым ссылкам нет информации о том, каким кодером и с какими настройками сжаты тестовые MP3 (информации только о битрейте недостаточно). В-третьих, я бы предпочел самостоятельно выбрать музыкальный материал. Итого: поиграться онлайн-тестами, конечно, можно, но делать на основании полученных в них результатов какие-либо выводы я бы не стал. Правильнее будет подготовить и провести тестирование самостоятельно.
6 из 6 wav, все прекрасно слышно на верхах