Аудио опус что это

Opus: часто задаваемые вопросы

Содержание

Что такое Opus? Кто его создал?

Opus — это полностью свободный, бесплатный универсальный аудио кодек. Прежде всего он разработан для интерактивной передачи голоса и музыки через интернет, но также применим для целей хранения и потоковой передачи (стриминга). Он совмещает в себе технологии кодека SILK из Skype и кодека CELT от Xiph.Org. Opus стандартизирован Internet Engineering Task Force (IETF) как RFC 6716.

Как Opus показывает себя в сравнении с другими кодеками?

Opus выделяется среди других форматов высококачественного аудио (AAC, Vorbis, MP3) благодаря низкой задержке, от других же кодеков с низкой задержкой (G.711, GSM, Speex) его отличает поддержка высокого качества кодирования. Качество его кодирования сопоставимо либо даже превышает качество существующих кодеков в широком диапазоне битрейтов, в то же время он обладает задержками меньшими, чем практически у любого существующего формата сжатия. Кроме того, сам по себе формат Opus, а также его базовая реализация доступны под свободной бесплатной лицензией, что упрощает адаптацию кодека, делает его совместимым с бесплатным ПО и пригодным для использования в качестве части базовой инфраструктуры интернета. Более детальную информацию вы найдёте на странице сравнения.

Способен ли Opus заменить все другие кодеки?

Теоретически, да. С технической точки зрения (потери, задержка, битрейты, etc.) он может заменить и Vorbis, и Speex, и даже существующие проприетарные кодеки.

Заменит ли Opus Vorbis в видео файлах?

Это возможно для OGG Theora видео файлов, однако результирующая экономия места будет минимальной, и при этом теряется поддержка с существующими плеерами.

Для WebM видео файлов такое применяется, но требует дополнительных изменений в спецификации, так как её текущая версия позволяет использовать только кодеки VP8 и Vorbis для видео и аудио соответственно.

Как мне использовать Opus? Какие программы поддерживают Opus?

Поддержка декодирования Opus на данный момент включена во многие программы, в частности Firefox, foobar2000, а также во фреймворки вроде Gstreamer и FFmpeg. Лучшим способом кодирования будет использование консольного приложения opusenc из пакета opus-tools. Для приложений реального времени поддержка Opus вскоре будет доступна на базе Google WebRTC.

Поддерживает ли Opus высокие частоты дискретизации — 96, 192 кГц?

И да, и нет. Программы кодирования вроде opusenc с легкостью закодируют файлы, имеющие частоту дискретизации 96 или 192 кГц. Однако входные файлы будут на лету преобразованы в 48 кГц, после чего закодированы будут только частоты до 20 кГц. Смысл этих манипуляций легко объяснить: lossy кодеки призваны сохранить детализацию звука и в то же время отбросить лишнюю информацию. Так как ухо человека способно слышать только частоты ниже 20 кГц (в лучшем случае), более высокие частоты — первое, что необходимо исключить. Подробнее читайте в статье Загрузки в формате 24/192 — почему они не имеют смысла.

Каковы лицензионные требования?

Оригинальный исходный код Opus распространяется под трехпунктовой лицензией BSD, имеющей весьма разрешительный характер. Коммерческое использование и распространение (включение в проприетарное ПО) разрешено при условии выполнения некоторых базовых требований, указанных в данной лицензии.

Также на Opus распространяются некоторые патенты, для которых бесплатное использование гарантировано при выполнении условий, которые по мнению автора совместимы с большинством open-source лицензий, включая GPL (v2 и v3). Детальней смотрите на странице лицензии.

Почему Opus создан бесплатным?

В сети интернет стандарты протоколов и кодеков являются частью общей инфраструктуры, на основе которой строится всё остальное. Большую часть стандартов высокого качества составляют инновации и взаимодействие, обеспечиваемое построенными на них системами. Кода несколько участников имеют монополию на монетизацию стандарта, инфраструктура становится менее распространенной — ведь для остальных появляется больше оснований использовать собственное решение, что увеличивает стоимость и снижает эффективность. Представьте себе дорожную систему, где каждый автомобиль может ездить только по дороге собственного производителя. Мы все выиграем, если будем жить в мире, где все дороги соединены меж собой. Вот, почему Opus, в отличие от многих кодеков, является бесплатным.

Является ли SILK составляющая в Opus совместимой с реализацией SILK в Skype?

Нет. Кодек SILK, переданный Skype в IETF, в процессе интеграции в Opus был в значительной степени модифицирован. Изменения настолько значительны, что невозможно просто написать «транслятор»; даже взаимная замена частей кода между Opus и «старым SILK» — процесс далеко не тривиальный.

Почему бы не разрабатывать кодеки SILK и CELT отдельно?

Opus — это больше, чем два независимых кодека с переключением. Вдобавок к режиму SILK с линейным предсказанием и MDCT режиму CELT существует также гибридный режим, в котором голосовые частоты до 8 кГц кодируются с линейным предсказанием, а частоты выше — с использованием MDCT. Именно поэтому Opus показывает такие хорошие результаты для голоса на битрейте около 32 кбит/с. Другим преимуществом интеграции является возможность мгновенного переключения между этими режимами, без каких-либо артефактов и искажений частотного диапазона.

Теперь, когда Opus стандартизирован, остановится ли его разработка или в дальнейшем он будет совершенствоваться?

В отличие от большинства ITU-T кодеков, Opus определен лишь в плане декодирования. Кодер может продолжать развиваться сколько угодно, пока закодированный им поток сможет декодироваться референтным декодером. Именно этот момент позволил MP3 кодерам в значительной степени продвинуться относительно первых реализаций l3enc и dist10. Хоть и маловероятно, что Opus ждет такая же потрясающая революция, всё же мы надеемся, что последующие версии будут в значительной степени превосходить первый релиз. На деле — уже в libopus 1.1 мы видим значительные улучшения качества.

Будут ли все последующие релизы Opus совместимы со спецификацией Opus?

Каким образом Opus оптимизирован для интернета?

Оптимизация Opus для интернета, очевидно, означает, что он имеет хорошую устойчивость к потере пакетов, однако это еще не всё. Первой целью, которой мы задались при разработке Opus, было получение действительно адаптируемой скорости потока, так как мы никогда не знаем, какая скорость будет доступна. Это требует не только наличия широкого диапазона битрейтов, но также и возможности точной регулировки (с небольшими приращениями). Вот, почему Opus покрывает диапазон от 6 до 512 кбит/с с шагом в 0.4 кбит/с (надбавка в 1 байт для 20-милисекундных фреймов). Причина, по которой Opus имеет более 1200 возможных битрейтов, затрачивая 11 бит на указание битрейта, в том, что UDP уже кодирует размеры пакетов. Последним аспектом является простота передачи через RTP, как это видно из Opus RTP payload format. Например, можно декодировать RTP пакеты без SDP и телефонной сигнализации (out-of-band signaling).

Какие приложения Android могут воспроизводить Opus?

На данный момент их не много, однако список быстро пополняется. Просим ознакомиться с этим вопросом на android.stackexchange.com. Вы можете предлагать и свои приложения.

Когда выйдет следующая версия?

Когда она будет готова. Серьёзно. Мы не знаем. Opus не является большим проектом с фиксированной периодикой релизов. Наши предварительные релизы и даже версии из git репозитория являются вполне стабильными, пригодны для целей тестирования и распространения. Однако обратите внимание: API нового функционала (который еще не был включен в стабильные релизы) может меняться.

Информация от спонсора

IT-TERRITORY: новости высоких технологий. Здесь Вы можете бесплатно скачать Говорилку на русском языке. Программа «Говорилка» использует голосовой движок Windows для чтения любых произвольных текстов. Поддерживается запись голоса в MP3.

Источник

СОДЕРЖАНИЕ

Функции

Opus поддерживает кодирование с постоянной и переменной скоростью передачи данных от 6 кбит / с до 510 кбит / с (или до 256 кбит / с на канал для многоканальных дорожек), размеры кадра от 2,5 мс до 60 мс и пять частот дискретизации от 8 кГц. (с полосой пропускания 4 кГц) до 48 кГц (с полосой пропускания 20 кГц, диапазон человеческого слуха ). Поток Opus может поддерживать до 255 аудиоканалов и позволяет связывать каналы между каналами в группах по два с использованием среднего кодирования.

160 кбит / с) четко демонстрирует поведение нижних частот и лучшее сохранение энергии полосы с помощью CELT (сравните оригинал, Vorbis, MP3, AAC ).

SILK поддерживает размеры кадра 10, 20, 40 и 60 мс. CELT поддерживает размеры кадра 2,5, 5, 10 и 20 мс. Таким образом, гибридный режим поддерживает только кадры размером 10 и 20 мс; кадры короче 10 мс всегда будут использовать режим CELT. Типичный пакет Opus содержит один кадр, но пакеты длительностью до 120 мс создаются путем объединения нескольких кадров в пакете. Opus может прозрачно переключаться между режимами, размерами кадров, полосой пропускания и количеством каналов для каждого пакета, хотя определенные приложения могут ограничивать это.

Контейнеры

Необязательный формат саморазграничиваемого пакета определен в приложении к спецификации. При этом для кодирования длины пакета используется один или два дополнительных байта на пакет, что позволяет объединять пакеты без инкапсуляции.

Полоса пропускания и частота дискретизации

Opus позволяет использовать следующие полосы пропускания во время кодирования. Компрессия Opus не зависит от входной частоты дискретизации; временные метки измеряются в единицах 48 кГц, даже если не используется вся полоса пропускания. Таким же образом можно свободно выбирать частоту дискретизации выходного сигнала. Например, звук можно вводить с частотой 16 кГц, но при этом можно настроить кодирование только узкополосного звука.

История

В июле 2010 года был представлен прототип гибридного формата, который объединил два предложенных кандидата формата SILK и CELT. В сентябре 2010 года Opus был представлен в IETF как предложение по стандартизации. В течение короткого времени формат носил название Harmony, прежде чем он получил свое нынешнее название в октябре 2010 года. В начале февраля 2011 года формат битового потока был предварительно заморожен с учетом последних изменений. Ближе к концу июля 2011 года Жан-Марк Валин был нанят Mozilla Corporation для продолжения работы над Opus.

Доработка (1.0)

В ноябре 2011 года рабочая группа выпустила последний призыв к изменению формата битового потока. Битовый поток был заморожен с 8 января 2012 года. 2 июля 2012 года Opus был одобрен IETF для стандартизации. Эталонное программное обеспечение вошло в статус кандидата на выпуск 8 августа 2012 года. Окончательная спецификация была выпущена как RFC 6716 10 сентября 2012 года. На следующий день были выпущены версии 1.0 и 1.0.1 эталонной реализации libopus.

Бета-версия libopus 1.2 была выпущена 24 мая 2017 года. libopus 1.2 была выпущена 20 июня 2017 года. Усовершенствования, внесенные в версию 1.2, позволяют создавать полнополосную музыку с битовой скоростью до 32 кбит / с и широкополосную речь всего на 12 кбит / с. с.

libopus 1.2 включает дополнительную поддержку изменений спецификации декодера, сделанных в черновиках RFC 8251, улучшая качество вывода таких низкоскоростных потоков.

libopus 1.3 был выпущен 18 октября 2018 года. Основной выпуск Opus 1.3 снова содержит улучшения качества, новые функции и исправления ошибок. Изменения по сравнению с 1.2.x включают:

Известные исправления ошибок включают:

libopus 1.3.1 был выпущен 12 апреля 2019 года. В этом второстепенном выпуске Opus 1.3.1 исправлена ​​проблема с анализом файлов с цифровой тишиной (все нули), особенно в сборках x87 (в основном затрагивает 32-разрядные сборки). Он также включает две новые функции:

Сравнение качества и производительность с малой задержкой

Служба поддержки

Реализации

RFC 6716 содержит полный исходный код эталонной реализации, написанной на C. RFC 8251 содержит исправления.

В проекте FFmpeg есть реализации кодировщика и декодера, не заимствованные из справочной библиотеки.

Справочная библиотека libopus была перенесена на C # и Java в рамках проекта Concentus. Эти порты приносят в жертву производительность ради простой интеграции в кроссплатформенные приложения.

Программное обеспечение

С 2016 года WhatsApp использует Opus в качестве формата аудиофайлов.

Сигнал переключился с аудиокодека Speex на аудиокодек Opus для лучшего качества звука в начале 2017 года.

Поддержка операционной системы

В Windows 10 Fall Creators Update (1709) с надстройкой Web Media Extensions :
Ogg (.opus не распознается; требуется псевдорасширение)

В обновлении Windows 10 за май 2019 г. (1903 г.) :

На Android 7 :
Ogg (.opus не распознается; требуется псевдорасширение)

Поддержка медиаплеера

Поддержка браузера

Поддержка VoIP

Аппаратное обеспечение

Источник

Опус про Opus. Новый кодек — прощай, MP3?

Почему так? Ведь кодирование с потерями — это неизбежное ухудшение качества звука. Простому обывателю вполне может показаться, что у MP3 давно есть альтернативы — FLAC, APE и прочие алгоритмы компрессии аудиоданных с возможностью идентичного восстановления волновой формы после декодирования. Суждение о том, что появление алгоритмов сжатия звука без потерь составит MP3 конкуренцию во всех отношениях, — очень поверхностно. Помимо качества звука, за которое так переживают любители музыкальных коллекций, существует еще немало других объективных причин, по которым MP3 не может быть забыт и заменен принципами сжатия без потерь.

Прежде всего, потому что форматы кодирования звука с потерями используются не только для музыки, но и для передачи голоса через Интернет. Главный козырь MP3 и других механизмов сжатия с потерями — эффективное использование каналов передачи. Чтобы организовать IP-телефонию, необходимо обеспечить внятную речь как можно большему числу абонентов. При этом качество звука уходит на второй план. Кроме этого, очень важна возможность «мгновенного» декодирования потока, без которого затрудняется синхронный обмен информацией. В данном случае использование (даже теоретически) алгоритмов сжатия без потерь приводило бы к сильным временным задержкам, и интерактивное общение было бы просто невозможным.

Тем не менее MP3 не лишен недостатков. Не секрет, что низкий битрейт «съедает» детали звука, наделяя его к тому же целым набором неприятных артефактов — призвуками, свистом и звоном, разного рода искажениями. При использовании MP3 в IP-телефонии наблюдаются большие временные задержки из-за необходимости дополнительной буферизации данных.

⇡#Opus: новое слово в цифровом звуке

Новый открытый кодек Opus лишен самых серьезных недостатков MP3, при этом он сохранил все достоинства «народного» кодека и даже приумножил их.

Структура Opus позволяет ему эффективно справляться со звуковыми артефактами. Для этого была предложена многоступенчатая архитектура обработки аудиосигнала. Основной аргумент, который говорит в пользу применения нового кодека для IP-телефонии, — низкая временная задержка.

Основную работу над созданием уникального алгоритма сжатия вели несколько человек: Jean-Marc Valin (Xiph.Org, Octasic, Mozilla Corporation), Koen Vos (Skype) и Timothy B. Terriberry (Xiph.Org, Mozilla Corporation). Не обошлось и без вездесущей Google — по словам самих создателей Opus, интернет-гигант оказал значительную поддержку при разработке и тестировании кодека.

Один из создателей кодека Opus — Jean-Marc Valin

Движок нового кодека основывается на двух независимых стандартах, предложенных Xiph.Org Foundation и Skype Technologies S.A. (принадлежит Microsoft). Новый кодек является гибридным решением, он сочетает в себе технологии кодеков CELT (Constrained Energy Lapped Transform) и SILK. Последний используется для реализации связи в Skype.

⇡#Как работает Opus

Принцип работы кодека не нов, но оригинален и главное — позволяет получить очень хороший результат на выходе. Поступивший сигнал кодируется SILK или CELT избирательно.

Первый движок (SILK) применяется для компрессии голоса, а также в тех случаях, когда требуется эффективно расходовать пропускную способность канала связи. Обрабатываемый аудиосигнал анализируется кодеком на предмет наличия человеческой речи. Голосовые составляющие отделяются от прочих звуков, после чего кодек выполняет анализ частотной характеристики звука, понижая уровень дискретизации для данных, содержащих голосовую информацию, то есть речь. Затем Opus исследует присутствующие шумы и оптимизирует сигнал для определенного битрейта. Далее кодек преобразовывает сигнал с помощью фильтра предварительной очистки. Используя речевые кадры, модуль предсказания частоты аудиосигнала вносит изменения в последующие кадры, после чего частотное квантование нормирует частоты человеческой речи. Далее следует важный этап обработки звука — устранение искажений, возникающих при недостаточно высоком битрейте. После этого используется модуль формирования шума квантования, который снижает шумы внутри рабочей полосы, вытесняя их за пределы рабочего диапазона. На заключительном этапе интервального кодирования SILK работает с дискретными величинами, которые могут принимать ограниченное число значений, — осуществляется покадровый вывод сигнала.

В процессе кодирования аудиоданных с высоким качеством, например музыки, задействуется модуль CELT. Его механизм схож с принципом работы наиболее популярных кодеков с потерями и завязан на дискретных косинусных преобразованиях, а также на «оптимизации» звука. Последняя состоит в том, что из сигнала удаляются составляющие, которые не несут полезной нагрузки для слуха человека, — до кодирования он их или не слышит, или слышит с большим трудом.

Если заглянуть в настройки кодирования, например в программе EZ CD Audio Converter (бывший Easy CD-DA Extractor), можно увидеть, что новый кодек предлагает выбрать режим сжатия — звук или музыку. Эта настройка и определяет приоритет того или иного алгоритма кодирования Opus.

Opus поддерживает частоты дискретизации от 8 до 48 кГц. Кодирование звука возможно в диапазоне битрейта 6—510 кбит/с. Длительность кадров варьируется от 2,5 до 20 мс.

Кодек осуществляет кодирование в режимах моно и стерео, используя технологию постоянного и переменного битрейта, а также поддерживает компрессию до 255 каналов.

⇡#Opus: наглядная победа

Универсальность структуры кодека Opus позволила ему на невысоком битрейте обойти самых главных конкурентов — Apple HE-AAC, Nero HE-AAC, Vorbis и AAC LC. На данной диаграмме вы можете наблюдать, насколько лучше параметры задержки у нового кодека по сравнению с конкурентами.

А это — график, демонстрирующий превосходство Opus над другими кодеками по качеству звука. Результаты тестирования говорят о том, что аудио, декодированное с помощью Opus, в большинстве случаев более полно восстанавливает исходную картину звука — на разных битрейтах и на разной частоте. Под терминами fullband stereo и narrowband подразумеваются граничные частоты дискретизации.

Говоря о достоинствах нового кодека, нужно отметить и стабильность его работы в разных условиях, что особенно важно при передаче данных в беспроводных сетях. Opus обладает гибким алгоритмом адаптации к изменению пропускной способности канала связи, поэтому качество звука остается неизменным, а сам кодек частично компенсирует потери, обеспечивая трансляцию без сбоев.

⇡#Софт для работы с Opus

Разработчики программного обеспечения торопятся выпустить обновления с поддержкой кодека Opus. Такие популярные утилиты для работы со звуком, как EZ CD Audio Converter, foobar2000, AIMP, VLC Media Player, уже могут работать с файлами в этом формате. Новый кодек принят на вооружение и при организации потокового вещания посредством Icecast, он включен в K-Lite Codec Pack и фильтры LAV.

В ближайших версиях альтернативной прошивки для портативных аудиоустройств Rockbox также появится поддержка Opus. Любители смогут слушать музыку и аудиокниги на плеерах iPod, Archos и прочих. На портативных устройствах под управлением Android также можно будет слушать аудио через Rockbox, установив соответствующее приложение RaaA (Rockbox as an Application).

На данный момент новый кодек уже поддерживается в разработках Mozilla — Firefox и Thunderbird. Очевидно, что поддержку Opus скоро можно будет увидеть и в других браузерах. В ближайшее время он появится и в Skype.

Opus: палки в колесах

Очевидное превосходство качества, которое показывает Opus при кодировании, еще не означает его безоговорочной победы. Данный кодек пока не избавился от всех багов и только в сентябре этого года прошел сертификацию в IETF (Internet Engineering Task Force) как стандарт аудиокодека для использования в Интернете.

Кроме того, новой разработке еще предстоит «пободаться» с многочисленными претензиями и судебными исками, которые следует ожидать в будущем. Opus имеет статус royalty-free, то есть за его использование не нужно платить никаких отчислений правообладателям. Появление такого продукта, понятное дело, невыгодно многим конкурентам.

Первые «бузотеры» уже высказались против нового кодека — компании Qualcomm и Huawei заявили о том, что новая разработка нарушает принадлежащие им патенты. Разработчики Opus дали комментарии по этому поводу, сообщив, что они не нарушили авторских прав и более того — они ожидали появления подобных заявлений и готовы отстаивать свою правоту.

⇡#Заключение

Спустя 20 лет существования MP3 человек все так же плохо слышит разницу между оригинальным звуком и звуком, который претерпел потери в результате компрессии. Тем не менее он всячески ищет способы улучшить качество оцифрованного звука и минимизировать потери при одинаковом битрейте.

Кодек Opus, безусловно, ждет большое будущее. Низкий уровень искажений, а также минимальные по сравнению с конкурирующими алгоритмами временные задержки — все это делает Opus идеальным для интеграции данной технологии в сфере IP-телефонии и трансляции речи.

Впрочем, скорее всего, такого размаха, который сопутствовал победоносному шествию MP3, «Опусу» вряд ли удастся достичь. В свое время появление кодека MP3 стало настоящей революцией в сфере хранения и передачи звука. Сегодня новый кодек может лишь предложить более эффективное использование каналов передачи на низких скоростях. Что же касается музыкальных предпочтений, то, полагаем, любители портативного звука останутся стоять на своем — звук должен быть без потерь. Да и сами разработчики это не отрицают.

В презентации Opus сказано буквально следующее: «Кодек может использоваться для любых целей, за исключением Lossless-сохранения (для этого используйте FLAC) и за исключением кодирования с ультранизким битрейтом (для этого используйте codec2)».

Аппаратная поддержка Opus будет обязательно. Ведь показатели у нового кодека отличные, а значит, в скором времени можно будет ожидать использования новой технологии в беспроводных наушниках и портативных плеерах, которые мы по-прежнему будем по старинке называть MP3-плеерами.

Источник