как узнать дату релиза трека

Как узнать год выпуска песни по набору аудио характеристик?

Недавно завершился курс Scalable Machine Learning по Apache Spark, рассказывающий о применении библиотеки MLlib для машинного обучения. Курс состоял из видеолекций и практических заданий. Лабораторные работы необходимо было выполнять на PySpark, а поскольку по работе мне чаще приходится сталкиваться со scala, я решил перерешать основные лабы на этом языке, а заодно и лучше усвоить материал. Больших отличий конечно же нет, в основном, это то, что PySpark активно использует NumPy, а в версии со scala используется Breeze.

Первые два практических занятия охватывали изучение основных операций линейной алгебры в NumPy и знакомство с apache spark соответственно. Собственно машинное обучение началось с третьей лабораторной работы, она и разобрана ниже.

Данная лабораторная работа нацелена на изучение метода линейной регрессии (одного из методов обучения с учителем). Мы будем использовать часть данные от Million Song Dataset. Наша цель заключается в нахождении лучшей модели, предсказывающей год песни по набору аудио характеристик при помощи метода линейной регрессии.

Данная лабораторная работа включает следующие этапы:
1. Чтение, парсинг и обработка данных
2. Создание и оценка базовой модели
3. Реализация базового алгоритма линейной регрессии, обучение и оценка модели
4. Нахождение модели с помощью MLlib, настройка гиперпараметров
5. Добавление зависимостей между характеристиками

1. Чтение, парсинг и обработка данных

Сырые данные в настоящее время хранятся в текстовом файле и представляют собой строки такого вида:

Каждая строка начинается с метки (год выпуска песни), а затем следуют аудио-характеристики записи, разделённые запятой.

Первое, с чего мы начнём: представим данные в виде RDD:

Посмотрим, сколько записей у нас есть:

Что бы лучше понять предоставленные нам данные, давайте визуализируем их, построив тепловую карту хотя бы для части наблюдений. Т.к. характеристики находятся в диапазоне от 0 до 1, то пусть чем ближе значение к единице тем темнее будет оттенок серого, и наоборот.

В MLlib обучающая выборка (точнее её элементы) должна храниться в специальном объекте LabeledPoint, который состоит из метки (label) и набора характеристик (features), принадлежащих данной метке. В нашем случае меткой будет год, а характеристиками- аудио- данные записи.

Напишем функцию, которая на вход будет получать одну строку из нашего набора данных и возвращать готовый labeledPoint.

Переведём наши данные в рабочий вариант:

Теперь давайте изучим метки и найдём диапазон годов, в который укладываются наши данные; чтобы это сделать, нужно найти максимальный и минимальный год.

Как мы видим, метки расположены между 1922 и 2011 г.г. В задачах обучения часто является естественным смещение значений так, чтобы они начинались с нуля. Давайте создадим новый RDD, который будет содержать объекты с метками смещёнными на 1922.0.

2. Создание и оценка базовой модели

Давайте попробуем придумать простую модель, с которой мы могли бы сравнивать точность моделей, полученных в дальнейшем. В самом простом случае модель может выдавать в качестве предсказания среднюю величину года, независимо от входящих данных. Давайте посчитаем эту величину:

Чтобы оценить, насколько хорошо работает наша модель, давайте используем в качестве оценки квадратный корень из среднеквадратической ошибки (RMSE)
.

В нашем случае y_i — это метка-год, а y_{i с крышечкой} — это год, предсказанный моделью. Сначала реализуем функцию, вычисляющую квадрат разности label и prediction и функцию, которая будет вычислять RMSE:

Теперь мы можем рассчитать RMSE наших данных на основе предсказаний базовой модели. Для этого подготовим новые RDD содержащие кортежи с наблюдаемыми и прогнозными годами.

Обратите внимание, что каждый полученный RMSE может быть истолкован как средняя ошибка прогнозирования для данного набора (в терминах количества лет)

3. Реализация базового алгоритма линейной регрессии, обучение и оценка модели

Теперь, когда у нас есть базовая модель и её оценка, мы можем проверить, сможет ли метод линейной регрессии предложить нам результат лучше предыдущего.

Напомним формулу шага градиентного спуска для линейной регрессии:
w_i+1 = w_i — α_i * ∑(w_i T * x_j — y_j) * x_j.

Где i это номер итерации а j идентификатор наблюдения.

Для начала реализуем функцию, которая вычисляет слагаемое для данного обновления (w T * x — y) * x:

Идём дальше: нам необходимо реализовать функцию, которая будет принимать рассчитанные веса модели и наблюдаемые значения, а отдавать — кортеж (наблюдаемое значение, предсказанное значение).

Настало самое время реализовать метод Градиентного спуска:

Ну вот всё готово! Теперь осталось обучить нашу модель линейной регрессии на всей обучающей выборке и оценить её точность на проверочной выборке:

На каждой итерации мы считали RMSE для обучающей выборки и теперь мы можем отследить, как вёл себя алгоритм: для этого построим два графика. Первый- это логарифм ошибки от номера итерации для всех 50 итераций, а второй-собственно значения ошибки для последних 44 итерации.

Улучшения мы явно добились: теперь наши предсказания ошибаются в среднем не на 21 год, а всего лишь на 18. Надо отметить, что если количество итераций увеличить до 500, то ошибка будет составлять 16,403.

4. Нахождение модели с помощью MLlib, настройка гиперпараметров

Ну что же, теперь это выглядит гораздо лучше. Однако давайте посмотрим, можем ли мы улучшить ситуацию, используя свободный член (константа, intercept) и регуляризацию. Для этого мы воспользуемся уже готовым классом LinearRegressionWithSGD, который по существу реализует тот же алгоритм, что и реализовали мы, но более эффективно, с различным дополнительным функционалом, таким, к примеру, как стохастический градиентный спуск, возможность добавление свободного члена, а также L1 и L2 регуляризация.

Для начала, реализуем функцию, которая поможет настроить модель:

Мы использовали RidgeRegressionWithSGD, потому что это обёртка с уже заданным типом регуляризации L2, точно также мы могли бы использовать и LinearRegressionWithSGD, но тогда пришлось бы дописать ещё одну строчку
model.optimizer.setUpdater(new SquaredL2Updater)

Результат сравним с нашей реализацией (а если вспомнить, что при равном числе итераций мы получили 16.4, то результат не ахти какой), но, вероятно, мы сможем улучшить результат, пробуя разные значения регуляризации. Давайте посмотрим, что получится, если параметр регуляризации взять 1e-10, 1e-5 и 1.

Осталось проверить, как ведёт себя модель, если изменить значение шага (alpha) и количества итераций. Параметр регуляризации возьмём тот, который дал наилучшее значение, шаг пусть будет 1e-5, 10, а количество итераций 500 и 5.

Итак, мы можем сделать вывод, что при маленьком шаге алгоритм очень медленно приближается к минимуму, а при большом вообще расходится, притом очень быстро.

5. Добавление зависимостей между характеристиками

До сих пор мы использовали только те характеристики, которые нам были предоставлены. Например, если бы у нас было только 2 характеристики x₁ и x₂, то модель представляла бы собой:
w₀ + w₁x₁ + w₂x₂.

Однако ничто не мешает нам создать дополнительные характеристики: возвращаясь к нашему примеру, мы могли бы придумать модель и посложнее:
w₀ + w₁x₁ + w₂x₂ + w₃x₁x₂ + w₄x₂x₁ + w₅x₁ 2 + w₆x₂ 2

Давайте так и поступим; для этого нам необходимо реализовать функцию, которая бы попарно перемножала значения характеристик и возвращала бы новый набор, объединённый с исходным.

Теперь давайте создадим новую модель, для этого нам нужно применить функцию описанную выше к нашим наборам данных:

Ну а далее мы должны повторить поиск гиперпараметров для новой модели, т. к. найденные ранее настройки могут не дать наилучший результат. Но мы повторять здесь этого не будем а сразу подставим оптимальные.

Ну и напоследок оценим нашу новую модель на тестовых данных. Обратите внимание что мы не использовали тестовые данные для выбора лучшей модели. Поэтому наша оценка даёт несмещённую оценку того как полученная модель будет работать на новых данных. Теперь мы можем увидеть насколько новая модель лучше базовой.

Ну вот собственно и всё, финальная оценка конечно не выглядит особенно хорошо, но определённо лучше чем та с которой мы стартовали.

Источник

Жизнь после Record Bird: как и где еще можно узнавать о выходе музыкальных релизов

После того как год назад сервис Record Bird, оповещающий о новых альбомах, был закрыт, многие задались вопросом: чем его заменить и возможно ли это вообще. Расскажем об альтернативах.

Узнать можно, но не везде

Стриминговые сервисы действительно предлагают широкие возможности. Можно сказать, даже избыточные. Но узнать о релизах, если мы говорим не о новых треках (здесь дела обстоят довольно неплохо хотя и не везде), а о выходе полноценных альбомов, не позволяют практически все. Например, в Google Play Music — чего там только нет: горящий камин на экране Chromecast (интересно, кто-нибудь пользовался?), рекомендации «для хорошего настроения», «для концентрации» и так далее. Кроме того, что нужно нам — уведомлений о новых альбомах. В Deezer рассказывают, что «редакторы знают все о свежих релизах, забытой классике, будущих хитах и выбирают самое лучшее специально для вас». Но хотелось бы справиться без «человеческого фактора» и вовремя получить уведомление.

Оповещения стриминговых сервисов

Spotify умеет сообщать о релизах музыкантов, которые вам нравятся. Для этого в профиле пользователя нужно разрешить отправку оповещений — по электронной почте или через push. Но параллельно с информацией о любимых исполнителях, приложение будет присылать уведомления о концертах и новостях платформы. Еще один минус — дополнительно Spotify «пушит» информацию о новинках, которые, по мнению сервиса, вам должны понравиться. Это можно расценивать как рекламу. Недавно стало известно, что исполнители смогут платить площадке за подобный тип продвижения.

Похожим образом дела обстоят у другого стримингового сервиса — Яндекс.Музыка. В настройках можно переключить слайдер «Получать уведомления». Тогда на привязанную к сервису электронную почту будет приходить информация о сборниках или синглах избранных исполнителей. Но политика компании та же, что и у Spotify: или все — или ничего. При этом сервис не всегда присылает новые релизы: в письме могут быть переиздания или старые альбомы, которых раньше на площадке не было.

/ Пример письма, которое отправляет Яндекс.Музыка

Apple Music также умеет присылать push-уведомления на смартфон, когда популярные исполнители, которых вы слушаете, выпускают новые работы. Также оповещения поступают при выходе аудиошоу (например, подкастов). Для этого в профиле пользователя нужно переключить слайдер «Artists and Shows». Однако люди отмечают, что функция работает нестабильно: уведомления или вообще не приходят, или приходят редко. Один из резидентов Reddit говорит, что за все время пользования сервисом ни разу их не видел.

Альтернатива: музыкальные трекеры

Информацию о релизах предлагают и сторонние приложения. Например, MuzeRoom — он автоматически отслеживает новинки на самых крупных стриминговых сервисах. MuzeRoom также «подтягивает» новости из 150 блогов и интернет-изданий: Rolling Stone, Billboard и Pitchfork.

Однако большая часть новостей поступает тогда, когда вы слушаете определенного исполнителя — это может отвлекать тех, кто предпочитает работать под музыку. Не говоря уже о том, что платформа собирает вообще всю информацию об музыкантах (даже видео), а не только новые альбомы и синглы.

/ Главная страница MuzeRoom

Также стоит отметить более простые решения. Album Reminder присылает на электронную почту оповещения о новых альбомах в магазине Amazon. Muspy.com предлагает RSS-рассылку о недавно вышедших треках на CD. Информацию сервис берет из открытой энциклопедии MusicBrainz. Правда, импортировать любимых исполнителей, за которыми вы хотите следить, можно только с Last.fm или Facebook. В остальных случаях список музыкантов придется составлять вручную.

Еще один информатор — Album-info.ru. Это — аналог Muspy.com, который работает с 2009 года. Подключиться к RSS или получать информацию об альбомах могут лишь владельцы платного аккаунта (3 доллара в год). При этом обновления иногда публикуют с отставанием от официального релиза.

Социальные сети

В целом соц. сети можно использовать для сбора информации о релизах. Самая актуальная информация есть на официальных страницах исполнителей и в тематических группах. Однако там также размещают большое количество ненужных постов — например, о других группах или концертах. При этом, чтобы узнать о новом альбоме, нужно регулярно мониторить все публикации.

Фото Fredrik Solli Wandem / Unsplash

Есть приложения в соц. сетях, которые могут упростить задачу — вроде библиотеки E:\music\, но в них тоже слишком много лишней информации. Хотя в этой области появляются новые решения.

В 2016 году анонсировали социальную сеть MuzApp — она объединяет людей по предпочтениям и собирает треки из разных библиотек в одном месте. Но говорят, что продукт пока сырой, в частности, имеет скудную библиотеку. И вопрос — чем все-таки заменить Record Bird — остается пока открытым.

Сегодня у нас стартует «Черная пятница». Это — хорошая возможность обновить акустику или компоненты, приобрести что-то новое или приготовить классные подарки близким и друзьям на предстоящие праздники.

Мы предлагаем самые основные категории техники, которые есть у нас в «Аудиомании». Например, это — проигрыватели (TEAC NT-503) и «вертушки» (Pro-Ject 1-Xpression Carbon Classic). На обе модели есть скидки.

Что почитать в нашем «Мире Hi-Fi»:

Нельзя так просто взять и запустить свое приложение, если ты — звезда музыкальной индустрии
«Музыка Большого Брата»: металл, китайский поп и опера
Создатели музыки к компьютерным играм – несколько самых выдающихся имён
Как стриминговые сервисы меняют музыкальную культуру и подход к написанию песен
Все говорят о возвращении забытых аудиоформатов — почему им суждено остаться нишевыми
Прислушиваясь к информационному шуму: музыка и видео, которые никто не должен был найти

Источник

Где отслеживать появление новых треков?

19 May 2019 в 18:53

19 May 2019 в 18:53 #1

Имеется ввиду зарубежный реп. Остальные жанры я отслеживаю на Сборник-музик где каждый день заливаются торрент сборки с разными жанрами с разных чартов, подборки свежие и прочее. Ну а вот зарубежный реп там разве что бывает в торрент сборке с билборда или же шазам запросов за например последний месяц.

Ну так вот, а где прослеживать новые треки к примеру вот этих вот товарищей: Young Thug, Lil Uzi Vert, 2 Chainz, Gunna, Kevin Gates, Kodak Black, Lil Pump, Migos, Juice WRLD, Travis Scott, Future, 21 Savage, Rich The Kid, Lil Baby, Logic, Juicy j, Metro Boomin, Desiigner?

Специально побольше написал, вдруг слушаете кого то из них и прослеживаете его новые треки на каком то сайте, а там может и не только его но и других, и вот мне как раз нужен такой сайт или приложение. В вк группах не вижу смысла, там в основном Русское дерьмо в том же Нью Репе выходит, и я больше не занимался таким бредом. Все что я пока смог сделать это подписаться на канал каждого кого слушаю на ютубе и поставил колокольчик. НО ведь там чисто клипы, и не на все треки клипы есть, да и клипы очень часто позже треков выходят, а просто треки порой не заливаются туда как по мне.

19 May 2019 в 18:54 #2

На ютубе включил колокольчик и ловишь уведомления.

19 May 2019 в 18:56 #3

Все что я пока смог сделать это подписаться на канал каждого кого слушаю на ютубе и поставил колокольчик. НО ведь там чисто клипы, и не на все треки клипы есть, да и клипы очень часто позже треков выходят, а просто треки порой не заливаются туда как по мне.

На ютубе включил колокольчик и ловишь уведомления.

Мистер, а вы можете тему всю прочитать??

Повторюсь, там же клипы выходят в основном, мне кажется если чел запишет трек то он может на ютубе долго не появиться, через месяца 3-4 только клип. Или не так?)

19 May 2019 в 19:01 #4

Мистер, а вы можете тему всю прочитать??

Мне влом было я сам тему обдумываю будущую в таверне.

Повторюсь, там же клипы выходят в основном, мне кажется если чел запишет трек то он может на ютубе долго не появиться, через месяца 3-4 только клип. Или не так?)

Да не замечал я такого чтобы на ютуб дроп был очень позже чем на другие источники..

19 May 2019 в 19:03 #5

Мне влом было я сам тему обдумываю будущую в таверне.

Да не замечал я такого чтобы на ютуб дроп был очень позже чем на другие источники..

19 May 2019 в 19:04 #6

Ну вроде. Но эта информация не на 100% точная. Это только мои наблюдения.

19 May 2019 в 19:07 #7

та море вариков: саундклауд, айтюнс, спотифай.

На саундклауде вроде выкладывают треки которых нет ютубе, главное шоб там были твои недореперы

19 May 2019 в 19:09 #8

я был обязан зайти сюда и сказать:реп-говно

по теме-колокольчик на ютубе(тему прочитал)

19 May 2019 в 19:10 #9

он как только что угодно с 100+ просмотров выходит, так начинает спамить

алгоритмы подбора поп музыки у него норм

да и классики тоже

19 May 2019 в 19:10 #10

Имеется ввиду зарубежный реп. Остальные жанры я отслеживаю на Сборник-музик где каждый день заливаются торрент сборки с разными жанрами с разных чартов, подборки свежие и прочее. Ну а вот зарубежный реп там разве что бывает в торрент сборке с билборда или же шазам запросов за например последний месяц.

Ну так вот, а где прослеживать новые треки к примеру вот этих вот товарищей: Young Thug, Lil Uzi Vert, 2 Chainz, Gunna, Kevin Gates, Kodak Black, Lil Pump, Migos, Juice WRLD, Travis Scott, Future, 21 Savage, Rich The Kid, Lil Baby, Logic, Juicy j, Metro Boomin, Desiigner?

Специально побольше написал, вдруг слушаете кого то из них и прослеживаете его новые треки на каком то сайте, а там может и не только его но и других, и вот мне как раз нужен такой сайт или приложение. В вк группах не вижу смысла, там в основном Русское дерьмо в том же Нью Репе выходит, и я больше не занимался таким бредом. Все что я пока смог сделать это подписаться на канал каждого кого слушаю на ютубе и поставил колокольчик. НО ведь там чисто клипы, и не на все треки клипы есть, да и клипы очень часто позже треков выходят, а просто треки порой не заливаются туда как по мне.

19 May 2019 в 19:14 #11

Имеется ввиду зарубежный реп. Остальные жанры я отслеживаю на Сборник-музик где каждый день заливаются торрент сборки с разными жанрами с разных чартов, подборки свежие и прочее. Ну а вот зарубежный реп там разве что бывает в торрент сборке с билборда или же шазам запросов за например последний месяц.

Ну так вот, а где прослеживать новые треки к примеру вот этих вот товарищей: Young Thug, Lil Uzi Vert, 2 Chainz, Gunna, Kevin Gates, Kodak Black, Lil Pump, Migos, Juice WRLD, Travis Scott, Future, 21 Savage, Rich The Kid, Lil Baby, Logic, Juicy j, Metro Boomin, Desiigner?

Специально побольше написал, вдруг слушаете кого то из них и прослеживаете его новые треки на каком то сайте, а там может и не только его но и других, и вот мне как раз нужен такой сайт или приложение. В вк группах не вижу смысла, там в основном Русское дерьмо в том же Нью Репе выходит, и я больше не занимался таким бредом. Все что я пока смог сделать это подписаться на канал каждого кого слушаю на ютубе и поставил колокольчик. НО ведь там чисто клипы, и не на все треки клипы есть, да и клипы очень часто позже треков выходят, а просто треки порой не заливаются туда как по мне.

Источник

Это ваш первый релиз? Читать!

Артисты приходят к выпуску первого релиза разными путями и, что более важно, на разных этапах карьеры. Поэтому данная статья важна, как воздух, чтобы сделать всё хорошо. В информации ниже затронуты популярные подводные камни на пути совсем юных артистов и даже очень опытных музыкантов — прочтение обязательно.

Имя артиста

К моменту официального издания, у вас наверняка уже есть псевдоним, но очень частая проблема — он был выбран необдуманно. Дело в том, что дистрибуция музыки подразумевает доступность контента во всех странах мира. Это значит, что есть высокая вероятность существования такого же псевдонима, как у вас, но в США или любой другой стране.

Специальные символы

Поисковая оригинальность

Выше мы упоминали о том, что можно попробовать найти своё будущее имя на музыкальных площадках. Если все ок и такого имени нет там, попробуйте набрать его в Google, Yandex. Что вы увидели?

Обратите внимание, что поисковая оригинальность не повод для отказа в релизе. Это совет, если вы планируете строить карьеру в серьёз. При этом, не панацея.

Сырая запись, диктофон запись

Если песня некачественно записана — она не пройдет модерацию. Вы можете записать отличную песню даже на диктофон (это позволяет современный софт и современные микрофоны смартфона), дело не в этом. Дело в том, что большинство начинающих артистов приходят к релизу на музыкальных площадках сильно рано. Оцените свои возможности трезво. У вас хорошая песня? Она конкурентоспособная? Она на уровне? Добро пожаловать!

Отрывки чужой музыки, лупы чужих треков

Сэмплинг чужих треков — это норма. Если вы умеете это делать хорошо. Другой вопрос — явное, узнаваемое использование фрагментов чужих треков без изменения характера звука и тональности. Этого делать нельзя, т.к. рано или поздно приведет вас к проблемам.

Издание битов с последующей продажей артисту

Алгоритмы большинства музыкальных площадок основаны на Content ID системе идентификации контента. Вы не должны публиковать биты, если планируете их продать другому артисту для записи песни. Это закончится тем, что артист получит уведомление о нарушении авторских прав на Youtube, из-за чего не сможет монетизировать свою песню. Будьте ответственны перед своими клиентами.

Обложка релиза

Обложка релиза должна быть грамотно выполнена. Нам не нужен плохой материал, маленькие чужие картинки из интернета, мемы, скриншоты вашего телефона или фото вашей кухни. Требования к обложке читайте тут: ссылка

Качество звука и громкость

Песня должна звучать современно, громкость 0 db, качественное сведение, мастеринг.

Занудные интро

Сотни треков имеют неоправданно длинные вступления, которые могут позволить только известные артисты с огромной фан-базой. Если это ваш первый трек — сделайте так, чтобы с первых секунд была понятная художественная составляющая песни/трека.

Дата релиза

Устанавливать дату релиза «на завтра» или «хочу сегодня» стало классикой. Не делайте этого. Мы можем доставить ваш контент быстро только если это действительно необходимо. Прочтите подробнее о дате релиза в статье

Верификация профилей, питчинг кураторов

Вы можете подтвердить профили до первого релиза, если вы занимаетесь премьерой амбициозного проекта. Отправьте треки через форму размещения на витринах кураторам

Реклама

Маловероятно, что ваш проект получит тысячи прослушек и продаж без рекламы. Позаботьтесь о рекламе заранее. Чтобы в день релиза вы были готовы, а не тратили время на соглашения и модерацию рекламных объявлений.

Источник