«Яндекс» выложил один из крупнейших в мире датасетов для развития рекомендательных систем
Компания «Яндекс» выложила в опенсорс Yambda (YAndex Music Billion-interactions DAtaset) — один из крупнейших в мире датасетов для развития рекомендательных систем. С помощью него ученые, исследователи и вузы смогут тестировать и улучшать рекомендательные алгоритмы.
Датасет представлен в трех вариантах: полная версия содержит 5 миллиардов данных, уменьшенные — 500 миллионов и 50 миллионов. Можно выбрать тот вариант, который отвечает задаче и имеющимся вычислительным ресурсам.
Yambda создан на основе обезличенных данных стримингового сервиса «Яндекс Музыка», но использовать его можно для оценки качества любых рекомендательных систем, так как в их основе лежат общие алгоритмы.
Датасет включает агрегированные прослушивания, лайки, дизлайки, а также некоторые характеристики треков. Все данные о пользователях и треках анонимизированы: датасет содержит исключительно числовые идентификаторы, что обеспечивает конфиденциальность.
Данные датасета доступны на HuggingFace.
«Рекомендательные алгоритмы помогают людям находить нужные товары, фильмы, музыку и многое другое — именно они лежат в основе сервисов от интернет-магазинов до онлайн-кинотеатров. Развитие этих алгоритмов напрямую зависит от научных исследований, для которых нужны качественные и объемные датасеты.
При этом опенсорс-датасеты чаще всего невелики по размеру или уже устарели, так как коммерческие компании, которые накапливают терабайты данных, редко их публикуют. Это создает разрыв между академическими исследованиями и потребностями бизнеса.
Публикация больших открытых датасетов наподобие Yambda помогает решить эту проблему, подобно тому как появление датасета ImageNet дало мощный толчок развитию компьютерного зрения.
На данных ImageNet архитектура глубокого обучения AlexNet достигла рекордно низкого показателя ошибки и доказала эффективность применения сверточных нейронных сетей для обработки изображений, что стало ключевым моментом в развитии технологий глубокого обучения», — прокомментировал Александр Плошкин, руководитель направления по развитию качества персонализации в «Яндексе».
Источник: пресс-служба «Яндекса»