Конкурс Avito-2015: Распознавание отклика на маркетинговое предложение
Материал из MachineLearning.
Конкурс Avito-2015 — это конкурс по решению прикладной задачи распознавания образов, проводимый при информационной поддержке 17-й Международной конференции «Математические методы распознавания образов-2015» (ММРО-17), г. Светлогорск Калининградской области, 19-25 сентября 2015 года.
Организаторы конкурса – компания Avito и ее партнер – компания Форексис.
Вопросы организаторам конкурса можно задавать в обсуждении страницы конкурса для зарегистрированных на портале MachineLearning.ru пользователей, либо по электронной почте на адрес competitions@forecsys.ru с указанием в теме письма «Конкурс Avito-2015: Вопрос».
С информацией об организаторе конкурса, правилах его проведения, количестве наград, сроках, месте и порядке их получения можно ознакомиться здесь.
Предварительный рейтинг участников.
С предыдущим конкурсом Avito.ru-2014 можно ознакомиться здесь.
Ключевые даты конкурса
| Update 14.07.2015 Период приема итоговых результатов участников продлен с 23:59 17.07.2015 до 23:59 19.07.2015. По последним присланным до 23:59 19.07.2015 результатам будет расчитан итоговый рейтинг и определены победители. |
8 июня 2015 года – Старт конкурса
до 23:59 10 июля 2015 года – Регистрация участников
до 23:59 19 июля 2015 года – Получение результатов от участников
20 июля – 31 июля 2015 года – Определение победителей и проверка на воспроизводимость результатов
03 августа – 14 августа 2015 года – Публикация презентаций победителей на странице конкурса
Avito
Avito является самым большим в России сайтом объявлений. Миллионы людей ежедневно заходят на портал, чтобы продать или купить практически всё, что пожелают: от цифровой техники и одежды до автомобилей и недвижимости. Объявления размещают частные лица, предприниматели и компании, поэтому на Avito.ru можно купить как бывшие в употреблении вещи, так и абсолютно новые товары.На Avito более 24 миллионов активных объявлений и каждый день огромное количество объявлений создается или изменяется.
Миссия Avito.ru — соединить продавцов и покупателей по всей России, изменив их повседневную жизнь к лучшему.
Описание задачи
Avito предоставляет своим клиентам дополнительные услуги, которые позволяют клиентам существенно быстрее продавать свои товары, автомобили и объекты недвижимости за счет различных механизмов поднятия объявлений в поиске и их выделения.
Для информирования клиентов об этих услугах и стимулирования использования услуг Avito проводит маркетинговые кампании, в рамках которых клиенту сообщается информация о дополнительных услугах (например, по email и с помощью баннеров в личном кабинете на сайте, пример баннера приведен ниже) и предоставляются скидки на их использование.
Подобная реклама услуг зачастую является раздражающим фактором, поскольку существуют клиенты, которые пользуются услугами вне зависимости от того, сообщили ли им об услуге или нет, или те, кому это предложение не актуально. Проводить коммуникацию с такими клиентами не следует.
Для анализа были проведены две маркетинговые кампании, предлагающие одинаковую скидку и нацеленные на схожие сегменты, но в разное время: первая – с 09 по 28 декабря 2014 года, вторая – с 25 февраля по 23 марта 2015 года. Множества клиентов первой и второй кампаний не пересекаются.
Для оценки эффективности коммуникации, клиенты в каждой кампании были разделены на две группы – целевая (которой сообщили об услуге и скидке) и контрольная (которой ничего не сообщалось). Это разбиение является известным для первой кампании и неизвестным для второй.
Цель конкурса – создание эффективного алгоритма распознавания клиентов, которые воспользуются дополнительными услугами только после коммуникации с ними.
Ознакомиться с общим описанием проблематики Uplift modelling можно здесь.
Описание данных
|
| Update 22.06.2015 В архиве vasuplift_data.7z в файле users_train.csv поле target_group расшифровывается следующим образом: Для целевой группы, которой сообщили об услуге и скидке, значение поля равно 1, для контрольной, которой ничего не сообщалось, значение равно 0. |
Для анализа доступно два блока данных: competition_avito_2015_vasuplift_data.7z и competition_avito_2015_vasuplift_behavior.7z. В первом блоке данных содержатся все формальные, а также некоторые агрегированные признаки клиентов, участвовавших в двух кампаниях. Во втором блоке содержатся данные, которые можно использовать для извлечения дополнительной информации о действиях клиентов на сайте Avito. Детальное описание исходных данных находится здесь.
Функционал качества
Алгоритм распознавания ранжирует всех клиентов кампании по убыванию склонности использовать предлагаемую услугу только после коммуникации и для первых 20% клиентов самых склонных клиентов из каждой группы качество алгоритма вычисляется по функционалу:
, где
– сумма условных денег в целевой (treated) группе за период кампании,
– сумма условных денег в контрольной (control) группе за период кампании,
– кол-во клиентов в целевой группе,
– кол-во клиентов в контрольной группе.
Реализация функционала качества на языке Python.
Пример простой модели, написанный на языке Python.
|
| Update 01.07.2015 Исправлена реализация функционала качества на языке Python. Входная переменная rank заменена на score, убывание значений которой соответствует убыванию склонности клиентов воспользоваться дополнительными услугами только после коммуникации. |
Регистрация участников
Для регистрации в конкурсе потенциальному участнику необходимо до 23:59 10 июля 2015 года прислать письмо по электронной почте на адрес competitions@forecsys.ru с темой «Конкурс Avito-2015: Регистрация», содержащее никнейм участника – имя/псевдоним, которое будет отображаться в рейтинге участников, а также источник информации о конкурсе. Адрес электронной почты участника будет использоваться для его идентификации.
Заявкой на регистрацию в конкурсе Вы подтверждаете, что ознакомились и согласны с Правилами конкурса.
Порядок и сроки предоставления участниками результатов
|
| Update 18.06.2015 В силу больших размеров файла с результатами у участников возникают сложности с отправкой письма. Рекомендуется архивировать файл, выкладывать на любой облачный файловый сервис (например, Яндекс Диск / Google Диск) и предоставлять ссылку для скачивания. |
Участники предоставляют результаты работы своих алгоритмов с 8 июня 2015 года и до 23:59 19 июля 2015 года.
Для проверки качества алгоритма и составления рейтинга результатов каждый участник отправляет файл с результатами работы алгоритма для второй кампании по электронной почте на адрес competitions@forecsys.ru, указав в теме письма «Конкурс Avito-2015: Результаты Никнейм участника» (письмо должно быть отправлено с того же электронного адреса, что и при регистрации участника).
Результаты представляются в csv-формате (образец файла здесь). Рекомендуемый формат имени файла “YYYYMMDD_competition_avito_2015_Никнейм_участника_Results.csv”. Файл с результатами содержит два столбца с заголовками в первой строчке: в первом столбце (user_id) указаны идентификаторы клиентов второй кампании, а во втором (score) – вещественные число, ранжирующее всех клиентов второй кампании по убыванию склонности воспользоваться дополнительными услугами только после коммуникации. Пропуски и строковые значения не допускаются.
Два раза в неделю – понедельник и четверг до 23:59 по московскому времени – заканчивается прием писем с результатами для составления очередного предварительного рейтинга участников. В течение следующего рабочего дня будет обновлен предварительный рейтинг результатов участников. Для расчета рейтинга используются результаты участника, полученные в последнем письме до указанного времени.
Предварительный рейтинг участников будет рассчитан по 30% клиентов второй кампании (выборка A). Итоговый рейтинг будет рассчитан по 70% клиентов второй кампании (Выборка B). Разбиение клиентов второй кампании на выборки A и B участникам не раскрывается.
Для расчета итогового рейтинга участников будет взят последний присланный до 23:59 19 июля 2015 года результат.
Процедура определения победителей и призовой фонд
Победителем конкурса (первое место) станет участник, алгоритм которого продемонстрировал наилучший результат на выборке B независимо от того, коммерческим или не коммерческим ПО пользовался участник.
Второе место займет участник, алгоритм которого продемонстрировал наилучший результат на выборке B среди тех участников, которые использовали только некоммерческое ПО. В случае, если первое место занял участник, использовавший только некоммерческое ПО, второе место достанется следующему участнику по оценке качества алгоритма среди тех, кто использовал только некоммерческое ПО.
Информация о победителях будет опубликована на странице конкурса до 14 августа 2015 г.
Воспроизводимость результата работы алгоритма участника является обязательным условием признания этого участника победителем конкурса. Предоставление организаторам необходимого ПО и помощь в воспроизведении результатов работы алгоритма является обязанностью участника.
Денежная премия:
- 1-е место 100 000 рублей (без учета налогов).
- 2-е место 50 000 рублей (без учета налогов).
- 1-е место 100 000 рублей (без учета налогов).
Публикация презентаций победителей
Победителям конкурса предоставляется возможность опубликовать презентации своих алгоритмов на странице конкурса. Презентация должна кратко и наглядно иллюстрировать подход участника к решению задачи, применяемые методы и полученные результаты. Формат и содержание презентации согласуются с организаторами.
|
| Update 02.07.2015 Победителям конкурса предоставляется возможность представить результаты своей работы на конференции ММРО-2015. Подробности можно узнать, прислав письмо по электронной почте на адрес competitions@forecsys.ru с темой «Конкурс Avito-2015: Конференция». |
Требования к программному обеспечению
Приветствуется, в первую очередь, использование программного обеспечения (ПО), которое не требует лицензии для коммерческого использования. Использование коммерческого ПО также допускается.
К ПО предъявляется одно общее требование – возможность воспроизведения организаторами результатов работы алгоритмов участников без приобретения каких-либо лицензий, например, используя тестовые версии соответствующего ПО, которые находятся в открытом доступе на сайте производителя ПО.
Предоставление организаторам необходимого ПО и помощь в воспроизведении результатов является обязанностью участника.
Подстраницы
| Конкурс Avito-2015: Распознавание отклика на маркетинговое предложение/Рейтинг участников |
