Скандал на конкурсе Kaggle: победитель сжульничал, алгоритм плохо оценивает шанс бездомных животных найти хозяев
https://habr.com/ru/news/t/484264/
Kaggle — система организации конкурсов по исследованию данных, принадлежащая компании Google — обнаружила мошенничество в результатах одного из своих конкурсов. Победителя конкурса отстранили от участия в дальнейших соревнованиях.

Kaggle регулярно организует конкурсы в сфере обработки данных и машинного обучения. Призы на этих конкурсах могут достигать десятков тысяч долларов. На прошлой неделе компания объявила, что команда-победитель конкурса, который состоялся в прошлом году и был посвящён улучшению работы сайта по поиску хозяев для бездомных животных, выиграла обманом.

По условиям конкурса участники должны были разработать алгоритмы прогнозирования скорости поиска хозяев для бездомных животных для сайта PetFinder.my. Алгоритм BestPetting, команды-победителя, оказался лучшим среди участников с почти идеальным счетом — 0,912 из 1,0. В награду команда получила $10 000, а её решение было внедрено в работу сайта. Однако через девять месяцев после конкурса выяснилось, что результаты команды были слишком хороши, чтобы быть правдой.

Бенджамин Миниксхофер, программист из Австрии, который тоже участвовал в конкурсе и занял шестое место, вызвался помочь компании PetFinder интегрировать алгоритм в работу сайта. При этом он обнаружил, что команда BestPetting использовала в разработке своего решения закрытые данные с PetFinder.my, что давало ей незаконное преимущество. Эти данные она замаскировала в своём коде. Кроме того, команда использовала полученные данные не для всех питомцев, а для одного из десяти, чтобы избежать абсолютно идеального результата и не вызвать подозрений. Способ обмана Миниксхофер подробно описал в статье на Kaggle.com. При этом в комментарии для Motherboard он подчеркнул, что без обмана команда оказалась бы на приблизительно сотом месте со счетом 0,427526.

«Очень печально, что такие блестящие профессионалы пошли на все, чтобы обмануть конкурс, целью которого было спасение животных, исключительно ради собственной выгоды», — отметил Энди Кох, основатель PetFinder.

Как пишет Motherboard, мошенничество — не редкость в соревнованиях Kaggle. Для некоторых участников, помимо денежных призов, очень важны звания Kaggle, например, Expert или Grandmaster, которые можно получить, победив в конкурсе. Многих в сообществе разработчиков шокировало то, сколько усилий команда затратила на свой обман, а также тот факт, что некоторые из членов команды уже имели высокие звания в Kaggle. Среди них оказался, например, Павел Плесков, у которого уже был титул Kaggle Grandmaster и который не раз побеждал в различных конкурсах. После того, как мошенничество BestPetting было обнаружено, Kaggle навсегда заблокировала Плескова. По информации Kaggle, «доказательства указывают на то, что он был ключевым лицом этой мошеннической кампании». В Twitter Плесков извинился от имени своей команды и отметил, что намерен вернуть призовые деньги PetFinder.my.

«Для меня речь шла не о деньгах, а, скорее, о том, чтобы стать номером один в рейтинге. Я надеюсь, что хотя бы некоторые из вас простят меня, и что другие участники будут учиться на моих ошибках».

В дополнение к потере своего звания Плесков также лишился работы в компании по разработке программного обеспечения с открытым исходным кодом H2O.ai, которая стремится приглашать на работу специалистов со званием Kaggle Grandmaster.

«Действия в отношении конкурса Kaggle, о которых нам стало известно, идут вразрез с ценностями компании. Мы провели расследование, и этот человек больше не связан с H2O.ai», — заявили в компании.

Этот скандал, как считает Бенджамин Миниксхофер, говорит о том, что Kaggle должна улучшить систему защиты от мошенников.

«Весь этот инцидент очень расстроил меня. Не только потому, что это подрывает легитимность соревнований Kaggle в целом, но и потому, что я потратил довольно много времени на исследование их решения и интеграцию его в работу сайта. Я уверен, что каждый, кто выигрывает деньги в конкурсе, должен публиковать открытый исходный код своего решения. Я не единственный, кто так считает, и я понятия не имею, почему этого всё ещё не делается».

Как указывает Motherboard, хотя сейчас в правилах Kaggle есть пункт о том, что решения для конкурса должны быть с открытым исходным кодом, это означает лишь то, что алгоритмы должны разрабатываться по лицензии с открытым исходным кодом, а не обнародоваться.

«Это лазейка в правилах, которую хозяева соревнований даже не замечают», — считает Миниксхофер. Внедрение новых правил, по его словам, «предотвратит подобные инциденты в будущем».

>>682344
>>682399
Я тоже полтора года назад ебался. Мне просто повезло, что туториалы были актуальнее и мне получилось с первого раза запустить датасет с фасадами прямо в браузере. Тут то я и потер руки и стал копать гитхаб и ебать гугл "как включить код питон".
Если тебе нужна именно одна цель - сделать ноги в колготах- то.
1. Определись с видеокартой. Без видюхи с 8 гб видео я бы не влезал в pix2pix cycle gan. А мы будем запускать сразу две модели, так что разрешение будет тоже аховое- где то 256 на 8 гб видяхе и 512 на 11гб, и то если повезет. Не жди хайреза. Прочие характеристики не так важны. На процессоре даже не пытайся. А времени в выделенных серверах в онлайне не хватит, скорее всего, и будет ебля с постоянным реэкспортом модели по истечению выделенного для работы времени.
2. Определись- ты идешь учиться прогать или сделать колготы. В любом случае тебе нужен будет датасет на 5000-10000 фото. На меньшем ты соснешь. И как его получить- вручную качать или научиться запускать скрипт с гитхаба по выкачиванию определенных картинок- две большие разницы.
А затем, что у тебя была именно тренировка, а не пустое прокачивание ненужной инфы через видяху, нужно будет научиться вырезать именно те участки картинок которые нужно обрабатывать. Yolo3detector тебе поможет, но это мы забежали вперед.
Сразу скажу, что я не буду тебе расписывать подробно, потому что точных ссылок мне искать лень, а ты научишься искать нужную инфу.
1.0. Тебе нужно установить cuda от нвидии. Ставь 10.2 Если ты справишься, то у тебя есть шанс.
1.1. Тебе понадобится интерпретатор питона. Советую установить miniconda3, т.е. с третьим питоном на борту. Затем ты будешь запускать Anaconda Powershell Prompt (miniconda3) и работать с кодом ты будешь там. Впереди у тебя веселейшая ебля с path.
1.2. Когда ты все же разберешься с туториалом и запустишь у себя фасады и обрадуешься результату, советую тебе забыть это и скачать pix2pix cycle gan. Там ты почти не будешь читать код, ты будешь учиться запускать чужой код у себя- а это значит, что для чужого кода ты должен будешь научиться разворачивать виртуальную среду, чтобы все нужные для работы кода зависимости не путались (я не научился таки, как и пользоваться докером, позор мне). Это сэкономит кучу времени, если ты решишь потом запустить какую-то старую вещь у которой свои старые зависимости, как у твоего рассматриваемого кода. Возможно, что для твоих целей лучше подошел бы pix2pixHD, но для винды в нем нужно будет исправить самомоу некоторые ошибки из-за того что он предназаначен для линукса. Но, они таки могут быть исправлены, как и все ошибки, если ты будешь гуглить их. ГУГЛИ ОШИБКИ.
1.3. В эту виртуальную среду ты поставишь зависимости- сторонние куски кода, которые используют программисты чтобы не изобретать свои велосипеды для стандартных функций типа ресайзнуть картинку и вырезать по координатам. Они нужны для работы кода. познакомься - это установщик зависимостей pip. Pip list, pip install например numpy, pip uninstall tensorflow и потом pip install tensorflow==1.15.0 станут твоими друзьями.
1.4. Когда ты научишься запускать код pix2pix cycle gan и его просмотрщик, можешь начинать учиться запускать детектор yolo. Точнее тренировать. Ты, из скачанного массива возьмешь 500 картинок с колготам и разметишь его вручную на microsoft/VoTT, чтобы yolo смог обучиться на примерах искать твои колготы и голые ноги. Затем ты напишешь свой код с помощью инета, конечно, который нарежет тебе твои ноги - в одну папку голые, в другую колготы. И затем, ресайзнув свои ноги до нужного размера, ты зауснешь их в cyclegan и может быть, спустя несколько дней тренировки в игры нипаиграть он выдаст тебе результаты, от которых тебе уже не захочется дрочить, а только делать новые датасеты.
Ну вот когда ты сможешь делать весь список быстрее, чем читаешь этот текст, тогда у тебя начнет получаться результат, на который будет не стыдно пофапать.