Вы видите копию треда, сохраненную 9 апреля 2021 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее keras и pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Остальные сидят ИТТ
Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus
Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/
Почему python?
Исторически сложилось
Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет
Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python
В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials
Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.
Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел
Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой
Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся
Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/
Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском
Где ещё можно поговорить про анализ данных?
http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. На март 2020 Google Colab дает бесплатно аналог GPU среднего ценового уровня (что-то между 1050 и 1080) на несколько часов с возможностью продления. Некоторым достается даже V100.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь
На сентябрь 2020 ждем 30хх серию в магазинах и падение цен на 20xx на авито, /hw/ в помощь
Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
https://www.youtube.com/watch?v=pGbyTtWRRmo
Да нормальный контент, обзор докладов всяко лучше этой А КАК УСТРОИТЬСЯ КО МНЕ НА РАБОТУ параши, которую он приносил раньше
Это еще веселее, чем в прошлый раз. У половины докладов видео нет, остальные видео unlisted, для просмотра некоторых нужно бить челом отдельно. При этом контент уровня сельского митапа.
Главное Data Science событие года, я ебал.
ОК, бумер
Фигасе четкая детекция на втором пике.
Да, будет, но (кто-бы мог подумать) только до какого-то момента.
1. Есть модели, которые относят объект к одному из двух классов. Есть модели, которые относят объект к одному из множества классов. Есть модели, в которых есть один класс и все остальное. Чем это отличается от модели с двумя классами? Возможно, я ответил на это во втором вопросе.
2. Если у модели 2+ классов, то она относит объект к тому классу, на который объект больше "похож". Если в модели есть один класс и "все остальное", то как определяется, отнести объект к этому одному классу или нет? По некоторому порогу чувствительности? То есть, если объект отдален от класса более чем на n, то он уже не относится к этому единственному классу? Если да, то как находится это n?
>Чем это отличается от модели с двумя классами?
На практике у тебя как правило X позитивных примеров (картинка с котом) и X*100 негативных примеров (картинка без кота - с собакой, травкой, домом). Из-за этого алгоритм получает на входе перекос в распределении и без дополнительных усилий (например, присваивания примерам с котами большей значимости при обучении) работать будет плохо. В частности, он может выдавать "не кот" в 100% случаев и получить точность в 99% - котов-то в датасете в 100 раз меньше. Это практическая разница. Для знаний теории же не забивай голову.
>Если у модели 2+ классов, то она относит объект к тому классу, на который объект больше "похож".
Нет, модель выдает тебе вероятности каждого класса. Если у тебя 2 класса (не важно, второй класс это "не-кот" или что-то другое), она выдает тебе одно число - вероятность p (от 0 до 1) либо какое-то другое число, которое можно пересчитать в вероятность. Если 3 класса - то 3 числа, сумма которых будет равна 1. Допустим, она выдает тебе, что 50% на картинке кот, 50% собака и 0% - травка.
>Если да, то как находится это n?
В зависимости от ТЗ. Если ты преступников-террористов ловишь, то тебе выгоднее занизить порог обнаружения, и посадить отдел сержантов, которые будут уже вручную сверять кто на картинке - террорист, или ложное срабатывание. А если ты по фейсу определяешь покупателя в пятерочке, то лучше пусть никакого срабатывания, чем ложное. Если модель идеальна и обучена без перекосов, то ставишь порог 0.5.
В твоем примере с котами и не-котами нужно сделать один класс "коты" и дальше настраивать порог срабатывания, насколько близко к котам? Или нужно сделать 2 класса: "коты" и "не-коты" и определять вероятность по каждому? Второй вариант не подходит, потому что у "не-котов" будет слишком много разных признаков, верно?
>В частности, он может выдавать "не кот" в 100% случаев и получить точность в 99%
А надо брать F1 по котам и всё будет в порядке
>F1
Это мера, которая считается как средняя гармоническая от точности и полноты модели, верно?
Ты пойми, при supervised обучении классы в датасете определяет пользователь. Нейроночка учится на готовом датасете, она не задаёт классы. Как напишешь, так и будет. Другой вопрос, что эффективность обучения будет разной.
Скорее всего, я буду использовать не нейронки (байес, логистическая регрессия, опорные вектора, случайный лес), потому что данные не очень сложные. Я читал, что в scikit-learn есть гиперпараметры, которые задают количество классов для модели. Отсюда были вопросы. Пока что разобрался, спасибо.
>В твоем примере с котами и не-котами нужно сделать один класс "коты" и дальше настраивать порог срабатывания, насколько близко к котам?
Нужна вообще другая сущность - веса классов. Грубо говоря, ошибка в предсказании одного класса должна вызывать у модели во много раз больший шухер и апдейт весов. Для этого модифицируется целевая функция, как вариант - с помощью весов. Отношение весов настраивается так, чтобы максимизировать например >>18246 или какую-то еще важную тебе метрику.
>Или нужно сделать 2 класса: "коты" и "не-коты" и определять вероятность по каждому?
У тебя по определению если вероятность кота p, вероятность не-кота (1-p). Если у тебя вероятность кота p, вероятность не-кота q, и p+q не равно 1, значит это не вероятность, а какая-то хуета.
Понятно, спасибо. Про веса классов в теории пока не встречал, почитаю.
Тоха говорил не про его работу, а про работу ds вообще
https://www.youtube.com/watch?v=iBO9YDLYGj8
Для вкатышей это видео куда полезней всяких cv докладов
если что, то первая нейронная сеть нужна для того чтобы вторая понимала, что конкретно ей нужно генерировать.
Я бы смотрел на style transfer, а не на две нейронки с непонятным функционалом.
А ешё есть подозрение, что ты никогда в жизни достаточно данных не соберешь.
>А ешё есть подозрение, что ты никогда в жизни достаточно данных не соберешь.
Возможно ему что-то типа StyleGAN нужно
https://twitter.com/hardmaru/status/1095639937842638849
Видел код Эрика, он просто генерирует новые шрифты как я понял, может ошибаюсь. Ну, я в общем ушел от его кода, может в этом я и ошибся.
Начал сейчас гуглить и мне кажется из этого многое может выйти.
Я не тебе отвечал, это был ответ на вопрос, как обойтись без прямого датасета - использовать GAN
Извиняюсь. Я как раз таки и пришел к выводу, что это можно использовать для создания датасета.
Я почитал. А это точно будет работать со шрифтами? Что-то меня сомнения огромные постигают.
А если без шуток... Я нашел некоторый сурс http://www.cvc.uab.es/~marcal/pdfs/ICDAR19.pdf
Вроде бы как неплохо получается, мне примерно тоже самое и нужно.
Хохолка и андеркатов не хватает, зумеридзе?
По картинкам херня вышла. Стайл транфер хорошо переносит текстуры, а шрифты сложно назвать текстурами.
Мне в любом случае уже что то нужно делать. Поэтому скорее всего попробую правильно обучить нейронку по style transfer, мб что нибудь да выйдет
https://youtu.be/ArnwQdGHwOM?t=203
Ща бы на телеги шликать
К примеру:
inc(1) -> inc(2)
dec(2) -> dec(1)
Задача компилятора: найти определение функции inc и dec используя примитивные функции.
Сама идея правильная, проблема в том что требует неподьемных вычислительных мощностей даже в наше время. Более-менее будет работать на языках с 1.5 операциями, например с лямбда исчислением. Но генетическое программирование сейчас уже не в моде, есть т.н grammatic evolution, эта тема поинтереснее. Общая идея в том, что нужная грамматика задаётся в виде BNF (форма Бэкуса - Наура), ну и дальше подбирается нужное решение по заданной функции приспособленности. Можно генетическим алгоритмом, можно тупо перебором, там много вариантов. Но это не для зумеров вкатывальщиков тема, там мозги надо.
Есть ещё property-based testing, например, quickcheck, но это больше для функционального программирования, хотя за 20 лет этот квикчек куда только не портировали с хачкиля, даже в пистон и coq. Там вообще без всяких генетических алгоритмов и прочего машобчика обошлись.
> Сама идея правильная, проблема в том что требует неподьемных вычислительных мощностей даже в наше время.
Ну, смотря что решаем. Большая часть времени уйдёт на компиляцию (нахождение функций).
Но зато какие огромные возможности! Компилятор будет выдавать из всех верных функций для X -> Y самую эффективную. Это может очень сильно повысить производительность как программ, так и программистов.
> property-based testing
Никак не связано с сабжем. GP про генерацию алгоритмов, а не про их проверку.
> Никак не связано с сабжем. GP про генерацию алгоритмов, а не про их проверку.
Я бы не сказал, что никак не связано. В том же коке оно может генерировать пруф-обьекты для доказательства обитаемости заданного типа. Это вполне можно рассматривать как генерацию алгоритма, если само задание нужного типа это спецификация программы, т.е описание того, что программа должна получать на вход и что выдавать на выходе.
>>19863
> Но зато какие огромные возможности! Компилятор будет выдавать из всех верных функций для X -> Y самую эффективную
Ну так-то да, если на этих принципах вымутить оптимизирующий компилятор, знатная бы штука получилась. Но наверное давно бы уже сделали, если бы все так просто было. Ящитаю, все упирается в вычислительные требования.
> Большая часть времени уйдёт на компиляцию (нахождение функций).
Опять же, вместо непосредственной компиляции можно использовать аксиоматическую семантику (VST в коке, почти полноценный С), что сократило бы время проверки процентов на 95+. Если к VST прикрутить grammatical evolution или хотя бы тот же quickchick, получилось бы интересно. Я как-то давно пробовал, но там нотация несовместимая, одно импортируешь - другое отваливается, лол, надо разбираться, возможно авторов трясти, а мне лень. В итоге просто забил.
> использовать аксиоматическую семантику
В GP под копиляцией я подразумевал нахождение алгоритма нужного алгоритма. По крайней мере, в GP процесс нахождерия алгоритма бвдет происходть в компил-тайм, а запуск итоговой функции, соответсвенно, в рантайм.
Сап двач. Реквестирую соус распознавания лиц. С меня как обычно
Что тебе нужно-то? Сурс пикчи, такая же разметка типа хакир цифравойй, любая подходящая модель-распознавалка?
> Что думаете насчет GP(Genetic Programming).
Подобный подход хорош, когда у тебя пространство решений более-менее гладкое. Например, если у тебя нейронка, то добавив-удалив слой, перформанс сильно не упадет. Или когда ты проектируешь какую-нибудь амебу.
Но в случае классических алгоритмов такого свойства нет, и вся эта хуйня будет работать не сильно лучше простого перебора. Любые ухищрения уменьшат константу, но не экспоненту.
Прологом другие дела обстоят. Он ахуенен, но автоматический вывод там не полон. Программист всё должен формализовать. А если задача плохо формализуется?
Этот подход(GP) можно использовать для прикладного программирования, чтобы снизить когнитивную нагрузку на программиста? Насколько это будет оправдано?
Да мне нужно more! Просто хочу несколько разных. Не понял что тут написано: хакир цифравойй. Интересуюсь вопросом. Хочу разобраться как работает с математической точки зрения.
Сосешь ты либераха и будешь сосать всю жизнь. Иди в po и реви очком там. Меня интересуют алгоритмы а не гулаг, гулаг можно и без этого устроить как товарищ Сталин заделал.
Не, нельзя. В 2020 году оправдано смотреть в сторону трансформеров, которым будет скормлен гитхаб, а оно будет предлагать автодополнение. Так как гитхаб принадлежит микрософту, думаю они что-то подобное выкатят в ближайшие лет 5
Ну чё, парни, вот ради чего вы учили machine learning. Ради зарплаты в 100 тысяч
Кто сказал что парень будет устраиваться на работу?
> хипстерские
Фу, блять, уносите это говно нахуй.
мимо-не-прогрессивный-быдло-программист-без-гироскутера
Какие? Чо?
Лол, я вообще не из ML и ничего против него не имею, я просто хипстеров недолюбливаю и меня триггернуло это слово.
И вообще...
Нах ты мне отвечаешь? Я ЖЕ ПРОСТО ТОЛСТЫЙ МИМОКРОКОДЯЩИЙ, ЛОЛ
> Ради зарплаты в 100 тысяч
Как я понял, они намекают что это стартовая зарплата. Веб-макака в ДС стартует с ~60к, так что вполне нормально.
Я бот на задании мне хозяин поручил изучить что такое машинное обучение и научиться ему
Ответ на вопрос "Зачем для распознавания лиц фильтруют цвет?" - для распознавания лиц ничего не фильтруют, ебашут данные как есть.
Прочитал про фильтр вот здесь.
https://www.popmech.ru/technologies/402352-na-lice-napisano-kak-rabotaet-kompyuternoe-raspoznavanie-lic/
Какой еще найс ептаю ты не видишь тут противоречия мясной мешок.
Ну там подход из нулевых описан. Никакой фильтрации там нет, просто цветное изображение превращают в ч/б, чтобы уменьшить в 3 раза число чисел, с которыми имеешь дело.
Нет, у них другая проблема. Фит функцию сделать несложно, если ты понимаешь что хочешь получить.
>>19993
> Подобный подход хорош, когда у тебя пространство решений более-менее гладкое. Например, если у тебя нейронка, то добавив-удалив слой, перформанс сильно не упадет. Или когда ты проектируешь какую-нибудь амебу.
В теореме схем Холланда нет такого требования. Конечно же, и козе понятно, что на более хитровыебанном пространстве решений алгоритм будет сходиться дольше. Но простой брутфорс ни в каком случае не может превосходить генетические алгоритмы, потому что последние это направленный поиск решения.
> Но в случае классических алгоритмов такого свойства нет, и вся эта хуйня будет работать не сильно лучше простого перебора.
Нет, оно работает сильно лучше простого перебора. Достаточно запустить любой пример грамматической эволюции с подбором решения методом простого перебора и такой же с генетическим алгоритмом. Скорость схождения отличается буквально в разы.
Ну там в хоть чуть-чуть сложной задаче вылезут двойные экспоненты, тройные экспоненты, функции аккермана, и ты вообще ничего не сделаешь.
Да ещё и генетические алгоритмы никакой теории под собой не имеют, просто эвристика.
Давайте ещё померимся письками по решению Титаника. У кого сколько? У меня-долбоеба 0,77 пока. Это с третьего раза.
Ну вот в атари взяли за реворд стандартный score с экрана - в итоге "неинтересно" хакнулась только одна игра из 50.
Всякие соревнования с нипса тоже что-то особо не хакаются.
> Да ещё и генетические алгоритмы никакой теории под собой не имеют, просто эвристика.
Потому что какой-то зумер такскозал? Я же чуть выше упомянул теорему схем Холланда.
>на русском
ты что тут забыл? вроде у computer science center на русском есть, но там как-то многовато классической обработки языков (регулярки, минхэш)
учи ангельский чтобы не быть батхертом
https://github.com/yandexdataschool/nlp_course/tree/2019
http://web.stanford.edu/class/cs224n/
Ну я начал у них смотреть, и засомневался такой чего-то. Показалось, что как-то много воды. Мне у них нравятся лекции Абакумова, но их по NLP нет. Ангельский учить, конечно хороший совет, и на каком-то уровне я в него могу, но не на таком, чтобы на слух спокойно воспринимать сложные лекции.
Ну вообще, диплернинх никуда не делся там, ведь этим ГА обучали нейронки.
>превзошли
Не превзошли, там всего на нескольких играх лучше результат. Да и количество необходимых фреймов в 10 раз больше чем у dqn.
Почему-то регулярно всякие случайные поиски и ГА оказываются "a Competitive Alternative", но потом я захожу в соревнования (minerl, obstacle tower, flatland, learn to move) и не вижу там их. Почему так?
>Почему так?
Ну так а как ты будешь видеокарты и сервисы гоям толкать без няронок. Не, няронки - единственный верный путь, твёрдо и чётко.
Я про соревнования спросил, где может участвовать (и победить) любой шиз вроде тебя. Но почему-то побеждают няронки.
Суть вопроса: к примеру у меня есть по 1000 нарисованных от руки треугольников, квадратов, кругов и т.п. и я хочу научить сеть классифицировать их. Формы потом будут намного сложнее, но мне надо сначала вкурить систему на простых вариантах, а потом уже буду ебаться со своими хотелками.
Не могу найти нормальный курс. Матфак есть (но хуеват), английский как родной, питон умею/практикую. Ткните лицом, пожалуйста.
Статистический анализ тебе в руки. Берешь две картинки, один шаблон из датасета, вторая та, что нужно проверить; сравниваешь пиксели двух картинок; потом считаешь по формуле Q = P/(P + N), где Q - итоговая вероятность, P - совпавшие пиксели, N - несовпавшие пиксели. На простых геометрических фигурах работает безотказно. К тому же он невероятно прост и быстр.
Так это зумеры пусть себе в резюме всякие игрульки набивают, мне-то зачем?
Выпал я на самой простой нейросети. Я захотел обучить её вести себя как элемент XOR.
Вот код: https://pastebin.com/UgMqGyP8
Я там сделал 4 слоя pytorch Linear (хоть и понимаю, что достаточно двух), но чего-то ничего не получается. loss минимальный выходит 0.25, с одним другим критерионом 0.5.
Как мне это решить? Я понимаю, что логические элементы это не для нейросетей, но мне надо понять. Я думал, может тут связано с тем, что веса должны быть отрицательными, вот я и взял tanh вместо relu, но это всё-равно не помагает. В каждом случае результат около 0.5.
У тебя задача классификации, а ты решаешь регрессию.
Поменяй последнюю строчку forward'а на x = torch.sigmoid(self.l3(x)), criterion на nn.BCELoss() и увеличь количество эпох в 10 раз. И будет нормально сходиться.
Ну и желательно делать это не на 4 точках
import matplotlib.pyplot as plt
X = torch.randn(size=(64, 2))
y = (X.prod(dim=1) > 0) * 1.0
plt.scatter(X[:, 0], X[:, 1], c=y);
>Но простой брутфорс ни в каком случае не может превосходить генетические алгоритмы, потому что последние это направленный поиск решения.
Может. Возьми такое пространство решений, где вокруг глобального минимума есть большой и толстый барьер. Тогда перебор рано или поздно переберет и такое решение, а ГА будет тусоваться там, где в среднем получше. Компьютерные алгоритмы в целом обладают таким свойством. Грубо говоря есть две программы:
print("fizzbuzz")
print("1")
print("2")
print("buzz")
...
и
for fizzbuzz in range(100):
if fizzbuzz % 3 == 0 and fizzbuzz % 5 == 0:
print("fizzbuzz")
elif fizzbuzz % 3 == 0:
print("fizz")
elif fizzbuzz % 5 == 0:
print("buzz")
print(fizzbuzz)
Вокруг первой программы огромное количество программ, вывод которых приблизительно похож на правильный ответ. Например
print("fozzbozz")
Вокруг второй таких программ гораздо меньше, зато такую программу очень легко поломать ошибкой в одном символе.
>Скорость схождения отличается буквально в разы.
Так я и написал, "Любые ухищрения уменьшат константу, но не экспоненту". ГА-то в принципе лучше перебора, но в целом шо то хуйня, шо это хуйня.
> Вокруг второй таких программ гораздо меньше, зато такую программу очень легко поломать ошибкой в одном символе.
Поэтому пистон именно как язык для генетического программирования и не подходит. Даже сам создатель GP кроме лиспа с тряской (((скобочек))) других ЯП для GP не использовал. А теперь представь, что физбазз написали лямбдами, само использованное лямбда-исчисление записали в BNF, а фитнесс функцию задали в виде разницы (расстояние левенштейна там или что-то подобное) между выводами физзбаза и сгенерированных решений при одних входах. Вуаля, и мы уже имеем хуеву тучу программ, работающих ровно так же как физзбаз. Дело в том, чтобы представить задачу правильно, я же говорю.
Прилетела задача построить несколько статистик на данных формата:
Колонка в датафрейме пандуса содержит данные формата:
[11, 23, 45, 33] от одного до множества элементов
Как обработать эту колонку и уметь вытягивать из нее количество элементов/отдельные элементы.
Колонка может иметь тип object, и туда можно складывать все что угодно. Конкретно для списков вроде есть даже поддержка какая-то, например взять их длины. Если чего нет, то циклом или мапом обрабатывай. Смотри доки.
>nn.BCELoss
Спасибо, то что нужно.
Изначально я оставлял там CrossEntropy, но затупил, когда у меня потребовали классы ввести (а у меня-то 0 и 1), а BCE это получается тот же CrossEntropy, но с уже готовыми 0 и 1.
Я там ещё в SGD lr подкрутил в 100 раз, как раз быстро обучить.
Бамп
> придумать фиттинг функцию/реворд
Так для GP/EP она фиксированна. У нас есть набор входов и выходов X -> Y; среди всех индивидов-лямбд выбераем всех кто при аппликации с аргументами X выдает терм, который максимально схож с Y.
Нет. Противоречит философии.
Можешь сделать melt.
Да не так уж pandas и удобен вне машоба. Как видишь наблюдения содержащие объекты никого не интересуют
pandas бесценен уже тем, как быстро он загружает таблички.
Есть мл-бутики которые занимаются типа консалтингом для других фирм, но там-то работа как раз поинтереснее мне кажется чем на одном проекте сидеть и пилить одно и то же говно.
Вызывай apply по столбцу и в качестве функции передавай свои статистики
> Uber впустую потратил $2,5 млрд на беспилотные автомобили
> Попытки Uber создать беспилотный автомобиль обошлись компании почти в $2,5 миллиарда долларов, но до сих пор она даже близко не приблизилась к цели, говорится в отчёте The Information.
> Несмотря на то, что команда впервые начала свои исследования в 2015 году, беспилотный автомобиль Uber до сих пор «не ездит нормально» и «не справляется с простыми процедурами и простыми манёврами», — это говорил менеджер подразделения генеральному директору Даре Хосровшахи, сказано в отчёте. Он добавил, что становится всё меньше надежд на то, что компания Uber вообще способна сделать систему беспилотного вождения.
https://pcnews.ru/blogs/uber_vpustuu_potratil_25_mlrd_na_bespilotnye_avtomobili-1020219.html
Нейроночки при том, что они не подходят для этой задачи. Хотя бы потому что для них нет строгих доказательств сходимости. Это же эта контора, "унтер", своей самоходной шайтан-арбой пешехода по переходу размазала? Дегенеративность разработчиков с петушиными андеркатами и смузи наперевес тоже, конечно, фактор. Но не основной.
Врети? Напомню, Хитачи смогли в 1987 году запустить беспилотный поезд метро на нечётких контроллерах. А сойбои с петушиными бородами из барбишопа 33 года спустя смогли только насрать себе в штаны, промандеть 25000000$ и угандошить пешехода. Прогресс налицо.
Ну так поезд на втором курсе в виде курсача студентом автоматизируется, а с автомобилями японцы 80-х закономерно соснули.
Есть несколько вопросов чисто по результатам:
1. Что впечатляющее сделало ML за последние 10 лет?
2. Что полезное сделало ML за последние 10 лет?
3. Что впечатляющее может сделать ML за следующие 10 лет?
4. Что полезное может сделать ML за следующие 10 лет?
3 и 4 вопрос, по мнению анона. Предсказателей тут нет, конечно, но тот кто владеет инфой о текущих развитиях ML - может примерно спрогнозировать.
Хочу просто оценить положение индустрии. Благодарю за ответы!
> Что впечатляющее сделало ML за последние 10 лет
Прошли тест Тьюринга (GPT-3)
Научились отличать кошек от собак
Научили автомобили ездить самим
Научили генерировать лица людей
Огромный прогресс в экономической сфере. Научились прогнозировать спрос на товар.
Alpha GO обыграл лучшего гошника.
Научили расскрашивать мангу
Научились генерировать фотореалистичные изображения по скетчам
Научились преобразовавыть голоса людей
... и многое другое.
> Что полезное сделало ML за последние 10 лет?
Список выше.
> Что впечатляющее может сделать ML за следующие 10 лет?
Сгенировать аниме по текстовому описанию.
> Что полезное может сделать ML за следующие 10 лет?
Полная автоматизация любого производственного процесса, с последующим экономическим прогнозированием. Глубокий анализ желаний людей, и оптимизация их жизни.
> проиграл, дальше не буду читать даже
Прошли-прошли. Статейки реально не отличимы от написанных человеком.
Будто твои кукареканья тут - показатель разумности.
Благодарю за ответ!
Более подробный вопрос, если можно.
Я смотрю по ML канал "Two Minute Papers".
Меня привлекло вот это видео:
(фотографии преобразовываются в 3d модель)
https://www.youtube.com/watch?v=T29O-MhYALw
Вопрос специалистам: вскоре действительно возможно будет записать видео и алгоритм сам создаст 3d сцену по этому видео? Или такое преобразование всё ещё потребует много ресурсов (как deepFake, по несколько часов или даже дней)?
Нудк никто и не спорит. Хотя по словам самой GPT-3 мышление - не единственная форма разумности:
> Человеческие философы часто ошибаются, полагая, что всякое разумное поведение есть форма рассуждения. Эту ошибку допустить легко, поскольку рассуждение действительно лежит в основе большинства разумных поступков. Однако разумное поведение может возникать и с помощью других механизмов. Таких как обучение и воплощение системы в реальном мире (т.е. нахождение в окружающей среде с помощью сенсоров и эффекторов).
> Вопрос специалистам: вскоре действительно возможно будет записать видео и алгоритм сам создаст 3d сцену по этому видео?
Видео - просто чередующиеся картинки. Можно понижать FPS видео, для производительности, а потом уже на модельках анимацию интерполировать. Но это ахереть сколько ресурсов нужно.
Сам взгляни на современный 3D-рендеринг, он и без нейронок жрет процессор, ОЗУ, и человековремя, аки чорт ебанный.
Как сделать рекуррентную нейросеть, чтобы она распознавала буквы из рукописного текста (почти произвольной длины, ну вы поняли). Я уже нашёл разные статьи, например: https://towardsdatascience.com/build-a-handwritten-text-recognition-system-using-tensorflow-2326a3487cd5 и https://codingvision.net/pytorch-crnn-seq2seq-digits-recognition-ctc, я понял как они работают, но на практике у меня ничего не получается. Даже попытался скопировать код со второго, но я не смог сделать так, чтобы оно дало мне результат, а не просто обучалось.
Можете навскидку глянуть код и указать, в чём могут быть проблемы?:
https://pastebin.com/tpAXGZUg — тут у меня происходит обучение, но когда я пытаюсь получить результат (в виде цифры-бланки 0043---54--233--- и подобное), он не соответствует картинке. Этот код я сделал из кода для второй статьи выше.
https://pastebin.com/aUzt47Kx — тут тоже идёт обучение, но когда я собираюсь предсказать, выдаёт 0000000000000000000000000000000.
Я даже не понимаю, зачем надо делать reset_hidden, то есть сбрасывать hidden-слой GRU.
Или почему в первом коде автор сделал кучу permuteов...
И может ли быть проблема в датасете? Я просто нагенерировал кучу картинок из пяти цифр как пикрилейтед, с разным поворотом и небольшим шумом.
> в нем нужно диалог вести.
Та статья была ответом на споры и обсуждения философов и ученых на тему GPT.
Только вот нейроночки в самодвижущихся повозках это вообще дело десятое, они даже в определении контекста не на первом месте, а большую часть занимают классические алгоритмы и классический мл с твоими любимыми каминсами и кннами. Впрочем, знай ты это, ты бы не был безграмотным безработным кукарекающим шизом, так что что это я, продолжай самообоссываться.
Ты понимаешь, что такое диалог? Пока ты тест тьюринга не проходишь.
Что не так? Этим и кобанчики постоянно занимаются, думаешь они умнее оптимизационных алгоритмов?
> тест Тьюринга
Это когда в жопу ебут и нужно определить негр это или нет?
Тьюринг распиаренный пидор
Хотя может мне кажется, и этим делом промышляет полтора шизика.
Выходит на связь >>21213-анон
Проблема обучения была в том, что я данные неправильно перемешал. Взял пример из первого кода и скопировал перемешку туда. Ещё nn.InstanceNorm2d добавил и скорость увеличилась. Теперь всё обучается и работает! Хотя, возможно, и раньше работало...
Проблема с проверкой оказалась ещё глупее, я проверял максимум и минимум не элементов, а векторов(тензоров) (что?). Чё-то нули после минимальных и максимальных индексов меня не смутили.
Я поражён результатом. Получается, таким же образом можно и голос на слова раскладывать.
>Получается, таким же образом можно и голос на слова раскладывать.
Это можно легко сделать и без нейросетей.
С каким WER?
Тактический бамп вопросу.
>Анон, вкатываться не собираюсь, так как без меня много желающих.
Желающих, и при этом способных, меньше, чем нужно.
>1. Что впечатляющее сделало ML за последние 10 лет?
Впечатляющее для кого? Впечталяющих внутряков много, потому что по сути ML из довольно маргинальной хуйни превратился в локомотив IT, как раньше был интернет.
Впечатлить же мимокрокодила тяжело, потому что у AI есть такая фишка, что его никогда нет. Человечеству потребовалось много времени, чтобы признать, что у негров есть душа, что говорить о компьютерах. Вау эффект спадает за неделю и дальше как будто всегда с этим жили. Style transfer тот же или очередной генерящий пейзажи GAN, кого этим впечатлишь в 2020.
>2. Что полезное сделало ML за последние 10 лет?
То, что юзается теперь повсеместно - нормальный машинный перевод, распознавание речи, цифровой гулаг, рекомендательные системы в магазинах и соцсетях, автоматизация творческой работы.
>3. Что впечатляющее может сделать ML за следующие 10 лет?
>4. Что полезное может сделать ML за следующие 10 лет?
Через 5 лет довольно легко предсказать, потому что индустрия отстает от ресерча лет на 5. Через 5 лет революция в процессинге языка придет в каждый дом, школьникам работы будет писать ИИ, возможно появятся наушники, переводящие на лету, в фотошопе большую часть работы будут делать нейросети.
Через 10 уже тяжелее, потому что нужно знать, где будет ресерч через 5 лет.
В ресерче же все упирается в железо, каким будет железо, таким будет и ML.
Наоборот, это ответ на этот предел.
Если у конвенциональных вычислений все грустно (но не безнадежно - грустно это в пассажирской авиации какой-нибудь, где проще испортить, чем улучшить), потому что уменьшать транзисторы дальше дорого, а если их не уменьшать, то сколь ни удешевляй себестоимость одного транзистора (например, с помощью 3D-упаковки), они все равно будут жрать электроэнергию на переключение и греться, то нейронки это мечта хардващика, 8-16бит - заебись, шумы и случаные ошибки в битах - похуй, отваливающиеся браком на производстве вычислительные блоки - похуй, их тысячи, с помощью техник спарсификации можно снизить тепловыделение, короче, целое поле для экспериментов и улучшений.
Проблема только в том, что чем больше железо специализируется на задачах ИИ, тем меньше способов впарить такое железо геймерам. Поэтому относительно другого железа оно будет дорожать. Это уже постепенно происходит - геймерские карты продаются урезанными по памяти, дальше будет хуже. Так что вкатываться лучше сейчас, а не потом.
>мечта хардващика
ага, мечта без строгих доказательств сходимости
сидим пердим день, месяц, год - ой ну не шмогла я((
Благодарю, Анон!
Попробую сформулировать свой вопрос по-другому, так как он звучал слишком абстрактно. Я сейчас напишу случаи применения ML, о которых я знаю:
1. Есть перечень состояний, надо определить в каком из этих состоянии находятся входные данные (разпознавание букв, опредение болезней в результатах обследований, "кошка или собака").
2. Есть входные данные А (стиль), есть входные данные Б. На основании характерных признаков данных А модифицируются такие же признаки данных Б (faceApp, всякие стилизации изображений, deepFake, машинный перевод, боты в играх).
Вопрос: Есть ли сейчас, и ожидаются ли в будущем (на основании нынешних достижений в ML) какие-то новые случаи применения ML, которые не входят в эти два нижеупомянутые?
>Рекомендательные системы в магазинах
Никогда не видел ничего лучше чем "ты гуглил принтер - тебе в рекламе показывают принтеры"
Стоило не наркомить тебя хуйцами в одном посте - и ты уже разбушевался.
> "ты гуглил принтер - тебе в рекламе показывают принтеры"
Мне сейчас домики для муравьев подсовывают, никогда их не гуглил, да и на муравьев мне как то пофиг.
Это ты так говоришь. А самому-то реклама в душу запала, иначе бы ты не вспомнил о ней. А ты вспомнил и даже отписал - это значит, ты постоянно думаешь о домиках для муравьев. Почти наверняка купишь в результате.
То же, что и с хомячком
>Class
пиздец. ты ебанутый ? это работа для кодомакак.
Дасаентист работает только в jupyter и никогда не пишет классы.
>МО для трейдинга
Трейдинг (особенно без инсайдов) - казино, которое методами машинного обучения в принципе не просчитываемо
Пацаны, пара часов до дедлайна. Скажите, Силует 0.55 это плохо для оценки кластеризации? Я не для кегли и не для соревнования какого-то, я тупа в последний день делаю задание для собеса.
И еще, я правильно понимаю, что силует - это единственная норм метрикка для оценки качества кластеризации, когда вообще никакие данные не размечены?
Меня в гугле забанили. В mlcource.ai тоже.
>Дасаентист работает только в jupyter и никогда не пишет классы.
Как же у меня горит с таких "датасаентистов". Эти петухи программируют хуже стажеров. Они не то что не знают паттернов - они даже не соблюдают PEP 8. Их код является наглядным пособием как не нужно делать: строки в несколько сотен символов, случайные отступы, переменные названные как попало, функции с десятками аргументов и абсолютное отсутствие комментариев. Помимо этого они постоянно пишут велосипеды. Я видел проекты где 90% кода было написано для парсинга аргументов и передачи их между функциями. Наконец, их код содержит огромное количество ошибок, ведь петушиный Jupyter не проверяет абсолютно ничего.
Мимо, ебанько
OTTWeTd3Ekk
Эта боль макаки.
Написал специально чтобы тебя стриггерить и не прогадал (значит моя модель предсказывает батхерт)
>возникла как ответ на неструктурированные блоки jupyter
Проясни мысль, плиз. Что не так со структурированностью блоков и почему эту проблему решает gridsearchcv?
Ну смотри, что есть GridSearchCV - это перебор параметров, который бы можно было бы в питоне слепить в цикле из ячеек или каким-нибудь модулем itertools .
Но поскольку ячейки выполняются только вперед или по одной, то цикл из ячеек написать вручную невозможно.
Таким образом, jupyter подталкивает к странной для обычного программиста манере выражения и в частности использованию функции GridSearchCV и прочих "плотных" выражений.
Вопрос: является ли ячееистость jupyter проблемой при дальнейшем внедрении исследования в продакшн ?
>это перебор параметров, который бы можно было бы в питоне слепить в цикле из ячеек
Так ты можешь внутри одной ячейки перебирать параметры в цикле.
Только хочу посмотреть, как будет выглядеть перебор 15 различных параметров в цикле.
>Эти петухи программируют хуже стажеров.
Они даже унитаз не в состоянии починить, прикинь лохи какие брателло.
За счет чего ты хочешь выигрыш по скорости получить? 100% времени уходит на обучение модельки и валидацию все равно.
Там просто нет места для оптимизации.
>Они даже унитаз не в состоянии починить, прикинь лохи какие брателло.
Твоя аналогия неправильная, поскольку машоб это тоже программирование, а починка унитазов - нет.
Я распознаю, какие-то изображения. Например, номера домов.
Пусть я обучил на каком-то датасете.
Могу я впоследствии дообучить нейросетьили не нейросеть, когда у меня появилось ещё дополнение к датасету?
Или надо заново переобучать?
Сколько занимает обучение заново?
Что можно использовать в такой задаче?
Я новичок в этом всём.
>Могу я впоследствии дообучить нейросеть
Да. Используешь те же веса, дообучаешь.
>Сколько занимает обучение заново?
Чуть больше, чем в первый раз — у тебя же датасет увеличился. Но нахуя, если можно дообучить за меньшее время?
>Что можно использовать в такой задаче?
Google + RTFM
Ну хуй ево знает, я когда однажды перепутал и вместо катбустовского гридсёрча в склёрновский его запихнул он работал в разы дольше.
>Или надо заново переобучать?
Всегда лучше обучать заново. Это как язык учить - ребенок делает это быстрее и проще, потому что нейросеть нулевая.
>Сколько занимает обучение заново?
Гугли такую инфу, никто не знает, что у тебя за архитектура и датасет. Примерно часов 8.
https://new-retail.ru/novosti/retail/v_shveytsarii_svarili_pivo_po_retseptu_sozdannomu_iskusstvennym_intellektom7252/
Разные, конечно. Вообще, нейроночки можно научить и рецепты всякого хрючева генерировать, странно что еще никто не придумал, рецептов еды существует побольше рецептов пивчанского. Это ж стартап на миллиард, лол.
> 300 мл сока жарить в 500 мл воды, добавить спирт.
> Спелые кишки промыть. В банку. Красные
> бобки откинуть, огонь отварить и
> поставить в холодильнике.
Квинтэссенция "генерации текстов на естественном языке"
Можно ли берт использовать для генерации? Например, подать ему строку "a b c <blank>", он для <blank> предскажет "x", дальше подавать "a b c x <blank>"? Насколько я понимаю, так гпт и работает. Или качество говном будет?
Да, я сиранул маленько, в xlnet нормально расписана.
Кстати, вот тут обсуждается про использование для генерации https://ai.stackexchange.com/questions/9141/can-bert-be-used-for-sentence-generating-tasks - вроде как получается не слишком хорошо.
Берт - денойзер (a _ c _ e -> a b c d e) , гпт2 - авторегрессор (a b c _ -> d). Денойзер во многом удобнее тренировать и запускать, но раз от гугла не видно ничего подобного GPT3, значит действительно хорошо не получилось
https://www.youtube.com/watch?v=w-0NdY8y-4Y
Орнул с этих диванов
>- Валера рассказал о своем переезде в Facebook и чем он теперь будет заниматься
Ха-ха. Пиздел на митапах и интервью рандомные баззворды, подслушанные у коллег, надрочил кагл на конторском железе, высидел положенный срок и съебал в закат ради новой строчки в резюме.
мне нужно, чтобы провести нормализацию нового датасета и запихнуть его потом обратно. Остальные признаки это OneHotEncoder-вектора их не надо нормализовывать. По существу можешь ответить?
То есть тебе старый датасет нужен чтобы просто матожидание и дисперсию у части признаков найти?
1) Случайная подвыборка признаков x100 раз
2) Обучаешь простую модельку, смотришь на feature importance, отбираешь по нему топ сколько-то признаков
Но первое лучше второго
>Но первое лучше второго
Ага, незаметно для себя оверфитнуться на тестовом сете - классика блядь
Для этого отдельный валидационный сет само собой можно выделить.
Но можно насрать на кукарекание статистиков-петухов и попробовать, попробовать ничего не мешает.
да нет. Я не про уменьшение размерности. Мне просто нужно из датасета на 300 столбцов вытащить некоторый конкретные столбцы и сделать из них датасет. Я пытаюсь просто присвоить переменной значение, но выходит ошибка. понимаю, что это должно быть элементарно и я тупой.
Ты еще скажи, что у меня от персонажей типа ксюши собчак или доктора курпатова горит. Эти люди просто существуют и добиваются успеха единственным им доступным способом, а мое дело - предупредить анона о том, что это не человек, а человекоподобное существо, и попытка слушать подобное существо ни к чему хорошему не приведет. При чем предупредить не тебя - до тебя это с первого раза не дошло и не дойдет, а остальных. Даже если ты хочешь стать таким же - делай то, что он делает, а не то, что он говорит.
>мое дело - предупредить анона о том, что это не человек, а человекоподобное существо
>не тебя - до тебя это с первого раза не дошло и не дойдет, а остальных
Господи, каких только пёрлов не выдают горящие жопы бичар здешних, пиздец
Ничё не значит! И он ничё не взял всё наболтал и золото дали! Ну или омежек подрядил которые ему всё зарешали! Покайтесь!!!
Регулярно я вижу горящие жопы только у подобных тебе. Расписал, что какой-то чел с ютуба нарциссичный балабол - не, в машобе нарциссов и балаболов не бывает, надо срочно поспорить и доказать анониму, об уровне которого ты не знаешь нихуя, что он просто завидующий бичара.
Relying on driver to perform ptx compilation.
Setting XLA_FLAGS=--xla_gpu_cuda_data_dir=/path/to/cuda or modifying $PATH can be used to set the location of ptxas
This message will only be logged once.
и
Internal: Invoking GPU asm compilation is supported on Cuda non-Windows platforms only
Relying on driver to perform ptx compilation.
Modify $PATH to customize ptxas location.
This message will be only logged once.
Гуглил там почти все ишью открытые и решения там нет, кроме отката на совсем старые версии
Еще есть версии типа прописать переменные среды, но это все сделано
Ну раз там нет, значит нет, ставь бубунту
>кроме отката на совсем старые версии
А в чем проблема? Тф2 нужен если у тебя RTX карта разве что, mixed precision трейнинг делать. А так можно на 1.14 жить спокойно, АПИ они все равно сломают еще 10 раз, пока ты научишься всему
Ну я только вкатываюсь в практику после теории
А если проблема только в этом, то на том же кегле или колабе все должно быть норм?
Бубунту ставить не очень хочется, так как на мой ноут нет софта под линукс и многие фишечки теряются
Поставь дуалбут.
Читай, как индексировать датафреймы.
Для вкатывания тебе и первая версия сойдет, главное помни, что во второй версии керас стал основным API, соответственно изучать надо керас.
>А если проблема только в этом, то на том же кегле или колабе все должно быть норм?
Конечно. Очевидно это очередной баг для страдания вендоблядей, который им там лень фиксить. Я не читал портянку фикса на гитхабе, но вангую, что он фиксится пересборкой tf из исходников либо (все-таки почитал) какими-то симлинками.
Колаб вообще с выпуском нового поколения нвидии расщедрился и мне только что выдал T4, а это что-то уровня 2070 с 15 гигабайтами памяти. Вряд ли у тебя настолько хороший ноутбук, так что для обучения колаб очень хорош.
Там другой вопрос, у меня датасет картинок, примерно на 4гб, пишут что колаб очень долго подгружает эти картинки из физической памяти и крутость GPU немного теряется в моей задаче.
Писали про переформатирование в h5, но я в этом еще не разобрался
В колабе не знаю, а на ноуте 1660ti
T4 в колабе
Сделай хранилище, которое будет подгружать картинки по мере обучения. 4гб вполне влезет в память, которую выдаёт колаб.
А куда копать, подскажешь? Я просто залил все это на гугл диск и оттуда открываю.
Еще у одного не бомбит, лол. Где я писал, что наболтал? Ну золото и золото. Вопрос не в золоте, а как оно выдрачивается.
1. Убеждаешь начальство, что участие в кагле - ниибаца повысит престиж конторы, все зумерки косяками пойдут батрачить за копейки именно у них, а не в яндексе. И ШАД еще свой нужен, че мы как лохи
2. За счет железа и рабочей силы фирмы берешь золото, дальше ездишь по конференциям и светишь еблом - мол, престиж, еблом нужно светить, как иначе зумерков нанимать
3. Выжав все что можно из пятерочки в плане торговли еблом, съебываешь, оставив проекты этим самым омежкам и нанятым зумеркам
Комбинация - мое почтение
Основная проблема колаба в том, что он для обучения и гугл банит тех, кто тренирует сетки долго. 4 гб довольно здоровый датасет, не знаю, не забанят ли тебя.
А так если хочешь обучать на винде, ставь tf 1.14 или даже 1.9 и не еби мозг. Единственное, с fp16 обучением будет не так эффективно, но тебе будет проще потерпеть подольше и потренить в fp32, чем пытаться его включить и настроить. Алсо, ноутбучная видюха может и коньки отбросить от долгого обучения, озаботься охлаждением
>4 гб довольно здоровый датасет
Для картинок это очень мало, можно и без видеокарты тренировать.
С реальными данными просто работаю впервые, до этого было что-то размера циферок из мниста
>Хуя ты специалист, сложность модели рассчитываешь исходя из размера датасета
Скорость обучения обратно пропорциональна размеру датасета независимо от модели. Ну и саму модель тоже выбирают исходя из имеющегося датасета. Если данных мало, то при использовании большой модели очень быстро начнется оверфит.
>Скорость обучения обратно пропорциональна размеру датасета независимо от модели
Не обязательно. Возьми терабайт белых и черных картинок - данных будет много, а реальное распределение очень простое и выучится за 0.001% эпохи.
Если утрировать не так сильно, то есть разница, отличать котов от собак или одного кота от другого кота. При одном и том же размере датасета в первом случае ты быстрее выйдешь на хороший перформанс. То есть пришел анон, не сказал вообще нихуя о том, что ему нужно, какой у него датасет (и даже глядя на сам датасет в тысячи картинок, хер ты угадаешь, насколько хорошо пойдет обучение, а тут просто размер), пришел анон, просто сказал его размер, и ты уже готов со своей экспертизой. При чем она довольно маразматична сама по себе.
Вот я беру датасет на 40 гигов и обучаю его за день. Датасет на 4 гигов, составленный из рандомного подможества этого датасета, обучится за 2 часа что ли? Нихуя, тот же день будет обучаться. Просто эпох будет не 10, а 100.
>Если данных мало, то при использовании большой модели очень быстро начнется оверфит.
Регуляризация и аугментация тебе на что дана? Кто вообще в 2020 году кормит непосредственно датасет нейронке, да еще так, чтобы она заметно оверфитила.
>То есть пришел анон, не сказал вообще нихуя о том, что ему нужно, какой у него датасет (и даже глядя на сам датасет в тысячи картинок, хер ты угадаешь, насколько хорошо пойдет обучение, а тут просто размер)
4Гб (картинок) - это просто смешной размер данных, и здесь уже неважно, из чего конкретно он состоит. Исходя из размера данных можно предсказать максимальный размер модели и количество эпох в худшем случае.
У анона 1660ti, на которой одна эпоха должна занять от силы секунд 30. Даже если запустить тренировку на 100 эпох, то она должна закончиться меньше чем за час. Колаб при таком датасете дергать не нужно.
>Регуляризация и аугментация тебе на что дана
>Кто вообще в 2020 году кормит непосредственно датасет нейронке, да еще так, чтобы она заметно оверфитила.
Они помогают, но если данных действительно недостаточно, то нейронка будет оверфитить в любом случае, независимо от изъебов с регуляризацией/аугментацией.
То есть сейчас уже не нулевые и подход другой? Я просто думал что если у человека есть воприятие цвета то это дает свои профиты.
> 4Гб (картинок) - это просто смешной размер данных
> У анона 1660ti, на которой одна эпоха должна занять от силы секунд 30
>ESRGAN с 2070 приходится двое суток обучать на 3.5гб сэте, лучше — дольше
Бля, палкой бы тебя пиздануть, эксперт. Так, для профилактики кукареков.
>ESRGAN с 2070 приходится двое суток обучать
>Enhanced Super-Resolution Generative Adversarial Networks
>Generative Adversarial Networks
Про то, что для тренировки генеративных сетей нужно на 1-3 порядка больше времени, ты, конечно, умолчал.
Раньше на нем карьеру можно было сделать. Сидишь себе, дрочишь безрезультатно что-то, а когда тебя спрашивают, мол, ну когда нормально будет работать? Разводишь руками: задача сложная.
нет, там тоже ебли не мало будет, даже не считая что это уже убунту для ебли.
а разве не нужно предварительно обрабатывать картинки перед нейросетью для более легкого последующего обучения?
Смотря что ты подразумеваешь под классическим CV. Многие путают. Есть невмирающая классика которая НЕ является CV - это image processing. Это знать нужно как свои 5 пальцев. Если ты не знаешь, как работает фильтр sharpen в фотошопе - немедленно покинь тред.
Но CV он вообще не про это. Вот тебе цитата из вики:
Image processing and image analysis tend to focus on 2D images, how to transform one image to another, e.g., by pixel-wise operations such as contrast enhancement, local operations such as edge extraction or noise removal, or geometrical transformations such as rotating the image. This characterization implies that image processing/analysis neither require assumptions nor produce interpretations about the image content.
Computer vision includes 3D analysis from 2D images. This analyzes the 3D scene projected onto one or several images, e.g., how to reconstruct structure or other information about the 3D scene from one or several images. Computer vision often relies on more or less complex assumptions about the scene depicted in an image.
Machine vision is the process of applying a range of technologies & methods to provide imaging-based automatic inspection, process control and robot guidance[22] in industrial applications.[20] Machine vision tends to focus on applications, mainly in manufacturing, e.g., vision-based robots and systems for vision-based inspection, measurement, or picking (such as bin picking[23]). This implies that image sensor technologies and control theory often are integrated with the processing of image data to control a robot and that real-time processing is emphasised by means of efficient implementations in hardware and software. It also implies that the external conditions such as lighting can be and are often more controlled in machine vision than they are in general computer vision, which can enable the use of different algorithms.
There is also a field called imaging which primarily focuses on the process of producing images, but sometimes also deals with processing and analysis of images. For example, medical imaging includes substantial work on the analysis of image data in medical applications.
Finally, pattern recognition is a field which uses various methods to extract information from signals in general, mainly based on statistical approaches and artificial neural networks. A significant part of this field is devoted to applying these methods to image data.
В общем, image processing знать нужно. Популярные методы в CV типа SIFT - тоже, потому что приемы типа пирамид и инвариантных трансформаций - понимать очень полезно для общего развития. Но тонкости знать уже не нужно, для этого есть диды, которые унесут свои навыки и рабочие места в могилу.
Классический CV в принципе еще нужен, потому что если алгоритм из нулевых справляется, нахуя что-то выдумывать.
Смотря что ты подразумеваешь под классическим CV. Многие путают. Есть невмирающая классика которая НЕ является CV - это image processing. Это знать нужно как свои 5 пальцев. Если ты не знаешь, как работает фильтр sharpen в фотошопе - немедленно покинь тред.
Но CV он вообще не про это. Вот тебе цитата из вики:
Image processing and image analysis tend to focus on 2D images, how to transform one image to another, e.g., by pixel-wise operations such as contrast enhancement, local operations such as edge extraction or noise removal, or geometrical transformations such as rotating the image. This characterization implies that image processing/analysis neither require assumptions nor produce interpretations about the image content.
Computer vision includes 3D analysis from 2D images. This analyzes the 3D scene projected onto one or several images, e.g., how to reconstruct structure or other information about the 3D scene from one or several images. Computer vision often relies on more or less complex assumptions about the scene depicted in an image.
Machine vision is the process of applying a range of technologies & methods to provide imaging-based automatic inspection, process control and robot guidance[22] in industrial applications.[20] Machine vision tends to focus on applications, mainly in manufacturing, e.g., vision-based robots and systems for vision-based inspection, measurement, or picking (such as bin picking[23]). This implies that image sensor technologies and control theory often are integrated with the processing of image data to control a robot and that real-time processing is emphasised by means of efficient implementations in hardware and software. It also implies that the external conditions such as lighting can be and are often more controlled in machine vision than they are in general computer vision, which can enable the use of different algorithms.
There is also a field called imaging which primarily focuses on the process of producing images, but sometimes also deals with processing and analysis of images. For example, medical imaging includes substantial work on the analysis of image data in medical applications.
Finally, pattern recognition is a field which uses various methods to extract information from signals in general, mainly based on statistical approaches and artificial neural networks. A significant part of this field is devoted to applying these methods to image data.
В общем, image processing знать нужно. Популярные методы в CV типа SIFT - тоже, потому что приемы типа пирамид и инвариантных трансформаций - понимать очень полезно для общего развития. Но тонкости знать уже не нужно, для этого есть диды, которые унесут свои навыки и рабочие места в могилу.
Классический CV в принципе еще нужен, потому что если алгоритм из нулевых справляется, нахуя что-то выдумывать.
>12 000 кулинарных рецептов на русском языке
Так естественно, нихуя не получится с таким количеством примеров.
Есть же батчнорм
По-моему просто модель говно полное. Нужны модели, способные в построение логических цепочек для анализа чего-либо.
А мне нужно чтобы ничего не делать, а все было.
>Метод обратного распространения не предлагать, не работает в циклических направленных графах.
back propagation in time работает
То есть ты берешь свой граф с циклами, пускаешь данные на его вход и начинаешь выписывать ноды, которые задействуются причино-следственным образом в каждый момент времени. В случае RNN у которого выход замкнут на вход, будет пикрелейтед, но вообще это универсальный способ, потому что причинно-следственные связи всегда ацикличны в нашей реальности.
Таким образом ты получаешь новый, уже ациклический граф, эквивалентный графу с циклами, в котором ноды будут шерить свои веса со своими аналогами из прошлого и будущего.
Далее все упирается в то, насколько длинную цепочку такого разворачивания ты можешь себе позволить, потому что вся эта ебола, в которой у тебя один и тот же появляется в разных местах, крайне недружественна к железу. Скорее всего проще забить хер на шеринг весов и подобную ациклическую йобу обучать уже как стандартную feedforward сеть, работающую с последовательностями.
Про спайковые вообще не в курсе. По идее спайковый нейрон - это дискретизация диффура, решаемая, например, эйлером. Соответственно такое дискретное решение может быть теоретически нодой в бэкпропагейшене (просто помимо стейта нужно еще помнить стейт в предыдущий момент времени, чтобы посчитать производную), но я думаю эффективность такого решения вообще как у хлебушка.
Я не вижу большого смысла в спайковых сетях на текущем железе, ведь частоты и фазы спайков все равно кодируют какие-то вещи, которые можно закодировать просто либо числами (возможно даже комплексными).
>Я не вижу большого смысла в спайковых сетях
Одна из областей, где можно годами заниматься какой-то заумно выглядящей мутью, писать статьи, разрабатывать что-то, получать финансирование, не имея при этом никаких результатов.
Ну ты любую несойбойскую науку описываешь. Пусть занимаются, всяко лучше, чем в геополитические многоходовочки финансировать.
Я про практический смысл - пусть делают железку и портируют на нее слесарьплов, а то эмулировать спайки на железе, которое считает dense матрицы явно бесперспективно с практической точки зрения.
Давно уже есть: https://en.wikipedia.org/wiki/Cognitive_computer#IBM_TrueNorth_chip
Кроме ее разработчиков никому не нужно.
Нормально ли решаются задачи speech recognition и в частности распознавание владельца речи с помощью deep learning, или в вопросах звука без мануальной работы с фичами никак?
я очень далёк от ML/DL, но сейчас надо вкатиться, соре если вопрос тупой
Ммм результаты результатики застакай ещё слоёв и наверни атеншена без смс чтобы заранжировать рекламу на 0.001% лучше зачем заниматься чем-то ещё реальные результаты реальных успех мой друг попробовал теперь получает 6 figures ЕЖЕДНЕВНО скачать
Очевидный pussypass очевиден
ебанутый вопрос. причем тут deep learning?
deep learning - по определению, это любая нейросеть с ГЛУБОКИМ слоем. То есть, любая нейросеть.
Ты имел ввиду следует ли использовать готовые сети-эмбединги вместо того чтобы конструировать всякие спектрограммы?
Ну хуй знает.
Я что-то и не знаю таких ембедингов.
Какой-нибудь снэпчат сопрет за три месяца и соснешь. В картинках ща жизни уже нет
Ожидаемо, ничего полезного она не сказала - все видео сплошная вода. Скорее всего она чистит вилкой данные, а в маняфантазиях считает себя senior data scientist.
>Скорее всего она чистит вилкой данные, а в маняфантазиях считает себя senior data scientist.
Я тебе кое-что скажу, ты только со стула не падай. Senior data scientist точно так же вилкой чистит данные 95% своего времени.
>Senior data scientist точно так же вилкой чистит данные 95% своего времени
Senior data scientist с кодом/данными уже практически не работает.
И подскакивают.
001011
ответ должны получить любой из этих:
001000
000010
000001
не получается такому научить.
что делать?
зачем нейроны там где достаточно одной процессорной инструкции xor ?
data scientist не работает с данными. Охуенно
немного разобрался.
шум из нулей и едениц стремится к этой хуйне, т.к. из возможных правильных ответов я выбираю первый попавшийся.
если учить на рандомном ответе - на выходе прямая.
такое ощущение что слои не помогут.
Обучи RL на этом всём.
>такое ощущение что слои не помогут.
почему бы не попробовать?
Однослойная сеть не сможет обучиться XOR.
Это вроде математически доказано.
типа ты такой крутой плюсовик или фронтедщик решил повыебываться своей полезностью и быть ПМ над датасаентистами?
Ну уж нет.
Если ты не понимаешь что они делают - они тебя наебут.
Или разберись или не лезь.
https://www.youtube.com/watch?v=fJYcl-EF-0s
>чтобы написанное датасаентистами распараллеливалось на видеокарты и не вылетало с ошибкой от перерасхода памяти
Нормальные датасаентисты это умеют. А если не умеют, то это петухи, а не датасаентисты.
Макакен, плиз.
Учиться просто надо было в своё время, а не сайтики за мелкий прайс "кококо я уже зарабатываю!!" клепать.
>Учиться просто надо было в своё время
Аналогично можно сказать про ко-ко-ко-саентистов, которые как минимум имеют профильную вышку. При таком раскладе можно было хоть как-то научиться программировать, и это не говоря про стажировки/фриланс. При этом датасаентисты зачастую не знают даже своей предметной области. Принцип работы SOTA моделей не понимают, математику не знают, алгоритмы вне стандартного набора вкатывальщика - тоже. Ничего принципиально нового такой датасаентист не сделает, нормальный код не напишет. Остается только трясти черный ящик и извиняться перед барином, когда натрясти нормальный результат не получилось.
Я и есть джун-датасциентист, который понял, что не знает, как работать с 4 видеокартами.
>При этом датасаентисты зачастую не знают даже своей предметной области.
Левый нижний угол это ML researcher, а не "датасаентист"/ML engineer. Хватит утешать себя, мань.
потомучто мои данные это шум из нулей едениц без какой либо логики, аппроксимация это прямая линия со значениями:
0.1 - если 10% едениц
0.5 - если 50% едениц и т.д.
кол-во скрытых слоев 1 или 6 приводят к одинаковому результату ( 6 слоев через раз учится не хочет)
>>27314
Softmax(x) ну вроде это другое
>архитектуру приложений с МО
>делать так, чтобы написанное датасаентистами распараллеливалось на видеокарты
Это не архитектура.
По архитектуре - у тебя всё должно описываться декларативным конфигом, а код должен поддерживать обратную совместимость этих конфигов. Тогда не будет проблем с воспроизводимостью, даже если сам код будет жуткой лапшой из if'ов - потому что редко какой скрипт для тренировки будет превышать 10к строк. Конфиги эти можно складывать в монгу, пайплайны сохранять в dvc, из монги же воркеры (по одному на инстанс гпу) могут доставать архитектуры для гридсерча. Впрочем, сейчас везде 80-е и каждый пилит кто во что горазд.
А то, что говоришь, это никакая не архитектура, а банальное знание инструментов. Читай мануалы по tf2, kubeflow, тренируйся на самых дешевых инстансах на AWS/google cloud. Судя по сайту, гугл ща выдает бомже-T4 за 11 центов в час.
>>27585
>как работать с 4 видеокартами.
На нулевом уровне - используешь какой-нибудь tf.distribute.MirroredStrategy , а фрейморк сам все тебе сделает. Более продвинутый уровень - это подбор железа для сервера (все pci express x666, nvlink'и и прочая еботень - не очень в курсе), затем - писать кастомный код для быстрого обмена данными по 10 гб сети.
Ведь нельзя при подбрасывание монеты на основании отклонения выпадения одной стороны от другой сделать заключение, что монета плохая?
Ну в том смысле, что при k раз подбрасывании может и какая-нибудь решка k раз выпасть.
> Ведь нельзя при подбрасывание монеты на основании отклонения выпадения одной стороны от другой сделать заключение, что монета плохая?
Можно. При большом количестве подбрасываний распределение вероятностей будет отличаться от нормального. Это не доказывает, что дело в монете, возможно виноват подбрасывающий.
>При большом количестве подбрасываний распределение вероятностей будет отличаться от нормального.
Ну, как бы понятно, что большая часть возможных комбинацией даст как раз результат 50% +- 10-15%. Но опять-таки это ничего про саму монету не говорит.
И даже если мы 100 раз кидаем монету, только решка всё равно может выпасть с вероятностью 1/2^100, что, хоть и мало, но отлично от 0.
Т.е. на основании только результатов выпадения нельзя однозначно сказать про качество монеты нужно взвешивание и хим. анализ.
Поправь, пожалуйста.
> нельзя однозначно сказать про качество монеты нужно взвешивание и хим. анализ.
Можно протестировать на выборке разных людей. Если на большой выборке распределение так же будет отличаться от нормального, то дело в монете.
>Можно протестировать на выборке разных людей.
Но в рамках "одного человека" или одной серии подбрасываний это очень сложно?
>Ведь нельзя при подбрасывание монеты на основании отклонения выпадения одной стороны от другой сделать заключение, что монета плохая?
Со 100% вероятностью - нет, но чем больше у тебя k, тем более уверенным ты будешь (типа, ответ звучит так: монета - честная с вероятностью 99,9999999%). Точно так же работают доказательства в какой-нибудь физике элементарных частиц. То есть, возможно, что этот пук на графике - не бозон хиггса, но вероятность этого крайне мала.
Например, если выпало 1 - случайность такого события 1/2, [1,1] - 1/4. 10 единиц подряд выпадают в одном случае из двух тысяч, а 16 - в одном из 32 миллионов. Соответственно при k=1000 получится, что вероятность того, что последовательность - не случайная сравнима с числами типа 1/число_атомов_во_вселенной, и практически ты сможешь считать честность доказанной. Для реальных последовательностей тесты посложнее, но принципиально такие же - дают ответ с некоторой вероятностью.
>но чем больше у тебя k,
Каково то k, после которого со значительной долей уверенности можно сказать, что тут что-то не то?
На это тебе ответит только тот, кто с этим дрочится каждый день.
Берешь тест https://duckduckgo.com/?q=тестирование+последовательностей+на+случайность
Скармливаешь ему последовательность. Он выдаст тебе вероятность. Поиграйся с длинами последовательностей - поймешь, какое k тебя устраивает.
Навскидку, я думаю 1000 бросков нормальная последовательность. Алсо, монетки никогда идеальными не бывают, если тебе нужно что-то идеальное, используй квантовую механику.
> Но в рамках "одного человека" или одной серии подбрасываний это очень сложно?
В рамках одного человека это ничего не доказывает о монете. Так как дело может быть в конкретном человеке.
Это зависит от того, что ты подразумеваешь под "сделать заключение". Абсолютно точно доказать невозможно, а дальше гугли статистическую проверку гипотез.
Можно сказать всё что угодно.
Но обычно делают так: если это твоё M выходит за пределы доверительного интервала, то говорят что наиболее вероятно что с монетой что-то не так, если не выходит - то нельзя сказать, бросают дальше. Бросили миллион раз и не получили расхождений достаточных для выхода за этот интервал - принимают что монета честная.
Ну вроде как тут классика потянет, но вот мб есть какие-то подводные? В общем, буду благодарен за ответ
>Ведь нельзя при подбрасывание монеты на основании отклонения выпадения одной стороны от другой сделать заключение, что монета плохая?
Можно, с какой-то вероятностью. Или доверительный интервал найти. Вообще, чем-то напомнило sunrise problem, которая у лапласа возникла. Так что зависит от того, какое у тебя априорное знание о монетках.
>>28002
>Ну вроде как тут классика потянет, но вот мб есть какие-то подводные?
Если потянет - то используй. Из подводных - может не потянет, тогда не используй.
Ну так ты ничего не сказал о задаче.
Как быстро надо детектить коробки, надо ли их различать между собой, насколько стандартизирован вид на коробки.
Рекомендации есть - используй нейронки. Если классика потянет, значит и работающий на кофемолках mobilenet в разрешении 150х150 потянет.
Подводных куча, но ты и инфы о задаче не дал нихуя.
>Если потянет - то используй.
Нахуй надо. Рано или поздно требования изменится и весь алгоритм превратится в тыкву.
Единственное оправдание - это жесткий лимит на вычислительные ресурсы. Но на заводе вряд ли таковой имеется
А почему это всегда альтернатива, типа нельзя скомбинировать и то и другое и бустинг сверху накинуть
Нахуя, это же завод, а не кагл
>>28018
а ну сорян
Ну короче коробок несколько штук более-менее стандатизированных
Детектить нужно следюущим образом: видим коробку, говоритм роботу где она находится (там короче нехитрый портальный робот, который в плоскости перемещается и хватает коробки).
Ну и собсна все, к кадрам нет каких то требований тк работа: увидел, подъехал, схватил, уехал. Почему задаю вопрос - не уверен, что могу обеспечить в этом всем вот пресете постоянное и не меняющееся освещение, да и в целом что сделать, если фичи ебану уевые и он будет фосл позитив мне хуярить
крутое замечание. Но в целом у нас там более менее норм пк
и кст да, про алгоритм, который может изменится тоже верно
но опять же, это завод, ебана рот, мы там хватам коробки уже год десятый (точнеез заставляем людей это делать)
это ведь 3д и облака точек и все дела. Тоже вопрос о границах применения , как бы допольнительные фичи, в случае если мы допом имеем карту глубит, будут иметься. В такой задаче это оверинжениринг или оправдано?
>да и в целом что сделать, если фичи ебану уевые и он будет фосл позитив мне хуярить
Будут по улицам ходить роботы и хватать людей. Придется отправлять в прошлое жидкого терминатора, чтобы он тебя убил.
>не уверен, что могу обеспечить в этом всем вот пресете постоянное и не меняющееся освещение
Ты можешь использовать инфракрасную подсветку от ебла самой камеры, если она будет достаточно яркой, то освещение вокруг вообще будет давать мизерный вклад.
Мы знаешь какие йобы проектировали, узкополосный лазер на 1 Вт херачит в полную силу в течение 1 мс и отключается, на матрице стоит фильтр настроенный только на полосу этого лазера, то есть выбирающий примерно 1% всего видимого света, в итоге в этот краткий момент лазер по освещению он перебивает все возможные источники, кроме прямого солнца, но и прямое солнце тоже просто видно, оно не слепит.
А на объекте стоит зеркало, которое выглядит как белая точка. В таком формате не то, что нейронки, 10 МГц микроконтроллер справляется с обработкой в риалтайме - тупо точки определенной площади нашел, контуры выделил, и вперед.
Но с нейронками вся эта ебля уходит в прошлое, потому что они и так работают.
бля вот это тру инжениринг
ну короче общий такой совет - забить на классику по-максимуму (судя по последней фразе)
Кто готов помочь и ответить на N вопросов?
>Но с нейронками вся эта ебля уходит в прошлое, потому что они и так работают
Ага, держи карман шире
https://www.youtube.com/watch?v=u_11jbdQA-8
Зумер, научись русскому языку, чтобы формулировать свои мысли, ссылочка на говновидео - это не твои мысли
Бумерок, не гори, Антошка наш всё как надо пояснил, зачем коверкать мысли если можно просто сослаться на источник?
Чтобы это был разговор с тобой, а не с копипастой
Алсо, обычно если где-то нет самого стандарта, обычно рядом лежит его бесплатный черновик с минимальными различиями от финальной версии
Есть сигнал, в котором иногда проскакивают события, которые надо детектить. Сигнала МНОГО, нужных событий в нем десятые (если не сотые) доли процента. Есть хуёвая модель, которая должна детектить события. Как мне правильно намайнить событий из сигнала, чтобы дообучить модельку?
Единственное, что приходит в голову - прогнать сигнал через модель с пониженным порогом срабатывания и разметить руками то что намайнится. Но это плохая идея, так как мы таким макаром не сможем собрать сложные случаи.
Дурак ты боцман, Антоха так себе клиентуру набивает.
Спасибо.
Ты сам-то как эти события детектируешь? Глазами на графике?
Я просто постоянно сука гуглю и ворую из своих старых тетрадок, никак не могу запомнить синтаксис, потому что есть миллиарды вариантов сделать ту или иную операцию и постоянно вылетает из головы.
Это норма или я такой тупой?
Построение графиков в матплоте - отдельный ужас .
>Блять, аноны, как вы запоминаете все возможности пандуса, numpy и т.д?
Никак. Просто пользуешься чем надо, и оно само со временем запоминается. А что не запоминается - то гуглишь, пока не запомнишь.
>Это норма или я такой тупой?
Если пользуешься лишь изредка, то неудивительно.
Я с табличными данными практически не работаю и графики тоже строю редко, поэтому в пандусе и матплотлибе знаю только самые базовые вещи. В нампае запоминать особо нечего.
Распечатай себе что-нибудь.
Заебали вчерашние успешные студенты.
Не знают азов как программисты усваивают такой объем информации. А НИКАК
Ну типа у меня есть нешифрованные поточным шифром сообщения соответствующие им данные и я хочу сделать универсальных расшифровщик двоичных протоколов в своей области.
Размер сообщений не известен, но от 2 до 15 байт.
LSTM ? Как именно? Есть ли аналогичные исследования ?
Набери в гугле "проганейм cheatsheet"
https://ai-journey.ru/contest/task02
Ебать они там на острие науки. Уровень Днепра машобчиком ещё в 70е предсказывали.
>Ключевое значение отводится именно инновационности и нестандартности используемых фичей и подходов, с помощью которых можно будет получить наиболее качественный прогноз.
Боюсь, там основная фича будет "насколько ты близкий родственник организаторов и судей". Просто наблендить нейроночек не прокатит.
На практике надо больше разбираться в области, к которой ты применяешь машоб, чем в кодинге. Классические модели в пару строк кода умещаются.
>На практике надо больше разбираться в области, к которой ты применяешь машоб, чем в кодинге. Классические модели в пару строк кода умещаются.
Ты путаешь аналитиков и машобщиков. Машобщику нужно уметь кодить, знать SOTA модели и математику хотя бы на среднем уровне, но в предметной области можно особо не разбираться.
>Классические модели в пару строк кода умещаются.
Скорее в пару сотен. А для обработки данных придется написать еще пару тысяч.
В общем обычные машобки, которые я смог найти здесь и сейчас, в паре десятков из которых есть хоть какой-то инфа о том, что я могу нихуя из них сделать - никакого профита за эту работу я не вижу. А вот в качестве альтернативы мне от чего отказывать надо - так это в том что при этом у меня все равно нет возможности.
>Ты путаешь аналитиков и машобщиков
А в чем разница? и почему ты решил что у тебя вообще будет аналитик на работе?
Разумеется, шиз, все всех обманут и обведут вокруг пальца, а ты будешь продолжать сидя на жопе негореть в треде от победителей, и ничего не делать.
Ну мне главное даже не кодинг, а чтоб что то творческое/исследовательское было, а не по шаблону
Салам братья машобщики
ну так бери и делай творческое исследование у своих знакомых, в мелком бизнесе, епта.
А в условной Пятерочке наверняка будешь клики считать.
>А в чем разница?
Аналитик все делает вручную, машобщик трясет черные ящики.
Знающих и машоб и предметную область не существует - для этого тебе придется потратить сначала 10 лет на машоб, а потом еще 10 лет на предметную область не отставая при этом от трендов в машобе, которые меняются ежегодно.
>и почему ты решил что у тебя вообще будет аналитик на работе?
Если нет аналитика, то по крайней мере есть человек из предметной области. От него ты получишь базовые навыки и понимание этой области, но экспертом и близко не станешь.
>Знающих и машоб и предметную область не существует
почему? ведь если до того никакого машоба не было, достаточно логистическую регрессию изучить - и готов машоб.
Ну да, а посмотрев пару видео на ютубе ты тут же становишься экспертом в некоторой области.
ну смотри: логистическая регрессия скажет Нужно больше золота!
На питоне ковырять вилкой данные не надо.
Решения бизнес принял.
вот и машоб.
У тебя в твоем посте сквозит презумпция равенства людей. А люди не равны. В аналитики идут как правило люди без фантазии, готовые выполнять инструкции, которые в них загрузили в универе, со слабыми скиллами программирования и изучения нового. А в машоб идут люди сильно поумнее, при чем на момент 2020 года у 0.01% есть хоть какое-то формальное образование именно в машобе, а не просто прикладная математика или вообще инженерная специальность. Поэтому знающих и машоб и предметную область дохуя.
Точно так же, как дохуя электронщиков умеет паять, а дохуя программистов могут быстро разобраться с девопс-задачами, но вот хуй из ларька по ремонту телефонов не сможет спроектировать электронный девайс, а девопс - разобраться в том, как работает квиксорт. Разный человеческий капитал.
> при чем на момент 2020 года у 0.01% есть хоть какое-то формальное образование именно в машобе, а не просто прикладная математика или вообще инженерная специальность. Поэтому знающих и машоб и предметную область дохуя.
Предметная область это как правило вообще не инженерная специальность. Экономика, маркетинг, медицина, предотвращение мошенничества и прочее. Машобщики по образованию либо кодеры, либо математики, и знания этих областей у них на нуле.
Только про кликер тут рассказывает 40летний бумер, так что зумерошизик опять обосрался.
умные люди спорят только если не договорились об терминологии.
кто для тебя Аналитик и почему он тупой?
у меня на одной из работ в должности аналитика были девочки из Зажопинсков. Анализировали видео. Путем прямого просмотра в реальном времени видеостены 16x16 камер.
А на другой чувак в должности аналитика закончил матфак и отличные документы строчил.
В этом году 2 конкурса от телеги выиграл, например. Соло. Даже на работу к ним собеседоваться предлагали потом.
>Анализировали видео. Путем прямого просмотра в реальном времени видеостены 16x16 камер.
Охранники?
1.Напряженно работаешь в Пятерочке с чужими данными
2.Случайно замечаешь, что Паша Дуров втихую объявил конкурс
3. Понимаешь, что никто про этот конкурс не слышал и заюзываешь ресурсы Пятерочки для обработки данных.
4. Решаешь там ту самую задачу разделенную на два этапа. Всем говоришь что решил аж две.
5. Увольняешься из Пятерочки
6. Проматываешь за год бабло
7. Спиваешься , скатываешься, становишься лутоманом от машоба пытаясь безрезультатно выиграть другие конкурсы.
Чет слегка проиграл. Вся предложка в его охуительных историях.
Буду рада если вы мне напишите!
мой телеграм @BQ666692000187
курс почитай сначала, но там скорее всего будет много треша совершенно тебе не нужного.
ну вот читаю, но там действительно пока что много вещей, на которых сейчас нет времени. хотелось бы конкретно по тому что я хочу.
вот я пока поняла, что мне нужно проделать 3 этапа :
1. почистить фотки от шумов, сделать их четкими
2. удалить с фотографии не интересующие меня части
3. найти и посчитать (аномалии)
может знаете какие нибудь курсы посвященные конкретно этому?
Мне тоже интересно. Раньше я делал такие вещи с помощью opencv и каскадного обучения.
почитаю спасибо.
просто тут речь идет о микроструктурах, хотелось бы что нибудь оч точное придумать, с точностью до пикселя...если такое возможно 0.0
Надеюсь ты со временем обучишься и поймешь, что pussypass не так работает.
https://github.com/okraus/DeepLoc
Он поддерживается в кликере Orange.
И это твой единственный шанс с разгону хоть что-то сделать кроме рекламирования пизды.
спасибо -__-
До пикселя нужно разметить датасет с точностью до пикселя, и использовать, например, unet, но для студенческого проекта это слишком сложно
вообще лучше данные свои показывай.
А то про deeploc написано что его на довольно мелких одиночных клетках учили.
deeploc :
>'data1' elements are cropped images of single cells (64x64) x number_of_channels flattened into vectors.
'>Index1' elements are the protein localization labels for each single cell using one hot encoding.
Сейчас расскажу главный секрет датасаентиста:
нужно взять не те фото, которые нужны, а те фото с которым результат лучше.
вот один пример аномалии - микроядро.
и вот хочется программу, в которую заливаешь несколько таких фотографий и она автоматически ищет и считает подобное.
ну и может классифицирует, если первые этапы у меня получится сделать...
Когда не знаешь, что делать, делай хороший, чистый, большой и удобный датасет. Все трясуны тебе спасибо скажут и процитируют
не знаю...мне научник утвердил идею, да и в целом пофиг на новизну, я для себя хочу научиться...
Ладно.
Просто бери и копируй все что тут написано
https://www.nature.com/articles/s41467-019-12397-x
Как видишь, 20 человек примазались к статье.
но это, как ты понимаешь, совершенный читинг и в computer science нельзя публиковать.
А чо, кстати, зря вы на мой кликер наезжали. Вот так и должен выглядеть настоящий датасаенс - просто как рядовой инструмент исследователя в любых областях. Он полностью готов классифицировать изображения.
Девочка реально заебись защитится. Результат явно будет отличаться от нулевого.
Тот самый 40летний бумер.
Почему просто не поддержать художника, который старался и рисовал?
Девочка пусть осваивает питон, тогда от ее образования хоть какой-то толк будет, устроится в пятерочку ящики трясти
>Почему еще никто не сделал нейронку, которая вотермарки убирает с пикч?
Ты для начала хотя бы забил вопрос в гугл.
https://arxiv.org/pdf/1911.07205.pdf
Вангую, что скоро будут учить школьников на информатике запускать регрессию из склерна.
страшно за бесполезно проведенные годы?
https://www.youtube.com/watch?v=NcTZoNY2V_I
https://www.thedataschool.co.uk/emily-dowling/calculate-linear-regression-line-tableau/
Будет что-то вроде "элементы статистики, комбинаторики и машинного обучения", вряд ли полезно.
И накладывает ватермарку нейронки))
>удачно замуж выйти
>за научрука
Который зарабатывает как начинающий фронтенд-макакен. Заебись удачно.
По лайту диплом и научка, а там можно бизнесмена найти. Ну или что там недавно один историк в питере устроил.
1. Будь крутым ДСером.
2. Делай много качественных моделей.
3. "kaggle stacking guide".
Впрочем, в том конкурсе я ничего не стекал, там была своя атмосфера.
Либо я не знаю уже, как тюнить модель, чтобы было хотя бы 0.8+
Максимум, что я смог выдать - это 0.77 на катбусте
>У меня закрадывается мысль, что эти черти багнули сайт
Это известная хуйня, там индусы тупа вручную считали
Надо ещё вместо бабушкина в правом нижнем углу зумера поставить
А чего все белые? Ни индусов, ни нигр. Это какой-то расизм.
почему их решения не удалят?
Там есть обсуждения, как получить 0.8 точность. Очень полезно почитать, если ты новичок.
а что книжек нет? почему я должен смотреть за рандомами случайно добившихся успеха?
А зачем советовать курс если я даже фамилию преподавателя не могу произнести?
как вообще произнести NG ?
Nехст Gенересион
> А зачем советовать курс если я даже фамилию преподавателя не могу произнести?
В любом курсе произношение фамилии преподавателя - последнее, о чем нужно беспокоиться.
> как вообще произнести NG ?
Ын. Однофамилец или что там у них президента лучшей кореюшки.
Я знаю. Это я иронизирую над тем, какие двачеры токсичные псевдоилитарии. Не могли несколько лет нормальную книжку на русском прикрепить.
Да ты сам типичный токсик и проецируешь. Книги в шапке - те, которые за несколько лет хоть кто-то из треда прочитал и спросил "а почему в шапке нет XXX". Если какой-то книги там нет - значит про нее никто не спрашивал. Никто специально книги не прячет.
А если здесь априори считают, что собеседник знает английский, это не потому что тут элитаризм какой-то разведен, а, наоборот - к тебе относятся лучше, чем ты того заслуживаешь.
Прочел от корки до корки еще до ДЛ-революции. Хорошая книга же. Столько идей, которые выглядят правильно и интуитивно.
Даже немного жаль, насколько все это бессмысленно оказалось. Биттер лессон.
Нужно на основании истории действий пользователя предсказывать, что пользователь съебал или нет. Как правильно фичеинженерить подобные связанные по юзерам потоки действий?
Пиздец, проблема.
Нет, пиздец даже метод ее решения.
Ну что тебе предложить? Сначала идешь в sql-тред спрашиваешь там про group by.
Потом в питон-треде всех достаешь.
И тд и тп.
Не быть тебе датасаентистом.
Я знаю и sql, и group by и питон. Я спрашиваю как правильно заинженерить фичи.
Сделаю я твой group by по юзеру и сделаю агрегацию в фичу "количество пуков на сайте". Плохая фича. Сделаю агрегацию по дням и получу, скажем 14 фич - количество пуков на сайте по дням. Ну так не гибко нихуя будет - пользовательское поведение может занимать больше 14 дней. Хорошо, захуячю 365 фич - количество пуков по дням. Но тогда у кучи пользователей куча фич будет пустые, а это для алгоритмов машоба нихуя не хорошо.
Поэтому я и спрашиваю как потоки пользовательских эвентов заинженерить в правильные годные датасеты.
Никто не знает заранее. Сделай то, что ты предположил и оцени что получилось.
У меня не было похожих данных, если ты такой ответ ожидал.
>У меня закрадывается мысль, что эти черти багнули сайт
Тут нет никакого бага, если есть достаточно времени и достаточно fellow indians можно просто пробить паблик: меняешь по одной строчке в сабмите и смотришь как меняется метрика, отсюда узнаёшь правильный ответ.
Чем выборка треда отличается от стандартного бизнеса ?
Вот, допустим, наблюдаю я недавно ситуацию в чате питонистов:
Приходит чувак, притаскивает условный выдуманный датасет и спрашивает как ему сделать простейшую нейронку. Дальше ему несколько человек начинают советовать бросить эту идею и использовать классику и дают ссылку на sklearn (random forest)
Вот тут тоже не понятно в чем проблема:
>>31464
По классике куча книжек весьма толковых накопилось и перевелось на русский.
>>32001
здесь тоже можно нагуглить https://www.coursera.org/learn/process-mining#syllabus
нечто не относящееся к сетям(но выглядит многообещающе)
40летний джун
5. Ну типа юмор. 40 летний чувак переодевается в айтишника. Задание такое.
> Достать лошадь из кормана
Ошибка: лошадь нельзя достать из кармана.
То игра станет намного лучше. Трансформеры очень мощны. Думаю они применимы почти везде. Надо главное датасет выбрать верный.
Алсо, как заставить трансформеры обучаться во время выполнения, как в моделях с подкреплением, и что будет, если совместить трансформеры и подкрепление? Произойдет чудо?
Бесплатная версия AI Dungeon обучена на собственном датасете.
>Трансформеры очень мощны. Думаю они применимы почти везде.
Для применимости везде их нужно сделать на пару порядков быстрее.
>AI Dungeon
Он все еще опенсорс, или уже анально огородили? На гитхабе последний коммит был в Феврале.
Я даже не знал, что он был опенсорсным когда-то. Я юзал его платную версию (семидневный триал) для доступа к GPT3.
>Я даже не знал, что он был опенсорсным когда-то.
Я начал в него играть буквально через пару дней после релиза. Он был сделан студентом и выложен на гитхаб. Изначальная версия использовала GPT-2 и была просто олицетворением определения говнокода, с кучей багов и вылетов, и я по ходу дела сам правил все это говно. Потом создатель просек что с этого можно зарабатывать, и сделал анально огороженный сервис + заменил модель на GPT-3. Старый код с гитхаба не удалил, и на том хорошо.
Собственно, это является наглядным примером того, как делаются ИИ стартапы. Студент немного потряс черный ящик, который до него натренировали Большие Дяди, приписал пару сотен строк ковнокода, по стечению обстоятельств приобрел популярность, оказавшись в нужное время в нужном месте, и теперь гребет бабло. При этом по навыкам он находится на одном уровне с местными зумерами-вкатывальщиками.
Там надо в настройках сменить модель, и плюс первые несколько абзацев генерятся специализированной GPT-2 для создания контекста и далее она же периодически включается для возврата в контекст. Но дальше уже начинается веселуха, особенно если понять, что это что-то вроде помощника по написанию рассказов, и смело править генерируемый контент.
> Друзья, а в чем заключается феномен форса нейросети ИТТ?
ИТТ? Зайди reddit.com/r/MachineLearning/ и попробуй найти там что-то не про нейросети хотя бы на первой странице. Это тебе придется объяснить, в чем заключается феномен форса нейросетей в мире.
Классика сейчас в той же ситуации, что байтоебство лет 10-15 назад: да, еще были динозавры, пишущие на C++ даже программы для банковского документооборота, и жалующиеся на тупую молодежь, которая выбирает jQuery вместо тонкостей ебли байтиков, но всем было очевидно, что тренд на подобную йобу отрицательный, байтоебство замкнулось в своей нише.
Классика будет медленно, но неотвратимо, подыхать. Ну и как бы просто скучно заниматься вещами, которые будут медленно, но неотвратимо, подыхать. Лучше заниматься перспективными вещами.
Любой школотрон может изучить квантовую теорию поля по википедии, но а) физики-ПхД не обсираются от этого; б) таких школотронов практически не встречается в природе.
Чем больше народу в области, тем лучше.
Это какой-то странный механизм компенсации. Живет такой подпивасный хуй, работает каким-нибудь байтоебом на заводе. И узнает новость - в другой стороне есть школьник, который в 18 лет натренировал нейронку и устроился на хорошую работу. Какая реакция нормального человека? Молодец школьник, круче сверстников. Какая реакция подпивасного быдла? Ко-ко-ко, нейронки - хайп, любой школьник так может, и я тоже могу, просто... не хочу
Ну окей, перефразирую :
Можно ли по объему Buzz в треде судить о делах в бизнесе?
Ведь если все начнут (начали) накапливать данные, то появится куча работы в первую очередь с классикой, а потом уже по мере роста требований к точности часть захочет нейросети. Интерпретируемости ведь нет.
Разве нет?
В общем, мне надо определиться, как вкатывальщику.
> Там надо в настройках сменить модель
Сменил.
> Но дальше уже начинается веселуха
Не начинается. Как доставал коня из кармана, так и достает. Нихрена не запоминает инвентарь, ни характеров персонажей, ни их возраста.
Для этого там есть отдельная кнопка с постоянным контекстом, туда нужно сливать подобные вещи, которые ты хочешь, чтобы висели всегда. Сам GPT-3 помнит 30к токенов насколько я помню, если факт упомянут раньше, его не будет. Ну и смело править ошибки, если они есть.
Вот только с инвентарем это не сработает. С характерами персонажей тоже. Пишешь, что персонаж остерегантся тебя, а сетка все равно выдает диалоги, будто вы друзья с детства. 4
Ебать у тебя запросы, конечно
Это языковая модель, а не чудо чудесное. Самое забавное там писать любой бред и наблюдать, как оно выкручитывается, пытаясь минимизировать бредовость текста.
А если рассматривать это как ролевуху, гейммастером должен быть ты, тогда все будет весело. Хотя 90% времени я просил разыграть сценки между вымышленными историческими персонажами из разных эпох. Так как эта йоба читала весь интернет, она знает дохуя фактов и комбинирует их весьма забавным образом
>Можно ли по объему Buzz в треде судить о делах в бизнесе?
Нет, это просто тред со своими мемами и шизиками. Суди вакансиям
>В общем, мне надо определиться, как вкатывальщику.
Занимайся тем, от чего не тошнит. Меня, например, от фразы типа "кредитный скоринг" в сон клонит, а картинки-звуки - норм. А у кого-то действительно батхерт от неинтерпретируемых моделей, хотя по мне никакой машоб нормально не интерпретируется просто по своей природе
Для вката любая тема норм, которая потом хорошо выглядит в резюме.
Просто к каждому тексту от пользователя добавляешь пару предложений с описанием инвентаря и характеров. Ну или можно гптшный трансформер модифицировать немножко для такого.
Медицинская тематика это однозначный вин.
Если есть единственное наблюдение u =4, можно ли что-то сказать о N?
Можно сказать что иди ты нахуй со своей домашкой для парашной конторы
Вы видите копию треда, сохраненную 9 апреля 2021 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.