Это копия, сохраненная 29 января 2021 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее keras и pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Остальные сидят ИТТ
Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus.
Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/
Почему python?
Исторически сложилось
Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет
Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python
В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials
Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.
Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел
Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся
Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/
Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском
Где ещё можно поговорить про анализ данных?
http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. На март 2020 Google Colab дает бесплатно аналог GPU среднего ценового уровня (что-то между 1050 и 1080) на несколько часов с возможностью продления.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь
Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущий:
https://2ch.hk/pr/res/1704037.html (М)
https://2ch.hk/pr/res/1665515.html (М)
> AutoML-Zero has already discovered neural networks, back-propagation, data-augmentation etc. from scratch within 12 hrs on a single CPU. It can adapt to lack of training data, required training speed and tasks.
https://bigthink.com/surprising-science/automl?rebelltitem=2#rebelltitem2
Ссылочка на архив: https://arxiv.org/abs/2003.03384
освятил
2020 год, решена основная проблема человечества как превратить зебру в лошадь и наоборот
если бы еще полоски оставались на тех же местах от кадра к кадру. Т.е. норм было бы, если бы оно генерировало одну конкретную зебру для данной сессии, а потом накладывало именно её на имеющуюся лошадь
Але, подборка весов любой нейрон очки на любом датасете это брутфорс, только направленный в сторону уменьшения лосса.
Что-то ты мало выложил
Алгоритм облажался
https://twitter.com/bradpwyble/status/1274380641644294150
Ле Кун попробовал объяснить, почему (потому что в датасете были одни белые лица) и вызвал СЖВ шитшторм ее подсосов
https://twitter.com/ylecun/status/1274782757907030016
https://twitter.com/ylecun/status/1275176322617290752
https://twitter.com/ylecun/status/1275162528511860737
В общем, ничего нового
А еще во втором твите он ее практически приглашает в свой отдел (где оочень жирные ЗП, ориентировочно $500к+). Вот так ноунейм "активистка" подняла себя за волосы на подиум. И это еще не конец, бгг; на реддите уже говорят, что это мол и не извинение вовсе. Ведь он не раскаялся в своем грехе, а только в том, что "the way I communicated here became the story."
Еще погоди, его вполне могут кэнсельнуть и на его место нанять @timnitGebru. Которую ФБ уволить не сможет уже НИКОГДА под страхом полной ликвидации.
Если очень повезет, увидим как ЛеКуна лишат Тьюринговской премии, ммм.
у нвидии есть похожая задача для создания карты глубин в видео, чтобы они не скакали от кадра к кадру, там подается инфа о трех прошлых кадрах в сетку. О сохранении формы в сложных цветовых схемах а не в 256 цветах там пока речи не идет. Держу в курсе.
научпокерский кал на уровне индуса, который сплагиатил рисеч пэйпер.
а хуле толстосумам не поебать на визг душевнобольных, которые даже не покупают и не работают в этой индустрии или они так триггерят массы быдлопотребителей, что игнорить нельзя?
Она уже в гугле работает, в Ethical Artificial Intelligence Team. Не, это именно попытка поговорить вне твиттера, но ей это нахер не нужно.
О да, дэвушка предприимчивая оказалась. Оседлала сразу два стула, нейроночки и БЛМ, да как красиво! И сама, главное, черная. Это же просто техно-Иисус 2020. С кем ЛеКун начал бодаться, он ведь даже не понимает, что происходит, бедняга. Она его растопчет, даже не заметив.
Единственно правильный вариант был ничего не отвечать. Если раскрывать рот - то только для того, чтобы каяться, посыпать голову пеплом, и бичевать себя, стоя на коленях.
> или они так триггерят массы быдлопотребителей, что игнорить нельзя?
This. Репутационные издержки вещь опасная. Иначе того же миллиардера Вайнштейна никто бы на бутыль не усадил из-за беспруфных (!!!) кукареканий рандомных сельдей.
> Ethical Artificial Intelligence Team
И чем эта подмывальня занимается? Цензуркой, чтобы нидайбох в датасеты не попадало еблищ белых угнетателей?
Кто-нибудь пробовал размечать дата-сеты через братьев наших меньших через сервис MTurk?
https://requester.mturk.com/create/projects/new
Меня интересует задача "Instance Segmentation", то есть разметка объектов на фотографии. Допустим, у меня есть 3-5 классов объектов, и я знаю, что на 95% моих изображений есть как минимум один объект.
1. Можно ли один и тот же сет отдать двум разным работникам? Либо можно ли во время создания задания создать предикат "id работника не равно XXXXXX"? Тогда я бы смог отдать этот же сет, но кому-угодно кроме первого исполнителя. Я смотрел, в целом предикаты для задач есть.
2. Сколько платить беднягам? Я посмотрел на других сайтах, написано: исходите из того, чтобы за час работы у работника выходило $6.5 в час (в США минималка $7.25/час)
В смысле беспруфных? Ты вообще следил за судебным процессом? Там было более чем достаточно чтоб его закрыть до конца жизни, но дорогущие адвокаты богатенького хуесоса смогли всё таки выбить всего 23 года. И заебись, следующий раз богатое говно задумается, прежде чем руки распускать.
Оверпрайс это все. Я на дваче разметчиков искал, в воркаче в толока-треде бросал мыло, или еще где-то. Выходили копейки какие-то.
что за странная цена в часах. Все же должно зависеть от сложности и количества.
Да, а Майкл Джексон ебал детей
Да это тоже нахер, если ты не корпорация с гигабайтами датасетов, которые нужно размечать за пару дней. Нанял одного человека и подкидываешь ему работу.
Как исполнитель отдавал тебе отчёт по заданию? У меня первым вариантом было написать самодельную веб-морду и показывать исполнителю, нехай сидит да печатает
Сет скажем на 100 000 изображений. В целом на данный момент занимает 30 гигабайт
Какой отчет? Датасет либо есть, либо его нет. О чем отчитываться. Для разметки есть готовый софт, гуглится по image labeling tool. LabelMe например, работает в браузере.
>Сет скажем на 100 000 изображений. В целом на данный момент занимает 30 гигабайт
Ну с такими объемами наверное лучше на толоку
вероятно ты спрашиваешь про механизм передачи сета и денег параллельно- чувак пусть запишет видос с папкой, в которой датасет и пусть тебе скинет сразу же картинки, которые тебе хочется посмотреть из того видоса поближе, для проверки на пробу, скажем штук 20 из 1000- если нравится ты платишь. Если не нравится- негр допиливает. По итогу никто не хочет кинуть никого и остаться с сетом бесполезным (о, тут уже вопрос, не продаст ли он его налево) или без него. Как-то так.
Для валидного обучения нужно 5 000+ картинок с равномерным распределением классов, так? Меньше нет смысла. Ты какие по размерам сеты одиночным исполнителям отдаёшь?
Что это за магия? Ты колдун?!
>любая тётя Дуся сможет мышкой накидать простейшую блок-схему
Чем это отличается от трясуновподборщиков параметров?
Это называется прогресс, что его бояться. Бояться нужно внезапного отупления до уровня тети дуси
Во-первых, тетя Дуся не знает теории, так что даже такой простой инструмент осилить не сможет.
Во-вторых, профессиональный трясун черных ящиков имеет опыт и интуицию, и получит результаты намного лучше.
В-третьих, в реальных задачах возникают проблемы с производительностью, при возникновении которых система с пикчи просто повиснет. Например, если данных терабайты, и они не лезут в память.
Ну и напоследок, такая система имеет крайне лимитированный функционал, и в ней уж точно не будет state-of-the-art моделей, которые появляются каждый месяц.
> Во-первых, тетя Дуся не знает теории, так что даже такой простой инструмент осилить не сможет.
Вся теория есть в педивикии, никаких тайных знаний для понимания машобчика не требуется.
> Во-вторых, профессиональный трясун черных ящиков имеет опыт и интуицию, и получит результаты намного лучше.
Чем тетя Дуся? Да. Чем аутомл? Вряд ли.
> В-третьих, в реальных задачах возникают проблемы с производительностью, при возникновении которых система с пикчи просто повиснет. Например, если данных терабайты, и они не лезут в память.
Лезут данные в память или нет, зависит от используемого софта. В правильном софте ничто никуда не лезет.
> Ну и напоследок, такая система имеет крайне лимитированный функционал, и в ней уж точно не будет state-of-the-art моделей, которые появляются каждый месяц.
И которые потом нигде не используются кроме самого пейпера с табличкой, показывающей что новая ололо модель превосходит старые в паре тестов на 0.1%.
Шиз, может ты стажировку где-то найдёшь что хоть чуток с мл поработать и не нести тут хуйни?
>Вся теория есть в педивикии, никаких тайных знаний для понимания машобчика не требуется.
Так-то в интернете есть все, но сможет ли тетя Дуся понять хотя бы пикрил?
>Чем аутомл? Вряд ли.
Мы про построение моделей без программирования или про аутомл? Ну и давай пруфы, что аутомл хорошо работает на чем-нибудь кроме MNIST.
>Лезут данные в память или нет, зависит от используемого софта. В правильном софте ничто никуда не лезет.
Ты вообще понял о чем я? Мне кажется что ты зумер, который даже говнокодить не умеет.
>И которые потом нигде не используются кроме самого пейпера с табличкой, показывающей что новая ололо модель превосходит старые в паре тестов на 0.1%.
Ну да, особенно в NLP, где за последние несколько лет state-of-the-art сменился раз пять, и каждый раз улучшения были огромные.
> Ну да, особенно в NLP, где за последние несколько лет state-of-the-art сменился раз пять, и каждый раз улучшения были огромные.
Где? Где огромные улучшения по сравнению хотя бы с фасттекстовскими алгоритмами из 2014 в лучшем случае?
> но сможет ли тетя Дуся понять хотя бы пикрил?
А тут многие это понимают, если честно?
>>36554
> пок
Не пок, а учись давай, школота ленивая!
Боюсь Automl от больших компаний, которые переведут консалтинг задешево онлайн и будут пользоваться силой бренда. Даже если меня не уволят, зарплаты это обрушит
> Где огромные улучшения по сравнению хотя бы с фасттекстовскими алгоритмами из 2014 в лучшем случае?
Нечеткий имени ML-треда word2vec конструктивный шизик разбушевался. Сможешь ли ты с ним совладать?
Ты лучше на вопрос ответь. Хотя, что может ответить тайдмен...
К чему хочешь, главное, чтобы в разные стороны
Если посмотреть сколько платят в регионах (там часто у миддлов тыщ 70), а с короной ещё и все на удаленку переходят. Так что дно ещё не достигнуто. А в Дата Сайанс ещё и перекатиться можно из гораздо большего ряда дисциплин. Ставлю свечку за Грефа и молюсь, чтобы он их не выпер единочасно всех на мороз. Когда Самсунг в прошлом году выгнал своих NLP-шников, мы им отказывать не успевали. Поток мыслей.
Ты хотя бы раз классификацию запускал на текстах? Хотя бы imdb? Там во многих задачах по 10 F1 Берт накидывает.
>А в Дата Сайанс ещё и перекатиться можно из гораздо большего ряда дисциплин
У тебя эффект, обратный даннингу-крюгеру. Перекатиться сложно, 90% вообще отвалится на этапе томного взгляда на консоль-пердоль. Я проверял.
> NLP
что это такое? Я только нейро-лингвистическое программирование знаю
> Самсунг
Можно ссылку на историю?
> . Когда Самсунг в прошлом году выгнал своих NLP-шников, мы им отказывать не успевали.
То есть я правильно понимаю, Сосунг уже выгоняет макак ссаными тряпками на мороз, а местные дифиченто все ещё закрывают глаза, затыкают уши и визжат "рреее врети все, нечеткий петух, абырвалг!!11222". Как называется эта болезнь?
отрицание
Сейчас погуглил ОДС - там какой-то голосовой помощник был "биксби", проект закрыли.
>>37324
>Про насколько плохо -
>Весь Биксби проект увольняют, всех аутсорсеров. Человек 25 плюс стажёры ещё.
>Замечу,что сделали это неожиданно и без предупреждения (те предпосылки были, но корейцы темнили до конца)
>Очередной кризис продаж Самсунга - теперь спасибо раскладушкам, видимо.
>Сокращенным заплатят только за май (контрактники)
>Народ боролись несколько месяцев, переговоры с корейцами вели
>Но денег нет на srr. Всех под нож
>Даже постоянные сотрудники не в безопасности, тк нет проектов
Бикси реально кал говна. У меня Самсунг, но я только Гуглом и иногда Алисой пользуюсь
> This optimization problem may be solved using eigendecomposition. Specifically, the optimal d is given by the eigenvector of X-transposedX corresponding to the largest eigenvalue.
Почему это так я не понимаю вернее интуитивно мне кажется что я понимаю почему, потому что там где больше всего eigenvalue, тот вектор вносит самый большой вклад в сет X.
> This derivation is specific to the case of l = 1 and recovers only the first principal component. More generally, when we wish to recover a basis of principal components, the matrix D is given by the l eigenvectors corresponding to the largest eigenvalues. This may be shown using proof by induction. We recommend writing this proof as an exercise.
This may be shown using proof by induction. - Я вообще не понимаю как. Сами пишут в начале поораграфа что нам достаточно только того что описанно в книге в разделе линейной алгебры:
> One simple machine learning algorithm, principal components analysis or PCA can be derived using only knowledge of basic linear algebra.
Ага блин, тут я решил погуглить и оказывается кто-то уже задавался похожим вопросом:
https://math.stackexchange.com/questions/2404126/linear-algebra-principal-component-analysis-optimization
Так там в ответах такой матан, шо капец. Весь запал аж пропал, наверное буду дальше сидеть писать интепрайзщину на жава. А этот ваш диплерниг, для сверхлюдей.
Раздел: 2.12 Example: Principal Components Analysis
Ну ты почитай про собственные значения и собственные векторы. Поищи примеры кода.
> голосовой помощник
А, ну это понятно. Скоро мода на чатботов пройдёт, ещё куча нлпхеров на морозе окажется. А вообще это кризис просто.
>Сами пишут в начале поораграфа что нам достаточно только того что описанно в книге в разделе линейной алгебры:
Нет, там такого не написано. Там написано "can be derived using only knowledge of basic linear algebra." - может быть выведен только со знаниями линейной алгебры. Это необходимое условие, а не достаточное. Школьные олимпиадные задачи по математике могут быть решены вообще только с помощью школьной программы, но это не значит, что лично ты быстро решишь какую-нибудь задачу для седьмого класса. Для 11 ты вообще не решишь.
Навскидку, тут нужно знать, что
a' b - это скалярное произведение векторов a и b
d' d - это квадрат длины вектора d
d'd = 1 означает, что вектор d единичный
X'X - очень часто встречающаяся конструкция, которая образует симметричную матрицу. Это ключевой момент вообще. У симметричной матрицы собственные векторы образуют базис, то есть ты любой другой вектор можешь расписать как сумму этих самых векторов
Более того, это ортонормированный базис, то есть скалярное произведение в нем можно посчитать как сумму произведений коэффициентов при базисных векторах
В итоге симметричность матрицы и знание ее собственных векторов позволяет заменить муторное умножение матрицы на вектор умножением скаляра на вектор. Используется в линале повсеместно, потому что весь линал пляшет вокруг того, как бы избавиться от сложных формул типа матричных произведений и перейти к простым.
Мое решение похоже на второе решение чувака с ответом, искал я его довольно долго, потому что перечисленные мной факты сверху я не помнил нихуя.
Расписываем вектор d по базису из собств. векторов:
d = a1 v1 + a2 v2 ...
Умножаем матрицу A=X'X на d:
d_new = A d = A (a1 v1 + a2 v2 + ...) = a1 A v1 + a2 A v2 + ... = a1 lambda1 v1 + a2 lambda2 v2 + ...
То есть d' A d = d' d_new скалярное произведение между d и d_new
В общем, мы свели задачу к тому, что у нас есть 2 вектора
d = a1 v1 + a2 v2 + ...
d_new = lambda1 a1 v1 + lambda2 a2 v2 + ...
и нужно максимизировать их скалярное произведение. Так как базис v ортонормированный, то можно просто перемножить коэффициенты
d' d_new = lambda1 a1^2 + lambda2 a2^2 + ...
То есть имеется набор коэффициентов a, при этом a1^2+a2^2+a3^2+...=1, и нужно подобрать такие a, чтобы максимизировать функцию. Это уже школьная задача - то есть достаточно школьной математики, при этом понятно, что большинство школьников ее не решит.
Для случая двух векторов доказывается элементарно, нужно подставить a1^2=1-a2^2, потому что d'd=1 => a1^2+a2^2=1. Возникнет парабола либо с максимумом в точке a1=0 a2=1, либо с максимумом в точке a1=1 a2=0.
lambda1 a1^2 + lambda2 a2^2 = lambda1 a1^2 + lambda2 (1 - a1^2) = lambda2 + a1^2(lambda1-lambda2)
lambda1 a1^2 + lambda2 a2^2 = lambda1 (1 - a2^2) + lambda2 a1^2 = lambda1 + a1^2(lambda2-lambda1)
Какое из двух выражений выбрать зависит от того, lambda2>lambda1 или lambda1>lambda2. Потому что если при квадрате отрицательный коэффициент, это значит, что значение a-bx^2 больше чем a быть не может. А значит это и есть максимум, главное убедиться при этом, что a1^2+a2^2 = 1.
Для случая трех чуть посложнее, но зная случай для двух понятно, что тут делать
lambda1 a1^2 + lambda2 a2^2 + lambda3 a3^2 =
lambda1 a1^2 + lambda2 a2^2 + lambda3 (1 - a1^2 - a2^2) =
lambda3 + a1^2 (lambda1 - lambda3) + a2^2 (lambda2 - lambda3)
Положим lambda3>lambda2>lambda1. Тогда lambda1 - lambda3 - отрицательная величина, lambda2-lambda3 - тоже. Значит больше, чем lambda3 это выражение быть не может, а равно lambda3 оно при a1=0, a2=0.
Если lambda2>lambda3>lambda1, то просто подставляем не a3, а a2.
В итоге получается что d равно чему-то типа d = 0 v1 + 0 v2 + 1 v3 = v3, то есть собств. вектору с максимальным собств. числом
>Сами пишут в начале поораграфа что нам достаточно только того что описанно в книге в разделе линейной алгебры:
Нет, там такого не написано. Там написано "can be derived using only knowledge of basic linear algebra." - может быть выведен только со знаниями линейной алгебры. Это необходимое условие, а не достаточное. Школьные олимпиадные задачи по математике могут быть решены вообще только с помощью школьной программы, но это не значит, что лично ты быстро решишь какую-нибудь задачу для седьмого класса. Для 11 ты вообще не решишь.
Навскидку, тут нужно знать, что
a' b - это скалярное произведение векторов a и b
d' d - это квадрат длины вектора d
d'd = 1 означает, что вектор d единичный
X'X - очень часто встречающаяся конструкция, которая образует симметричную матрицу. Это ключевой момент вообще. У симметричной матрицы собственные векторы образуют базис, то есть ты любой другой вектор можешь расписать как сумму этих самых векторов
Более того, это ортонормированный базис, то есть скалярное произведение в нем можно посчитать как сумму произведений коэффициентов при базисных векторах
В итоге симметричность матрицы и знание ее собственных векторов позволяет заменить муторное умножение матрицы на вектор умножением скаляра на вектор. Используется в линале повсеместно, потому что весь линал пляшет вокруг того, как бы избавиться от сложных формул типа матричных произведений и перейти к простым.
Мое решение похоже на второе решение чувака с ответом, искал я его довольно долго, потому что перечисленные мной факты сверху я не помнил нихуя.
Расписываем вектор d по базису из собств. векторов:
d = a1 v1 + a2 v2 ...
Умножаем матрицу A=X'X на d:
d_new = A d = A (a1 v1 + a2 v2 + ...) = a1 A v1 + a2 A v2 + ... = a1 lambda1 v1 + a2 lambda2 v2 + ...
То есть d' A d = d' d_new скалярное произведение между d и d_new
В общем, мы свели задачу к тому, что у нас есть 2 вектора
d = a1 v1 + a2 v2 + ...
d_new = lambda1 a1 v1 + lambda2 a2 v2 + ...
и нужно максимизировать их скалярное произведение. Так как базис v ортонормированный, то можно просто перемножить коэффициенты
d' d_new = lambda1 a1^2 + lambda2 a2^2 + ...
То есть имеется набор коэффициентов a, при этом a1^2+a2^2+a3^2+...=1, и нужно подобрать такие a, чтобы максимизировать функцию. Это уже школьная задача - то есть достаточно школьной математики, при этом понятно, что большинство школьников ее не решит.
Для случая двух векторов доказывается элементарно, нужно подставить a1^2=1-a2^2, потому что d'd=1 => a1^2+a2^2=1. Возникнет парабола либо с максимумом в точке a1=0 a2=1, либо с максимумом в точке a1=1 a2=0.
lambda1 a1^2 + lambda2 a2^2 = lambda1 a1^2 + lambda2 (1 - a1^2) = lambda2 + a1^2(lambda1-lambda2)
lambda1 a1^2 + lambda2 a2^2 = lambda1 (1 - a2^2) + lambda2 a1^2 = lambda1 + a1^2(lambda2-lambda1)
Какое из двух выражений выбрать зависит от того, lambda2>lambda1 или lambda1>lambda2. Потому что если при квадрате отрицательный коэффициент, это значит, что значение a-bx^2 больше чем a быть не может. А значит это и есть максимум, главное убедиться при этом, что a1^2+a2^2 = 1.
Для случая трех чуть посложнее, но зная случай для двух понятно, что тут делать
lambda1 a1^2 + lambda2 a2^2 + lambda3 a3^2 =
lambda1 a1^2 + lambda2 a2^2 + lambda3 (1 - a1^2 - a2^2) =
lambda3 + a1^2 (lambda1 - lambda3) + a2^2 (lambda2 - lambda3)
Положим lambda3>lambda2>lambda1. Тогда lambda1 - lambda3 - отрицательная величина, lambda2-lambda3 - тоже. Значит больше, чем lambda3 это выражение быть не может, а равно lambda3 оно при a1=0, a2=0.
Если lambda2>lambda3>lambda1, то просто подставляем не a3, а a2.
В итоге получается что d равно чему-то типа d = 0 v1 + 0 v2 + 1 v3 = v3, то есть собств. вектору с максимальным собств. числом
> XTX - очень часто встречающаяся конструкция, которая образует симметричную матрицу.
Блин я подозревал, надо было не лениться и проверить. Короче мне ещё с этим ещё неделю разбираться.
А ты шо думал. Я так смеялся, когда читал срачи на тему необходимости удалить долю цветных от населения района как фичу в датасете бостонской недвижимости в scikit-learn (точнее там был показатель, рассчитанный на её основе). Мол использовать этот показатель для прогнозирования цены объекта недвижимости - расизм, даже если корреляция есть.
>Алгоритм облажался
Не вижу чтобы алгоритм ображался. Задача алгоритма была какая, угадывать мировых политиков, или построить похожее лицо? Потому что со второй задачей он справился.
Сейчас ты назовёшь нас трясунами параметрами, но при этом ты просто обиженная завидка, которая даже не может запустить тензорфлоу и отделить кошек от собак
Он из смуглого, лопоухого, бровастого, губастого сделал смуглого, лопоухого, бровастого, губастого. Вот я смотрю на картинку и мой человеческий мозг видит что она произведена из нее, очень похожа. Могла быть произведена другая картинка, с негром, в этом и есть суть такого генератора. Она не обязана была вопроизводить именно Обаму.
Один раз смог запустить, но память быстро кончилась.
Надо будет в следующую шапку добавить
Да, это характерный момент - кто больший растист, алгоритм, или тот хер, который возмущается, что из пиксельного негра не делают негра по закону "одна капля негритянского пикселя".
У треда ПТСР от действий нечеткого петуха
В прошлом треде вроде об этом было. Если свести нейронку к ОДУ, можно проанализировать получившееся ОДУ на предмет устойчивости. В частности, это дает новые варианты регуляризации
Смотри совместные Ruthotto и Haber
https://arxiv.org/pdf/1705.03341.pdf
https://arxiv.org/pdf/1804.04272.pdf
https://nbviewer.jupyter.org/
Не то. Короче, как в jupyter сделать access только к одной директории?
спасибо конечно, но я читаю ОП-треды, туда уже подал давно, жду
Выбери top, затем, например, past week
Если округлять, то последние значащие цифры просто становятся нулями, но формат записи остается такой же.
Можешь читать.
>Не ошибся, я же датасет готовлю. Пишу питоном.
Каким блядь нахуй питоном, сука, какие же тупни тупые, реально считают, что все должны вангами работать
np.savetxt('1.csv', dt, delimiter=",")
вот так у меня в файл пишется. сорян что я тут тред засрал немного
Спасибо, заработало.
>>1733222 (OP)
Суп народ
Есть одно тз:
https://docs.google.com/spreadsheets/d/1LFknKlNyarjpAwb5jm-9ZOHyi3zaXt-cadAUo39MSnA/edit?usp=sharing
Тут очевидно про звук что то. Что означают числа в столбце F - я хз.
Подскажите, от чего отталкиваться, чтобы найти особенности в данных? На что обратить внимание, что сделать в первую очередь?
>>40113
>>40172
TS (от англ. Time-Slot) — единица разделения канала в системах связи, где применяется множественный доступ с разделением по времени (TDMA) или временное уплотнение (мультиплексирование) (TDM).
снр это сигнал/шум
сс - это либо кариер, либо какая то фигня для оценки безопасности
С этим вроде +- понятно. А вот что там можно проанализировать нифига непонятно >_<
Ну блядь статистики своих чиселок там понаходи, распределения, корреляции, попробуй что-нибудь по чему-нибудь попредсказывать
Если непонятно, начни с проецирования PCA на плоскость или пространство по случайным переменным и посмотри, не образуются ли паттерны
>Просто для меня ML стало ремеслом, которым зарабатывают деньги.
А ты гречневый что ли и зарплатных презираешь?
Спроси нечеткого, он тебе подкинет задачек
сейчас задумался и пришел к выводу, что в этом случае придется как-то определять влияние между действием A, временным последствием B и конечным следствием C. Причем придется понимать, что С вышло из B, а то вышло из A.
Сейчас придумал альтернативное решение: сделать ход и сразу же определить коэф полезного действия, заглянув таймлапсом в будущее с логикой "следующие N ходов я ничего не делал". То есть:
1. Действие в полночь: пнуть конкретную балку башни Эйфеля. Следствие в течение следующих 24 часов: Башня развалилась. +100 баллов КПД
2. Действие в полночь: ничего не делать. Следствие в течение следующих 24 часов: Башня как стояла так и стоит. +0 баллов КПД
3. Действие в час ночи: пнуть конкретную балку башни Эйфеля. Следствие в течение следующих 24 часов: Башня развалилась. +100 баллов КПД
4, Действие в час ночи: ничего не делать. Следствие в течение следующих 24 часов: Башня как стояла так и стоит. +0 баллов КПД
И так далее. Машина соответственно поймёт связь между пинком и падением башни. Возможность заглянуть в будущее у меня имеется.
У меня почему то сильное чувство что это какая-то хуетень
> почему то сильное чувство что это какая-то хуетень
> artlebedev
> почему то сильное чувство что это какая-то хуетень
> artlebedev
> lebedev
В роликах про конституцию тоже искусственный интеллект снимался, не бейте
Дли нейронок самое то, на большее они не способны
У меня криндж от ваших нейронок.
ann = tf.keras.models.Sequential()
ann.add(tf.keras.layers.Dense(units=20, activation='sigmoid'))
ann.add(tf.keras.layers.Dense(units=2))
ann.compile(optimizer = 'sgd', loss = 'mean_squared_error', metrics = ['accuracy'])
ann.fit(X_train, y_train, batch_size=32, epochs = 400)
test_loss, test_acc = ann.evaluate(X_test, y_test)
Идея была проверить как часто предикции совпадают с истинными значениями. Но в таком случае акьюраси должна вообще быть 0, ведь там же не округленные числа выводятся.
Мне кажется мне нужно стоит mean absolute percentage error использовать.
>>41634
Мой вердикт: ты не понимаешь, что делаешь.
В случае модели с несколькими выходами accuracy - это класс CategoricalAccuracy. Она воспринимает то, что ей отдают, как вектора вероятностей классов, но плевать хотела, что на самом деле ей поступает - она примет любые два вектора одинакового размера. Она ищет, где максимум у первого вектора (y_true), и проверяет, максимум ли на той же позиции у второго вектора (y_pred). Если да, то ставит "да, совпало, +1 к счётчику". Ей плевать, вероятности там или нет.
Керас всё стерпит, ему похуй, лишь бы ошибок с вычислительной точки зрения не было. Сделать так, чтобы вычисления, которые он производит, были осмыслены - твоя задача.
>Тренирую модель, которая выводит два численных значения. Потери уменьшаются, все хорошо, но accuracy всегда равна единице и на тренировочном, и на тестовом сете. ЧЯДНТ?
Скорее всего ты забыл преобразовать y_train и y_test с помощью keras.utils.to_categorical.
accuracy precision recall f1 это все метрики для классификации, а не регрессии
> зумер вкатывальщик использует метрики для классификации в задаче регрессии потому что не знает в чем разница
> кок пок пачиму accuracy = 1
Ну что, как вкатились, тайдмены?
Нечеткий петух при сложном вопросе:
ко-ко-ко меня здесь нет
Нечеткий петух при вопросе новичка:
Вот вы зумеры тупые, а я умный, а вы тупые, ха-ха-ха, зумеры тупые зумеры
> Нечеткий петух при сложном вопросе:
> ко-ко-ко меня здесь нет
> Нечеткий петух при вопросе новичка:
> Вот вы зумеры тупые, а я умный, а вы тупые, ха-ха-ха, зумеры тупые зумеры
ISLR читай. Хотя бы общее представление будет, о чем вообще машоб. Может быть даже не будешь путать регрессию с классификацией.
Этот трясун порвался
Почему нет какого-то единого roadmap'а. Куда не зайдешь, каждый лезет всучить свои сомнительные курсы и книги. Уже несколько дней не могу определиться, откуда начинать. Я планировал сразу окунуться в машинное обучение, а как только понадобится математика, то приступить к ней
Да откуда нравится, оттуда и начинай. Какая разница?
> Почему нет какого-то единого roadmap'а.
Тема слишком широкая. Даже в 90е одной книгой охватить было нереально, тот же Хайкин как пример такой попытки.
> Причем здесь зумер-не зумер?
Эмпирически было выявлено, что в массе своей авторы наиболее тупых вопросов - зумера. Поэтому по умолчанию вкатывальщик считается зумером.
>Почему нет какого-то единого roadmap'а
Потому что тем кому нужен какой-то единый роадмап он на самом деле не нужен: можно просто не тратить время и сразу забить, у них всё равно ничего не получится.
> Сделать так, чтобы вычисления, которые он производит, были осмыслены - твоя задача.
Вот в этом и есть ваша проблема питухона с егоной динамической кококзацией. Нормальный язык бы просто не позволил всунуть вектор не того типа.
Мне кажется, что уже нереально будет сделать что-то реально новое, что бы пробиться в круг топ экспертов.
тут и освоить все сложно уже
>что бы пробиться в круг топ экспертов.
Самый ебанутый тред. В остальных тредах люди просто работают и обсуждают что-то, в МЛ-треде если ты не топ оф да топ, нахуй это нужно вообще.
Ты же не понимаешь, про что пишешь.
>в МЛ-треде если ты не топ оф да топ, нахуй это нужно вообще
Потому что деньги платят только топам.
Ладно, кретин, перевожу на доступный тебе язык:
>>41634: у меня алгоритм Дейкстры кратчайший путь не находит
>>41906: алгоритм Дейкстры работает только с неотрицательными рёбрами, за этим должен следить ты сам
>>42720: Вот в этом и есть ваша проблема питухона с егоной динамической кококзацией. Нормальный язык бы просто не позволил подать на вход граф с отрицательными рёбрами.
Настоящая математика это переладывание палочек!
Насколько говно?
Семь дней бесплатных достаточны для прохождения или лучше навернуть дедовских книг?
Аноны, опытные и не очень, работающие датасатанистами или стремящиеся, кто-нибудь из вас снизойдёт побыть ментором по нейросетям? Или если есть какой пет-проект с машобом, можно ли поучаствовать или организовать? Кагглы, боюсь, тупиковая ветвь развития.
Это вопрос по тому, что имеется, или по тому, что хочу приобрести?
Если первое, то имеется некоторый опыт с рекуррентными, свёрточными и малость с генеративными сетями.
Если второе, то да.
На джуна чуть меньше 150к после налогов должно быть, но там задачи интересные. Мидлу 170-200, там еще оффер не пришел, но там задачи хуже.
Пиздато. А я траил в яндекс, макензи даже не на джуна, а на стажера и в обоих случаях не прошел. В итоге стажорствую в области не связанной с машинкой. Ну ты раз в шаде год значит жестко шаришь в материале.
А проект крутой? В соло делал?
>На джуна чуть меньше 150к после налогов должно быть, но там задачи интересные. Мидлу 170-200
Пиздос. В других областях 150к платят сеньорам.
машобисты, когда задали вопрос по тематике:
меня здесь нет
машобисты, когда тайдмен насрал боевыми аватарками:
ну тупой нечеткий петух ну тупой
> ШАД - сила,
Покажи хоть одного шадовца в кремниевой долине, хоть один взлетевший стартап, сделанный шадовцем, хоть один что-то значащий для предметной области пейпер, написанный шадовцем хотя бы в виде соавтора. В чем конкретно проявляется сила этих инфоцыганей?
fless pro
Ты пытаешься сыграть на том, что всем лень копаться в карьерах выпускников? Жестка.
Задроты реально не хотя коммуницировать и разбираться.
Принесите им датасеты и может быть они подберут нейроночку.
Серьезно? Вы так видите свою миссию ?
вот как раз иллюстрируешь свой отрыв от реальности этими словами. А тред БД морально устарел.
Разве есть более подходящий тред?
thx
> вот как раз иллюстрируешь свой отрыв от реальности этими словами
Какой отрыв? Дата анализ это очень много чего, включая даже создание отчетов в экселе. Но тред то конкретно про машинное обучение. Никто не занимается всем вместе сразу.
> А тред БД морально устарел.
Почему?
ну потому что .
Ты что, разве обучальщик машин в вакууме? такая работа вообще существует? Разве тебе не попадают задачи где нет ТЗ ?
>> А тред БД морально устарел.
>Почему?
они там до сих пор обсуждают правое и левое соединение и азы sql. Довольно скучно.
При этом рисуют Обаму и раздевают анимешных девочек.
Ну ладно.
Я обязательно вкачусь и вкачу бизнес и без вас.
Какой феерический мудак, лол.
Пфф, покажи мне хоть одного уроженца России в Кремниевой долине не на должности макаки-набивальщика.
А может это ты лоходей, верующий, что какие-то инфоцыгане приведут тебя к успеху?
Да.
Разумеется, кабанчики из бизнеса видят мою миссию несколько иначе - чтобы я и предметную область досконально знал, и выборку сам собрал, и с бизнесом договорился, и инфраструктуру настроил, и модели обучил, и интегрировал в готовый продукт, и всё это забесплатно и ещё вчера - но мне похуй, что хотят кабанчики.
да бля, тыж программист
У вас не педики есть?
Тот, кто может позволить себе зарплаты в ML, очевидно же. В рашке это либо крупные конторы, либо бодишопы со средним/крупным западным клиентом.
ты же понимаешь, что это ненадолго и этих денег на всех не хватит.
выпускников со знанием статистики примерно 10000 каждый год в России и все они тебя легко заменяют.
>со знанием статистики примерно 10000
А они не составили статистику по выпускникам со знанием статистики при поступлении?
>ты же понимаешь, что это ненадолго и этих денег на всех не хватит.
Это рашкокабанчики ненадолго и скоро все сдохнут от пыняномики, останутся только крупные работодатели. А в мире денег достаточно. Они их вообще печатают.
>выпускников со знанием статистики примерно 10000 каждый год в России и все они тебя легко заменяют.
Разве что тех, у кого был хоть какой-то курс тервера. Понимает что-то каждый десятый из тех, у кого был подобный курс, добавь в этот суп сносное умение программировать, никсы, английский. И получишь пригодного для дальнейшей работы джуна. Который в любой момент может свалить на смежную должность.
Сейчас школьники фильма дудя насмотрелись, жди конкурентную среду года через 4.
yes.jpg
Ну серьезно, сасный чел. Он ещё и супер крут, собесит на сеньоров и тех лидов, сам с зп больше миллиона, на кегле тащит.
https://youtu.be/BMzvm3VNf98
Сделал себя богатым.
почему педик? просто он в силу знания статистики понимает что такое регулярные занятия качалкой. Он просто выглядит как может выглядеть молодой пацан 25-30 лет регулярно занимающийся.
Чел неймоверно богат, на вершине карьеры тех специалиста в x5. С таких очевидно надо брать пример
может ли он сам сообщить что-то полезное для достижения его уровня?
Это как слушать чемпиона по метанию, а слушать надо его тренера.
Нет такой инфы, что ты её сообщаешь и хоп ты в дамках.
А полезные вещи от него есть как например реклама одс, где многие находят работу, команду для соревнований, ревью и обсуждение статей и тд.
>Он просто выглядит
Он выглядит как педик, неприятно для меня как мужчины короче.
>тех специалиста в x5
Так каковы его достижения как специалиста, что он сделал то?
>Чел неймоверно богат
Что про пикрил скажешь?
>Нет такой инфы, что ты её сообщаешь и хоп ты в дамках.
Сообщаю тебе такую секретную инфу: не смотри видео, где какой-то хуй час занимается самолюбованием.
>где какой-то хуй час занимается самолюбованием
Ну может те аноны на него дрочат, так что не все так плохо
Ты тоже какой-то ебнутый, в десятый раз повторяешь птушную штуку "xxx - педик гыгыгыгы"
> Так каковы его достижения как специалиста, что он сделал то?
В ретейле кстати много задач, например, предсказание спроса продуктов, расстановка в торговом зале. Он заработал на этом бизнесу миллионы долларов.
>>46828
> Сообщаю тебе такую секретную инфу: не смотри видео, где какой-то хуй час занимается самолюбованием.
Ну вот конкретно то видео, что я скинул, это да он самоотсасывает. Ну это джаст фо фан просмотр, под фон.
Видео до этого было о том, насколько разнится понимание словосочетания "дата анализ" у работодателя. И это кстати реально ВАЖНО понимать любому итт. Есть записи и других презентаций от него, рассказывающие про полезные вещи или полезный опыт.
он заставил эту еботень работать и приносить профит. Уже этого достаточно, чтобы дать пососать всем теоретикам, которые делали чисто теоретические изыскания. Теория без практического применения- словесный онанизм. То, что им занимается достаточно много ученых- это не делает его практичней, и основная их заслуга в том, что они делятся этим знанием, а не в самом знании.
>он заставил эту еботень работать и приносить профит
Какую?
>предсказание спроса продуктов, расстановка в торговом зале
Ох бля, плановая экономика, у нас в СССР раньше целые отделы были без всякого мл говна.
Как? Сидеть и не пиздеть зло на людей которые во всём лучше тебя, ещё больше завистливой жалкой пидорашкой выглядишь.
На каких работодателей? У каждого менеджера свои заебы. Ты берешь заебы конкретного манагера и делаешь выводы об индустрии.
> У каждого менеджера свои заебы
Блять. Об этом и речь. Работодатели ищут людей в спектре от делать отчеты в эксель, переобучать нейронку раз в месяц до создания корпоративного хранилища данных и всё это называют в вакансии одним словом дата саентист.
Ты бы для приличия посмотрел ролик, чтобы понять о чем тут пишут.
>Сидеть и не пиздеть зло
Пиздец ты поехавший, я его в обще первый раз увидел, какое то пафосное ноунейм чмо которое я дропнул смотреть через минуту. Если это твоя икона, то сорян, дрочи на него в одиночку.
> пафосное ноунейм чмо
> топ100 каггла
> директор по моделированию и анализу данных в X5 Retail Group
> руководитель группой аналитики в Яндексе
> преподаватель в ВШЭ
Кто тогда не пафосное не ноунейм не чмо?
Омежка пытается состроить хорошу мину и выйти из ситуации, забавно. Это же не то чтобы ты тут на десяток постов усираешься "да ктоон такой да чё он зделол??" и своими пидорашьими шутками про геев. Небось сам его и запостил побомбить.
>ВШЭ
Это откуда лезут либирахи пачками, лол
>аналитики в Яндексе
Пиздинг с гугла а что не спиздили то делают неработоспособным говном
>X5 Retail Group
Карусель и Перекрестки массово закрываются, успех уровня /b
Пятерочка еще живет, но анализу данных, лол
> мне похуй нибамбит!
> сейчас я вам его достану и специально сто постов буду объяснять что он никто и педек)) но мне похуй обсолютно!
ок
>и всё это называют в вакансии одним словом дата саентист.
И тебе нужно видео, чтобы узнать, что помимо заголовка вакансии нужно читать ее текст? Это типичная инфоцыганская вода.
У тебя главная задача - наебать работодателя, чтобы он поверил, что именно ты лучший выбор. Для этого нужно писать резюме под вакансию, всячески поворачивая то, что ты делал, именно в свете того, что написано в вакансии. Написано там будет "датасаентист с умением чесать жопу" - напишешь, что ты именно такой. А напишут что-то про докер - напишешь, что ты рожден был быть девопсом в мл. Потому что нужно подстраиваться под рынок, а не ждать, пока рынок подстроится под тебя. Менеджер - твой враг, потому что у него другая задача, он ходит на подобные эвенты, чтобы хантить лошков, чтобы они разгребали за ним говно за мелкий прайс. По этой же причине он рекламит одс как место место концентрации таких лошков, которые там добровольно сбиваются в место с дичайшей конкуренцией.
Вкатывальщик ты?
Получается ты пойдешь подстраиваться под рынок и будешь писать отчеты в эксель. Нормальных спецов наоборот хантят переманивая высокой зп у конкурентов. А собес и текст вакансии могут не иметь ничего общего с тасками, которые будут на работе. Ты бы лучше реально посмотрел видос-презентацию чела, которые собесит сеньеров и тех лидов.
>понимание словосочетания "дата анализ" у работодателя.
А я посмотрел и так и не понял, почему не может существовать человека, который объединял бы все три полюса треугольника?
Потому что это слишком большой объем знаний и работы. Бизнес аналитика, дата инженериг, машинное обучение.
>Получается ты пойдешь подстраиваться под рынок и будешь писать отчеты в эксель
Это вполне нормальный путь - устроиться писать отчеты, и дальше горизонтально уже попасть в ML-отдел. Проблема в том, что манагеру такие хитрожопые нахуй не нужны. Ему нужно чтобы ты был прозрачен как стекло, чтобы, если ты охуенный, наебать тебя и продавить в зарплате, а если ты хуевый - то послать тебя нахуй. То есть он объясняет тебе, как сделать так, чтобы к нему пришло 100 таких лошков, а он бы сидел и выбирал между ними.
А я тебе объясняю, как устроиться на работу. И первое правило здесь - не слушать советы по съему женщин от женщин. Не слушай советы манагера по поводу рынка и позиционирования себя в нем.
> Это вполне нормальный путь - устроиться писать отчеты, и дальше горизонтально уже попасть в ML-отдел
Чел, это полная херня. Ты потратишь время, получая опыт который нихуя не релевантен к млю и будешь никак не отличатся от соискателей с улицы.
Я тебе как человек, который занимался дата инженеригом в консалтинге, уверяю в этом. Ты рассуждаешь как типикал вкатыватель, которому лишь бы найти работу.
>Чел, это полная херня
Что херня, что двигаться в конторе горизонтально проще, чем попасть на ту же вакансию с улицы? Или что в начале надо въебывать и идти по головам, а не тупо делать таски, спускаемые сверху? Или что при поиске новой работе нужно пиздеть о том, что ты делал на старой?
Это все простая мудрость. Просто о ней не сообщают те, кому важно из ста соискателей выбрать одного. Они сами такие, нахуя им конкуренты, которые поступают так же.
Это всё зависит от погружения. В том же Макензи нет смысла брать человека, который умеет только в фит-предикт, как минимум ему придется уметь работать с базами данных - получать эффективно данные оттуда, чтобы выстроить пайплайн.
Но если у клиента таск создать КХД с нуля, то туда не отправят человека, который больше по млю. Короче суть в том, что поверхностно ты можешь знать, но это будет далеко от того, что может человек, который только этим занимается.
> не считает проблемой совпадение всех навыков
Ну я так подозреваю, что там как раз речь о том, что нет таких должностей, где ты сидишь фит предикт дрочишь.
> Или что в начале надо въебывать и идти по головам, а не тупо делать таски, спускаемые сверху?
Детект фраза, что ты никогда не работал.
И да нет смысл специально получать опыт работы, не связанный с областью в которой хочешь работать, ты просто потратишь время в пустую.
Потому что это не треугольник, а иерархия.
Ресерчеры - блатные.
Инфраструктура - мужики.
Аналитики - петухи.
>Детект фраза, что ты никогда не работал.
Продолжай строить манямир каждый раз как видишь на анонимной имиджборде неудобную тебе инфу. Если кто-то пишет что-то, что тебе не нравится - это неопытный школьник. Максимум - студент.
>И да нет смысл специально получать опыт работы, не связанный с областью в которой хочешь работать, ты просто потратишь время в пустую.
Ты жертва манагеров, которым нужны удобные заполнители для их вакансий, а все остальное - оверквалифаед. Это как раз охуенно поработать в разных местах. Это на одном месте ты рано или поздно упрешься в рутину, и, более того, любой корпорации это выгодно, чтобы ты был максимально специализированным винтиком, чтобы не выебывался и были проблемы перейти куда-то. Таких потом сокращают в очередной кризис и они стреляются - ведь если ты все время месил говно в одной финансовой фирме, у тебя весь путь - это месить говно в другой финансовой фирме, а кризис у них у всех одновременно.
А самому человеку наоборот выгодно быть гибким и иметь кучу побочных навыков. При этом что выстрелит ты можешь и не знать даже. То есть если у тебя кумир - манагер, то шансов стать манагером, поработав в разных местах, у тебя гораздо больше, чем если ты будешь узкоспециализированной манькой. Потому что узкоспециализированную маньку будут грузить однотипным говном, пока она это говно делает. А вот широкому спецу дорога в руководители.
Чувак, ты диванный теоретик. Имея куча мест разных работ, но по пол года, тебя выше джуна не возьмут.
> были проблемы перейти куда-то
У хорошего специалиста нет никаких проблем куда-то перейти, он может работать в любой стране мира. Потому что айти везде одно.
> А вот широкому спецу дорога в руководители
Это вещи, которые никак не связаны.
Это ведь твой пост: "А я траил в яндекс, макензи даже не на джуна, а на стажера и в обоих случаях не прошел. В итоге стажорствую в области не связанной с машинкой"?
https://www.youtube.com/watch?v=fg8lKeJZ7vA
>Потому что это не треугольник, а иерархия.
>Инфраструктура - блатные.
>Аналитики - мужики.
>Ресерчеры - петухи.
Скорее так.
А не педики есть?
Ага, мечтал в Пятерочке работать, как тот кочка с видоса, лол
https://www.piter.com/collection/top-prodazh/product/generativnoe-glubokoe-obuchenie-tvorcheskiy-potentsial-neyronnyh-setey
https://www.piter.com/collection/top-prodazh/product/glubokoe-obuchenie-s-podkrepleniem-alphago-i-drugie-tehnologii
Какие подводные? Кто-то их читал, может покритиковать?
Мне уже поздно такое читать. Выглядит симпатично.
А что ж ты про каггл промолчал, тралль ты наш. Или ты тоже топ-100?
А потом тебя на собесе начнут спрашивать про докер, а без практики хрен ты ответишь.
Без колобков, как диды
while yoba:
_model.fit(....., epochs=1)
_loss = model.evaluate(...)
_if loss < best_loss ....
С колобками
my_callbacks = [
tf.keras.callbacks.ModelCheckpoint(... save_best_only = True ...),
]
model.fit(dataset, epochs=10, callbacks=my_callbacks)
> __hui
> __pesda
> __jigurda___
Кто-то ещё на скобочки (((лиспа))) гонит, когда есть такой-то шидевор кринжкодинга, возведенный в ранг единственного яп для машоба индусским ПТУшниками.
Это вместо табов, если ты не понял
Питон - это то, чем должен был стать лисп, но не стал из-за того, что его испортили аутисты со своими макросами.
А синтаксис и там и там какашечка конечно
Знаю питон, работаю в ойти (не кодером правда), хочу вкатиться в мл (единственное направление кодинга от которого дымиться шишка, на верстку интернет-магазинов по продаже айкоса или донатных даунских игр для андроида не стоит).
Такой вопрос - совместим ли как нибудь мл и фриланс? Естественно апворк и прочий бурж, а не русское говно "требуется сеньор за чебурек". Просто хочу что бы хобби хоть как то пересекалось с источником дохода.
Или не выебываться, и просто додрачивать джангу/фласк до идеала, что бы влезть с мылом между двумя фриланс-индусами?
И где там вкладка фриланс?
Просто интересно, как местные себе представляют фриланс в ml?
Изучил данные за один вечер, решил задачу бизнеса и не стал участвовать в эксперименте, потому что у тебя уже другой заказ?
Похоже, ml до вебмакакинга не доросла. Бизнес не знает что им нужно чтобы нанимать короткими сессиями.
> Просто интересно, как местные себе представляют фриланс в ml?
Лабы делать. А стартапы это уже ближе к работе было бы.
Другого и нет.
>Просто интересно, как местные себе представляют фриланс в ml?
Работы полно. Мало у кого есть деньги содержать ML-отдел, а бизнес требует задач уровня "прикрутить распознавалку образов в сортировщике картофеля" и "добавить рекомендательную систему в интернет-магазин". ML хорошо фрилансится, потому что это замкнутые задачи - сделать датасет, добиться на нем такого-то перформанса. В итоге ты можешь собрать датасет - получить деньги, натренировать его - получить деньги, выдать программерам кабанчика predict.py и переходить на следующий проект.
95% тобой описанных задач решается аутомлом. Когда каждый кабанчик это поймет, закончатся зарплаты от 100к за "импорт слесарьплов" для тайдменов вкатывальщиков.
> Работы полно. Мало у кого есть деньги содержать ML-отдел, а бизнес требует задач уровня "прикрутить распознавалку образов в сортировщике картофеля" и "добавить рекомендательную систему в интернет-магазин"
Ссылки?
>95% тобой описанных задач решается аутомлом.
Петуха забыли спросить. Описанные мной задачи вообще никакого ресерча не требуют, это чисто типовые задачи. Как у любой другой профессии. Электрики тоже, знаешь ли, не защищают phd перед тем, как сделать проект для очередного небоскреба. И что-то даже с появлением CAD-софта, который сильно облегчил жизнь ижненерам, сами инженеры никуда не делись. Все подобные вещи типа аутомла (который говно без перспектив) используются как раз такими, как я. То, что сами кабанчики будут обучать себе сетки это такой же манямир, как представить то, что они будут сами ремонтировать себе автомобили или лечить зубы.
> То, что сами кабанчики будут обучать себе сетки это такой же манямир, как представить то, что они будут сами ремонтировать себе автомобили или лечить зубы.
Хуя ты сравнил, лол. Лечить зубы могут только специалисты. А вот жопу подтирать или слесарьплов импортить может кто угодно.
> И что-то даже с появлением CAD-софта, который сильно облегчил жизнь ижненерам, сами инженеры никуда не делись.
Потому что CAD это автоматизация ручного труда, а машобчик более примитивных ручных аналогов не имеет.
Ну чо, анон, что получилось?
>А вот жопу подтирать или слесарьплов импортить может кто угодно.
Если же ты уверен, что любую парикмахершу можно научить хотя бы натягивать темы на вордпресс, то прими таблетки. В этом плане любую парикмахершу можно обучить стоматологии, дохуя времени просто потребуется, но айти это все равно далеко не для всех, слишком античеловеческий род деятельности.
А мл - это айти среди айти, доступно единицам, слишком много компетенций должно пересекаться. У меня знакомый в 30 лет устроился в ЕПАМ лепить круды, ему норм, потому что он такой же задрот, как любой айтишник. Но с математикой траблы - и все, приблыли, мл ему закрыт. Это не значит, что в мл требуется какая-то сложная математика, просто для большинства людей даже простая математика это сложно.
В итоге мл это примерно как какая-нибудь разработка компиляторов. Несложно сгенерить код для x86 по индусотуториалу, но это будет так же далеко от реальной разработки компиляторов, как твои представляения об МЛ. МЛ - это сплошные нюансы.
>Потому что CAD это автоматизация ручного труда, а машобчик более примитивных ручных аналогов не имеет.
Эволюция CAD выглядит так: сначала чертили на миллиметровке, потом появились 2D системы, по сути векторные редакторы, которые просто позволяли иметь элеткронный кульман с кнопкой undo, и 90% инженеров застряло на этом уровне, потом параметрические 3D системы, в которых изменение размеров детали не влекло за собой ручную переделку десятка поизводных чертежей. Затем пришел интернет, разного рода мастеры и скрипты, и многие детали вообще софтина сгенерирует по ТЗ, а вместо проектирования отдельных блоков с нуля можно найти того, кто их уже делал. При этом в теории можно все автоматизировать еще больше, но на практике держать конструктора дешевле, чем искать программиста, который автоматизирует его работу.
В ML изначально считали вручную и забивали их в железо с помощью потенциометров, затем писали программы, но с нуля, затем, пришли библиотеки типа BLAS, но градиенты считали руками, затем пришел автоматический подсчет градиентов. Каждый новый переход не упрощал вход в профессию, а усложнял.
Automl способен автоматизировать ту часть моей работы, когда я пишу скрипт с перебором параметров для сетки. Но это 2 дня в месяц максимум. Приятно, но жизнь не поменяет. Вот что было бы реально прикольно, это zero shot learning как у GPT-3.
>А вот жопу подтирать или слесарьплов импортить может кто угодно.
Если же ты уверен, что любую парикмахершу можно научить хотя бы натягивать темы на вордпресс, то прими таблетки. В этом плане любую парикмахершу можно обучить стоматологии, дохуя времени просто потребуется, но айти это все равно далеко не для всех, слишком античеловеческий род деятельности.
А мл - это айти среди айти, доступно единицам, слишком много компетенций должно пересекаться. У меня знакомый в 30 лет устроился в ЕПАМ лепить круды, ему норм, потому что он такой же задрот, как любой айтишник. Но с математикой траблы - и все, приблыли, мл ему закрыт. Это не значит, что в мл требуется какая-то сложная математика, просто для большинства людей даже простая математика это сложно.
В итоге мл это примерно как какая-нибудь разработка компиляторов. Несложно сгенерить код для x86 по индусотуториалу, но это будет так же далеко от реальной разработки компиляторов, как твои представляения об МЛ. МЛ - это сплошные нюансы.
>Потому что CAD это автоматизация ручного труда, а машобчик более примитивных ручных аналогов не имеет.
Эволюция CAD выглядит так: сначала чертили на миллиметровке, потом появились 2D системы, по сути векторные редакторы, которые просто позволяли иметь элеткронный кульман с кнопкой undo, и 90% инженеров застряло на этом уровне, потом параметрические 3D системы, в которых изменение размеров детали не влекло за собой ручную переделку десятка поизводных чертежей. Затем пришел интернет, разного рода мастеры и скрипты, и многие детали вообще софтина сгенерирует по ТЗ, а вместо проектирования отдельных блоков с нуля можно найти того, кто их уже делал. При этом в теории можно все автоматизировать еще больше, но на практике держать конструктора дешевле, чем искать программиста, который автоматизирует его работу.
В ML изначально считали вручную и забивали их в железо с помощью потенциометров, затем писали программы, но с нуля, затем, пришли библиотеки типа BLAS, но градиенты считали руками, затем пришел автоматический подсчет градиентов. Каждый новый переход не упрощал вход в профессию, а усложнял.
Automl способен автоматизировать ту часть моей работы, когда я пишу скрипт с перебором параметров для сетки. Но это 2 дня в месяц максимум. Приятно, но жизнь не поменяет. Вот что было бы реально прикольно, это zero shot learning как у GPT-3.
> ML хорошо фрилансится, потому что это замкнутые задачи - сделать датасет, добиться на нем такого-то перформанса.
послушай, но ведь это и есть "хочу делать fit_predict()"
Ну ахуеть. Если я полностью сам обработал для фрилансера данные, я уж как-нибудь сам погуглю как вызвать fit_predict().
Какие-то фантазии. Это не самом деле происходит именно так?
>Если я полностью сам обработал для фрилансера данные, я уж как-нибудь сам погуглю как вызвать fit_predict()
Вперед, каггл ждёт тебя с потенциальными миллиардами долларов, данные дают, нужно только фитпредикт сделать.
>выдать программерам кабанчика predict.py и переходить на следующий проект.
Что-то я не верю в такой формат. Точнее, не вижу достаточного объема таких задача чтобы становиться фрилансером.
Это как раз уровня automl задачи и на их решение нужно немного времени.
И ответственности никакой. с делал по ТЗ - молодец ( а ТЗ неправильное было, толку нет, денег нет)
более реально это месяцами погружаться в бизнес, создавать data pipeline, выдавать гипотезы и тестировать их на практике.
За это кабанчики готовы платить уже сейчас.
мы про выигрыш соревнований 1 раз в год или осознанный выбор области деятельности, с которым ты точно сможешь потом жить ?
Не понимаю зачем вообще Кагл упоминать в контексте обсуждения.
>мы про выигрыш соревнований 1 раз в год или осознанный выбор области деятельности
Мы про "чего это ещё я кому-то буду платить за фитпредикт, это ж легко, я и сам сделаю".
>Не понимаю
Мл не для тебя, покинь тред.
Ребенок познает мир. Мань, вот тебе несколько фактов
1. Большинство людей просто очень тупые и ленивые. Они не могут даже розетку в собственной квартире установить, хотя там достаточно школьных знаний физики и небольшого туториала
2. Те люди, которые не тупые, специализируются в узких областях. Нет смысла устанавливать 70 розеток в купленной квартире, даже если ты это умеешь, проще поручить это профи, который делает это в разы быстрее
3. Те люди, которые не тупые, и хотят развиться, например, как хобби, им требуется на это время. В практически любую нетривиальную профессию нельзя вкатиться меньше, чем за полгода.
4. Те люди, которые не тупые, хотят развиться и являются мега-гениями, могут освоить, но примерно за пару недель, которые потребуются для того, чтобы физически прочитать несколько книжек по 1000 страниц.
Исходя из этого, чтобы твой манямир существовал, каждый заказчик в этом мире должен быть мега-гением с базовыми знаниями айти (питона, гита, быстро печатать), при этом не шизозадротом типа тебя, а бизнесмена, который вместо того, чтобы найти спеца и поручить ему задачу, будет сидеть две недели и читать книжки. Ты понимаешь, насколько ты поехавший?
>Мл не для тебя, покинь тред.
я вообще-то планирую до кабанчиков доводить саму идею и благодаря мне ты будешь получать деньги.
Но ты можешь дальше изображать илитку.
>Что-то я не верю в такой формат. Точнее, не вижу достаточного объема таких задача чтобы становиться фрилансером.
Становиться фрилансером нужно либо когда у тебя нихуя нет, ни вышки, ни мамки, чтобы кормила тебя, пока ты бесплатно хуйцы на кагле жрешь, ни квартиры в москве, чтобы устроиться куда-то помимо мухосранского завода, а есть только мозги и желание развиваться. Либо когда наоборот, у тебя есть все, и ты можешь поставить рейт в 100 баксов и раз в месяц получать приглашения на топовые халтурки, чтобы мозги на постоянном месте работы не заржавели. В остальном во фрилансе смысла нет. Он просто не стоит того, денег, как в офисе, а гемора на порядок больше.
Но ровно поэтому РАБОТЫ ПОЛНО. Ну тупо дохуя кабанчиков хочет чего-то, а на рынке 1.5 студента и 3 индуса. Если ты нормальный специалист, то это выбор контракта это ты приходишь и выбираешь его, а не кабанчик выбирает тебя.
Отчётики эксельные строить и с презенташкой выступать я и сам могу, спасибо, сбежал слава богу от этого уныния.
тогда к тебе нет мостика от денег.
Не понимаю, на что ты рассчитываешь.
на Кагле настолько много предложений что есть работы на любой вкусе?
или ты пытаешься показать нам какой ты непростой хуй и можешь выбирать топовые задания?
Я знаю что ты пиздишь.
Пиздеть ты тут начал про то про что не знаешь, а я чисто посадил тебя на жопу.
>ML хорошо фрилансится, потому что это замкнутые задачи - сделать датасет, добиться на нем такого-то перформанса. В итоге ты можешь собрать датасет - получить деньги, натренировать его - получить деньги, выдать программерам
Звучит неплохо, ковырять чужой пэхапе-проект, сделанный через задницу, звучит куда хуже.
>>48943
>То, что сами кабанчики будут обучать себе сетки это такой же манямир, как представить то, что они будут сами ремонтировать себе автомобили или лечить зубы.
>>49263
> Большинство людей просто очень тупые и ленивые.
>
Исходя из этого, чтобы твой манямир существовал, каждый заказчик в этом мире должен быть мега-гением с базовыми знаниями айти (питона, гита, быстро печатать), при этом не шизозадротом типа тебя, а бизнесмена, который вместо того, чтобы найти спеца и поручить ему задачу, будет сидеть две недели и читать книжки.
Двачую этого, хоть я и пока и ноль в мл пока, но с кабанчиками поработал знатно. Сказать что кабанчики тупые - это ничего не сказать. Просто как пример приведу - есть одна сельхозсфера, где люди готовы платить 50-200к за наводку на товар (по какому адресу, телефону и какого качества), которая ищется за 15 минут гугла и 5-10 телефонных звонков. Но вкатываться не советую, тк подводных море и все норовят друг друга кинуть. Но чсх, кабанчика даже готовая наводка все равно не спасает от рисков этого..
В ойти конечно люди поумнее, чем в колхозах и строительстве, но даже самый конченный ит-коммерс понимает что проще накинуть на хлеб васяну, чем разгребаться в числах самому, когда и так дел невпроворот.
>>49332
> когда у тебя нихуя нет, ни вышки, ни мамки, чтобы кормила тебя, пока ты бесплатно хуйцы на кагле жрешь, ни квартиры в москве, чтобы устроиться куда-то помимо мухосранского завода, а есть только мозги и желание развиваться.
Ты прям меня описал, нихуя нет, дома даже комнаты своей нет, сижу на сьемной хате, работа в ойти щас вроде неплохая, но тупая, развития и перспектив нет. И с учетом аренды в копить мне на ту же хату лет 10-20 в режиме ультрасыча. Еботека не вариант, ебал совсем уж на ошейник садиться.
Только не совсем понял про мамку кормящую, ведь для старта фрилансоебства это идеальный безрисковый вариант. А вот когда такой возможности нет, безопаснее как раз в стабильный копроофис вкатываться, наверное. Но безопасность я ебал, олл ин хочу ставить.
>>49333
Ты меня мотивируешь чот прям. Если скажем яп знаю (худо бедно могу сайт на фласке поднять с нуля, но для фриланса пока профессионально пожалуй не готов), алгоритмами и матаном заинтересован (впитываю активно), реально в мл-фриланс или мл-удаленку в бурже за полгода (без работы и сериальчиков, онли хуман лернинг) вкатиться?
>>48442 - антон
>ML хорошо фрилансится, потому что это замкнутые задачи - сделать датасет, добиться на нем такого-то перформанса. В итоге ты можешь собрать датасет - получить деньги, натренировать его - получить деньги, выдать программерам
Звучит неплохо, ковырять чужой пэхапе-проект, сделанный через задницу, звучит куда хуже.
>>48943
>То, что сами кабанчики будут обучать себе сетки это такой же манямир, как представить то, что они будут сами ремонтировать себе автомобили или лечить зубы.
>>49263
> Большинство людей просто очень тупые и ленивые.
>
Исходя из этого, чтобы твой манямир существовал, каждый заказчик в этом мире должен быть мега-гением с базовыми знаниями айти (питона, гита, быстро печатать), при этом не шизозадротом типа тебя, а бизнесмена, который вместо того, чтобы найти спеца и поручить ему задачу, будет сидеть две недели и читать книжки.
Двачую этого, хоть я и пока и ноль в мл пока, но с кабанчиками поработал знатно. Сказать что кабанчики тупые - это ничего не сказать. Просто как пример приведу - есть одна сельхозсфера, где люди готовы платить 50-200к за наводку на товар (по какому адресу, телефону и какого качества), которая ищется за 15 минут гугла и 5-10 телефонных звонков. Но вкатываться не советую, тк подводных море и все норовят друг друга кинуть. Но чсх, кабанчика даже готовая наводка все равно не спасает от рисков этого..
В ойти конечно люди поумнее, чем в колхозах и строительстве, но даже самый конченный ит-коммерс понимает что проще накинуть на хлеб васяну, чем разгребаться в числах самому, когда и так дел невпроворот.
>>49332
> когда у тебя нихуя нет, ни вышки, ни мамки, чтобы кормила тебя, пока ты бесплатно хуйцы на кагле жрешь, ни квартиры в москве, чтобы устроиться куда-то помимо мухосранского завода, а есть только мозги и желание развиваться.
Ты прям меня описал, нихуя нет, дома даже комнаты своей нет, сижу на сьемной хате, работа в ойти щас вроде неплохая, но тупая, развития и перспектив нет. И с учетом аренды в копить мне на ту же хату лет 10-20 в режиме ультрасыча. Еботека не вариант, ебал совсем уж на ошейник садиться.
Только не совсем понял про мамку кормящую, ведь для старта фрилансоебства это идеальный безрисковый вариант. А вот когда такой возможности нет, безопаснее как раз в стабильный копроофис вкатываться, наверное. Но безопасность я ебал, олл ин хочу ставить.
>>49333
Ты меня мотивируешь чот прям. Если скажем яп знаю (худо бедно могу сайт на фласке поднять с нуля, но для фриланса пока профессионально пожалуй не готов), алгоритмами и матаном заинтересован (впитываю активно), реально в мл-фриланс или мл-удаленку в бурже за полгода (без работы и сериальчиков, онли хуман лернинг) вкатиться?
>>48442 - антон
>кабанчики тупые
Тут двояко прозвучало. Я имел ввиду что если человек оценивает свое время дороже, чем оплату услуг профи, то он неглупый. Таким коммерс и должен быть.
Но просто в большинстве сфер кабанчики тупо ленятся, а не анализируют выгодность. И готовы переплачивать оверпрайсы, лишь бы не думать.
С какого-то момента твое время стоит так дорого, что думать становится не выгодно. Дешевле нанять кого-то, кто будет думать за тебя.
> гыгы ну кабаны тупые
> сидят за свои 300 млн/месяц не понимают ничё в эмэле
> слава богу есть такие как я которые ковыряют вилкой данные 40 часов в неделю за ажно 300к/мес
Хуя гонор у ящикотрясунчикового технарескота.
>слава богу есть такие как я которые ковыряют вилкой данные 40 часов в неделю за ажно 300к/мес
Большинство в треде вообще бесплатно ковыряет, или за <100к.
Эх щас бы в СНГ интеллект по количеству зарабатываемых денег оценивать.
Мне когда было 13 лет, я был ватаном-коммунистом и думал что богачи скам. Когда мне было 18, я был мамкиным капиталистом, и думал что если у человека есть деньги, значит он априори умный. Просто как аксиома.
Сейчас мне 25, и я понимаю что абсолютно никак не коррелируют мозги и деньги. Есть богатые гении Стив Жопс, Иван Маск etc, есть нищие гении Перельман отказавшийся от миллиона, или люди ИТТ, есть богатые деграданты большинство всяких депутатов и владельцев колхозов например, и бедные тупые черви 99% населения СНГ.
Успех зависит от таких вещей как ушлость, аморальность, активность, смекалистость, социоблядтво, стартовые условия и самое главное - удача. Интеллект без тупо фарта ничего не стоит к сожалению.
Алсо друг работает в охотничьем, там депутат 8 раз пытался складной нож открыть нажатием на кнопку, при этом пальцами своими жирными просто мешая выйти лезвию. И орал матом хуле он не открывается. Друг говорит я удивляюсь как он на охоте еще себе в глаз не выстрелил.
Зато у него только один катер за 80 млн рублей на 3500лс.
А колхозники на крузаках приезжают ружья покупать по 800к, так они блядь в записную книжку айфона номер сохранить не могут.
Я не говорю что лучше быть умным и бедным, чем богатым дураком, просто хочу сказать что быть богатым - никак не мешает быть пиздецки тупым.
Ну я про это и говорю. Но вот в случае с теми сельхозаврами я реально не понимаю как можно проебывать 20-30% чистой прибыли, просто не умея в гугол.
>просто не умея в гугол
здравствуйте, мы занимаемся обучением нейросеток именно для того чтобы поощрять лень. Чтобы человек не искал уже что ему нужно, а чтобы ему адсенс советовал именно то что нужно. Или там плейлист в ютубе. Работа кабанчиков- это просто ответственность. Козлы отпущения на случай проеба, и чем он ленивее, тем лучше будет выполнено задание, а не искать выход из замкнутого круга -работа-гроб-кладбище-нутыпонел. Ну и тем меньше ему надо для удовлетворения своих потребностей.
Минимизация количества нейронов для улучшения сходимости в задаче.
Давай я тебе дам просто охуенную аналогию в цепочке "владелец-директор-менеджеры-главные инженеры-среднего звена менеджеры- прорабы- рабочие- кабанчики". В этой цепочке не принято, чтобы кто-то получал больше, чем тот, кто стоит выше в иерархии. Потому что каждый из них несет больше ответственности и более компетентен, чем тот, кто стоит ниже в иерархии. Так и в нейронной сети для распознавания- каждый слой должен работать с меньшим разрешением, с меньшей ответственностью, чем первый слой. От общего контура к попиксельным квадратам. И если пирамида ошибается в стратегии (общем контуре фичи), то далее будет хуже-(уже все равно что, инженерам поставили гвозди вместо саморезов- это не так страшно, если для самолета рассчитывают ну предположим, гидродинамику вместо аэродинамики, потому что директор сказал, что хочет сделать пассажирский летающий лайнер). Вот и не нужно у нас на слое менеджеров-инженеров быть каким-то там программистом с абстрактным математическим мышлением. Дай боже он верно активировал связь к нейрону в своем мозгу и ему хватит силы воли набрать номер специалиста а не проебать все, сказав кабанчикам- "прибивайте саморезами".
В итоге у нас на выходе в обществе уже давно продаются услуги и гарантии их выполнения. но это, в принципе, верно, как мы видим на примере нейросеток. По другому- это уже "котики на единорогах", а таких мало, но обнадеживает одно - в МЛ рисерче их, котиков, относительно много. Авось прорвемся.
Тут можно еще сильнее в политоту удариться, например почему у нас такие люди-фукнции, люди-скрипты существуют и их так много становится. Давай не будем. Извините, меня часто заносит.
>просто не умея в гугол
здравствуйте, мы занимаемся обучением нейросеток именно для того чтобы поощрять лень. Чтобы человек не искал уже что ему нужно, а чтобы ему адсенс советовал именно то что нужно. Или там плейлист в ютубе. Работа кабанчиков- это просто ответственность. Козлы отпущения на случай проеба, и чем он ленивее, тем лучше будет выполнено задание, а не искать выход из замкнутого круга -работа-гроб-кладбище-нутыпонел. Ну и тем меньше ему надо для удовлетворения своих потребностей.
Минимизация количества нейронов для улучшения сходимости в задаче.
Давай я тебе дам просто охуенную аналогию в цепочке "владелец-директор-менеджеры-главные инженеры-среднего звена менеджеры- прорабы- рабочие- кабанчики". В этой цепочке не принято, чтобы кто-то получал больше, чем тот, кто стоит выше в иерархии. Потому что каждый из них несет больше ответственности и более компетентен, чем тот, кто стоит ниже в иерархии. Так и в нейронной сети для распознавания- каждый слой должен работать с меньшим разрешением, с меньшей ответственностью, чем первый слой. От общего контура к попиксельным квадратам. И если пирамида ошибается в стратегии (общем контуре фичи), то далее будет хуже-(уже все равно что, инженерам поставили гвозди вместо саморезов- это не так страшно, если для самолета рассчитывают ну предположим, гидродинамику вместо аэродинамики, потому что директор сказал, что хочет сделать пассажирский летающий лайнер). Вот и не нужно у нас на слое менеджеров-инженеров быть каким-то там программистом с абстрактным математическим мышлением. Дай боже он верно активировал связь к нейрону в своем мозгу и ему хватит силы воли набрать номер специалиста а не проебать все, сказав кабанчикам- "прибивайте саморезами".
В итоге у нас на выходе в обществе уже давно продаются услуги и гарантии их выполнения. но это, в принципе, верно, как мы видим на примере нейросеток. По другому- это уже "котики на единорогах", а таких мало, но обнадеживает одно - в МЛ рисерче их, котиков, относительно много. Авось прорвемся.
Тут можно еще сильнее в политоту удариться, например почему у нас такие люди-фукнции, люди-скрипты существуют и их так много становится. Давай не будем. Извините, меня часто заносит.
Вот ты строчил это полчаса, а он пришлет картинку с тайдменом и пойдет дальше по тематикам шитпостить
>Только не совсем понял про мамку кормящую, ведь для старта фрилансоебства это идеальный безрисковый вариант
С мамкой можно попрбовать оказаться в топ 90% кагла в нескольких соревнованиях, а с этой хуйней проситься уже на полноценный онсайт либо западную удаленку. У меня воспоминания о фрилансе примерно как об армейке, это был дикий гемор, но теперь я мужик. Но, как и в случае с армейкой, я мало кому посоветую повторять мой опыт. Сейчас у меня 5 лет один и тот же клиент, фактически работодатель, это намного приятнее и с точки зрения стабильности, и с точки зрения самореализации.
В таких постах ценен не результат, а процесс, который приводит к новым мыслям. А что там какой-то анонимус шитпостит вообще похуй, как будто я всерьез собираюсь переспорить кого-то на имиджборде
И чё это за хуйня и на чём основанна?
Чтоб быть богатым надо занимать РУКОВОДЯЩУЮ должность. Надо уметь быть лидером. Это не требоет(вернее не обязательно требует) интеллекта. Даже у негров в банде и у волков в стае тоже есть лидер. Есть лидеры в IT, в науке, в спорте и тд.
Это не зависит от интеллекта, образования и тд. И это тяжело просто так взять и развить, если этого нет.
Если ты прирожденный лидер - будут баксы. Если не лидер - не будут.
> опросили бедных, богатых и середняков
> бедные: твари мрази по блату устроились!!
> богатые: самидобились!!!1
> середняки: ну наверное всего понемногу хз)
А ты скорее всего не очень сообразительный, раз думаешь что эта говнографика представляет собой какой-то аргумент. Мл не для тебя, будет лучше если ты покинешь тред.
>мл - это айти среди айти, доступно единицам, слишком много компетенций должно пересекаться
Хуйню он написал. Худшие студенты с моего потока пошли заниматься data science, а лучшие стали разработчиками. Потому что получить конкретное техзадание, связанное с продуктом, для которого нет типового решения, и надо сначала спроектировать модуль, а потом еще и элегантно встроить его в существующий код - это сложно, и для решения такой задачи надо самостоятельно думать. А мл задачи, если не считать научные исследования, все типовые и решаются с гуглом.
>если не считать научные исследовани
Действительно инновационные вещи делает один процент, а остальные работают sort of макаками. Так что научные исследования туда же - все делается гуглом и тупым перебором.
Да, кстати у талеба хорошо прописана идея что по сути все упирается в фарт. И что успешные стали успешными, не потому что талантливы, а потому что по случайности получили популярность, и в связи с этим стали успешны и их "талант" признали.
А сотни и тысячи не менее талантливых, но более невезучих, соснули хуйца.
>Худшие студенты с моего потока пошли заниматься data science, а лучшие стали разработчиками
"Лучшие студенты" становятся разработчиками, потому что это легкий вкат при наличии хоть каких-то мозгов, и большие для студента деньги. Все это дает ощущение своей особенности, вон какой ты крутой, тебе только 20, а получаешь на уровне сеньора. А потом проходит 15 лет, и тебе 35, а ты получаешь на уровне двадцатилетнего. Упс. Потому что легкий вкат работает в обе стороны - да, программистам платят больше, чем парикмахерам, потому что требуется интеллект, а в рашке так вообще прилично, потому что рынок труда международный. Но это и все. Хочешь получать много - езжай в Калифорнию и продавай свои жопочасы там. Охуенный карьерный рост, что-то на уровне таджика-каменщика, который вырос, переехав в Москву. Со временем "сложные задачи" (тут совсем смешно) превращаются в однообразную рутину, а ты фактически как продавал свои жопочасы в обмен на деньги, так и продаешь. И весь /зк/ наполнен этой болью.
>депутат 8 раз пытался складной нож открыть нажатием на кнопку, при этом пальцами своими жирными просто мешая выйти лезвию. И орал матом хуле он не открывается.
>Зато у него только один катер за 80 млн рублей
Это говорит о том, что у ножа был плохой UI, а у дорогого катера - хороший.
Делайте хороший UI, это важно для UX
Бля он выкидной нож обычный держал полным обхватом, Нож пытался, но не смог превзойти интеллект депутата.
Благодарю! Дёшево и сердито. С колобков орнул.
Я просто имел ввиду задним числом, после 10 лет обучения сеточки, которая больше моей мамки, выдернуть как-то потом удачные случаи, если кэлбеков не сделал. Но, видимо, не судьба.
Какие еще гарантии результата в нейронках, лол?
Не волнуйся, если финальный результат говно, значит и все промежуточные скорее всего были говном. Наверни столько регуляризации, чтобы сетка не уходила в оверфит даже после 100 лет на nvidia 66680
Это называется наукой
какой же ты завистливый, п-ц просто
Давай я перескажу эту книгу в одно предложение:
> Входите в сделки с положительным мат. ожиданием и не входите в сделки с отрицательным мат. ожиданием
Всё, книгу можно не читать
Как я понимаю я не могу отдать в Тензорфлоу null по одному из полей, то есть все и каждые коэфы должны быть проставлены. У меня вопрос: можно ли передавать два значения: одно будет битом 0/1 (нет коэфа или есть), а второе — самим коэфом. То есть я понимаю, что я физически могу это сделать, но будет ли Тензорфлоу строить какую-то корреляцию или что-то такое.
>Давай я перескажу эту книгу в одно предложение:
> Входите в сделки с положительным мат. ожиданием и не входите в сделки с отрицательным мат. ожиданием
Лол, нет. Это ровно противоположная вещь, которая там написана. Ты не знаешь истинного матожидания сделки, только среднее в прошлом, но проблема в том, что когда у тебя распределение с тяжелыми хвостами, это самое среднее по историческим данным не говорит о реальном матожидании, которое бог заложил в симуляции вселенной, ничего.
Если на пальцах, ты открываешь в рашке ресторан, получаешь небольшую прибыль, тебе кажется, что матожидание положительное, а потом у тебя этот ресторан отжимают и ты теряешь все свои накопления. Почему? Потому что риск оказался ассиметричным: частый небольшой профит и редкие события, приводящие к тотальному краху. Матожидание, кстати, при этом все равно может быть положительным. Ну типа, зарабатывал ты по миллиону рублей в год 10 лет, а на 11-й год проебал 9 миллионов. С точки зрения матожидания все заебись, положительное, открывайте рестораны в рашке. А на деле тебе, опять-таки, пиздец.
Если пересказывать книгу в одно предложение, то это "входите в сделки, у которых возможные потери небольшие, а возможный куш - большой, и бегите от сделок, которые дают маленький положительный профит регулярно, зато изредка в которых ты теряешь все".
Я думаю тебе лучше использовать метод, который позволяет задавать входным данным их вероятность. Тогда у вычисленных коэффициентов дисперсия будет нулевая, а у неизвестных - равномерно размазана от -1 до 1.
Типа https://blog.tensorflow.org/2019/03/regression-with-probabilistic-layers-in.html , вроде то. Глубокие модели с такой хуйней тоже есть, но от меня это далековато.
>Ты не знаешь истинного матожидания сделки, только среднее в прошлом, но проблема в том, что когда у тебя распределение с тяжелыми хвостами, это самое среднее по историческим данным не говорит о реальном матожидании, которое бог заложил в симуляции вселенной, ничего
Классика кукаретики. Брат назиф в том же ряду что и местный шиз с его "критикой" нутупых машобщиков.
>можно ли передавать два значения: одно будет битом 0/1 (нет коэфа или есть), а второе — самим коэфом
Можно
> входите в сделки, у которых возможные потери небольшие, а возможный куш - большой, и бегите от сделок, которые дают маленький положительный профит регулярно, зато изредка в которых ты теряешь все
Я помню, он приводил в пример себя и соседа, которому он завидовал. И в один прекрасный день сосед лососнул тунца. Но Талеб не делает на этом случае акцента
Если ты назвал кого-то местным шизом, это не значит, что ты не являешься точно таким же местным шизом.
Я больше наблюдаю статей о jupyter, но ведь если строительные компоненты давно известны, может быть можно просто накидать цепочку преобразований и потом сохранить в виде какого-нибудь кода на питон?
Вот есть всякие штуки от apple https://developer.apple.com/documentation/createml/creating_an_image_classifier_model
Если не используется, то почему?
>Если не используется, то почему?
Почему не используется, если каждая корпорация выпускает подобную хуитку, как облачную, так и локальную. Рыночек сейчас ищет оптимальный софт, чтобы типовые задачи можно было делать без красноглазия.
Но тут проблема в том, что вот есть типовая задача, распознавание лиц, например. Нахуя тебе, если ты васян, далекий от мл, вообще что-то обучать, когда ты можешь скачать dlib с уже обученной сеткой? То есть нужно попасть в узкую нишу, когда готовых библиотек тебе мало, а питона с его автоматизацией любого пука много.
Серьезные люди не используют, потому что это типичная история, как в случае с 1С или макросами в ворде, удобнее иметь скрипт, который делает за тебя все, даже если для его написания приходится покопипастить из туториала вместо того, чтобы накликать мышкой те опции, который выдал тебе автор гуя. Я использовал nvidia digits в 2015, в конце концов объем выполняемой рутины меня заебал, от запуска отдельных скриптов для препроцессинга, до просто однообразных кликов мышкой. Но все это близко к срачу редакторы vs ide, думаю в ближайшие 10 лет наплодится достаточно макак, которые будут пользоваться такого рода софтом.
в смысл гугл/эпл/ms ? А такого, чтобы бесплатно на своих ресурсах или сразу в десктопе покрутить - нету?
На самом деле я нашел одну, но не понимаю почему очень мало информации о ней. Неужели я нашел золотую жилу? такого не может быть
>Нахуя тебе, если ты васян, далекий от мл, вообще что-то обучать, когда ты можешь скачать dlib с уже обученной сеткой?
Потрясти черные ящики, сравнить классификаторы и понять имеет ли смысл звать профи для выпуска продукта!
> А такого, чтобы бесплатно на своих ресурсах или сразу в десктопе покрутить - нету?
Я упомянул nvidia digits, это то, с чем работал сам. Уверен, что дохуя подобного.
>Потрясти черные ящики, сравнить классификаторы и понять имеет ли смысл звать профи для выпуска продукта!
Так спроси у профи, либо заплати ему. Как будто у тебя есть миллион на выпуск продукта, а 1-20к на консультацию жалко.
ну погоди, на продукт далеко не миллион.
если продукт внутренний, он может быть сколь угодно уебищным и дешевым, а пользоваться им будут с удовольствием. лишь бы прогнозы выдавал или классифицировал.
Короче, не очень понятно отсутствие внятных десктопных софтов. Мне экселя ждать?
так я то знаю питон. мне нужен РАД.
2) учу матан
3) учу тервер
4) учу матстат
5) прохожу курсы из специализации "машоб и анализ данных на курсере"
6) профициты
Рейт
>1) учу основы линала
>2) учу матан
>3) учу тервер
>4) учу матстат
>5) прохожу курсы из специализации "машоб и анализ данных на курсере"
>6) ...
>7) профициты
Пофиксил
Забьешь хуй на 1
Учи как стакать слои + постоянно выковыривай из свежих булшитных статей новые модные баззворды: вуаля, ты специалист по мошонобу.
Приветики, трясунишки, как делишки?
Батч влияет, гпу нет.
>тебе 35, а ты получаешь на уровне двадцатилетнего. Упс
Так в ds точно такая же ситуация. Очевидно, что у каждой профессии есть свой потолок зп. Как правило из обычных разработчиков идут либо в архитекторы, либо в лиды. И дальше в сторону менеджмента.
хм, так это в любой нормальной профессии так.
>тебе 35, а ты получаешь на уровне двадцатилетнего.
>Так в ds точно такая же ситуация
Ты наркоман
>Как эта хуйня работает?
https://numpy.org/doc/stable/reference/generated/numpy.unique.html
When an axis is specified the subarrays indexed by the axis are sorted. This is done by making the specified axis the first dimension of the array (move the axis to the first dimension to keep the order of the other axes) and then flattening the subarrays in C order. The flattened subarrays are then viewed as a structured type with each element given a label, with the effect that we end up with a 1-D array of structured types that can be treated in the same way as any other 1-D array. The result is that the flattened subarrays are sorted in lexicographic order starting with the first element.
>А для axis = 1 какая-то наркомания выводится.
Для axis=1 у тебя на входе 3 элемента. [1, 1, 2], [0, 0, 3] и [0, 0, 4], он в выводит их отсортированными сначала 003, потом 004, потом 112, но располагаются они вертикально, потому что axis=1. Хочешь отсортировать взад, возвращай индексы и сортируй.
https://www.researchgate.net/publication/339520139_Application_of_the_ARIMA_model_on_the_COVID-2019_epidemic_dataset
почему еще многие ссылаются на это исследование?
Какие вообще практические свойства у ARIMA ?
Если новые заболевшие короновирусом должны представлять собой типичную логистическую кривую, почему тогда ARIMA ?
Или они пытались типа на неделю вперед предсказать как сильно врачи и статисты на выходных отдыхают?
> Почему эти итальянцы использовали ARIMA для предсказания развития короновируса ?
Потому что это стандартный алгоритм для анализа временных рядов последние лет 30?
> Если новые заболевшие короновирусом должны представлять собой типичную логистическую кривую, почему тогда ARIMA ?
Наверное, потому что число заболевших это временной ряд, как думаешь?
>Потому что это стандартный алгоритм для анализа временных рядов последние лет 30?
Ну допустим.
но ведь суть процесса в том, что он не повторяется. Это тупо логистическая кривая. Процесс идет в одну сторону.
И что, тайдмену уже спросить нельзя?
Арима учитывает и тренд и цикличность, но вообще это кал ебаный, когда есть лстм.
> но ведь суть процесса в том, что он не повторяется. Это тупо логистическая кривая. Процесс идет в одну сторону.
Суть процесса в том, что это временной ряд. Логистическая кривая - это предполагаемая модель данного процесса, никак не запрещающая использовать arima. Вообще, предсказывать макаронавирус дело такое, со статистикой много где мухлюют, считают везде по разному итд.
> И что, тайдмену уже спросить нельзя?
Кто сказал что нельзя? Все можно.
> Так почему при бутстрапе получаются нескоррелированные модели?
Как это вообще связано, бустреп же это способ подавать семплы.
Но по Швитым США можно.
Мне интересно как они рассуждали о процессе и почему сразу выбрали arima.
Как бы вы поступили?
Ну бэггинг же, потом на этих семплах обучаем модели и усредняем. В результате дисперсия соответсвенно уменьшается, но только если они нескоррелированы между собой. При этом утверждается что они таки нескоррелированы, но путём недолгого гугления доказательства этого я не нашёл.
Всегда в первую очередь берут ариму просто, эт бейcлайн.
в одном из последних (за пол года) выпусков https://www.youtube.com/channel/UCbfYPyITQ-7l4upoX8nvctg было про то, что есть возможность даже на одном фото так делать- оживить джоконду например. Фишка в том, что код тогда не опубликовали, потому что "боялись, что эту технологию будут использовать в преступных целях". Я не следил, надо тебе проверить, может выложили. stylegan помоему для этого не подходит, он больше для pix2pix преобразований и генерации, если у тебя, конечно, нету много нужного датасета.
> Фишка в том, что код тогда не опубликовали, потому что "боялись, что эту технологию будут использовать в преступных целях". Я не следил, надо тебе проверить, может выложили.
Да давно уже всё выложено для дип фейков https://github.com/AliaksandrSiarohin/first-order-model
Есть и боты в телеге, где он тебе по фото и видео, фото анимирует.
> При этом утверждается что они таки нескоррелированы
Потому что на разных выборках обучаются.
Какую вы блять математику хотите дрочить. Там от неё элементарные вещи нужны. От матана что такое градиентный спуск, производные от функций уметь брать. От линала как с матрицами работать. От теорвера просто базовые знания, от матстата функция максимального правдоподобия, критерии разные там, байес, ну по мелочам то есть.
> До потенциального трудоустройства где то года два ещё...
Хеллоу, тру пацаны с первого курса работают, а с третьего это обязательно, если ты не нуб. Пиздуй на стажировку.
Подвыборка не показывает распределения всей выборки. Если ты будешь обучать модели на разных подвыборках, то они будут представлять разные части изначального распределения. А вот как раз, когда ты будешь их вместе собирать через среднее это даст тебе результат будто ты обучался по всему распределению.
Ещё ты можешь разные модели использовать.
>Подвыборка не показывает распределения всей выборки. Если ты будешь обучать модели на разных подвыборках, то они будут представлять разные части изначального распределения.
Всё это рукомахательство где я только не читал (ну "разные части" и что? как это мешает на них одну формулу получить?) Мне бы доказательство где почитать.
Как ты себе представляешь доказательство, что на разных данных модели обучаются по-разному?
> на разных данных модели обучаются по-разному
Утверждение о том что модели нескоррелированы если выбирать подвыборки независимо и с возвратом это математическое утверждение. Если оно вообще верно, я сейчас уже что-то сомневаюсь, похоже на обычный ml булшит.
Ну хуй знает. Ты даже условия этого "математического утвеждения" не сформулируешь. Что такое модель, что такое нескоррелированы, что такое выбирать независимо и тд.
Если найдется компетентный анон, с меня благодарственное нихуя
а ну и самое главное, я разрабатывал на с++, питоне и знаю 3d зрени (как раз облака точек и тд) куда двигаться дальше в таком случае? есть ли потребность в рашке? на hh увидел, в основном, спрос на дата саентистов в этой области
короче сложно все, не хуесосте плиз
Ты можешь придти к кабанчику и сказать что готов разработать промышленный контроль сборки ебанины..
А не извини. Не можешь. Датасатанисты же белоручки и заняты штудированием новых статей...
>Датасатанисты же белоручки и заняты штудированием новых статей...
А ещё дохляки почти все как один, мужикам на заводе подсобить не могут.
Для кабанчика трагедия конечно что нельзя нанять мастера на все руки за мелкий прайс, но щито поделать, такова суть специализации и касты интеллектуального труда.
В твоих влажных мечтах о кагле.
Как можно отделить работу с данными от математики? А вдруг постановщик задачи неправильно объяснит низшей касте и тот неправильно подготовит данные?
> В твоих влажных мечтах о конвеере
> Как можно отделить изготовление одной детали от другой? А вдруг один рабочий неправильно сделает и с другой деталью несостыкуется?
>Почему эти итальянцы использовали ARIMA для предсказания развития короновируса ?
Потому что при публикации важно опубликовать что-то новое
>почему еще многие ссылаются на это исследование?
Потому что без пруфов того, что ты прочитал что-то по теме, тебя никто не опубликует
>Какие вообще практические свойства у ARIMA ?
На дедовском калькуляторе удобно считать
>Если новые заболевшие короновирусом должны представлять собой типичную логистическую кривую, почему тогда ARIMA ?
Не должны, логистическая кривая получается из довольно сильного упрощения реальности, когда все равномерно, однородно и тому подобное. Но в любом случае результатом такого упрощения явлется диффур, решением которого является логистическая кривая. Диффур этот связывает прежде всего скорость роста заболевших с количеством заболевших с одной стороны, и количеством людей с иммунитетом с другой стороны.
ARIMA работает примерно так же - предсказание будущей точки является некоторой линейной комбинацией точек из прошлого. То есть она описывает эту связь, а потом ты влоб ищешь коэффициенты, которые этой связи удовлетворяют.
>Или они пытались типа на неделю вперед предсказать как сильно врачи и статисты на выходных отдыхают?
Тебе не похуй? Статей выпускается куча, эта явно не самая интересная.
>народ, расскажите плз о состоянии рынка компьютерного зрения.
Рынок широк и разнообразен. Активно пилят цифровой гулаг, есть конторы, работающие на западных заказчиков, там делают что угодно, есть филиалы западных контор. Это то, с чем сталкивался я либо знакомые.
>Испульзуется ли классика
Правильный вопрос - реально ли устроиться без нейронок. Классика используется конечно, те задачи, которые она покрывала хорошо, она до сих пор покрывает хорошо - быстро и без проблем. Но нейронки лучше освоить.
Если ты прям программист-программист, можно попасть на непыльное и хлебное место типа запиливания питономоделей на С++. А так все сильно разнообразно, не угадаешь, куда возьмут и что ты там делать будешь.
>При этом утверждается что они таки нескоррелированы, но путём недолгого гугления доказательства этого я не нашёл.
Ты даже пикрелейтед не нашел?
Или тебе не понятно, почему мы считаем, что (y,x) independently drawn from P? Это предположение. Хороший датасет должен удовлетворять этому условию. Это лежит уже вне области математики.
Рынок будет хлебный. Есть surviliance, industial области. Можно например научиться контролировать расстояния на этикетках и идти на какой-нибудь завод предлагать свои системы, потому что системы от когнекса-омрона стоят охренелионы денег, можно вкатиться в глубокое обучение и делать беспилотные автомобили-комбайны-трамваи-грузовик-поезда, цветет область адасов, если хочется 3д - осваивай sensor fusion и долбись в яндексовые беспилотники, можно вкатиться в медецину и пилить системы поиска специфических медецинских объектов на данных кт, вообщем работы вагон. Но желательно не попадаться кабанчикам, или к людям не работающим изначально с ML/DL и непонимающим чего они хотят.
А как учатся тру мужики, суровые, гречневые?
>Тебе не похуй? Статей выпускается куча, эта явно не самая интересная.
а принеси другую? посмотреть.
Разумеется, статью с LTSM я уже прочитал и она тоже не вдохновила
комп зрение хуета в рф. заводов нормальных в стране - хуй, а в каких-то мелких цехах твое комп зрение никому не нужно.
беспилотные автомобили - годнота. селф драйвинг карс от яндекса вроде самый топ сейчас у нас.
а так в основном будешь пилить какой-нибудь цифровой гулаг по типу видеонаблюдения для какого-нибудь кабанчика
офигеть, очень удивлен твоим словам. Я на какой-то момент и правда подумал что без DL делать вообще нехуй. Не то что бы я прям против этого - все таки тоже инструмент и знать его надо. Но складывалось ощущение, что у нас ТОЛЬКО он и есть.
Блин, а вот если я буду сам писать в конторы, даже когда у них нет подходящей вакансии из разряда "очень хочу к вам" это норм или нет? А то действительно есть какой-нибудь artec или smass, но на hh их не видел (точнее не видел только смас, артек для примера клевой конторы)
1. Срать в файл с помощью plt.imsave. Вместе со снэпшотом в папочку класть результаты в виде картинки
Из массива в картинку все собирается с помощью np.concatenate, либо plt.subplot
2. В цикле рисовать все что нужно между plt.clf() и plt.pause(0.01) - для отладки удобно
3. Если у мамы модный, используй https://www.tensorflow.org/tensorboard/image_summaries и смотри все в браузере
В общем практически всё заработало как надо, даже с сохранением в файл каждые 5 эпох, но форма графика хоть и обновляется висит и сообщение не принимает.
https://pastebin.com/P6izRd7a
textX от textY и trainX от trainY ?
Это просто толстый обратный пуллинг.
Забавно, добавил своих, убрал несколько базовых фичей - качество растёт. Можно в современных бустингах как-нибудь задать приоритет по каким фичам желательнее разбивать в первую очередь?
Так чем больше фичей, тем хуже, если их не фильтровать. Гугли feature selection
>>54493
Проблема автоматического обнуления ненужных фич была решена ещё в СССР (т.н "метод группового учёта аргументов" Ивахненко). Современные соевые алгоритмы так не могут. Все потому что в совке машобчиком занимались академики, а сейчас - блмлгбтабвгдсжв быдло, которое больше "думает" о том, чтобы в коде не использовались "расистские" термины типа blacklist.
>Я вижу работу в зрении как сложные, интересные, требующие навыков проганься и знаний математики задачи.
Теперь объясни, почему все эти матанопетухи и умеющие прогать сойбои нихуяшеньки не запелили? Человечество ждет тебя, ты то там все уууу как зделошь
Методов автоматического сокращения фичей сейчас просто дохуя, додик опять под себя срёт
Странно, для деревьев разве не должно быть всё равно? Если фича плохая то по ней по идее просто никогда не будет ничего разбиваться и всё
>Про классику, вроде как, анону выше ответили, а вот что насчет sensor fusion? В рашке вообще есть это ваш фьюжн?
Везде где делают автономные устройства - дроны либо автомобили, оно есть.
> Я вижу работу в зрении как сложные, интересные, требующие навыков проганься и знаний математики задачи. Это так?
Зависит от того куда попадешь. Пилить на этой теме хорошо, потому что ТЗ мутные, и неизвестно, выполнимые ли. А в таком месте работать будет депрессивно. Но проблема в том, что когда ты хуй с горы, скорее всего тебя возьмут только в подобное место.
Про матан странный вопрос.
Что делаю не так?
my_callbacks = [
keras.callbacks.ModelCheckpoint(filepath='./temp', save_best_only=True, monitor='val_mean_absolute_percentage_error')
]
history = model.fit(...
callbacks=my_callbacks
...)
После обучения:
scores = model.evaluate(x_test, y_test)
Всё равно последнее значение и выходит, а мне нужно лучшее.
Как достать наилучшую эпоху в итоге?
Разобрался, там потом грузануть нужно из файла:
model.load_weights('./chp')
Метод утёнка в действии блин.
В чем может быть причина?
ты чем читаешь? писал же, что сносил
Никак.
Спасибо за внимание!
За какое блять внимание. Это копипаста с вумансру?
> как я поняла с помощью MLE нужно оценить параметры тета таким образом, чтобы эпсилон нормально распределился, правильно ли определена функция правдоподобия
Ммп максимизирует функцию от искомого параметра - произведение вероятностей, что распределение попадает в выборку.
То, что у тебя на картинке нормальное распределение, значит, что у тебя по всей видимости выборка из нормального распределения. Остальное понять невозможно, потому что по чему итерируется П непонятно, не подписано ничего. В чем задача, что дано, тоже непонятно.
>правильно ли определена функция правдоподобия
Не L(eps|theta), а L(theta|eps). В остальном правильно, остается найти тета, при которой правдоподобие будет максимальным. Для этого логарифмируешь слева и справа, находишь производную, чтобы найти максимум у L(theta)
Да, невнимательность, спасибо!
в Воронеже на проперженном скрипучем стуле в бухгалтерии не хочешь прокуковать все лето?
разобраться она решила...
https://habr.com/ru/company/jetinfosystems/blog/497412/
погуглить не можешь?
кабанчики всероссийского масштаба.
А я забыл. Ты ж у нас исключительно на призы с Kaggle живешь.
Хуя рванул. Ты херка что-ли этой параши?
Девственник что-ли?
спелый или зеленый?
Есть временной ряд, в котором есть сильная корреляция от прошлых значений, и сильная корреляция с фичой. Не могу понять, как сделать рекурентную нейроночку, которая бы учитывала ещё и фичу для следующего дня. Пытался делать два входа обычный и рекурентный, но работает так себе. Можете что-то посоветовать почитать по этой теме?
сцуко, это выглядит как натуральная ARIMA. но ты же у мамы умный и освоил только нейронки?
Арима плохо прогнозирует. XGBoost и KNeighbors вроде ничего, особенно XGBoost, но, я хз, как в него рекурсию грамотно добавить. Напрямую не работает, среднне тоже не очень. Думал попробовать KPCA, но выглядит как костыли и сомневаюсь в работоспособности.
Я ничего не понял, а в чём проблема просто добавить во вход ещё одну фичу которая будет принимать значение нужной тебе фичи за предыдущий день?
Кто в KFC работал?
В чем проблема загуглить lstm для временных рядов
Чего горим? Внучок жопеншмульцера?
The more training examples used in the estimate, the more accurate this estimate will be and the more likely that the weights of the network will be adjusted in a way that will improve the performance of the model. The improved estimate of the error gradient comes at the cost of having to use the model to make many more predictions before the estimate can be calculated, and in turn, the weights updated.
и
Alternately, using fewer examples results in a less accurate estimate of the error gradient that is highly dependent on the specific training examples used.
Понятно, что ничего не понятно. Я думал, что батч 1 дает более точные результаты, а тут пишут, что наоборот- более специфичные и возможен шум. А батч 2- даже более медленное обучение с более генеральными фичами (так и надо вобщем). Что лучше юзать если выходной результат должен быть более-менее однородным?
>Как будет влиять на результат использование batchsize 2 вместо 1?
Бредор.жпг. Если бы хотя бы 32-64 было, а лучше 1024, а что 1 что 2 очень мало.
>Я думал, что батч 1 дает более точные результаты
С батчем 1 у тебя как минимум не будет работать batch normalization. Впрочем, с 2 оно тоже нормально работать не будет.
Главное не написал
> Что лучше юзать
На сколько памяти видюхе тебе хватает, столько и ставь. При этом если оптимизатор у тебя SGD, пропорционально поменяй learning rate (в N раз больше батчсайз - в N раз больше lr). Если adam в принципе похуй должно быть.
> Я думал, что батч 1 дает более точные результаты, а тут пишут, что наоборот- более специфичные и возможен шум
То есть ты буквально не знаешь, что такое стохастический градиентный спуск и в чем его отличие от обычного градиентного спуска.
В обычной ситуации ты сверяешь результат со всей выборкой и соответственно корректируешь веса. С батчам один ты корректируешь веса по результату одного примера из выборки. Разумеется в этой ситуации у тебя кривая обучения будет больше скакать и необязательно заведет веса в желаемый argmin ошибки.
> То есть ты буквально не знаешь, что такое стохастический градиентный спуск и в чем его отличие от обычного градиентного спуска.
А что, хоть один зумер вкатывальщик здесь это знает?
>>56715
>>56727
>>56774
Спасибо, буду пытаться втиснуть в две 1080 побольше, но чет оно плохо влазит и время обработки ста изображений увеличивается на двух видеокартах относительно одной, а ведь должно было сокращаться. Возможно есть другое узкое место в системе. Лол, матан не нужен. Хуяк и продакшн.
котаны, ну выручайте. три раза уже переустановил эту ебучую анаконду. Все запускается кроме юпитера. Пытался в него так зайти требует токен. разобрался где токен, пишет не правильно. Я сука сейчас нервный срыв схвачу. Ну что за хуйня на ровном месте??! Думал дело в браузере, уже и менял по умолчанию и прокси отключал и адблоки тоже и хоть бы хуй. Нагуглить ничего полезного не могу. HALP!
В блокноте пиши. Запускай через консоль.
будет неприятно проебать вкатывальщику, да?
Так Путин же сказал!
И вообще зацените обратный процесс.
Они выяснили, что для собираемости налогов никаких технологий в России нет и придется загрузить чеки всех пидорашек в Google Big Query чтобы хоть как-то с ними работать
https://www.kommersant.ru/doc/4424832
> эксперимент предполагает создание сервиса на базе больших данных для малого и среднего бизнеса, которым займется АБД. В его рамках будут собираться банковские, абонентские и другие клиентские данные
> эксперимент предполагает создание сервиса на базе больших данных для малого и среднего бизнеса, которым займется АБД. В его рамках будут собираться банковские, абонентские и другие клиентские данные
Через месяц максимум после создания, в даркнетах и не только, за мелкий прайс уже можно будет любого кабанчика по этой базе пробить, лол. Аксиома же, что бы в Рашке не создавали - в итоге это будет очередной институт насилия над немногопотерпельцами.
можно ли по эитим курсам https://github.com/ossu/data-science стать спецом в machine learning и делать свои нейроночки, участвовать в kagle вашем?
допустим, если изучить все примерно за год
Мой бэкграунд в программировании беден: год с питоном, явой, совсем немного с, линукс, базовые паттерны проектирования. Могу написать свой флеппи берд или 2048, не больше
Однако знаю абстрактную математику (не калькулус и т.п., а именно core). Теорию гомологий, алгебраическую топологию, алгебраическую геометрию и смежное. Понимаю, что в ml нужна другая математика, но это просто показывает мою степень обучабельности
на самом деле просто невероятно впечатлен gpt-3. хотет разрабатывать такое и как можно скорее
Остальное там даже не про мл, а в целом дата анализ, что конечно правильно.
> стать спецом в machine learning
Что такое спец
> делать свои нейроночки
Конечно
> участвовать в kagle вашем
Конечно
> Мой бэкграунд в программировании беден: год с питоном, явой, совсем немного с, линукс, базовые паттерны проектирования. Могу написать свой флеппи берд или 2048, не больше
Ну это не релейтид, надо с библиотеками уметь работать pandas, numpy, matplotlib, scipy, seaborn, pytorch и тд.
> Теорию гомологий, алгебраическую топологию, алгебраическую геометрию и смежное. Понимаю, что в ml нужна другая математика, но это просто показывает мою степень обучабельности
Если ты это знаешь, то и матстат наверное понимаешь
> на самом деле просто невероятно впечатлен gpt-3
Но это же говно бесполезное, чисто нормисам пыль в глаза пускать
Он недавно переустановленый. На полу мертвой десятке рядом с юбунтой, которая еле-еле в последний раз включилась перед тем как сдохнуть, Юпитер из-под анаконды запускался.
Нет. С домашнего ноута.
Так, а вот тут, джентельмены, пожалуйста по подробнее. Как это правильно сделать, добрый человек?
WIN + S "anaconda promt" а там jupyter-notebook
либо же
WIN + S "jupyter notebook"
либо же
WIN + S "anaconda navigator" и там в меню выбираешь юпитер
Должно автоматически в бразуере открыться. Допустим не открывается. Тогда берешь и как в консоли будет написано - копируешь ручками урл в браузер.
мало напрягаешь. нужно чтобы еще убунта и винда были на двух вениках разных.
МГУ, ИТМО?
МГУ, МФТИ, ВШЭ. В первый легче всего поступить, потому что набор большой, а критической разницы между топ тиер вузами нет. Курсы связанные с дата саенсом во все программы вставили. Но там они могут быть в конце бакалавриата, поэтому надо с первого курса стоит поступить на частные сабжи либо техносферу, либо шад, либо озонмастер.
ДС2 это мусор, там этого ничего нет.
> на этих курсах про сто раз про двуслойный перцептрон пересказывать
Если ты не знаешь, то зачем пишешь
Если столько времени у тебя занимает возня с анакондой, мл не для тебя, у тебя ничего не получится. Покинь пожалуйста тред.
Ты реально думаешь, что кто-то ебет, что на твоих сабжах было и сколько ты из них усвоил, чтобы понять чего не хватает?
Я просто в ахуе с некоторых вопросов итт. Пройди собес на машиниста, открой и попробуй осилить научную статью 2020 года и посмотри чего тебе не хватает.
Неужели про VC размерность ещё расскажут?? Уууу
Сколько же охуительно полезного дедовского говна можно похлебать в этих ваших ТОПТИР вузах!!
> топтир вузы
Лол. Пикрелейтед это все образование, что светит зумерам вкатывальщикам в Блинолопатии. Ничего другого тут лет 50-500+ ещё не будет. А сами вы ничего не осилите, ибо тайдмены.
>ДС2 это мусор, там этого ничего нет.
А зачем он нужен тогда? Везде слышу о ИТМО, что там такого?
> Везде слышу о ИТМО, что там такого?
Одна единственная кафедра с олимпиадниками и больше ничего.
А, ну т.е. шизопетух из мухосранского заборостроительного, зафиксировали
Дибильными являются не столько отдельные вопросы, сколько постоянно воспроизводящие их люди. Скорее всего ml не для тебя, лучше тебе будет покинуть тред.
Короче. Я все это уже делал. Там он так же еще дает ссылку на файл который нужно запустить из папки с Юпитером. И его я тоже запускал.
Юпитер запускался, но требовал ввести токен(как я выше писал уже). Я переписывал токен из консоли и он писал, что токен неправильный.
Сегодня я опять это сделал, снова запустил указаный в консоли файл. И всё БЛЯТЬ зарапытки запустить юпитер и заработало. Я конечно рад, и спасибо за советы. Но я не уверен, что при следующем запуске опять не получится тоже ебола, что и предыдущие мои попытки запустить юпитер из консоли.
блять нет, опять не работает. Не удается получить доступ к сайту бла бла. Чо за хуйня на пустом месте...
Это копия, сохраненная 29 января 2021 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.