Этого треда уже нет.
Это копия, сохраненная 29 января 2021 года.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
НЕЙРОНОЧКИ И МАШОБ ТРЕД №26 /ai/ 1734710 В конец треда | Веб
Очередной тред про хипстерские технологии, которые не работают.

Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее keras и pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Остальные сидят ИТТ

Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus.

Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/

Почему python?
Исторически сложилось

Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет

Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python

В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials

Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.

Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел

Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся

Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/

Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском

Где ещё можно поговорить про анализ данных?
http://ods.ai/

Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. На март 2020 Google Colab дает бесплатно аналог GPU среднего ценового уровня (что-то между 1050 и 1080) на несколько часов с возможностью продления.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь

Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом

Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/

Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.

Предыдущий:
https://2ch.hk/pr/res/1704037.html (М)
https://2ch.hk/pr/res/1665515.html (М)
images.jpeg7 Кб, 259x194
2 1734714
Google-Cloud-AutoML.jpg68 Кб, 1024x512
3 1734840
Ну што, вы готовы, дети? Аутомл на одном проце, без видеокарт, за 12 часов с нуля вкатился в машобчик, и пользуясь полученными знаниями, улучшил себя. А вы за сколько вкатитесь? То-то.

> AutoML-Zero has already discovered neural networks, back-propagation, data-augmentation etc. from scratch within 12 hrs on a single CPU. It can adapt to lack of training data, required training speed and tasks.


https://bigthink.com/surprising-science/automl?rebelltitem=2#rebelltitem2
Ссылочка на архив: https://arxiv.org/abs/2003.03384

освятил
4 1734841
>>34840
Сейчас бы в 2020 верить в Дарвинистское говно и эволюцию.
5 1734842
>>34841
Креативист в треде?
Введение в ML.Net 6 1734845
horse2zebra.gif7,3 Мб, 448x128
CycleGAN and pix2pix in PyTorch. Как превратить зебру в лошадь и наоборот 7 1734848
8 1734856
>>34842

>Креативист


Иногда креативлю, да
9 1734858
>>34848
2020 год, решена основная проблема человечества как превратить зебру в лошадь и наоборот
10 1734860
>>34848

>Как превратить зебру в лошадь и наоборот


Кстати на хуй то волос хвоста окрашен в полоску?
11 1734887
Я вот как то хотел сделать физон для два дэ игры и среди всяких уебанов нарвался на охуенного чувака, который ведет себя как главный герой американского психопата и его плейлист nature of code. Плейлист вроде как про нейросетки, хотя там был раздел про физические силы. Вскоре на игру я забил, а про нейросетки даже и не думал. Но увидел ваш тред и стало интересно как вы оцениваете этот плейлист, а вообще есть и одноименная книга.
12 1734891
>>34841
Дебилок, эволюция это не предмет веры, а объективный факт.
13 1734907
>>34848
если бы еще полоски оставались на тех же местах от кадра к кадру. Т.е. норм было бы, если бы оно генерировало одну конкретную зебру для данной сессии, а потом накладывало именно её на имеющуюся лошадь
14 1734911
>>34891

>а объективный факт


Промежуточное звено гомосапиенса и обезяныча уже нашел?
15 1734990
>>34911

> Промежуточное звено гомосапиенса и обезяныча уже нашел?


Ага, вот такие как ты.
16 1734993
>>34840

>cifar


Можно ещё iris dataset взять, там вообще брутфорсом структуру модели можно подобрать.
17 1734995
>>34993
Але, подборка весов любой нейрон очки на любом датасете это брутфорс, только направленный в сторону уменьшения лосса.
18 1735010
Там ЛеКуна заставили преклонить колено: https://twitter.com/ylecun/status/1276318825445765120
19 1735015
>>35010
Что-то ты мало выложил
Алгоритм облажался
https://twitter.com/bradpwyble/status/1274380641644294150
Ле Кун попробовал объяснить, почему (потому что в датасете были одни белые лица) и вызвал СЖВ шитшторм ее подсосов
https://twitter.com/ylecun/status/1274782757907030016
https://twitter.com/ylecun/status/1275176322617290752
https://twitter.com/ylecun/status/1275162528511860737

В общем, ничего нового
20 1735019
>>35015
А еще во втором твите он ее практически приглашает в свой отдел (где оочень жирные ЗП, ориентировочно $500к+). Вот так ноунейм "активистка" подняла себя за волосы на подиум. И это еще не конец, бгг; на реддите уже говорят, что это мол и не извинение вовсе. Ведь он не раскаялся в своем грехе, а только в том, что "the way I communicated here became the story."
Еще погоди, его вполне могут кэнсельнуть и на его место нанять @timnitGebru. Которую ФБ уволить не сможет уже НИКОГДА под страхом полной ликвидации.
Если очень повезет, увидим как ЛеКуна лишат Тьюринговской премии, ммм.
21 1735021
>>34907
у нвидии есть похожая задача для создания карты глубин в видео, чтобы они не скакали от кадра к кадру, там подается инфа о трех прошлых кадрах в сетку. О сохранении формы в сложных цветовых схемах а не в 256 цветах там пока речи не идет. Держу в курсе.
22 1735029
>>34887
научпокерский кал на уровне индуса, который сплагиатил рисеч пэйпер.
23 1735032
>>35019
а хуле толстосумам не поебать на визг душевнобольных, которые даже не покупают и не работают в этой индустрии или они так триггерят массы быдлопотребителей, что игнорить нельзя?
24 1735044
>>35019
Она уже в гугле работает, в Ethical Artificial Intelligence Team. Не, это именно попытка поговорить вне твиттера, но ей это нахер не нужно.
TimnitGebruHeadshotFINAL.png546 Кб, 900x900
25 1735054
>>35044
О да, дэвушка предприимчивая оказалась. Оседлала сразу два стула, нейроночки и БЛМ, да как красиво! И сама, главное, черная. Это же просто техно-Иисус 2020. С кем ЛеКун начал бодаться, он ведь даже не понимает, что происходит, бедняга. Она его растопчет, даже не заметив.
Единственно правильный вариант был ничего не отвечать. Если раскрывать рот - то только для того, чтобы каяться, посыпать голову пеплом, и бичевать себя, стоя на коленях.
26 1735076
>>35032

> или они так триггерят массы быдлопотребителей, что игнорить нельзя?


This. Репутационные издержки вещь опасная. Иначе того же миллиардера Вайнштейна никто бы на бутыль не усадил из-за беспруфных (!!!) кукареканий рандомных сельдей.
image.jpg29 Кб, 620x330
27 1735089
>>35044

> Ethical Artificial Intelligence Team


И чем эта подмывальня занимается? Цензуркой, чтобы нидайбох в датасеты не попадало еблищ белых угнетателей?
28 1735121
Да, я знаю, что это тред про ML.

Кто-нибудь пробовал размечать дата-сеты через братьев наших меньших через сервис MTurk?
https://requester.mturk.com/create/projects/new
Меня интересует задача "Instance Segmentation", то есть разметка объектов на фотографии. Допустим, у меня есть 3-5 классов объектов, и я знаю, что на 95% моих изображений есть как минимум один объект.
1. Можно ли один и тот же сет отдать двум разным работникам? Либо можно ли во время создания задания создать предикат "id работника не равно XXXXXX"? Тогда я бы смог отдать этот же сет, но кому-угодно кроме первого исполнителя. Я смотрел, в целом предикаты для задач есть.
2. Сколько платить беднягам? Я посмотрел на других сайтах, написано: исходите из того, чтобы за час работы у работника выходило $6.5 в час (в США минималка $7.25/час)
29 1735129
>>35076
В смысле беспруфных? Ты вообще следил за судебным процессом? Там было более чем достаточно чтоб его закрыть до конца жизни, но дорогущие адвокаты богатенького хуесоса смогли всё таки выбить всего 23 года. И заебись, следующий раз богатое говно задумается, прежде чем руки распускать.
30 1735155
>>35121
Оверпрайс это все. Я на дваче разметчиков искал, в воркаче в толока-треде бросал мыло, или еще где-то. Выходили копейки какие-то.
31 1735161
>>35121
что за странная цена в часах. Все же должно зависеть от сложности и количества.
32 1735165
>>35129
Да, а Майкл Джексон ебал детей
33 1735167
>>35155
https://toloka.ai/ru
А забавно. Я думал, что у Толоки только Яндекс может быть заказчиком
34 1735171
>>35167
Да это тоже нахер, если ты не корпорация с гигабайтами датасетов, которые нужно размечать за пару дней. Нанял одного человека и подкидываешь ему работу.
35 1735178
>>35171
Как исполнитель отдавал тебе отчёт по заданию? У меня первым вариантом было написать самодельную веб-морду и показывать исполнителю, нехай сидит да печатает

Сет скажем на 100 000 изображений. В целом на данный момент занимает 30 гигабайт
36 1735191
>>35178
Какой отчет? Датасет либо есть, либо его нет. О чем отчитываться. Для разметки есть готовый софт, гуглится по image labeling tool. LabelMe например, работает в браузере.

>Сет скажем на 100 000 изображений. В целом на данный момент занимает 30 гигабайт


Ну с такими объемами наверное лучше на толоку
37 1735280
>>35178
вероятно ты спрашиваешь про механизм передачи сета и денег параллельно- чувак пусть запишет видос с папкой, в которой датасет и пусть тебе скинет сразу же картинки, которые тебе хочется посмотреть из того видоса поближе, для проверки на пробу, скажем штук 20 из 1000- если нравится ты платишь. Если не нравится- негр допиливает. По итогу никто не хочет кинуть никого и остаться с сетом бесполезным (о, тут уже вопрос, не продаст ли он его налево) или без него. Как-то так.
38 1735297
>>35178
Для валидного обучения нужно 5 000+ картинок с равномерным распределением классов, так? Меньше нет смысла. Ты какие по размерам сеты одиночным исполнителям отдаёшь?
39 1736034
Здарова. Есть какие-то способы применения машинного обучения в финансах?
11.png100 Кб, 1183x833
40 1736144
41 1736152
>>36144
Что это за магия? Ты колдун?!
42 1736239
1
21341254425.jpg121 Кб, 1920x1080
43 1736312
Аноны, а не боитесь, что кто-нибудь выпустит простое в использовании решение для обработки данных, в котором любая тётя Дуся сможет мышкой накидать простейшую блок-схему?
44 1736336
>>36312

>любая тётя Дуся сможет мышкой накидать простейшую блок-схему


Чем это отличается от трясуновподборщиков параметров?
45 1736391
>>36312
Это называется прогресс, что его бояться. Бояться нужно внезапного отупления до уровня тети дуси
46 1736524
>>36312
Во-первых, тетя Дуся не знает теории, так что даже такой простой инструмент осилить не сможет.

Во-вторых, профессиональный трясун черных ящиков имеет опыт и интуицию, и получит результаты намного лучше.

В-третьих, в реальных задачах возникают проблемы с производительностью, при возникновении которых система с пикчи просто повиснет. Например, если данных терабайты, и они не лезут в память.

Ну и напоследок, такая система имеет крайне лимитированный функционал, и в ней уж точно не будет state-of-the-art моделей, которые появляются каждый месяц.
47 1736550
>>36524

> Во-первых, тетя Дуся не знает теории, так что даже такой простой инструмент осилить не сможет.


Вся теория есть в педивикии, никаких тайных знаний для понимания машобчика не требуется.

> Во-вторых, профессиональный трясун черных ящиков имеет опыт и интуицию, и получит результаты намного лучше.


Чем тетя Дуся? Да. Чем аутомл? Вряд ли.

> В-третьих, в реальных задачах возникают проблемы с производительностью, при возникновении которых система с пикчи просто повиснет. Например, если данных терабайты, и они не лезут в память.


Лезут данные в память или нет, зависит от используемого софта. В правильном софте ничто никуда не лезет.

> Ну и напоследок, такая система имеет крайне лимитированный функционал, и в ней уж точно не будет state-of-the-art моделей, которые появляются каждый месяц.


И которые потом нигде не используются кроме самого пейпера с табличкой, показывающей что новая ололо модель превосходит старые в паре тестов на 0.1%.
48 1736554
>>36550
Шиз, может ты стажировку где-то найдёшь что хоть чуток с мл поработать и не нести тут хуйни?
image.png187 Кб, 1724x834
49 1736555
>>36550

>Вся теория есть в педивикии, никаких тайных знаний для понимания машобчика не требуется.


Так-то в интернете есть все, но сможет ли тетя Дуся понять хотя бы пикрил?

>Чем аутомл? Вряд ли.


Мы про построение моделей без программирования или про аутомл? Ну и давай пруфы, что аутомл хорошо работает на чем-нибудь кроме MNIST.

>Лезут данные в память или нет, зависит от используемого софта. В правильном софте ничто никуда не лезет.


Ты вообще понял о чем я? Мне кажется что ты зумер, который даже говнокодить не умеет.

>И которые потом нигде не используются кроме самого пейпера с табличкой, показывающей что новая ололо модель превосходит старые в паре тестов на 0.1%.


Ну да, особенно в NLP, где за последние несколько лет state-of-the-art сменился раз пять, и каждый раз улучшения были огромные.
15923462595780.jpg177 Кб, 1024x768
50 1736558
>>36555

> Ну да, особенно в NLP, где за последние несколько лет state-of-the-art сменился раз пять, и каждый раз улучшения были огромные.


Где? Где огромные улучшения по сравнению хотя бы с фасттекстовскими алгоритмами из 2014 в лучшем случае?

> но сможет ли тетя Дуся понять хотя бы пикрил?


А тут многие это понимают, если честно?
>>36554

> пок

51 1736565
>>36558
Не пок, а учись давай, школота ленивая!
52 1736566
Как вкурить в Loss_D и Loss_G в GAN?
Чот нихуя не понимаю. К чему они должны стремиться?
sage 53 1736616
>>35171
Боюсь Automl от больших компаний, которые переведут консалтинг задешево онлайн и будут пользоваться силой бренда. Даже если меня не уволят, зарплаты это обрушит
54 1736710
>>36558

> Где огромные улучшения по сравнению хотя бы с фасттекстовскими алгоритмами из 2014 в лучшем случае?


Нечеткий имени ML-треда word2vec конструктивный шизик разбушевался. Сможешь ли ты с ним совладать?
55 1736715
>>36710
Ты лучше на вопрос ответь. Хотя, что может ответить тайдмен...
56 1736739
>>36566
К чему хочешь, главное, чтобы в разные стороны
57 1736803
>>36616

> обрушит


ага-ага нет
58 1737127
>>36616

>зарплаты это обрушит


Зарплат и так нет, так что обрушивать нечего.
sage 59 1737274
>>37127
Если посмотреть сколько платят в регионах (там часто у миддлов тыщ 70), а с короной ещё и все на удаленку переходят. Так что дно ещё не достигнуто. А в Дата Сайанс ещё и перекатиться можно из гораздо большего ряда дисциплин. Ставлю свечку за Грефа и молюсь, чтобы он их не выпер единочасно всех на мороз. Когда Самсунг в прошлом году выгнал своих NLP-шников, мы им отказывать не успевали. Поток мыслей.
sage 60 1737279
>>36558
Ты хотя бы раз классификацию запускал на текстах? Хотя бы imdb? Там во многих задачах по 10 F1 Берт накидывает.
61 1737303
>>37274

>Когда Самсунг в прошлом году выгнал своих NLP-шников


Что у них случилось там?
62 1737311
>>37274

>А в Дата Сайанс ещё и перекатиться можно из гораздо большего ряда дисциплин


У тебя эффект, обратный даннингу-крюгеру. Перекатиться сложно, 90% вообще отвалится на этапе томного взгляда на консоль-пердоль. Я проверял.
63 1737324
>>37274

> NLP


что это такое? Я только нейро-лингвистическое программирование знаю

> Самсунг


Можно ссылку на историю?
64 1737367
>>37274

> мы им отказывать не успевали


Тоже не нужны?
65 1737387
>>37274

> . Когда Самсунг в прошлом году выгнал своих NLP-шников, мы им отказывать не успевали.


То есть я правильно понимаю, Сосунг уже выгоняет макак ссаными тряпками на мороз, а местные дифиченто все ещё закрывают глаза, затыкают уши и визжат "рреее врети все, нечеткий петух, абырвалг!!11222". Как называется эта болезнь?
66 1737389
>>37387
отрицание
67 1737390
>>37324
Сейчас погуглил ОДС - там какой-то голосовой помощник был "биксби", проект закрыли.

>>37324

>Про насколько плохо -


>Весь Биксби проект увольняют, всех аутсорсеров. Человек 25 плюс стажёры ещё.


>Замечу,что сделали это неожиданно и без предупреждения (те предпосылки были, но корейцы темнили до конца)


>Очередной кризис продаж Самсунга - теперь спасибо раскладушкам, видимо.


>Сокращенным заплатят только за май (контрактники)


>Народ боролись несколько месяцев, переговоры с корейцами вели


>Но денег нет на srr. Всех под нож


>Даже постоянные сотрудники не в безопасности, тк нет проектов

68 1737424
>>37390
Бикси реально кал говна. У меня Самсунг, но я только Гуглом и иногда Алисой пользуюсь
image.png130 Кб, 1026x573
69 1737462
Капец парни решил вкатится в эту тему, с практически нулеывми знаниями матана, выбрал для чтения https://www.deeplearningbook.org/, дочитал до конца ленейную алгебру, все было очень туго, но все таки хоть как-то шло а потом там в конце был пример, в конце которого аж руки опустились (по ходу рассужденея, все вроде было понятно, я только не понял момент с оператором перевенутого треугольника, vector calculus) и пришло осознание что я говно, и надо было в институте нормально учится:

> This optimization problem may be solved using eigendecomposition. Specifically, the optimal d is given by the eigenvector of X-transposedX corresponding to the largest eigenvalue.


Почему это так я не понимаю вернее интуитивно мне кажется что я понимаю почему, потому что там где больше всего eigenvalue, тот вектор вносит самый большой вклад в сет X.

> This derivation is specific to the case of l = 1 and recovers only the first principal component. More generally, when we wish to recover a basis of principal components, the matrix D is given by the l eigenvectors corresponding to the largest eigenvalues. This may be shown using proof by induction. We recommend writing this proof as an exercise.


This may be shown using proof by induction. - Я вообще не понимаю как. Сами пишут в начале поораграфа что нам достаточно только того что описанно в книге в разделе линейной алгебры:

> One simple machine learning algorithm, principal components analysis or PCA can be derived using only knowledge of basic linear algebra.


Ага блин, тут я решил погуглить и оказывается кто-то уже задавался похожим вопросом:
https://math.stackexchange.com/questions/2404126/linear-algebra-principal-component-analysis-optimization
Так там в ответах такой матан, шо капец. Весь запал аж пропал, наверное буду дальше сидеть писать интепрайзщину на жава. А этот ваш диплерниг, для сверхлюдей.
70 1737463
>>37462
Раздел: 2.12 Example: Principal Components Analysis
71 1737464
>>37462
Ну ты почитай про собственные значения и собственные векторы. Поищи примеры кода.
72 1737465
>>37390

> голосовой помощник


А, ну это понятно. Скоро мода на чатботов пройдёт, ещё куча нлпхеров на морозе окажется. А вообще это кризис просто.
73 1737704
>>37462

>Сами пишут в начале поораграфа что нам достаточно только того что описанно в книге в разделе линейной алгебры:


Нет, там такого не написано. Там написано "can be derived using only knowledge of basic linear algebra." - может быть выведен только со знаниями линейной алгебры. Это необходимое условие, а не достаточное. Школьные олимпиадные задачи по математике могут быть решены вообще только с помощью школьной программы, но это не значит, что лично ты быстро решишь какую-нибудь задачу для седьмого класса. Для 11 ты вообще не решишь.

Навскидку, тут нужно знать, что
a' b - это скалярное произведение векторов a и b
d' d - это квадрат длины вектора d
d'd = 1 означает, что вектор d единичный
X'X - очень часто встречающаяся конструкция, которая образует симметричную матрицу. Это ключевой момент вообще. У симметричной матрицы собственные векторы образуют базис, то есть ты любой другой вектор можешь расписать как сумму этих самых векторов
Более того, это ортонормированный базис, то есть скалярное произведение в нем можно посчитать как сумму произведений коэффициентов при базисных векторах

В итоге симметричность матрицы и знание ее собственных векторов позволяет заменить муторное умножение матрицы на вектор умножением скаляра на вектор. Используется в линале повсеместно, потому что весь линал пляшет вокруг того, как бы избавиться от сложных формул типа матричных произведений и перейти к простым.

Мое решение похоже на второе решение чувака с ответом, искал я его довольно долго, потому что перечисленные мной факты сверху я не помнил нихуя.
Расписываем вектор d по базису из собств. векторов:
d = a1 v1 + a2 v2 ...
Умножаем матрицу A=X'X на d:
d_new = A d = A (a1 v1 + a2 v2 + ...) = a1 A v1 + a2 A v2 + ... = a1 lambda1 v1 + a2 lambda2 v2 + ...

То есть d' A d = d' d_new скалярное произведение между d и d_new

В общем, мы свели задачу к тому, что у нас есть 2 вектора
d = a1 v1 + a2 v2 + ...
d_new = lambda1 a1 v1 + lambda2 a2 v2 + ...
и нужно максимизировать их скалярное произведение. Так как базис v ортонормированный, то можно просто перемножить коэффициенты

d' d_new = lambda1 a1^2 + lambda2 a2^2 + ...

То есть имеется набор коэффициентов a, при этом a1^2+a2^2+a3^2+...=1, и нужно подобрать такие a, чтобы максимизировать функцию. Это уже школьная задача - то есть достаточно школьной математики, при этом понятно, что большинство школьников ее не решит.

Для случая двух векторов доказывается элементарно, нужно подставить a1^2=1-a2^2, потому что d'd=1 => a1^2+a2^2=1. Возникнет парабола либо с максимумом в точке a1=0 a2=1, либо с максимумом в точке a1=1 a2=0.

lambda1 a1^2 + lambda2 a2^2 = lambda1 a1^2 + lambda2 (1 - a1^2) = lambda2 + a1^2(lambda1-lambda2)
lambda1 a1^2 + lambda2 a2^2 = lambda1 (1 - a2^2) + lambda2 a1^2 = lambda1 + a1^2(lambda2-lambda1)
Какое из двух выражений выбрать зависит от того, lambda2>lambda1 или lambda1>lambda2. Потому что если при квадрате отрицательный коэффициент, это значит, что значение a-bx^2 больше чем a быть не может. А значит это и есть максимум, главное убедиться при этом, что a1^2+a2^2 = 1.

Для случая трех чуть посложнее, но зная случай для двух понятно, что тут делать

lambda1 a1^2 + lambda2 a2^2 + lambda3 a3^2 =
lambda1 a1^2 + lambda2 a2^2 + lambda3 (1 - a1^2 - a2^2) =
lambda3 + a1^2 (lambda1 - lambda3) + a2^2 (lambda2 - lambda3)
Положим lambda3>lambda2>lambda1. Тогда lambda1 - lambda3 - отрицательная величина, lambda2-lambda3 - тоже. Значит больше, чем lambda3 это выражение быть не может, а равно lambda3 оно при a1=0, a2=0.
Если lambda2>lambda3>lambda1, то просто подставляем не a3, а a2.

В итоге получается что d равно чему-то типа d = 0 v1 + 0 v2 + 1 v3 = v3, то есть собств. вектору с максимальным собств. числом
73 1737704
>>37462

>Сами пишут в начале поораграфа что нам достаточно только того что описанно в книге в разделе линейной алгебры:


Нет, там такого не написано. Там написано "can be derived using only knowledge of basic linear algebra." - может быть выведен только со знаниями линейной алгебры. Это необходимое условие, а не достаточное. Школьные олимпиадные задачи по математике могут быть решены вообще только с помощью школьной программы, но это не значит, что лично ты быстро решишь какую-нибудь задачу для седьмого класса. Для 11 ты вообще не решишь.

Навскидку, тут нужно знать, что
a' b - это скалярное произведение векторов a и b
d' d - это квадрат длины вектора d
d'd = 1 означает, что вектор d единичный
X'X - очень часто встречающаяся конструкция, которая образует симметричную матрицу. Это ключевой момент вообще. У симметричной матрицы собственные векторы образуют базис, то есть ты любой другой вектор можешь расписать как сумму этих самых векторов
Более того, это ортонормированный базис, то есть скалярное произведение в нем можно посчитать как сумму произведений коэффициентов при базисных векторах

В итоге симметричность матрицы и знание ее собственных векторов позволяет заменить муторное умножение матрицы на вектор умножением скаляра на вектор. Используется в линале повсеместно, потому что весь линал пляшет вокруг того, как бы избавиться от сложных формул типа матричных произведений и перейти к простым.

Мое решение похоже на второе решение чувака с ответом, искал я его довольно долго, потому что перечисленные мной факты сверху я не помнил нихуя.
Расписываем вектор d по базису из собств. векторов:
d = a1 v1 + a2 v2 ...
Умножаем матрицу A=X'X на d:
d_new = A d = A (a1 v1 + a2 v2 + ...) = a1 A v1 + a2 A v2 + ... = a1 lambda1 v1 + a2 lambda2 v2 + ...

То есть d' A d = d' d_new скалярное произведение между d и d_new

В общем, мы свели задачу к тому, что у нас есть 2 вектора
d = a1 v1 + a2 v2 + ...
d_new = lambda1 a1 v1 + lambda2 a2 v2 + ...
и нужно максимизировать их скалярное произведение. Так как базис v ортонормированный, то можно просто перемножить коэффициенты

d' d_new = lambda1 a1^2 + lambda2 a2^2 + ...

То есть имеется набор коэффициентов a, при этом a1^2+a2^2+a3^2+...=1, и нужно подобрать такие a, чтобы максимизировать функцию. Это уже школьная задача - то есть достаточно школьной математики, при этом понятно, что большинство школьников ее не решит.

Для случая двух векторов доказывается элементарно, нужно подставить a1^2=1-a2^2, потому что d'd=1 => a1^2+a2^2=1. Возникнет парабола либо с максимумом в точке a1=0 a2=1, либо с максимумом в точке a1=1 a2=0.

lambda1 a1^2 + lambda2 a2^2 = lambda1 a1^2 + lambda2 (1 - a1^2) = lambda2 + a1^2(lambda1-lambda2)
lambda1 a1^2 + lambda2 a2^2 = lambda1 (1 - a2^2) + lambda2 a1^2 = lambda1 + a1^2(lambda2-lambda1)
Какое из двух выражений выбрать зависит от того, lambda2>lambda1 или lambda1>lambda2. Потому что если при квадрате отрицательный коэффициент, это значит, что значение a-bx^2 больше чем a быть не может. А значит это и есть максимум, главное убедиться при этом, что a1^2+a2^2 = 1.

Для случая трех чуть посложнее, но зная случай для двух понятно, что тут делать

lambda1 a1^2 + lambda2 a2^2 + lambda3 a3^2 =
lambda1 a1^2 + lambda2 a2^2 + lambda3 (1 - a1^2 - a2^2) =
lambda3 + a1^2 (lambda1 - lambda3) + a2^2 (lambda2 - lambda3)
Положим lambda3>lambda2>lambda1. Тогда lambda1 - lambda3 - отрицательная величина, lambda2-lambda3 - тоже. Значит больше, чем lambda3 это выражение быть не может, а равно lambda3 оно при a1=0, a2=0.
Если lambda2>lambda3>lambda1, то просто подставляем не a3, а a2.

В итоге получается что d равно чему-то типа d = 0 v1 + 0 v2 + 1 v3 = v3, то есть собств. вектору с максимальным собств. числом
74 1737783
>>37704

> XTX - очень часто встречающаяся конструкция, которая образует симметричную матрицу.


Блин я подозревал, надо было не лениться и проверить. Короче мне ещё с этим ещё неделю разбираться.
75 1737786
>>35054
Даже тут это говно, со всех щелей лезут, игры, книги, фильмы, ДАТАСЕТЫ.
76 1737842
>>37786
А ты шо думал. Я так смеялся, когда читал срачи на тему необходимости удалить долю цветных от населения района как фичу в датасете бостонской недвижимости в scikit-learn (точнее там был показатель, рассчитанный на её основе). Мол использовать этот показатель для прогнозирования цены объекта недвижимости - расизм, даже если корреляция есть.
77 1738201
Есть ли профиты для это области проходить курс по эконометрике?
1465790774478.jpg25 Кб, 576x121
78 1738205
79 1738207
>>35015

>Алгоритм облажался


Не вижу чтобы алгоритм ображался. Задача алгоритма была какая, угадывать мировых политиков, или построить похожее лицо? Потому что со второй задачей он справился.
80 1738211
>>38205
Сейчас ты назовёшь нас трясунами параметрами, но при этом ты просто обиженная завидка, которая даже не может запустить тензорфлоу и отделить кошек от собак
81 1738212
>>38207
Он из негра сделал белого, а негры не похожи на белых
82 1738217
>>38212
Он из смуглого, лопоухого, бровастого, губастого сделал смуглого, лопоухого, бровастого, губастого. Вот я смотрю на картинку и мой человеческий мозг видит что она произведена из нее, очень похожа. Могла быть произведена другая картинка, с негром, в этом и есть суть такого генератора. Она не обязана была вопроизводить именно Обаму.
83 1738220
>>38211
Это наоборот комплимент же, мнение советского конструктора ракет, Протона.
84 1738222
>>38211
Один раз смог запустить, но память быстро кончилась.
85 1738224
>>38220
Надо будет в следующую шапку добавить
86 1738228
>>38217
Да, это характерный момент - кто больший растист, алгоритм, или тот хер, который возмущается, что из пиксельного негра не делают негра по закону "одна капля негритянского пикселя".
87 1738240
>>38211
У треда ПТСР от действий нечеткого петуха
88 1738254
>>38205
Кстати, а есть исследования няронок с точки зрения теории устойчивости?
89 1738268
>>38254
В прошлом треде вроде об этом было. Если свести нейронку к ОДУ, можно проанализировать получившееся ОДУ на предмет устойчивости. В частности, это дает новые варианты регуляризации
Смотри совместные Ruthotto и Haber
https://arxiv.org/pdf/1705.03341.pdf
https://arxiv.org/pdf/1804.04272.pdf
90 1738602
Как в jupyter разрешить доступ только к одной директории в github, а не ко всем, как это делает этот сервис
https://nbviewer.jupyter.org/
91 1738604
>>38602
Не то. Короче, как в jupyter сделать access только к одной директории?
92 1738627
ребят, а у кого-нибудь есть конфа, где люди общаются и обмениваются знаниями по DS и МашОб? если есть, то очень хотел бы на нее взгянуть, а то без единомышленников совсем что-то делать уже не хочется, кажется, что я один в эти дебри полез.
94 1738643
>>38638
спасибо конечно, но я читаю ОП-треды, туда уже подал давно, жду
95 1738947
Никто не подскажет можно ли в реддите на просмотре ленты одного канала поставить минимальное кол-во лайков, ниже которого скрывать всю срань? На канале из оп-поста по 10 постов в сутки, и почти все говно. Всё, что ниже 200 лайков, можно просто игнорировать, скрывать и идти дальше
96 1738997
>>38947
Выбери top, затем, например, past week
97 1739003
Сейчас зашел в одс, там опять вкатывальщиков привалило. Смеюсь с 40 летних инженеров, студентоты всяких говновузов без номральной мат подготовки и прочего скама. И все как один проходят эти сраные курсы и думают, что кому-то будут нужны.
98 1739023
Как записать в csv файл значения с плавающей точкой в виде 9.345 а не 9.34578945е2 ?
Если округлять, то последние значащие цифры просто становятся нулями, но формат записи остается такой же.
99 1739047
>>39023
Ты тредом не ошибся? Чем именно ты csv пишешь?
100 1739050
>>39023
round()
101 1739066
>>39023
Только 9.34578945е2 это 0.09435 а не 9.345
Мошонлёрнеры, блядь
1018056523.jpg124 Кб, 476x650
102 1739125
Начал читать пикрил, но теперь зашёл в тред, прочитал шапку. Стоит ли перейти на "Глубокое обучение на Python" Шолле или какую-то другую книгу из шапки? Знаний МЛ нет, какие-никакие знания матана, линейной алгебры и теорвера есть.
103 1739126
>>39047
Не ошибся, я же датасет готовлю. Пишу питоном.
>>39050
Если б работал round, я бы не спрашивал.
>>39066
Да я вообще не смотрел цифры, вообще думал 9375хуй45залупа написать
104 1739130
>>39125
Можешь читать.
105 1739132
>>39126

>Если б работал round, я бы не спрашивал


Ванг нет, покажи код.
106 1739201
>>39126

>Не ошибся, я же датасет готовлю. Пишу питоном.


Каким блядь нахуй питоном, сука, какие же тупни тупые, реально считают, что все должны вангами работать
15910950655220.png136 Кб, 540x465
107 1739215
>>39201

>реально считают, что все должны вангами работать


Но ведь дата-сайен в этом и заключается.
15932634623380.png479 Кб, 1280x720
108 1739248
>>39125

> Себастьян Рашка

4hNLUMDKn6A.jpg227 Кб, 795x383
109 1739336
>>39132
Ну как-бы вот
dt = np.round(dt,2)
Результат на пикриле.
>>39201
Ну не стукай.
110 1739338
>>39336

> dt = np.round(dt,2)

111 1739340
dt = np.round(dt,2)
np.savetxt('1.csv', dt, delimiter=",")

вот так у меня в файл пишется. сорян что я тут тред засрал немного
image.png27 Кб, 773x369
112 1739347
>>39336
>>39338
>>39340
Чем ты открываешь CSV? У меня все работает.
113 1739348
>>39340
>>39347
А, понял. Ты неправильно сохраняешь - используй dt.to_csv.
114 1739357
>>39348
Спасибо, заработало.
115 1739535
>>34710 (OP)
https://www.reddit.com/r/learnmachinelearning/ надо добавить в след шапку
116 1740098
>>34710 (OP)
>>1733222 (OP)
Суп народ

Есть одно тз:
https://docs.google.com/spreadsheets/d/1LFknKlNyarjpAwb5jm-9ZOHyi3zaXt-cadAUo39MSnA/edit?usp=sharing

Тут очевидно про звук что то. Что означают числа в столбце F - я хз.
Подскажите, от чего отталкиваться, чтобы найти особенности в данных? На что обратить внимание, что сделать в первую очередь?
117 1740113
>>40098
snr - signal to noise ratio, остальное не понятно
118 1740172
>>40098
CC это, возможно, component carrier
Просто идентификатор некоторого диапазона частот
119 1740228
>>40098
>>40113
>>40172

TS (от англ. Time-Slot) — единица разделения канала в системах связи, где применяется множественный доступ с разделением по времени (TDMA) или временное уплотнение (мультиплексирование) (TDM).

снр это сигнал/шум

сс - это либо кариер, либо какая то фигня для оценки безопасности

С этим вроде +- понятно. А вот что там можно проанализировать нифига непонятно >_<
120 1740244
>>40228
Ну блядь статистики своих чиселок там понаходи, распределения, корреляции, попробуй что-нибудь по чему-нибудь попредсказывать
121 1740309
>>40228
Если непонятно, начни с проецирования PCA на плоскость или пространство по случайным переменным и посмотри, не образуются ли паттерны
1473993837001.jpg208 Кб, 1063x1200
122 1740456
Сап, программач. Хочу запилить чатбота на питоне. Имею для обучения JSON-файл с готовыми парами "вопрос-ответ", которые нейронка должна воспроизводить максимально точно. Что можно использовать для обучения с учителем? Есть ли уже готовые проекты или библиотеки с максимально быстрым вкатом? Просьба в гугл не посылать, мне интересен именно опыт людей, реально работавших с такой задачей.
1541690238113057657.jpg65 Кб, 700x417
124 1740481
125 1740938
А есть что-то типа списка нерешенных проблем ML? Открытых вопросов и т.п. Курсовую/диплом по чему можно писать? Просто для меня ML стало ремеслом, которым зарабатывают деньги.
126 1740946
>>40938
Заходишь на кэгл и ебешься.
127 1740947
>>40946
Я не про это. Я про теорию.
128 1740951
>>40947
unsolved problems in machine learning
гугл ит
129 1741189
>>40938

>Просто для меня ML стало ремеслом, которым зарабатывают деньги.


А ты гречневый что ли и зарплатных презираешь?
130 1741207
>>40938
Спроси нечеткого, он тебе подкинет задачек
300px-HideThePainHarold.jpg33 Кб, 300x254
131 1741216
>>36550

>В правильном софте ничто никуда не лезет


Вот это от души просто, всё так и есть.
132 1741217
вопрос про reinforcement learning: что делать, если последствия твоего действия наступают через несколько шагов? Вот ты сейчас сделал ход, а случилось что-то только через N ходов. У меня первая идея это сохранять свой ход и отдавать его в следующие фичи. То есть фича "сколько шагов назад вы сделали ход попрыгать на одной ноге" и хранить там кол-во шагов, где 1 это максимальное интересующее меня значение (и бесконечность/никогда в том числе), а 0 это "сделал на прошлом ходу"
133 1741254
>>41217
сейчас задумался и пришел к выводу, что в этом случае придется как-то определять влияние между действием A, временным последствием B и конечным следствием C. Причем придется понимать, что С вышло из B, а то вышло из A.

Сейчас придумал альтернативное решение: сделать ход и сразу же определить коэф полезного действия, заглянув таймлапсом в будущее с логикой "следующие N ходов я ничего не делал". То есть:
1. Действие в полночь: пнуть конкретную балку башни Эйфеля. Следствие в течение следующих 24 часов: Башня развалилась. +100 баллов КПД
2. Действие в полночь: ничего не делать. Следствие в течение следующих 24 часов: Башня как стояла так и стоит. +0 баллов КПД
3. Действие в час ночи: пнуть конкретную балку башни Эйфеля. Следствие в течение следующих 24 часов: Башня развалилась. +100 баллов КПД
4, Действие в час ночи: ничего не делать. Следствие в течение следующих 24 часов: Башня как стояла так и стоит. +0 баллов КПД

И так далее. Машина соответственно поймёт связь между пинком и падением башни. Возможность заглянуть в будущее у меня имеется.
134 1741259
>>41217

>что делать


Для начала, прежде чем разводить философию, почитать какую-нибудь книжку по rl
135 1741272
Че думаете по поводу этой хуйни https://www.artlebedev.ru/ironov/process/ ?
У меня почему то сильное чувство что это какая-то хуетень
136 1741280
>>41272

> почему то сильное чувство что это какая-то хуетень


> artlebedev


> почему то сильное чувство что это какая-то хуетень


> artlebedev


> lebedev


В роликах про конституцию тоже искусственный интеллект снимался, не бейте
137 1741326
>>41272
Дли нейронок самое то, на большее они не способны
139 1741407
>>41402
У меня криндж от ваших нейронок.
140 1741634
Тренирую модель, которая выводит два численных значения. Потери уменьшаются, все хорошо, но accuracy всегда равна единице и на тренировочном, и на тестовом сете. ЧЯДНТ?

ann = tf.keras.models.Sequential()
ann.add(tf.keras.layers.Dense(units=20, activation='sigmoid'))
ann.add(tf.keras.layers.Dense(units=2))

ann.compile(optimizer = 'sgd', loss = 'mean_squared_error', metrics = ['accuracy'])
ann.fit(X_train, y_train, batch_size=32, epochs = 400)
test_loss, test_acc = ann.evaluate(X_test, y_test)
141 1741638
>>41634
Почему ты используешь accuracy?
142 1741671
>>41638
Идея была проверить как часто предикции совпадают с истинными значениями. Но в таком случае акьюраси должна вообще быть 0, ведь там же не округленные числа выводятся.
Мне кажется мне нужно стоит mean absolute percentage error использовать.
143 1741906
>>41671
>>41634
Мой вердикт: ты не понимаешь, что делаешь.

В случае модели с несколькими выходами accuracy - это класс CategoricalAccuracy. Она воспринимает то, что ей отдают, как вектора вероятностей классов, но плевать хотела, что на самом деле ей поступает - она примет любые два вектора одинакового размера. Она ищет, где максимум у первого вектора (y_true), и проверяет, максимум ли на той же позиции у второго вектора (y_pred). Если да, то ставит "да, совпало, +1 к счётчику". Ей плевать, вероятности там или нет.

Керас всё стерпит, ему похуй, лишь бы ошибок с вычислительной точки зрения не было. Сделать так, чтобы вычисления, которые он производит, были осмыслены - твоя задача.
144 1742148
>>41634

>Тренирую модель, которая выводит два численных значения. Потери уменьшаются, все хорошо, но accuracy всегда равна единице и на тренировочном, и на тестовом сете. ЧЯДНТ?


Скорее всего ты забыл преобразовать y_train и y_test с помощью keras.utils.to_categorical.
145 1742225
>>41634
accuracy precision recall f1 это все метрики для классификации, а не регрессии
15921035710820.gif391 Кб, 652x562
146 1742239

> зумер вкатывальщик использует метрики для классификации в задаче регрессии потому что не знает в чем разница


> кок пок пачиму accuracy = 1


Ну что, как вкатились, тайдмены?
147 1742245
>>42239
Нечеткий петух при сложном вопросе:
ко-ко-ко меня здесь нет
Нечеткий петух при вопросе новичка:
Вот вы зумеры тупые, а я умный, а вы тупые, ха-ха-ха, зумеры тупые зумеры
15924015117680.png94 Кб, 400x344
148 1742248
>>42245

> Нечеткий петух при сложном вопросе:


> ко-ко-ко меня здесь нет


> Нечеткий петух при вопросе новичка:


> Вот вы зумеры тупые, а я умный, а вы тупые, ха-ха-ха, зумеры тупые зумеры

149 1742250
С какой книги лучше начать? Deep Learning Book мне не подошла.
150 1742272
>>42250
ISLR читай. Хотя бы общее представление будет, о чем вообще машоб. Может быть даже не будешь путать регрессию с классификацией.
151 1742277
>>42248
Этот трясун порвался
152 1742279
>>42272
Почему нет какого-то единого roadmap'а. Куда не зайдешь, каждый лезет всучить свои сомнительные курсы и книги. Уже несколько дней не могу определиться, откуда начинать. Я планировал сразу окунуться в машинное обучение, а как только понадобится математика, то приступить к ней
153 1742283
>>42279
Да откуда нравится, оттуда и начинай. Какая разница?
154 1742321
>>42279

> Почему нет какого-то единого roadmap'а.


Тема слишком широкая. Даже в 90е одной книгой охватить было нереально, тот же Хайкин как пример такой попытки.
155 1742333
>>42279

>Почему нет какого-то единого roadmap'а


Есть, но он ведет на хуй. Нейроговно не нужно.
156 1742341
>>42239
Причем здесь зумер-не зумер?
157 1742346
>>42341
Это психдеформация матанопетухов
158 1742499
>>42341

> Причем здесь зумер-не зумер?


Эмпирически было выявлено, что в массе своей авторы наиболее тупых вопросов - зумера. Поэтому по умолчанию вкатывальщик считается зумером.
159 1742531
>>42279

>Почему нет какого-то единого roadmap'а


Потому что тем кому нужен какой-то единый роадмап он на самом деле не нужен: можно просто не тратить время и сразу забить, у них всё равно ничего не получится.
160 1742717
>>42346
Еще бы нечеткий петух понимал что-то в матане
sage 161 1742720
>>41906

> Сделать так, чтобы вычисления, которые он производит, были осмыслены - твоя задача.


Вот в этом и есть ваша проблема питухона с егоной динамической кококзацией. Нормальный язык бы просто не позволил всунуть вектор не того типа.
162 1742722
А в машоб поздно вкатываться?
Мне кажется, что уже нереально будет сделать что-то реально новое, что бы пробиться в круг топ экспертов.
163 1742762
>>42722
тут и освоить все сложно уже
164 1742764
>>42722

>что-то реально новое


Сделай что то рабочее, этого достаточно.
165 1742765
>>42722

>что бы пробиться в круг топ экспертов.


Самый ебанутый тред. В остальных тредах люди просто работают и обсуждают что-то, в МЛ-треде если ты не топ оф да топ, нахуй это нужно вообще.
166 1742784
>>42765

Говеокод5оки кодят за похлёбку, а мы - Наука! Учёные, ебать!
sage 167 1742806
>>42720
Ты же не понимаешь, про что пишешь.
168 1742825
>>42765

>в МЛ-треде если ты не топ оф да топ, нахуй это нужно вообще


Потому что деньги платят только топам.
169 1742867
>>42720
Ладно, кретин, перевожу на доступный тебе язык:
>>41634: у меня алгоритм Дейкстры кратчайший путь не находит
>>41906: алгоритм Дейкстры работает только с неотрицательными рёбрами, за этим должен следить ты сам
>>42720: Вот в этом и есть ваша проблема питухона с егоной динамической кококзацией. Нормальный язык бы просто не позволил подать на вход граф с отрицательными рёбрами.
170 1742882
>>42717
Настоящая математика это переладывание палочек!
171 1742887
https://www.coursera.org/specializations/deep-learning
Насколько говно?
Семь дней бесплатных достаточны для прохождения или лучше навернуть дедовских книг?
15890904754150.jpg93 Кб, 1280x964
172 1742927
>>34710 (OP)
Аноны, опытные и не очень, работающие датасатанистами или стремящиеся, кто-нибудь из вас снизойдёт побыть ментором по нейросетям? Или если есть какой пет-проект с машобом, можно ли поучаствовать или организовать? Кагглы, боюсь, тупиковая ветвь развития.
173 1743011
Есть учебники по старому nlp где описываются типичный feature extraction, кроме bow и tf-idf ?
174 1743141
>>42927
Опыт? Знания?
175 1743255
>>43141
Это вопрос по тому, что имеется, или по тому, что хочу приобрести?
Если первое, то имеется некоторый опыт с рекуррентными, свёрточными и малость с генеративными сетями.
Если второе, то да.
176 1743299
>>43255

Если хочешь, напиши https://t.me/ImNRshka
2 года работы в dl, чем смогу, помогу
177 1743590
>>43299
Спасибо.
А есть фейкопочта? Телеграмма нет
178 1743674
>>43590
2k20, нет тг даже на фейке
Пиши:
somuchkindof2|xVchANUSgmz_wailPUNCTUMc;$Vom
179 1743747
>>43674

>2k20, нет тг даже на фейке


ТруЪ ананимас же.

>Пиши:


Написал.
180 1744454

>1743011


manning information retrieval или jurafsky speech and language processing
181 1744480
Че пацаны, устроились джунами или хотя бы трейни? Я вот сдела 2 тестовых, прошел 3 собеса и меня готовы взять на джуна и на мидла ДС в ДС каламбур. Из опыта, разумеется только один свой проект. Как же хорошо, что я отучился в ШАДе год.
182 1744482
>>44480
Сколько платят?
183 1744483
>>44482
На джуна чуть меньше 150к после налогов должно быть, но там задачи интересные. Мидлу 170-200, там еще оффер не пришел, но там задачи хуже.
184 1744486
>>44483
Пиздато. А я траил в яндекс, макензи даже не на джуна, а на стажера и в обоих случаях не прошел. В итоге стажорствую в области не связанной с машинкой. Ну ты раз в шаде год значит жестко шаришь в материале.
А проект крутой? В соло делал?
185 1744540
>>44483

>На джуна чуть меньше 150к после налогов должно быть, но там задачи интересные. Мидлу 170-200


Пиздос. В других областях 150к платят сеньорам.
186 1744614
>>42887
машобисты, когда задали вопрос по тематике:
меня здесь нет

машобисты, когда тайдмен насрал боевыми аватарками:
ну тупой нечеткий петух ну тупой
187 1744724
>>44483
Молодец. ШАД - сила, что бы тут обиженка не писал.
188 1744734
>>44724

> ШАД - сила,


Покажи хоть одного шадовца в кремниевой долине, хоть один взлетевший стартап, сделанный шадовцем, хоть один что-то значащий для предметной области пейпер, написанный шадовцем хотя бы в виде соавтора. В чем конкретно проявляется сила этих инфоцыганей?
189 1744827
>>44734
fless pro
190 1744851
>>44734
Ты пытаешься сыграть на том, что всем лень копаться в карьерах выпускников? Жестка.
Screenshot180.jpg156 Кб, 935x1117
191 1744927
А, я забыл. тут же у нас /PR/
Задроты реально не хотя коммуницировать и разбираться.
Принесите им датасеты и может быть они подберут нейроночку.

Серьезно? Вы так видите свою миссию ?
192 1744930
>>44927
Но это тред мл, а не дата анализа. Для дата инженеринга есть тред бд.
193 1744933
>>44930
вот как раз иллюстрируешь свой отрыв от реальности этими словами. А тред БД морально устарел.

Разве есть более подходящий тред?
194 1744941
195 1744942
>>44933

> вот как раз иллюстрируешь свой отрыв от реальности этими словами


Какой отрыв? Дата анализ это очень много чего, включая даже создание отчетов в экселе. Но тред то конкретно про машинное обучение. Никто не занимается всем вместе сразу.

> А тред БД морально устарел.


Почему?
196 1744943
>>44927

> Вы так видите свою миссию ?


Тебе в https://2ch.hk/re/ (М)
197 1744952
>>44942
ну потому что .
Ты что, разве обучальщик машин в вакууме? такая работа вообще существует? Разве тебе не попадают задачи где нет ТЗ ?

>> А тред БД морально устарел.


>Почему?


они там до сих пор обсуждают правое и левое соединение и азы sql. Довольно скучно.
198 1745303
>>44952
Но это и есть твой уровень, видимо. ИТТ срали на твой бизнес и хадуп.
199 1745354
>>45303
При этом рисуют Обаму и раздевают анимешных девочек.

Ну ладно.
Я обязательно вкачусь и вкачу бизнес и без вас.
200 1745385
>>44927
Какой феерический мудак, лол.
sage 201 1745391
>>44734
Пфф, покажи мне хоть одного уроженца России в Кремниевой долине не на должности макаки-набивальщика.
202 1745408
>>44734>>45391
Пиздец вы маньки с провинциальными комплексами конечно
203 1745584
>>45408
А может это ты лоходей, верующий, что какие-то инфоцыгане приведут тебя к успеху?
205 1745696
>>45665
У вас в мл не педики есть?
1296712632977.png168 Кб, 600x600
206 1745712
>>45696
Матешу не осилил?
sage 207 1745729
>>45665
Он же не из России.
208 1745730
>>45712

>матеша


>педики


Я всегда подозревал
209 1745731
>>45729

>Ульяновска


Упс, пропустил
210 1746320
>>45665

>не макака-набивальщик


>игростудия трипл эй говна для детей


понимаешь в чем ты проебался?
211 1746490
>>44927
Да.
Разумеется, кабанчики из бизнеса видят мою миссию несколько иначе - чтобы я и предметную область досконально знал, и выборку сам собрал, и с бизнесом договорился, и инфраструктуру настроил, и модели обучил, и интегрировал в готовый продукт, и всё это забесплатно и ещё вчера - но мне похуй, что хотят кабанчики.
212 1746570
>>46490
да бля, тыж программист
214 1746574
>>46490
а деньги кто тебе платит?
215 1746575
>>46572
У вас не педики есть?
216 1746586
>>46574
Тот, кто может позволить себе зарплаты в ML, очевидно же. В рашке это либо крупные конторы, либо бодишопы со средним/крупным западным клиентом.
217 1746588
>>46586
ты же понимаешь, что это ненадолго и этих денег на всех не хватит.
выпускников со знанием статистики примерно 10000 каждый год в России и все они тебя легко заменяют.
218 1746601
>>46588

>со знанием статистики примерно 10000


А они не составили статистику по выпускникам со знанием статистики при поступлении?
Screenshot183.jpg23 Кб, 810x174
219 1746603
>>46586
это ведь ты в соседнем треде работу ищешь?
220 1746657
>>46572
Какой же пиздатый чел.
221 1746660
>>46588

>ты же понимаешь, что это ненадолго и этих денег на всех не хватит.


Это рашкокабанчики ненадолго и скоро все сдохнут от пыняномики, останутся только крупные работодатели. А в мире денег достаточно. Они их вообще печатают.

>выпускников со знанием статистики примерно 10000 каждый год в России и все они тебя легко заменяют.


Разве что тех, у кого был хоть какой-то курс тервера. Понимает что-то каждый десятый из тех, у кого был подобный курс, добавь в этот суп сносное умение программировать, никсы, английский. И получишь пригодного для дальнейшей работы джуна. Который в любой момент может свалить на смежную должность.
222 1746732
>>46660
Сейчас школьники фильма дудя насмотрелись, жди конкурентную среду года через 4.
223 1746741
>>46657

>Какой же пиздатый чел.


У тебя тоже встал?
224 1746751
>>46741
yes.jpg

Ну серьезно, сасный чел. Он ещё и супер крут, собесит на сеньоров и тех лидов, сам с зп больше миллиона, на кегле тащит.
https://youtu.be/BMzvm3VNf98
225 1746756
>>46751
Что этот педик то полезного сделал?
226 1746760
>>46756
Сделал себя богатым.
227 1746770
>>46756
почему педик? просто он в силу знания статистики понимает что такое регулярные занятия качалкой. Он просто выглядит как может выглядеть молодой пацан 25-30 лет регулярно занимающийся.
228 1746781
>>46751
Пустой балабол, держись от таких подальше
229 1746782
>>46781
Чел неймоверно богат, на вершине карьеры тех специалиста в x5. С таких очевидно надо брать пример
230 1746787
>>46782
может ли он сам сообщить что-то полезное для достижения его уровня?
Это как слушать чемпиона по метанию, а слушать надо его тренера.
231 1746789
>>46787
Нет такой инфы, что ты её сообщаешь и хоп ты в дамках.
А полезные вещи от него есть как например реклама одс, где многие находят работу, команду для соревнований, ревью и обсуждение статей и тд.
493large.jpg45 Кб, 600x600
232 1746794
>>46770

>Он просто выглядит


Он выглядит как педик, неприятно для меня как мужчины короче.

>тех специалиста в x5


Так каковы его достижения как специалиста, что он сделал то?

>Чел неймоверно богат


Что про пикрил скажешь?
233 1746808
Посоны, сколько примерно уйдет времени на вкат, если я сейчас на уровне средней react макаки?
234 1746825
>>46794
Он так-то тебя руками нахуй порвёт и на нож в конце посадит, омешкин
235 1746828
>>46789

>Нет такой инфы, что ты её сообщаешь и хоп ты в дамках.


Сообщаю тебе такую секретную инфу: не смотри видео, где какой-то хуй час занимается самолюбованием.
236 1746832
>>46825
Ну все, пиздец, как теперь дальше то?
237 1746833
>>46828

>где какой-то хуй час занимается самолюбованием


Ну может те аноны на него дрочат, так что не все так плохо
238 1746834
>>46833
Ты тоже какой-то ебнутый, в десятый раз повторяешь птушную штуку "xxx - педик гыгыгыгы"
239 1746838
>>46794

> Так каковы его достижения как специалиста, что он сделал то?


В ретейле кстати много задач, например, предсказание спроса продуктов, расстановка в торговом зале. Он заработал на этом бизнесу миллионы долларов.

>>46828

> Сообщаю тебе такую секретную инфу: не смотри видео, где какой-то хуй час занимается самолюбованием.


Ну вот конкретно то видео, что я скинул, это да он самоотсасывает. Ну это джаст фо фан просмотр, под фон.
Видео до этого было о том, насколько разнится понимание словосочетания "дата анализ" у работодателя. И это кстати реально ВАЖНО понимать любому итт. Есть записи и других презентаций от него, рассказывающие про полезные вещи или полезный опыт.
240 1746845
>>46794
он заставил эту еботень работать и приносить профит. Уже этого достаточно, чтобы дать пососать всем теоретикам, которые делали чисто теоретические изыскания. Теория без практического применения- словесный онанизм. То, что им занимается достаточно много ученых- это не делает его практичней, и основная их заслуга в том, что они делятся этим знанием, а не в самом знании.
241 1746853
>>46845

>он заставил эту еботень работать и приносить профит


Какую?

>предсказание спроса продуктов, расстановка в торговом зале


Ох бля, плановая экономика, у нас в СССР раньше целые отделы были без всякого мл говна.
242 1746857
>>46838

>реально ВАЖНО


Дрочун, плез, всем на него пофиг
243 1746868
>>46857
На работодателей?
244 1746877
>>46832
Как? Сидеть и не пиздеть зло на людей которые во всём лучше тебя, ещё больше завистливой жалкой пидорашкой выглядишь.
245 1746883
>>46868
На каких работодателей? У каждого менеджера свои заебы. Ты берешь заебы конкретного манагера и делаешь выводы об индустрии.
246 1746885
>>46883

> У каждого менеджера свои заебы


Блять. Об этом и речь. Работодатели ищут людей в спектре от делать отчеты в эксель, переобучать нейронку раз в месяц до создания корпоративного хранилища данных и всё это называют в вакансии одним словом дата саентист.
Ты бы для приличия посмотрел ролик, чтобы понять о чем тут пишут.
247 1746890
>>46877

>Сидеть и не пиздеть зло


Пиздец ты поехавший, я его в обще первый раз увидел, какое то пафосное ноунейм чмо которое я дропнул смотреть через минуту. Если это твоя икона, то сорян, дрочи на него в одиночку.
248 1746893
>>46885

>дата саентист


дата экселист
249 1746902
>>46890

> пафосное ноунейм чмо


> топ100 каггла


> директор по моделированию и анализу данных в X5 Retail Group


> руководитель группой аналитики в Яндексе


> преподаватель в ВШЭ



Кто тогда не пафосное не ноунейм не чмо?
250 1746904
>>46890
Омежка пытается состроить хорошу мину и выйти из ситуации, забавно. Это же не то чтобы ты тут на десяток постов усираешься "да ктоон такой да чё он зделол??" и своими пидорашьими шутками про геев. Небось сам его и запостил побомбить.
251 1746906
>>46902

>ВШЭ


Это откуда лезут либирахи пачками, лол

>аналитики в Яндексе


Пиздинг с гугла а что не спиздили то делают неработоспособным говном

>X5 Retail Group


Карусель и Перекрестки массово закрываются, успех уровня /b
Пятерочка еще живет, но анализу данных, лол
252 1746913
>>46904
Школнег, плез, всем на него похуй
253 1746916
>>46906
Вот это отрицания пулемётом. Ты как там, нормально, пукич какич помочь зашить?
254 1746918
>>46906
Лмао. Шиз, что ты несешь...
255 1746919
>>46913

> мне похуй нибамбит!


> сейчас я вам его достану и специально сто постов буду объяснять что он никто и педек)) но мне похуй обсолютно!


ок
256 1746920
>>46885

>и всё это называют в вакансии одним словом дата саентист.


И тебе нужно видео, чтобы узнать, что помимо заголовка вакансии нужно читать ее текст? Это типичная инфоцыганская вода.
У тебя главная задача - наебать работодателя, чтобы он поверил, что именно ты лучший выбор. Для этого нужно писать резюме под вакансию, всячески поворачивая то, что ты делал, именно в свете того, что написано в вакансии. Написано там будет "датасаентист с умением чесать жопу" - напишешь, что ты именно такой. А напишут что-то про докер - напишешь, что ты рожден был быть девопсом в мл. Потому что нужно подстраиваться под рынок, а не ждать, пока рынок подстроится под тебя. Менеджер - твой враг, потому что у него другая задача, он ходит на подобные эвенты, чтобы хантить лошков, чтобы они разгребали за ним говно за мелкий прайс. По этой же причине он рекламит одс как место место концентрации таких лошков, которые там добровольно сбиваются в место с дичайшей конкуренцией.
257 1746921
>>46919
>>46918
>>46916
Подрыв засчитан
258 1746922
Математика = МЛ = педерастия
259 1746924
>>46920

>наебать работодателя


Лол, местная петушня в треде еще и без работы?
260 1746927
>>46920
Вкатывальщик ты?
Получается ты пойдешь подстраиваться под рынок и будешь писать отчеты в эксель. Нормальных спецов наоборот хантят переманивая высокой зп у конкурентов. А собес и текст вакансии могут не иметь ничего общего с тасками, которые будут на работе. Ты бы лучше реально посмотрел видос-презентацию чела, которые собесит сеньеров и тех лидов.
261 1746928
>>46927

>собесит сеньеров и тех лидов


В Пятерочку?
262 1746930
>>46928
В яндекс, x5.
263 1746934
>>46930

>x5


Пятерочка

>яндекс


Беееее
264 1746935
>>46930

>яндекс


Кстати там всегда платили ниже рынка, ты говноед?
265 1746937
>>46838

>понимание словосочетания "дата анализ" у работодателя.


А я посмотрел и так и не понял, почему не может существовать человека, который объединял бы все три полюса треугольника?
266 1746939
>>46934
Что не так, шиз? Какие компания для тебя норм, даже интересно

>>46935

> Кстати там всегда платили ниже рынка, ты говноед?


Тем кого можно заменить и за кем выстроилась очередь. И то это зависит от того, как ты себя продашь. Спецов высокого уровня они сами хантят и стараются перекупить.
267 1746942
>>46937
Потому что это слишком большой объем знаний и работы. Бизнес аналитика, дата инженериг, машинное обучение.
268 1746945
>>46939
Хрюндель с Хуяндекса детектед
Уходи пидор, мы тебя вычислили
269 1746946
>>46927

>Получается ты пойдешь подстраиваться под рынок и будешь писать отчеты в эксель


Это вполне нормальный путь - устроиться писать отчеты, и дальше горизонтально уже попасть в ML-отдел. Проблема в том, что манагеру такие хитрожопые нахуй не нужны. Ему нужно чтобы ты был прозрачен как стекло, чтобы, если ты охуенный, наебать тебя и продавить в зарплате, а если ты хуевый - то послать тебя нахуй. То есть он объясняет тебе, как сделать так, чтобы к нему пришло 100 таких лошков, а он бы сидел и выбирал между ними.
А я тебе объясняю, как устроиться на работу. И первое правило здесь - не слушать советы по съему женщин от женщин. Не слушай советы манагера по поводу рынка и позиционирования себя в нем.
270 1746954
>>46946

> Это вполне нормальный путь - устроиться писать отчеты, и дальше горизонтально уже попасть в ML-отдел


Чел, это полная херня. Ты потратишь время, получая опыт который нихуя не релевантен к млю и будешь никак не отличатся от соискателей с улицы.
Я тебе как человек, который занимался дата инженеригом в консалтинге, уверяю в этом. Ты рассуждаешь как типикал вкатыватель, которому лишь бы найти работу.
271 1746955
>>46942 почему тогда некая Кэти из Гугла (написавшая книжечку >>44927) не считает проблемой совпадение всех навыков и ни о каких треугольниках не заикается?

Я, правда, лишь поверхностно полистал.
272 1746961
>>46954

>Чел, это полная херня


Что херня, что двигаться в конторе горизонтально проще, чем попасть на ту же вакансию с улицы? Или что в начале надо въебывать и идти по головам, а не тупо делать таски, спускаемые сверху? Или что при поиске новой работе нужно пиздеть о том, что ты делал на старой?
Это все простая мудрость. Просто о ней не сообщают те, кому важно из ста соискателей выбрать одного. Они сами такие, нахуя им конкуренты, которые поступают так же.
273 1746963
>>46955
Это всё зависит от погружения. В том же Макензи нет смысла брать человека, который умеет только в фит-предикт, как минимум ему придется уметь работать с базами данных - получать эффективно данные оттуда, чтобы выстроить пайплайн.
Но если у клиента таск создать КХД с нуля, то туда не отправят человека, который больше по млю. Короче суть в том, что поверхностно ты можешь знать, но это будет далеко от того, что может человек, который только этим занимается.

> не считает проблемой совпадение всех навыков


Ну я так подозреваю, что там как раз речь о том, что нет таких должностей, где ты сидишь фит предикт дрочишь.
274 1746964
Яндекс = Говно
Screenshot184.jpg151 Кб, 978x1152
275 1746973
>>46955
бля с Кэти немного ошибочка вышла. Непонятно в гугле она или где.
Но Раньше была Hot
276 1746974
>>46961

> Или что в начале надо въебывать и идти по головам, а не тупо делать таски, спускаемые сверху?


Детект фраза, что ты никогда не работал.
И да нет смысл специально получать опыт работы, не связанный с областью в которой хочешь работать, ты просто потратишь время в пустую.
277 1746975
>>46955
Потому что это не треугольник, а иерархия.
Ресерчеры - блатные.
Инфраструктура - мужики.
Аналитики - петухи.
278 1747028
>>46974

>Детект фраза, что ты никогда не работал.


Продолжай строить манямир каждый раз как видишь на анонимной имиджборде неудобную тебе инфу. Если кто-то пишет что-то, что тебе не нравится - это неопытный школьник. Максимум - студент.

>И да нет смысл специально получать опыт работы, не связанный с областью в которой хочешь работать, ты просто потратишь время в пустую.


Ты жертва манагеров, которым нужны удобные заполнители для их вакансий, а все остальное - оверквалифаед. Это как раз охуенно поработать в разных местах. Это на одном месте ты рано или поздно упрешься в рутину, и, более того, любой корпорации это выгодно, чтобы ты был максимально специализированным винтиком, чтобы не выебывался и были проблемы перейти куда-то. Таких потом сокращают в очередной кризис и они стреляются - ведь если ты все время месил говно в одной финансовой фирме, у тебя весь путь - это месить говно в другой финансовой фирме, а кризис у них у всех одновременно.
А самому человеку наоборот выгодно быть гибким и иметь кучу побочных навыков. При этом что выстрелит ты можешь и не знать даже. То есть если у тебя кумир - манагер, то шансов стать манагером, поработав в разных местах, у тебя гораздо больше, чем если ты будешь узкоспециализированной манькой. Потому что узкоспециализированную маньку будут грузить однотипным говном, пока она это говно делает. А вот широкому спецу дорога в руководители.
279 1747054
>>47028
Чувак, ты диванный теоретик. Имея куча мест разных работ, но по пол года, тебя выше джуна не возьмут.

> были проблемы перейти куда-то


У хорошего специалиста нет никаких проблем куда-то перейти, он может работать в любой стране мира. Потому что айти везде одно.

> А вот широкому спецу дорога в руководители


Это вещи, которые никак не связаны.
280 1747095
>>47054
Это ведь твой пост: "А я траил в яндекс, макензи даже не на джуна, а на стажера и в обоих случаях не прошел. В итоге стажорствую в области не связанной с машинкой"?
281 1747165
282 1747267
>>46964
>>46945
>>46935
>>46934
Не переживай ты так, вот возьмёшься за ум, подучишься малясь и опять попробуешь через полгода
283 1747277
>>46975

>Потому что это не треугольник, а иерархия.


>Инфраструктура - блатные.


>Аналитики - мужики.


>Ресерчеры - петухи.


Скорее так.
284 1747299
>>47165
А не педики есть?
285 1747301
>>47267
Ага, мечтал в Пятерочке работать, как тот кочка с видоса, лол
287 1747461
>>47403

>может покритиковать?


Запросто, теоретическая параша обмазанная математикой.
288 1747709
>>47403
Мне уже поздно такое читать. Выглядит симпатично.
sage 289 1747735
>>46906
А что ж ты про каггл промолчал, тралль ты наш. Или ты тоже топ-100?
290 1747736
>>46920
А потом тебя на собесе начнут спрашивать про докер, а без практики хрен ты ответишь.
291 1747778
Можно ли в Керасе как-то выдернуть удачную эпоху?
292 1747781
>>47778
Без колобков, как диды
while yoba:
_model.fit(....., epochs=1)
_loss = model.evaluate(...)
_if loss < best_loss ....

С колобками
my_callbacks = [
tf.keras.callbacks.ModelCheckpoint(... save_best_only = True ...),
]
model.fit(dataset, epochs=10, callbacks=my_callbacks)
15928449181431.jpg13 Кб, 480x360
293 1747856
>>47781

> __hui


> __pesda


> __jigurda___


Кто-то ещё на скобочки (((лиспа))) гонит, когда есть такой-то шидевор кринжкодинга, возведенный в ранг единственного яп для машоба индусским ПТУшниками.
294 1747858
>>47856
Это вместо табов, если ты не понял
295 1747872
>>47856
Питон - это то, чем должен был стать лисп, но не стал из-за того, что его испортили аутисты со своими макросами.
А синтаксис и там и там какашечка конечно
296 1748442
Сап нейросамцы! Такой вопрос:
Знаю питон, работаю в ойти (не кодером правда), хочу вкатиться в мл (единственное направление кодинга от которого дымиться шишка, на верстку интернет-магазинов по продаже айкоса или донатных даунских игр для андроида не стоит).
Такой вопрос - совместим ли как нибудь мл и фриланс? Естественно апворк и прочий бурж, а не русское говно "требуется сеньор за чебурек". Просто хочу что бы хобби хоть как то пересекалось с источником дохода.
Или не выебываться, и просто додрачивать джангу/фласк до идеала, что бы влезть с мылом между двумя фриланс-индусами?
297 1748841
>>48442

>совместим ли как нибудь мл и фриланс?


kaggle
298 1748868
>>48841
И где там вкладка фриланс?

Просто интересно, как местные себе представляют фриланс в ml?
Изучил данные за один вечер, решил задачу бизнеса и не стал участвовать в эксперименте, потому что у тебя уже другой заказ?

Похоже, ml до вебмакакинга не доросла. Бизнес не знает что им нужно чтобы нанимать короткими сессиями.
299 1748869
>>48868

> Просто интересно, как местные себе представляют фриланс в ml?


Лабы делать. А стартапы это уже ближе к работе было бы.
Другого и нет.
300 1748886
>>48868

>Просто интересно, как местные себе представляют фриланс в ml?


Работы полно. Мало у кого есть деньги содержать ML-отдел, а бизнес требует задач уровня "прикрутить распознавалку образов в сортировщике картофеля" и "добавить рекомендательную систему в интернет-магазин". ML хорошо фрилансится, потому что это замкнутые задачи - сделать датасет, добиться на нем такого-то перформанса. В итоге ты можешь собрать датасет - получить деньги, натренировать его - получить деньги, выдать программерам кабанчика predict.py и переходить на следующий проект.
15942510414331.gif425 Кб, 931x682
301 1748893
>>48886
95% тобой описанных задач решается аутомлом. Когда каждый кабанчик это поймет, закончатся зарплаты от 100к за "импорт слесарьплов" для тайдменов вкатывальщиков.
302 1748909
>>48886

> Работы полно. Мало у кого есть деньги содержать ML-отдел, а бизнес требует задач уровня "прикрутить распознавалку образов в сортировщике картофеля" и "добавить рекомендательную систему в интернет-магазин"


Ссылки?
304 1748943
>>48893

>95% тобой описанных задач решается аутомлом.


Петуха забыли спросить. Описанные мной задачи вообще никакого ресерча не требуют, это чисто типовые задачи. Как у любой другой профессии. Электрики тоже, знаешь ли, не защищают phd перед тем, как сделать проект для очередного небоскреба. И что-то даже с появлением CAD-софта, который сильно облегчил жизнь ижненерам, сами инженеры никуда не делись. Все подобные вещи типа аутомла (который говно без перспектив) используются как раз такими, как я. То, что сами кабанчики будут обучать себе сетки это такой же манямир, как представить то, что они будут сами ремонтировать себе автомобили или лечить зубы.
305 1748951
>>48943

> То, что сами кабанчики будут обучать себе сетки это такой же манямир, как представить то, что они будут сами ремонтировать себе автомобили или лечить зубы.


Хуя ты сравнил, лол. Лечить зубы могут только специалисты. А вот жопу подтирать или слесарьплов импортить может кто угодно.

> И что-то даже с появлением CAD-софта, который сильно облегчил жизнь ижненерам, сами инженеры никуда не делись.


Потому что CAD это автоматизация ручного труда, а машобчик более примитивных ручных аналогов не имеет.
306 1748985
>>40098
Ну чо, анон, что получилось?
307 1749092
>>48951

>А вот жопу подтирать или слесарьплов импортить может кто угодно.


Если же ты уверен, что любую парикмахершу можно научить хотя бы натягивать темы на вордпресс, то прими таблетки. В этом плане любую парикмахершу можно обучить стоматологии, дохуя времени просто потребуется, но айти это все равно далеко не для всех, слишком античеловеческий род деятельности.
А мл - это айти среди айти, доступно единицам, слишком много компетенций должно пересекаться. У меня знакомый в 30 лет устроился в ЕПАМ лепить круды, ему норм, потому что он такой же задрот, как любой айтишник. Но с математикой траблы - и все, приблыли, мл ему закрыт. Это не значит, что в мл требуется какая-то сложная математика, просто для большинства людей даже простая математика это сложно.
В итоге мл это примерно как какая-нибудь разработка компиляторов. Несложно сгенерить код для x86 по индусотуториалу, но это будет так же далеко от реальной разработки компиляторов, как твои представляения об МЛ. МЛ - это сплошные нюансы.

>Потому что CAD это автоматизация ручного труда, а машобчик более примитивных ручных аналогов не имеет.


Эволюция CAD выглядит так: сначала чертили на миллиметровке, потом появились 2D системы, по сути векторные редакторы, которые просто позволяли иметь элеткронный кульман с кнопкой undo, и 90% инженеров застряло на этом уровне, потом параметрические 3D системы, в которых изменение размеров детали не влекло за собой ручную переделку десятка поизводных чертежей. Затем пришел интернет, разного рода мастеры и скрипты, и многие детали вообще софтина сгенерирует по ТЗ, а вместо проектирования отдельных блоков с нуля можно найти того, кто их уже делал. При этом в теории можно все автоматизировать еще больше, но на практике держать конструктора дешевле, чем искать программиста, который автоматизирует его работу.
В ML изначально считали вручную и забивали их в железо с помощью потенциометров, затем писали программы, но с нуля, затем, пришли библиотеки типа BLAS, но градиенты считали руками, затем пришел автоматический подсчет градиентов. Каждый новый переход не упрощал вход в профессию, а усложнял.
Automl способен автоматизировать ту часть моей работы, когда я пишу скрипт с перебором параметров для сетки. Но это 2 дня в месяц максимум. Приятно, но жизнь не поменяет. Вот что было бы реально прикольно, это zero shot learning как у GPT-3.
307 1749092
>>48951

>А вот жопу подтирать или слесарьплов импортить может кто угодно.


Если же ты уверен, что любую парикмахершу можно научить хотя бы натягивать темы на вордпресс, то прими таблетки. В этом плане любую парикмахершу можно обучить стоматологии, дохуя времени просто потребуется, но айти это все равно далеко не для всех, слишком античеловеческий род деятельности.
А мл - это айти среди айти, доступно единицам, слишком много компетенций должно пересекаться. У меня знакомый в 30 лет устроился в ЕПАМ лепить круды, ему норм, потому что он такой же задрот, как любой айтишник. Но с математикой траблы - и все, приблыли, мл ему закрыт. Это не значит, что в мл требуется какая-то сложная математика, просто для большинства людей даже простая математика это сложно.
В итоге мл это примерно как какая-нибудь разработка компиляторов. Несложно сгенерить код для x86 по индусотуториалу, но это будет так же далеко от реальной разработки компиляторов, как твои представляения об МЛ. МЛ - это сплошные нюансы.

>Потому что CAD это автоматизация ручного труда, а машобчик более примитивных ручных аналогов не имеет.


Эволюция CAD выглядит так: сначала чертили на миллиметровке, потом появились 2D системы, по сути векторные редакторы, которые просто позволяли иметь элеткронный кульман с кнопкой undo, и 90% инженеров застряло на этом уровне, потом параметрические 3D системы, в которых изменение размеров детали не влекло за собой ручную переделку десятка поизводных чертежей. Затем пришел интернет, разного рода мастеры и скрипты, и многие детали вообще софтина сгенерирует по ТЗ, а вместо проектирования отдельных блоков с нуля можно найти того, кто их уже делал. При этом в теории можно все автоматизировать еще больше, но на практике держать конструктора дешевле, чем искать программиста, который автоматизирует его работу.
В ML изначально считали вручную и забивали их в железо с помощью потенциометров, затем писали программы, но с нуля, затем, пришли библиотеки типа BLAS, но градиенты считали руками, затем пришел автоматический подсчет градиентов. Каждый новый переход не упрощал вход в профессию, а усложнял.
Automl способен автоматизировать ту часть моей работы, когда я пишу скрипт с перебором параметров для сетки. Но это 2 дня в месяц максимум. Приятно, но жизнь не поменяет. Вот что было бы реально прикольно, это zero shot learning как у GPT-3.
308 1749145
>>48886

> ML хорошо фрилансится, потому что это замкнутые задачи - сделать датасет, добиться на нем такого-то перформанса.


послушай, но ведь это и есть "хочу делать fit_predict()"

Ну ахуеть. Если я полностью сам обработал для фрилансера данные, я уж как-нибудь сам погуглю как вызвать fit_predict().

Какие-то фантазии. Это не самом деле происходит именно так?
309 1749160
Ну а как вы думаете, с чего победителям соревнований на каггле платится по 500k$ ? Потому что это дешевле чем для той же задачи создавать специальный подотдел, заводить несколько вакансий, кормить их полгода, платить налоги да ещё и после того как они задачу решат придумать им дальнейшую работу.
310 1749165
>>49145

>Если я полностью сам обработал для фрилансера данные, я уж как-нибудь сам погуглю как вызвать fit_predict()


Вперед, каггл ждёт тебя с потенциальными миллиардами долларов, данные дают, нужно только фитпредикт сделать.
311 1749167
>>48886

>выдать программерам кабанчика predict.py и переходить на следующий проект.



Что-то я не верю в такой формат. Точнее, не вижу достаточного объема таких задача чтобы становиться фрилансером.
Это как раз уровня automl задачи и на их решение нужно немного времени.
И ответственности никакой. с делал по ТЗ - молодец ( а ТЗ неправильное было, толку нет, денег нет)

более реально это месяцами погружаться в бизнес, создавать data pipeline, выдавать гипотезы и тестировать их на практике.
За это кабанчики готовы платить уже сейчас.
312 1749174
>>49165
мы про выигрыш соревнований 1 раз в год или осознанный выбор области деятельности, с которым ты точно сможешь потом жить ?
Не понимаю зачем вообще Кагл упоминать в контексте обсуждения.
313 1749233
>>49174

>мы про выигрыш соревнований 1 раз в год или осознанный выбор области деятельности


Мы про "чего это ещё я кому-то буду платить за фитпредикт, это ж легко, я и сам сделаю".

>Не понимаю


Мл не для тебя, покинь тред.
314 1749263
>>49145
Ребенок познает мир. Мань, вот тебе несколько фактов
1. Большинство людей просто очень тупые и ленивые. Они не могут даже розетку в собственной квартире установить, хотя там достаточно школьных знаний физики и небольшого туториала
2. Те люди, которые не тупые, специализируются в узких областях. Нет смысла устанавливать 70 розеток в купленной квартире, даже если ты это умеешь, проще поручить это профи, который делает это в разы быстрее
3. Те люди, которые не тупые, и хотят развиться, например, как хобби, им требуется на это время. В практически любую нетривиальную профессию нельзя вкатиться меньше, чем за полгода.
4. Те люди, которые не тупые, хотят развиться и являются мега-гениями, могут освоить, но примерно за пару недель, которые потребуются для того, чтобы физически прочитать несколько книжек по 1000 страниц.

Исходя из этого, чтобы твой манямир существовал, каждый заказчик в этом мире должен быть мега-гением с базовыми знаниями айти (питона, гита, быстро печатать), при этом не шизозадротом типа тебя, а бизнесмена, который вместо того, чтобы найти спеца и поручить ему задачу, будет сидеть две недели и читать книжки. Ты понимаешь, насколько ты поехавший?
315 1749273
>>49233

>Мл не для тебя, покинь тред.


я вообще-то планирую до кабанчиков доводить саму идею и благодаря мне ты будешь получать деньги.

Но ты можешь дальше изображать илитку.
316 1749332
>>49167

>Что-то я не верю в такой формат. Точнее, не вижу достаточного объема таких задача чтобы становиться фрилансером.


Становиться фрилансером нужно либо когда у тебя нихуя нет, ни вышки, ни мамки, чтобы кормила тебя, пока ты бесплатно хуйцы на кагле жрешь, ни квартиры в москве, чтобы устроиться куда-то помимо мухосранского завода, а есть только мозги и желание развиваться. Либо когда наоборот, у тебя есть все, и ты можешь поставить рейт в 100 баксов и раз в месяц получать приглашения на топовые халтурки, чтобы мозги на постоянном месте работы не заржавели. В остальном во фрилансе смысла нет. Он просто не стоит того, денег, как в офисе, а гемора на порядок больше.
317 1749333
>>49332
Но ровно поэтому РАБОТЫ ПОЛНО. Ну тупо дохуя кабанчиков хочет чего-то, а на рынке 1.5 студента и 3 индуса. Если ты нормальный специалист, то это выбор контракта это ты приходишь и выбираешь его, а не кабанчик выбирает тебя.
318 1749369
>>49273
Отчётики эксельные строить и с презенташкой выступать я и сам могу, спасибо, сбежал слава богу от этого уныния.
319 1749404
>>49369
тогда к тебе нет мостика от денег.
Не понимаю, на что ты рассчитываешь.
на Кагле настолько много предложений что есть работы на любой вкусе?
или ты пытаешься показать нам какой ты непростой хуй и можешь выбирать топовые задания?

Я знаю что ты пиздишь.
320 1749415
>>49404
Пиздеть ты тут начал про то про что не знаешь, а я чисто посадил тебя на жопу.
321 1749447
>>48886

>ML хорошо фрилансится, потому что это замкнутые задачи - сделать датасет, добиться на нем такого-то перформанса. В итоге ты можешь собрать датасет - получить деньги, натренировать его - получить деньги, выдать программерам


Звучит неплохо, ковырять чужой пэхапе-проект, сделанный через задницу, звучит куда хуже.

>>48943

>То, что сами кабанчики будут обучать себе сетки это такой же манямир, как представить то, что они будут сами ремонтировать себе автомобили или лечить зубы.


>>49263

> Большинство людей просто очень тупые и ленивые.


>


Исходя из этого, чтобы твой манямир существовал, каждый заказчик в этом мире должен быть мега-гением с базовыми знаниями айти (питона, гита, быстро печатать), при этом не шизозадротом типа тебя, а бизнесмена, который вместо того, чтобы найти спеца и поручить ему задачу, будет сидеть две недели и читать книжки.
Двачую этого, хоть я и пока и ноль в мл пока, но с кабанчиками поработал знатно. Сказать что кабанчики тупые - это ничего не сказать. Просто как пример приведу - есть одна сельхозсфера, где люди готовы платить 50-200к за наводку на товар (по какому адресу, телефону и какого качества), которая ищется за 15 минут гугла и 5-10 телефонных звонков. Но вкатываться не советую, тк подводных море и все норовят друг друга кинуть. Но чсх, кабанчика даже готовая наводка все равно не спасает от рисков этого..
В ойти конечно люди поумнее, чем в колхозах и строительстве, но даже самый конченный ит-коммерс понимает что проще накинуть на хлеб васяну, чем разгребаться в числах самому, когда и так дел невпроворот.

>>49332

> когда у тебя нихуя нет, ни вышки, ни мамки, чтобы кормила тебя, пока ты бесплатно хуйцы на кагле жрешь, ни квартиры в москве, чтобы устроиться куда-то помимо мухосранского завода, а есть только мозги и желание развиваться.


Ты прям меня описал, нихуя нет, дома даже комнаты своей нет, сижу на сьемной хате, работа в ойти щас вроде неплохая, но тупая, развития и перспектив нет. И с учетом аренды в копить мне на ту же хату лет 10-20 в режиме ультрасыча. Еботека не вариант, ебал совсем уж на ошейник садиться.
Только не совсем понял про мамку кормящую, ведь для старта фрилансоебства это идеальный безрисковый вариант. А вот когда такой возможности нет, безопаснее как раз в стабильный копроофис вкатываться, наверное. Но безопасность я ебал, олл ин хочу ставить.

>>49333
Ты меня мотивируешь чот прям. Если скажем яп знаю (худо бедно могу сайт на фласке поднять с нуля, но для фриланса пока профессионально пожалуй не готов), алгоритмами и матаном заинтересован (впитываю активно), реально в мл-фриланс или мл-удаленку в бурже за полгода (без работы и сериальчиков, онли хуман лернинг) вкатиться?

>>48442 - антон
321 1749447
>>48886

>ML хорошо фрилансится, потому что это замкнутые задачи - сделать датасет, добиться на нем такого-то перформанса. В итоге ты можешь собрать датасет - получить деньги, натренировать его - получить деньги, выдать программерам


Звучит неплохо, ковырять чужой пэхапе-проект, сделанный через задницу, звучит куда хуже.

>>48943

>То, что сами кабанчики будут обучать себе сетки это такой же манямир, как представить то, что они будут сами ремонтировать себе автомобили или лечить зубы.


>>49263

> Большинство людей просто очень тупые и ленивые.


>


Исходя из этого, чтобы твой манямир существовал, каждый заказчик в этом мире должен быть мега-гением с базовыми знаниями айти (питона, гита, быстро печатать), при этом не шизозадротом типа тебя, а бизнесмена, который вместо того, чтобы найти спеца и поручить ему задачу, будет сидеть две недели и читать книжки.
Двачую этого, хоть я и пока и ноль в мл пока, но с кабанчиками поработал знатно. Сказать что кабанчики тупые - это ничего не сказать. Просто как пример приведу - есть одна сельхозсфера, где люди готовы платить 50-200к за наводку на товар (по какому адресу, телефону и какого качества), которая ищется за 15 минут гугла и 5-10 телефонных звонков. Но вкатываться не советую, тк подводных море и все норовят друг друга кинуть. Но чсх, кабанчика даже готовая наводка все равно не спасает от рисков этого..
В ойти конечно люди поумнее, чем в колхозах и строительстве, но даже самый конченный ит-коммерс понимает что проще накинуть на хлеб васяну, чем разгребаться в числах самому, когда и так дел невпроворот.

>>49332

> когда у тебя нихуя нет, ни вышки, ни мамки, чтобы кормила тебя, пока ты бесплатно хуйцы на кагле жрешь, ни квартиры в москве, чтобы устроиться куда-то помимо мухосранского завода, а есть только мозги и желание развиваться.


Ты прям меня описал, нихуя нет, дома даже комнаты своей нет, сижу на сьемной хате, работа в ойти щас вроде неплохая, но тупая, развития и перспектив нет. И с учетом аренды в копить мне на ту же хату лет 10-20 в режиме ультрасыча. Еботека не вариант, ебал совсем уж на ошейник садиться.
Только не совсем понял про мамку кормящую, ведь для старта фрилансоебства это идеальный безрисковый вариант. А вот когда такой возможности нет, безопаснее как раз в стабильный копроофис вкатываться, наверное. Но безопасность я ебал, олл ин хочу ставить.

>>49333
Ты меня мотивируешь чот прям. Если скажем яп знаю (худо бедно могу сайт на фласке поднять с нуля, но для фриланса пока профессионально пожалуй не готов), алгоритмами и матаном заинтересован (впитываю активно), реально в мл-фриланс или мл-удаленку в бурже за полгода (без работы и сериальчиков, онли хуман лернинг) вкатиться?

>>48442 - антон
322 1749460
>>49447

>кабанчики тупые


Тут двояко прозвучало. Я имел ввиду что если человек оценивает свое время дороже, чем оплату услуг профи, то он неглупый. Таким коммерс и должен быть.
Но просто в большинстве сфер кабанчики тупо ленятся, а не анализируют выгодность. И готовы переплачивать оверпрайсы, лишь бы не думать.
323 1749563
>>49460
С какого-то момента твое время стоит так дорого, что думать становится не выгодно. Дешевле нанять кого-то, кто будет думать за тебя.
324 1749590

> гыгы ну кабаны тупые


> сидят за свои 300 млн/месяц не понимают ничё в эмэле


> слава богу есть такие как я которые ковыряют вилкой данные 40 часов в неделю за ажно 300к/мес


Хуя гонор у ящикотрясунчикового технарескота.
325 1749596
>>49590

>слава богу есть такие как я которые ковыряют вилкой данные 40 часов в неделю за ажно 300к/мес


Большинство в треде вообще бесплатно ковыряет, или за <100к.
15422504181381.mp4122 Кб, mp4,
480x360, 0:02
326 1749609
327 1749623
>>49590
Эх щас бы в СНГ интеллект по количеству зарабатываемых денег оценивать.
Мне когда было 13 лет, я был ватаном-коммунистом и думал что богачи скам. Когда мне было 18, я был мамкиным капиталистом, и думал что если у человека есть деньги, значит он априори умный. Просто как аксиома.
Сейчас мне 25, и я понимаю что абсолютно никак не коррелируют мозги и деньги. Есть богатые гении Стив Жопс, Иван Маск etc, есть нищие гении Перельман отказавшийся от миллиона, или люди ИТТ, есть богатые деграданты большинство всяких депутатов и владельцев колхозов например, и бедные тупые черви 99% населения СНГ.

Успех зависит от таких вещей как ушлость, аморальность, активность, смекалистость, социоблядтво, стартовые условия и самое главное - удача. Интеллект без тупо фарта ничего не стоит к сожалению.
Алсо друг работает в охотничьем, там депутат 8 раз пытался складной нож открыть нажатием на кнопку, при этом пальцами своими жирными просто мешая выйти лезвию. И орал матом хуле он не открывается. Друг говорит я удивляюсь как он на охоте еще себе в глаз не выстрелил.
Зато у него только один катер за 80 млн рублей на 3500лс.
А колхозники на крузаках приезжают ружья покупать по 800к, так они блядь в записную книжку айфона номер сохранить не могут.
Я не говорю что лучше быть умным и бедным, чем богатым дураком, просто хочу сказать что быть богатым - никак не мешает быть пиздецки тупым.
328 1749628
>>49563
Ну я про это и говорю. Но вот в случае с теми сельхозаврами я реально не понимаю как можно проебывать 20-30% чистой прибыли, просто не умея в гугол.
329 1749650
>>49628

>просто не умея в гугол


здравствуйте, мы занимаемся обучением нейросеток именно для того чтобы поощрять лень. Чтобы человек не искал уже что ему нужно, а чтобы ему адсенс советовал именно то что нужно. Или там плейлист в ютубе. Работа кабанчиков- это просто ответственность. Козлы отпущения на случай проеба, и чем он ленивее, тем лучше будет выполнено задание, а не искать выход из замкнутого круга -работа-гроб-кладбище-нутыпонел. Ну и тем меньше ему надо для удовлетворения своих потребностей.
Минимизация количества нейронов для улучшения сходимости в задаче.
Давай я тебе дам просто охуенную аналогию в цепочке "владелец-директор-менеджеры-главные инженеры-среднего звена менеджеры- прорабы- рабочие- кабанчики". В этой цепочке не принято, чтобы кто-то получал больше, чем тот, кто стоит выше в иерархии. Потому что каждый из них несет больше ответственности и более компетентен, чем тот, кто стоит ниже в иерархии. Так и в нейронной сети для распознавания- каждый слой должен работать с меньшим разрешением, с меньшей ответственностью, чем первый слой. От общего контура к попиксельным квадратам. И если пирамида ошибается в стратегии (общем контуре фичи), то далее будет хуже-(уже все равно что, инженерам поставили гвозди вместо саморезов- это не так страшно, если для самолета рассчитывают ну предположим, гидродинамику вместо аэродинамики, потому что директор сказал, что хочет сделать пассажирский летающий лайнер). Вот и не нужно у нас на слое менеджеров-инженеров быть каким-то там программистом с абстрактным математическим мышлением. Дай боже он верно активировал связь к нейрону в своем мозгу и ему хватит силы воли набрать номер специалиста а не проебать все, сказав кабанчикам- "прибивайте саморезами".
В итоге у нас на выходе в обществе уже давно продаются услуги и гарантии их выполнения. но это, в принципе, верно, как мы видим на примере нейросеток. По другому- это уже "котики на единорогах", а таких мало, но обнадеживает одно - в МЛ рисерче их, котиков, относительно много. Авось прорвемся.
Тут можно еще сильнее в политоту удариться, например почему у нас такие люди-фукнции, люди-скрипты существуют и их так много становится. Давай не будем. Извините, меня часто заносит.
329 1749650
>>49628

>просто не умея в гугол


здравствуйте, мы занимаемся обучением нейросеток именно для того чтобы поощрять лень. Чтобы человек не искал уже что ему нужно, а чтобы ему адсенс советовал именно то что нужно. Или там плейлист в ютубе. Работа кабанчиков- это просто ответственность. Козлы отпущения на случай проеба, и чем он ленивее, тем лучше будет выполнено задание, а не искать выход из замкнутого круга -работа-гроб-кладбище-нутыпонел. Ну и тем меньше ему надо для удовлетворения своих потребностей.
Минимизация количества нейронов для улучшения сходимости в задаче.
Давай я тебе дам просто охуенную аналогию в цепочке "владелец-директор-менеджеры-главные инженеры-среднего звена менеджеры- прорабы- рабочие- кабанчики". В этой цепочке не принято, чтобы кто-то получал больше, чем тот, кто стоит выше в иерархии. Потому что каждый из них несет больше ответственности и более компетентен, чем тот, кто стоит ниже в иерархии. Так и в нейронной сети для распознавания- каждый слой должен работать с меньшим разрешением, с меньшей ответственностью, чем первый слой. От общего контура к попиксельным квадратам. И если пирамида ошибается в стратегии (общем контуре фичи), то далее будет хуже-(уже все равно что, инженерам поставили гвозди вместо саморезов- это не так страшно, если для самолета рассчитывают ну предположим, гидродинамику вместо аэродинамики, потому что директор сказал, что хочет сделать пассажирский летающий лайнер). Вот и не нужно у нас на слое менеджеров-инженеров быть каким-то там программистом с абстрактным математическим мышлением. Дай боже он верно активировал связь к нейрону в своем мозгу и ему хватит силы воли набрать номер специалиста а не проебать все, сказав кабанчикам- "прибивайте саморезами".
В итоге у нас на выходе в обществе уже давно продаются услуги и гарантии их выполнения. но это, в принципе, верно, как мы видим на примере нейросеток. По другому- это уже "котики на единорогах", а таких мало, но обнадеживает одно - в МЛ рисерче их, котиков, относительно много. Авось прорвемся.
Тут можно еще сильнее в политоту удариться, например почему у нас такие люди-фукнции, люди-скрипты существуют и их так много становится. Давай не будем. Извините, меня часто заносит.
330 1749691
>>49092
Вот ты строчил это полчаса, а он пришлет картинку с тайдменом и пойдет дальше по тематикам шитпостить
331 1749697
>>49447

>Только не совсем понял про мамку кормящую, ведь для старта фрилансоебства это идеальный безрисковый вариант


С мамкой можно попрбовать оказаться в топ 90% кагла в нескольких соревнованиях, а с этой хуйней проситься уже на полноценный онсайт либо западную удаленку. У меня воспоминания о фрилансе примерно как об армейке, это был дикий гемор, но теперь я мужик. Но, как и в случае с армейкой, я мало кому посоветую повторять мой опыт. Сейчас у меня 5 лет один и тот же клиент, фактически работодатель, это намного приятнее и с точки зрения стабильности, и с точки зрения самореализации.
15087416658421.jpg400 Кб, 1024x1330
332 1749702
>>49623
Нищук, плис.
333 1749703
>>49702
Почитай fooled by randomness талеба
334 1749706
>>49691
В таких постах ценен не результат, а процесс, который приводит к новым мыслям. А что там какой-то анонимус шитпостит вообще похуй, как будто я всерьез собираюсь переспорить кого-то на имиджборде
335 1749760
>>49702

И чё это за хуйня и на чём основанна?

Чтоб быть богатым надо занимать РУКОВОДЯЩУЮ должность. Надо уметь быть лидером. Это не требоет(вернее не обязательно требует) интеллекта. Даже у негров в банде и у волков в стае тоже есть лидер. Есть лидеры в IT, в науке, в спорте и тд.

Это не зависит от интеллекта, образования и тд. И это тяжело просто так взять и развить, если этого нет.

Если ты прирожденный лидер - будут баксы. Если не лидер - не будут.
336 1749805
>>49702

> опросили бедных, богатых и середняков


> бедные: твари мрази по блату устроились!!


> богатые: самидобились!!!1


> середняки: ну наверное всего понемногу хз)


А ты скорее всего не очень сообразительный, раз думаешь что эта говнографика представляет собой какой-то аргумент. Мл не для тебя, будет лучше если ты покинешь тред.
337 1749839
>>49691

>мл - это айти среди айти, доступно единицам, слишком много компетенций должно пересекаться


Хуйню он написал. Худшие студенты с моего потока пошли заниматься data science, а лучшие стали разработчиками. Потому что получить конкретное техзадание, связанное с продуктом, для которого нет типового решения, и надо сначала спроектировать модуль, а потом еще и элегантно встроить его в существующий код - это сложно, и для решения такой задачи надо самостоятельно думать. А мл задачи, если не считать научные исследования, все типовые и решаются с гуглом.
338 1749867
>>49839

>если не считать научные исследовани


Действительно инновационные вещи делает один процент, а остальные работают sort of макаками. Так что научные исследования туда же - все делается гуглом и тупым перебором.
339 1749893
>>49703
Да, кстати у талеба хорошо прописана идея что по сути все упирается в фарт. И что успешные стали успешными, не потому что талантливы, а потому что по случайности получили популярность, и в связи с этим стали успешны и их "талант" признали.
А сотни и тысячи не менее талантливых, но более невезучих, соснули хуйца.
340 1749965
>>49839

>Худшие студенты с моего потока пошли заниматься data science, а лучшие стали разработчиками


"Лучшие студенты" становятся разработчиками, потому что это легкий вкат при наличии хоть каких-то мозгов, и большие для студента деньги. Все это дает ощущение своей особенности, вон какой ты крутой, тебе только 20, а получаешь на уровне сеньора. А потом проходит 15 лет, и тебе 35, а ты получаешь на уровне двадцатилетнего. Упс. Потому что легкий вкат работает в обе стороны - да, программистам платят больше, чем парикмахерам, потому что требуется интеллект, а в рашке так вообще прилично, потому что рынок труда международный. Но это и все. Хочешь получать много - езжай в Калифорнию и продавай свои жопочасы там. Охуенный карьерный рост, что-то на уровне таджика-каменщика, который вырос, переехав в Москву. Со временем "сложные задачи" (тут совсем смешно) превращаются в однообразную рутину, а ты фактически как продавал свои жопочасы в обмен на деньги, так и продаешь. И весь /зк/ наполнен этой болью.
341 1750103
>>49623

>депутат 8 раз пытался складной нож открыть нажатием на кнопку, при этом пальцами своими жирными просто мешая выйти лезвию. И орал матом хуле он не открывается.


>Зато у него только один катер за 80 млн рублей


Это говорит о том, что у ножа был плохой UI, а у дорогого катера - хороший.
Делайте хороший UI, это важно для UX
342 1750111
>>50103
Бля он выкидной нож обычный держал полным обхватом, Нож пытался, но не смог превзойти интеллект депутата.
343 1750117
>>47781
Благодарю! Дёшево и сердито. С колобков орнул.
344 1750119
>>47781
Я просто имел ввиду задним числом, после 10 лет обучения сеточки, которая больше моей мамки, выдернуть как-то потом удачные случаи, если кэлбеков не сделал. Но, видимо, не судьба.
345 1750128
>>49596
>>49609
А что, за просто ковыряние без гарантии результата ещё и деньги платят?
346 1750130
>>50128
Какие еще гарантии результата в нейронках, лол?
347 1750133
>>50119
Не волнуйся, если финальный результат говно, значит и все промежуточные скорее всего были говном. Наверни столько регуляризации, чтобы сетка не уходила в оверфит даже после 100 лет на nvidia 66680
348 1750134
>>50128
Это называется наукой
349 1750551
>>48893
какой же ты завистливый, п-ц просто
350 1750560
>>49703
Давай я перескажу эту книгу в одно предложение:

> Входите в сделки с положительным мат. ожиданием и не входите в сделки с отрицательным мат. ожиданием



Всё, книгу можно не читать
351 1750565
У меня есть такая задача: предсказать не дискретное значение от -1 до 1. Я хочу взять Tensorflow Regression для этого. У меня во входных данных иногда могут появляться коэффициенты, которые коррелируют с искомым значением, и эти коэфы вычислены аналитическим путём, без всякого ML-читерства. Но в 90% эти коэфы не будут вычислимыми. То есть вообще невозможно вычислить, потому что во вводных данных нет неких событий.

Как я понимаю я не могу отдать в Тензорфлоу null по одному из полей, то есть все и каждые коэфы должны быть проставлены. У меня вопрос: можно ли передавать два значения: одно будет битом 0/1 (нет коэфа или есть), а второе — самим коэфом. То есть я понимаю, что я физически могу это сделать, но будет ли Тензорфлоу строить какую-то корреляцию или что-то такое.
352 1750606
>>50560

>Давай я перескажу эту книгу в одно предложение:


> Входите в сделки с положительным мат. ожиданием и не входите в сделки с отрицательным мат. ожиданием


Лол, нет. Это ровно противоположная вещь, которая там написана. Ты не знаешь истинного матожидания сделки, только среднее в прошлом, но проблема в том, что когда у тебя распределение с тяжелыми хвостами, это самое среднее по историческим данным не говорит о реальном матожидании, которое бог заложил в симуляции вселенной, ничего.
Если на пальцах, ты открываешь в рашке ресторан, получаешь небольшую прибыль, тебе кажется, что матожидание положительное, а потом у тебя этот ресторан отжимают и ты теряешь все свои накопления. Почему? Потому что риск оказался ассиметричным: частый небольшой профит и редкие события, приводящие к тотальному краху. Матожидание, кстати, при этом все равно может быть положительным. Ну типа, зарабатывал ты по миллиону рублей в год 10 лет, а на 11-й год проебал 9 миллионов. С точки зрения матожидания все заебись, положительное, открывайте рестораны в рашке. А на деле тебе, опять-таки, пиздец.
Если пересказывать книгу в одно предложение, то это "входите в сделки, у которых возможные потери небольшие, а возможный куш - большой, и бегите от сделок, которые дают маленький положительный профит регулярно, зато изредка в которых ты теряешь все".
353 1750626
>>50565
Я думаю тебе лучше использовать метод, который позволяет задавать входным данным их вероятность. Тогда у вычисленных коэффициентов дисперсия будет нулевая, а у неизвестных - равномерно размазана от -1 до 1.
Типа https://blog.tensorflow.org/2019/03/regression-with-probabilistic-layers-in.html , вроде то. Глубокие модели с такой хуйней тоже есть, но от меня это далековато.
354 1750628
>>50606

>Ты не знаешь истинного матожидания сделки, только среднее в прошлом, но проблема в том, что когда у тебя распределение с тяжелыми хвостами, это самое среднее по историческим данным не говорит о реальном матожидании, которое бог заложил в симуляции вселенной, ничего


Классика кукаретики. Брат назиф в том же ряду что и местный шиз с его "критикой" нутупых машобщиков.
355 1750629
>>50565

>можно ли передавать два значения: одно будет битом 0/1 (нет коэфа или есть), а второе — самим коэфом


Можно
356 1750652
>>50606

> входите в сделки, у которых возможные потери небольшие, а возможный куш - большой, и бегите от сделок, которые дают маленький положительный профит регулярно, зато изредка в которых ты теряешь все


Я помню, он приводил в пример себя и соседа, которому он завидовал. И в один прекрасный день сосед лососнул тунца. Но Талеб не делает на этом случае акцента
357 1750661
>>50628
Если ты назвал кого-то местным шизом, это не значит, что ты не являешься точно таким же местным шизом.
358 1750709
>>50661
кто тут блядь шиз
ты блядь шиз
359 1750825
Пилите кулстори как вкатывались в мл
360 1750834
>>46603
Не, это другой анон.
Это я >>48442 в том треде перспективы прикидываю Но там всем похуй на мл.
361 1750943
А что у вас используется в качестве desktop software?

Я больше наблюдаю статей о jupyter, но ведь если строительные компоненты давно известны, может быть можно просто накидать цепочку преобразований и потом сохранить в виде какого-нибудь кода на питон?
Вот есть всякие штуки от apple https://developer.apple.com/documentation/createml/creating_an_image_classifier_model

Если не используется, то почему?
362 1750985
>>50943

>Если не используется, то почему?


Почему не используется, если каждая корпорация выпускает подобную хуитку, как облачную, так и локальную. Рыночек сейчас ищет оптимальный софт, чтобы типовые задачи можно было делать без красноглазия.
Но тут проблема в том, что вот есть типовая задача, распознавание лиц, например. Нахуя тебе, если ты васян, далекий от мл, вообще что-то обучать, когда ты можешь скачать dlib с уже обученной сеткой? То есть нужно попасть в узкую нишу, когда готовых библиотек тебе мало, а питона с его автоматизацией любого пука много.

Серьезные люди не используют, потому что это типичная история, как в случае с 1С или макросами в ворде, удобнее иметь скрипт, который делает за тебя все, даже если для его написания приходится покопипастить из туториала вместо того, чтобы накликать мышкой те опции, который выдал тебе автор гуя. Я использовал nvidia digits в 2015, в конце концов объем выполняемой рутины меня заебал, от запуска отдельных скриптов для препроцессинга, до просто однообразных кликов мышкой. Но все это близко к срачу редакторы vs ide, думаю в ближайшие 10 лет наплодится достаточно макак, которые будут пользоваться такого рода софтом.
363 1751000
>>50985
в смысл гугл/эпл/ms ? А такого, чтобы бесплатно на своих ресурсах или сразу в десктопе покрутить - нету?

На самом деле я нашел одну, но не понимаю почему очень мало информации о ней. Неужели я нашел золотую жилу? такого не может быть

>Нахуя тебе, если ты васян, далекий от мл, вообще что-то обучать, когда ты можешь скачать dlib с уже обученной сеткой?



Потрясти черные ящики, сравнить классификаторы и понять имеет ли смысл звать профи для выпуска продукта!
364 1751015
>>51000

> А такого, чтобы бесплатно на своих ресурсах или сразу в десктопе покрутить - нету?


Я упомянул nvidia digits, это то, с чем работал сам. Уверен, что дохуя подобного.

>Потрясти черные ящики, сравнить классификаторы и понять имеет ли смысл звать профи для выпуска продукта!


Так спроси у профи, либо заплати ему. Как будто у тебя есть миллион на выпуск продукта, а 1-20к на консультацию жалко.
365 1751024
>>51015
ну погоди, на продукт далеко не миллион.
если продукт внутренний, он может быть сколь угодно уебищным и дешевым, а пользоваться им будут с удовольствием. лишь бы прогнозы выдавал или классифицировал.

Короче, не очень понятно отсутствие внятных десктопных софтов. Мне экселя ждать?
366 1751075
>>51024
Да освой питон и не еби мозг. У тебя вся жизнь впереди, пригодится
367 1751107
>>51075
так я то знаю питон. мне нужен РАД.
368 1751301
1) учу основы линала
2) учу матан
3) учу тервер
4) учу матстат
5) прохожу курсы из специализации "машоб и анализ данных на курсере"
6) профициты

Рейт
369 1751318
>>51301

>1) учу основы линала


>2) учу матан


>3) учу тервер


>4) учу матстат


>5) прохожу курсы из специализации "машоб и анализ данных на курсере"


>6) ...


>7) профициты


Пофиксил
370 1751337
>>51301
Забьешь хуй на 1
371 1751362
>>51301
Учи как стакать слои + постоянно выковыривай из свежих булшитных статей новые модные баззворды: вуаля, ты специалист по мошонобу.
372 1751390
>>35121
https://youtu.be/sh3Srpp_CXc?t=608
Индусами нельзя пользоваться из Роисси
15945239917441.jpg76 Кб, 592x532
373 1751418
>>51301

> Рейт


10 тайдменов из 10.
374 1751641
А какие на skleрновских датасетах-то наилучшие результаты? К чему стремиться?
375 1751651
>>34710 (OP)
Приветики, трясунишки, как делишки?
376 1751731
Вопрос по поводу BatchSize и GPU, влияют ли эти два параметра непосредственно на качество нейросети а не скорости?
377 1751809
>>51651
Да так, продолжаем потихоньку лишать работы додиков вроде тя, а у самого как?
378 1751855
>>51809

>а у самого как?


Нормусик, пью пивасик с курочкой из KFC
379 1751875
>>51731
Батч влияет, гпу нет.
380 1752034
>>49965

>тебе 35, а ты получаешь на уровне двадцатилетнего. Упс



Так в ds точно такая же ситуация. Очевидно, что у каждой профессии есть свой потолок зп. Как правило из обычных разработчиков идут либо в архитекторы, либо в лиды. И дальше в сторону менеджмента.
381 1752099
>>52034
хм, так это в любой нормальной профессии так.
382 1752101
>>52034

>тебе 35, а ты получаешь на уровне двадцатилетнего.


>Так в ds точно такая же ситуация


Ты наркоман
383 1752105
>>52101

>Так в ds точно такая же ситуация


Что не так?
image.png5 Кб, 506x130
384 1752106
Как эта хуйня работает? Для axis = 0 всё логично. Для конкретного значения индекса берётся срез. А для axis = 1 какая-то наркомания выводится.
385 1752144
>>52106

>Как эта хуйня работает?


https://numpy.org/doc/stable/reference/generated/numpy.unique.html
When an axis is specified the subarrays indexed by the axis are sorted. This is done by making the specified axis the first dimension of the array (move the axis to the first dimension to keep the order of the other axes) and then flattening the subarrays in C order. The flattened subarrays are then viewed as a structured type with each element given a label, with the effect that we end up with a 1-D array of structured types that can be treated in the same way as any other 1-D array. The result is that the flattened subarrays are sorted in lexicographic order starting with the first element.

>А для axis = 1 какая-то наркомания выводится.


Для axis=1 у тебя на входе 3 элемента. [1, 1, 2], [0, 0, 3] и [0, 0, 4], он в выводит их отсортированными сначала 003, потом 004, потом 112, но располагаются они вертикально, потому что axis=1. Хочешь отсортировать взад, возвращай индексы и сортируй.
386 1752207
>>52144

>но располагаются они вертикально


А, вот что за хуйня. Понял.
387 1752255
Так почему при бутстрапе получаются нескоррелированные модели?
Screenshot106.jpg73 Кб, 692x603
388 1752477
Почему эти итальянцы использовали ARIMA для предсказания развития короновируса ?

https://www.researchgate.net/publication/339520139_Application_of_the_ARIMA_model_on_the_COVID-2019_epidemic_dataset

почему еще многие ссылаются на это исследование?
Какие вообще практические свойства у ARIMA ?
Если новые заболевшие короновирусом должны представлять собой типичную логистическую кривую, почему тогда ARIMA ?

Или они пытались типа на неделю вперед предсказать как сильно врачи и статисты на выходных отдыхают?
15942510414331.gif425 Кб, 931x682
389 1752536
>>52477

> Почему эти итальянцы использовали ARIMA для предсказания развития короновируса ?


Потому что это стандартный алгоритм для анализа временных рядов последние лет 30?

> Если новые заболевшие короновирусом должны представлять собой типичную логистическую кривую, почему тогда ARIMA ?


Наверное, потому что число заболевших это временной ряд, как думаешь?
390 1752557
>>52536

>Потому что это стандартный алгоритм для анализа временных рядов последние лет 30?


Ну допустим.
но ведь суть процесса в том, что он не повторяется. Это тупо логистическая кривая. Процесс идет в одну сторону.

И что, тайдмену уже спросить нельзя?
391 1752588
>>52557
Арима учитывает и тренд и цикличность, но вообще это кал ебаный, когда есть лстм.
392 1752589
>>52557

> но ведь суть процесса в том, что он не повторяется. Это тупо логистическая кривая. Процесс идет в одну сторону.


Суть процесса в том, что это временной ряд. Логистическая кривая - это предполагаемая модель данного процесса, никак не запрещающая использовать arima. Вообще, предсказывать макаронавирус дело такое, со статистикой много где мухлюют, считают везде по разному итд.

> И что, тайдмену уже спросить нельзя?


Кто сказал что нельзя? Все можно.
393 1752676
Нейронач, мне нужно сделать новые фото енотовой с помощью нейронки, например где её лицо чуть вбок смотрит и эмоции другие. Есть куча реальных фото и чб видео с плохим качеством. Пробовал artbreeder вроде ненеплохо но не то, к тому же он из некоторых фото делает монстров. Поэтому хочется свою нейронку поднять для этого. StyleGAN для этого подойдёт? Ещё интересует как с помощью него делать морфинг, из одной фотки плавно в другую.
394 1752678
>>52255

> Так почему при бутстрапе получаются нескоррелированные модели?


Как это вообще связано, бустреп же это способ подавать семплы.
395 1752709
>>52589
Но по Швитым США можно.
Мне интересно как они рассуждали о процессе и почему сразу выбрали arima.
Как бы вы поступили?
396 1752738
>>52678
Ну бэггинг же, потом на этих семплах обучаем модели и усредняем. В результате дисперсия соответсвенно уменьшается, но только если они нескоррелированы между собой. При этом утверждается что они таки нескоррелированы, но путём недолгого гугления доказательства этого я не нашёл.
397 1752741
>>52709
Всегда в первую очередь берут ариму просто, эт бейcлайн.
398 1752810
>>52676
в одном из последних (за пол года) выпусков https://www.youtube.com/channel/UCbfYPyITQ-7l4upoX8nvctg было про то, что есть возможность даже на одном фото так делать- оживить джоконду например. Фишка в том, что код тогда не опубликовали, потому что "боялись, что эту технологию будут использовать в преступных целях". Я не следил, надо тебе проверить, может выложили. stylegan помоему для этого не подходит, он больше для pix2pix преобразований и генерации, если у тебя, конечно, нету много нужного датасета.
399 1752821
>>52810

> Фишка в том, что код тогда не опубликовали, потому что "боялись, что эту технологию будут использовать в преступных целях". Я не следил, надо тебе проверить, может выложили.


Да давно уже всё выложено для дип фейков https://github.com/AliaksandrSiarohin/first-order-model
Есть и боты в телеге, где он тебе по фото и видео, фото анимирует.
400 1752825
>>52738

> При этом утверждается что они таки нескоррелированы


Потому что на разных выборках обучаются.
401 1752983
>>52810
А нейронка которая плавные фото делает из одного рисунка в другой как называется?
402 1753027
>>52983
наверное ты об этом https://www.youtube.com/watch?v=9QuDh3W3lOY
403 1753080
Тратить ли полгода-год на математику перед вкатом или сразу начинать бомбить машоб? Перехожу на третий курс матфака, когда то сдал все экзамены и зачёты, но знаний в голове особо не закрепилось. Стоит ли досконально изучать ее? До потенциального трудоустройства где то года два ещё...
404 1753130
>>53080
Какую вы блять математику хотите дрочить. Там от неё элементарные вещи нужны. От матана что такое градиентный спуск, производные от функций уметь брать. От линала как с матрицами работать. От теорвера просто базовые знания, от матстата функция максимального правдоподобия, критерии разные там, байес, ну по мелочам то есть.

> До потенциального трудоустройства где то года два ещё...


Хеллоу, тру пацаны с первого курса работают, а с третьего это обязательно, если ты не нуб. Пиздуй на стажировку.
405 1753180
>>52825
И что?
406 1753213
>>53180
Подвыборка не показывает распределения всей выборки. Если ты будешь обучать модели на разных подвыборках, то они будут представлять разные части изначального распределения. А вот как раз, когда ты будешь их вместе собирать через среднее это даст тебе результат будто ты обучался по всему распределению.
Ещё ты можешь разные модели использовать.
407 1753235
>>53213

>Подвыборка не показывает распределения всей выборки. Если ты будешь обучать модели на разных подвыборках, то они будут представлять разные части изначального распределения.


Всё это рукомахательство где я только не читал (ну "разные части" и что? как это мешает на них одну формулу получить?) Мне бы доказательство где почитать.
408 1753238
>>53235
Как ты себе представляешь доказательство, что на разных данных модели обучаются по-разному?
409 1753249
>>53238

> на разных данных модели обучаются по-разному


Утверждение о том что модели нескоррелированы если выбирать подвыборки независимо и с возвратом это математическое утверждение. Если оно вообще верно, я сейчас уже что-то сомневаюсь, похоже на обычный ml булшит.
410 1753258
>>53249
Ну хуй знает. Ты даже условия этого "математического утвеждения" не сформулируешь. Что такое модель, что такое нескоррелированы, что такое выбирать независимо и тд.
411 1753391
народ, расскажите плз о состоянии рынка компьютерного зрения. Испульзуется ли классика? Для чего, кроме ебучих масок, вообще сейчас применяется? Что там с облаками точек?
Если найдется компетентный анон, с меня благодарственное нихуя
412 1753393
>>53391
а ну и самое главное, я разрабатывал на с++, питоне и знаю 3d зрени (как раз облака точек и тд) куда двигаться дальше в таком случае? есть ли потребность в рашке? на hh увидел, в основном, спрос на дата саентистов в этой области
короче сложно все, не хуесосте плиз
413 1753400
>>53393
Ты можешь придти к кабанчику и сказать что готов разработать промышленный контроль сборки ебанины..

А не извини. Не можешь. Датасатанисты же белоручки и заняты штудированием новых статей...
414 1753417
>>53400

>Датасатанисты же белоручки и заняты штудированием новых статей...


А ещё дохляки почти все как один, мужикам на заводе подсобить не могут.
Для кабанчика трагедия конечно что нельзя нанять мастера на все руки за мелкий прайс, но щито поделать, такова суть специализации и касты интеллектуального труда.
415 1753425
>>53417
В твоих влажных мечтах о кагле.

Как можно отделить работу с данными от математики? А вдруг постановщик задачи неправильно объяснит низшей касте и тот неправильно подготовит данные?
416 1753427
>>53425

> В твоих влажных мечтах о конвеере


> Как можно отделить изготовление одной детали от другой? А вдруг один рабочий неправильно сделает и с другой деталью несостыкуется?

417 1753428
>>52477

>Почему эти итальянцы использовали ARIMA для предсказания развития короновируса ?


Потому что при публикации важно опубликовать что-то новое

>почему еще многие ссылаются на это исследование?


Потому что без пруфов того, что ты прочитал что-то по теме, тебя никто не опубликует

>Какие вообще практические свойства у ARIMA ?


На дедовском калькуляторе удобно считать

>Если новые заболевшие короновирусом должны представлять собой типичную логистическую кривую, почему тогда ARIMA ?


Не должны, логистическая кривая получается из довольно сильного упрощения реальности, когда все равномерно, однородно и тому подобное. Но в любом случае результатом такого упрощения явлется диффур, решением которого является логистическая кривая. Диффур этот связывает прежде всего скорость роста заболевших с количеством заболевших с одной стороны, и количеством людей с иммунитетом с другой стороны.
ARIMA работает примерно так же - предсказание будущей точки является некоторой линейной комбинацией точек из прошлого. То есть она описывает эту связь, а потом ты влоб ищешь коэффициенты, которые этой связи удовлетворяют.

>Или они пытались типа на неделю вперед предсказать как сильно врачи и статисты на выходных отдыхают?


Тебе не похуй? Статей выпускается куча, эта явно не самая интересная.
418 1753434
>>53391

>народ, расскажите плз о состоянии рынка компьютерного зрения.


Рынок широк и разнообразен. Активно пилят цифровой гулаг, есть конторы, работающие на западных заказчиков, там делают что угодно, есть филиалы западных контор. Это то, с чем сталкивался я либо знакомые.

>Испульзуется ли классика


Правильный вопрос - реально ли устроиться без нейронок. Классика используется конечно, те задачи, которые она покрывала хорошо, она до сих пор покрывает хорошо - быстро и без проблем. Но нейронки лучше освоить.
Если ты прям программист-программист, можно попасть на непыльное и хлебное место типа запиливания питономоделей на С++. А так все сильно разнообразно, не угадаешь, куда возьмут и что ты там делать будешь.
Screenshot2020-07-1702-41-44.png85 Кб, 661x380
419 1753439
>>53249

>При этом утверждается что они таки нескоррелированы, но путём недолгого гугления доказательства этого я не нашёл.


Ты даже пикрелейтед не нашел?
Или тебе не понятно, почему мы считаем, что (y,x) independently drawn from P? Это предположение. Хороший датасет должен удовлетворять этому условию. Это лежит уже вне области математики.
420 1753451
>>53391
Рынок будет хлебный. Есть surviliance, industial области. Можно например научиться контролировать расстояния на этикетках и идти на какой-нибудь завод предлагать свои системы, потому что системы от когнекса-омрона стоят охренелионы денег, можно вкатиться в глубокое обучение и делать беспилотные автомобили-комбайны-трамваи-грузовик-поезда, цветет область адасов, если хочется 3д - осваивай sensor fusion и долбись в яндексовые беспилотники, можно вкатиться в медецину и пилить системы поиска специфических медецинских объектов на данных кт, вообщем работы вагон. Но желательно не попадаться кабанчикам, или к людям не работающим изначально с ML/DL и непонимающим чего они хотят.
421 1753519
>>51418
А как учатся тру мужики, суровые, гречневые?
422 1753536
>>53428

>Тебе не похуй? Статей выпускается куча, эта явно не самая интересная.


а принеси другую? посмотреть.
Разумеется, статью с LTSM я уже прочитал и она тоже не вдохновила
423 1753592
>>53391
комп зрение хуета в рф. заводов нормальных в стране - хуй, а в каких-то мелких цехах твое комп зрение никому не нужно.
беспилотные автомобили - годнота. селф драйвинг карс от яндекса вроде самый топ сейчас у нас.
а так в основном будешь пилить какой-нибудь цифровой гулаг по типу видеонаблюдения для какого-нибудь кабанчика
424 1753632
>>53434
офигеть, очень удивлен твоим словам. Я на какой-то момент и правда подумал что без DL делать вообще нехуй. Не то что бы я прям против этого - все таки тоже инструмент и знать его надо. Но складывалось ощущение, что у нас ТОЛЬКО он и есть.
Блин, а вот если я буду сам писать в конторы, даже когда у них нет подходящей вакансии из разряда "очень хочу к вам" это норм или нет? А то действительно есть какой-нибудь artec или smass, но на hh их не видел (точнее не видел только смас, артек для примера клевой конторы)
425 1753712
>>53592

>цифровой гулаг


Словно что то плохое, либирах нужно детектить на автомате.
15887780752390.png234 Кб, 603x324
426 1753727
>>53632
только в этом треде нехуй делать без DL и докторской степени.
А так - можно.
427 1753730
Может не по теме но всё же, нужно результат работы обучающейся нейросети в виде массива изображений [n_w;_n_h] изображений выводить каждую эпоху. Хорошо бы использовать matplotlib, но не смог его заставить интерактировать. Что делать?
428 1753747
>>53727

>докторской степени.


По философии?
429 1753821
>>53730
1. Срать в файл с помощью plt.imsave. Вместе со снэпшотом в папочку класть результаты в виде картинки
Из массива в картинку все собирается с помощью np.concatenate, либо plt.subplot
2. В цикле рисовать все что нужно между plt.clf() и plt.pause(0.01) - для отладки удобно
3. Если у мамы модный, используй https://www.tensorflow.org/tensorboard/image_summaries и смотри все в браузере
430 1753937
>>53821
В общем практически всё заработало как надо, даже с сохранением в файл каждые 5 эпох, но форма графика хоть и обновляется висит и сообщение не принимает.
https://pastebin.com/P6izRd7a
431 1753968
Может кто сказать чем в загруженных данных отличаются
textX от textY и trainX от trainY ?
432 1753979
>>53968
Кажется разобрался, в X наборе данные, в Y метки
15945239917441.jpg76 Кб, 592x532
433 1754040
>>53968
>>53979
Пиздец какой. Раньше зумера вкатывальщики спрашивали, что такое сигма, сейчас скатились до вопросов что такое входные и выходные данные...
434 1754081
>>54040

>Раньше зумера вкатывальщики спрашивали


Просто нейроговно уже никому не интересно
435 1754088
>>54040
Это просто толстый обратный пуллинг.
436 1754089
>>54040
А нахер ты им академические труды на английском советовал?
Поди разбери что за X и Y
437 1754172
Пиздос, делаю бустинга больше фичей, а качество только падает
438 1754189
>>54172

>качество только падает


Кто бы мог подумать? Надо же, нейроговно не работает ой ой
439 1754227
>>54189

>нейроговно


Бля, ты уже совсем не стесняешься обсираться, даун
440 1754489
>>54172
Забавно, добавил своих, убрал несколько базовых фичей - качество растёт. Можно в современных бустингах как-нибудь задать приоритет по каким фичам желательнее разбивать в первую очередь?
441 1754493
>>54172
Так чем больше фичей, тем хуже, если их не фильтровать. Гугли feature selection
15950312236062.jpg60 Кб, 491x489
442 1754526
>>54489
>>54493
Проблема автоматического обнуления ненужных фич была решена ещё в СССР (т.н "метод группового учёта аргументов" Ивахненко). Современные соевые алгоритмы так не могут. Все потому что в совке машобчиком занимались академики, а сейчас - блмлгбтабвгдсжв быдло, которое больше "думает" о том, чтобы в коде не использовались "расистские" термины типа blacklist.
443 1754584
аноны, расскажите плз о работе в комп вижене. у меня вот есть два года опыта прогером-прогером на си шарп и питон. Хочу перекатиться в вижн. Что нужно уметь? Так ли нужен матан, как об это пишут на hh? Про классику, вроде как, анону выше ответили, а вот что насчет sensor fusion? В рашке вообще есть это ваш фьюжн? Я вижу работу в зрении как сложные, интересные, требующие навыков проганься и знаний математики задачи. Это так? Может я вообще романтизирую? Короче очень прошу рассказать, если кто имеет опыт. остальные просьба не хуесосить плз.
444 1754618
>>54584

>Я вижу работу в зрении как сложные, интересные, требующие навыков проганься и знаний математики задачи.


Теперь объясни, почему все эти матанопетухи и умеющие прогать сойбои нихуяшеньки не запелили? Человечество ждет тебя, ты то там все уууу как зделошь
445 1754627
>>54618
всм нихуя не запилили? зрение живет же
446 1754631
>>54627

>зрение живет же


Нетъ
447 1754665
>>54526
Методов автоматического сокращения фичей сейчас просто дохуя, додик опять под себя срёт
448 1754671
>>54493
Странно, для деревьев разве не должно быть всё равно? Если фича плохая то по ней по идее просто никогда не будет ничего разбиваться и всё
449 1754674
>>54631
ты нахуй шизишь?
450 1754677
>>54674
Сойбой порвался, иди булшит паперы почитай
Пук сереньк, чмоня
451 1754718
Кто-то натренировал шизоГАН
452 1754809
>>54718
Но ваши сойбойские ганы не работают с текстом.
453 1755078
>>54584

>Про классику, вроде как, анону выше ответили, а вот что насчет sensor fusion? В рашке вообще есть это ваш фьюжн?


Везде где делают автономные устройства - дроны либо автомобили, оно есть.

> Я вижу работу в зрении как сложные, интересные, требующие навыков проганься и знаний математики задачи. Это так?


Зависит от того куда попадешь. Пилить на этой теме хорошо, потому что ТЗ мутные, и неизвестно, выполнимые ли. А в таком месте работать будет депрессивно. Но проблема в том, что когда ты хуй с горы, скорее всего тебя возьмут только в подобное место.
Про матан странный вопрос.
454 1755157
>>47781
Что делаю не так?
my_callbacks = [
keras.callbacks.ModelCheckpoint(filepath='./temp', save_best_only=True, monitor='val_mean_absolute_percentage_error')
]
history = model.fit(...
callbacks=my_callbacks
...)
После обучения:
scores = model.evaluate(x_test, y_test)
Всё равно последнее значение и выходит, а мне нужно лучшее.
Как достать наилучшую эпоху в итоге?
455 1755164
>>55157
Разобрался, там потом грузануть нужно из файла:
model.load_weights('./chp')
Метод утёнка в действии блин.
456 1755306
>>55078
а как найти работу тогда, не имея релевантого опыта?
457 1755339
Аноны, помогайте. Установил анаконду на седьмую винду. Ничего не загружает, ни юпитер-ноутбук, ничего, бежит синяя полосочка внизу и никакого эффекта. Ранее устанавливал на десятку все работало. Уже удалял/заново ставил - не помогает.
В чем может быть причина?
458 1755373
>>55339
Снеси и заново поставь
459 1755382
>>55373
ты чем читаешь? писал же, что сносил
460 1755387
>>55306
Никак.
image.png8 Кб, 625x173
461 1755415
Всем привет, решила разобраться с MLE и линейной регрессией, как я поняла с помощью MLE нужно оценить параметры тета таким образом, чтобы эпсилон нормально распределился, правильно ли определена функция правдоподобия?
Спасибо за внимание!
462 1755422
>>55415
За какое блять внимание. Это копипаста с вумансру?

> как я поняла с помощью MLE нужно оценить параметры тета таким образом, чтобы эпсилон нормально распределился, правильно ли определена функция правдоподобия


Ммп максимизирует функцию от искомого параметра - произведение вероятностей, что распределение попадает в выборку.
То, что у тебя на картинке нормальное распределение, значит, что у тебя по всей видимости выборка из нормального распределения. Остальное понять невозможно, потому что по чему итерируется П непонятно, не подписано ничего. В чем задача, что дано, тоже непонятно.
463 1755425
>>55415

>правильно ли определена функция правдоподобия


Не L(eps|theta), а L(theta|eps). В остальном правильно, остается найти тета, при которой правдоподобие будет максимальным. Для этого логарифмируешь слева и справа, находишь производную, чтобы найти максимум у L(theta)
464 1755428
>>55425
Да, невнимательность, спасибо!
465 1755599
>>55415
в Воронеже на проперженном скрипучем стуле в бухгалтерии не хочешь прокуковать все лето?
разобраться она решила...

https://habr.com/ru/company/jetinfosystems/blog/497412/
Снимок.PNG13 Кб, 1033x87
466 1755971
Что надо установить в Pycharm для того чтобы данные библоитеки нашлись?
467 1755998
>>55599
>>55422
>>55425
Как пизда на вкус?
468 1756040
>>55599
Чё это за джет? Датасаенс консалтинг какой-то средней говнистости?
469 1756069
>>56040
погуглить не можешь?
кабанчики всероссийского масштаба.

А я забыл. Ты ж у нас исключительно на призы с Kaggle живешь.
470 1756079
>>56069
Хуя рванул. Ты херка что-ли этой параши?
471 1756155
>>55998

>Как пизда на вкус?


Как персик
472 1756162
>>56155
Девственник что-ли?
473 1756174
>>56155
спелый или зеленый?
474 1756184
Привет, анон.
Есть временной ряд, в котором есть сильная корреляция от прошлых значений, и сильная корреляция с фичой. Не могу понять, как сделать рекурентную нейроночку, которая бы учитывала ещё и фичу для следующего дня. Пытался делать два входа обычный и рекурентный, но работает так себе. Можете что-то посоветовать почитать по этой теме?
475 1756194
>>56184
сцуко, это выглядит как натуральная ARIMA. но ты же у мамы умный и освоил только нейронки?
476 1756200
>>56194
Арима плохо прогнозирует. XGBoost и KNeighbors вроде ничего, особенно XGBoost, но, я хз, как в него рекурсию грамотно добавить. Напрямую не работает, среднне тоже не очень. Думал попробовать KPCA, но выглядит как костыли и сомневаюсь в работоспособности.
477 1756228
>>56184
Я ничего не понял, а в чём проблема просто добавить во вход ещё одну фичу которая будет принимать значение нужной тебе фичи за предыдущий день?
478 1756236
>>34710 (OP)
Кто в KFC работал?
479 1756242
>>55971
Попробуй поиграться с environment.
480 1756250
>>56184
В чем проблема загуглить lstm для временных рядов
481 1756430
Есть тут челы со свободным временем, желающие собраться в тиму? Давно хотел на kagle залететь. Сам data scientist. Machine learning, deep learning, hadoop, linear alg, multivariable calc, матстатистика, вероятность на норм левеле
482 1756436
>>56430

>желающие собраться в тиму?


Для гей перепехончика? Я не против.
483 1756488
>>56184
Сделай из временного ряда матрицу Ганкеля, гугли narmax.
484 1756490
>>56488

>матрицу Ганкеля


Вектор Пупера
15950675034510.mp4457 Кб, mp4,
1280x720, 0:02
485 1756497
>>56490
Сходи в туалет, поешь. Может отпустит, шизло
486 1756568
>>56497
Чего горим? Внучок жопеншмульцера?
487 1756702
Котаны, продолжаю обучать pix2pixhd. Как будет влиять на результат использование batchsize 2 вместо 1? По моей логике- модель будет искать больше общих фичей и давать более генеральную картинку на выходе. Но, согласно этой статьи, https://machinelearningmastery.com/how-to-control-the-speed-and-stability-of-training-neural-networks-with-gradient-descent-batch-size/
The more training examples used in the estimate, the more accurate this estimate will be and the more likely that the weights of the network will be adjusted in a way that will improve the performance of the model. The improved estimate of the error gradient comes at the cost of having to use the model to make many more predictions before the estimate can be calculated, and in turn, the weights updated.
и
Alternately, using fewer examples results in a less accurate estimate of the error gradient that is highly dependent on the specific training examples used.
Понятно, что ничего не понятно. Я думал, что батч 1 дает более точные результаты, а тут пишут, что наоборот- более специфичные и возможен шум. А батч 2- даже более медленное обучение с более генеральными фичами (так и надо вобщем). Что лучше юзать если выходной результат должен быть более-менее однородным?
488 1756712
>>56702

>Как будет влиять на результат использование batchsize 2 вместо 1?


Бредор.жпг. Если бы хотя бы 32-64 было, а лучше 1024, а что 1 что 2 очень мало.

>Я думал, что батч 1 дает более точные результаты


С батчем 1 у тебя как минимум не будет работать batch normalization. Впрочем, с 2 оно тоже нормально работать не будет.
489 1756715
>>56702
Главное не написал

> Что лучше юзать


На сколько памяти видюхе тебе хватает, столько и ставь. При этом если оптимизатор у тебя SGD, пропорционально поменяй learning rate (в N раз больше батчсайз - в N раз больше lr). Если adam в принципе похуй должно быть.
490 1756727
>>56702

> Я думал, что батч 1 дает более точные результаты, а тут пишут, что наоборот- более специфичные и возможен шум


То есть ты буквально не знаешь, что такое стохастический градиентный спуск и в чем его отличие от обычного градиентного спуска.
В обычной ситуации ты сверяешь результат со всей выборкой и соответственно корректируешь веса. С батчам один ты корректируешь веса по результату одного примера из выборки. Разумеется в этой ситуации у тебя кривая обучения будет больше скакать и необязательно заведет веса в желаемый argmin ошибки.
15945239917441.jpg76 Кб, 592x532
491 1756770
>>56727

> То есть ты буквально не знаешь, что такое стохастический градиентный спуск и в чем его отличие от обычного градиентного спуска.


А что, хоть один зумер вкатывальщик здесь это знает?
492 1756774
>>56770
Даже knn от kmeans некоторые олигофрены не отличают, прикинь
493 1756809
>>56712
>>56715
>>56727
>>56774
Спасибо, буду пытаться втиснуть в две 1080 побольше, но чет оно плохо влазит и время обработки ста изображений увеличивается на двух видеокартах относительно одной, а ведь должно было сокращаться. Возможно есть другое узкое место в системе. Лол, матан не нужен. Хуяк и продакшн.
494 1756813
>>56242
Два нашёл и установил кроме:
misc_layers, откуда вообще этот пакет?
кот.jpg35 Кб, 600x800
495 1757100
>>55339
котаны, ну выручайте. три раза уже переустановил эту ебучую анаконду. Все запускается кроме юпитера. Пытался в него так зайти требует токен. разобрался где токен, пишет не правильно. Я сука сейчас нервный срыв схвачу. Ну что за хуйня на ровном месте??! Думал дело в браузере, уже и менял по умолчанию и прокси отключал и адблоки тоже и хоть бы хуй. Нагуглить ничего полезного не могу. HALP!
496 1757158
>>57100
Ты не по сети подключаешься?
15906760058430.jpg42 Кб, 700x551
497 1757181
>>57100
В блокноте пиши. Запускай через консоль.
498 1757329
>>57100
Сам же все прекрасно знаешь.
https://www.youtube.com/watch?v=AtaeWm8Am6Y
499 1757440
>>57100
Из консоли юпитер запускай. Из анакондовской, а не дефолтной виндовой.
500 1757443
>>39003
будет неприятно проебать вкатывальщику, да?
Screenshot186.jpg45 Кб, 810x434
501 1757452
>>39003
Так Путин же сказал!

И вообще зацените обратный процесс.
Они выяснили, что для собираемости налогов никаких технологий в России нет и придется загрузить чеки всех пидорашек в Google Big Query чтобы хоть как-то с ними работать
https://www.kommersant.ru/doc/4424832

> эксперимент предполагает создание сервиса на базе больших данных для малого и среднего бизнеса, которым займется АБД. В его рамках будут собираться банковские, абонентские и другие клиентские данные

502 1757458
>>57452

> эксперимент предполагает создание сервиса на базе больших данных для малого и среднего бизнеса, которым займется АБД. В его рамках будут собираться банковские, абонентские и другие клиентские данные


Через месяц максимум после создания, в даркнетах и не только, за мелкий прайс уже можно будет любого кабанчика по этой базе пробить, лол. Аксиома же, что бы в Рашке не создавали - в итоге это будет очередной институт насилия над немногопотерпельцами.
503 1757555
>>34710 (OP)
можно ли по эитим курсам https://github.com/ossu/data-science стать спецом в machine learning и делать свои нейроночки, участвовать в kagle вашем?
допустим, если изучить все примерно за год

Мой бэкграунд в программировании беден: год с питоном, явой, совсем немного с, линукс, базовые паттерны проектирования. Могу написать свой флеппи берд или 2048, не больше
Однако знаю абстрактную математику (не калькулус и т.п., а именно core). Теорию гомологий, алгебраическую топологию, алгебраическую геометрию и смежное. Понимаю, что в ml нужна другая математика, но это просто показывает мою степень обучабельности

на самом деле просто невероятно впечатлен gpt-3. хотет разрабатывать такое и как можно скорее
504 1757559
>>57555
Остальное там даже не про мл, а в целом дата анализ, что конечно правильно.

> стать спецом в machine learning


Что такое спец

> делать свои нейроночки


Конечно

> участвовать в kagle вашем


Конечно

> Мой бэкграунд в программировании беден: год с питоном, явой, совсем немного с, линукс, базовые паттерны проектирования. Могу написать свой флеппи берд или 2048, не больше


Ну это не релейтид, надо с библиотеками уметь работать pandas, numpy, matplotlib, scipy, seaborn, pytorch и тд.

> Теорию гомологий, алгебраическую топологию, алгебраическую геометрию и смежное. Понимаю, что в ml нужна другая математика, но это просто показывает мою степень обучабельности


Если ты это знаешь, то и матстат наверное понимаешь

> на самом деле просто невероятно впечатлен gpt-3


Но это же говно бесполезное, чисто нормисам пыль в глаза пускать
505 1757583
>>57329
Он недавно переустановленый. На полу мертвой десятке рядом с юбунтой, которая еле-еле в последний раз включилась перед тем как сдохнуть, Юпитер из-под анаконды запускался.
506 1757585
>>57158
Нет. С домашнего ноута.
507 1757586
>>57440
Так, а вот тут, джентельмены, пожалуйста по подробнее. Как это правильно сделать, добрый человек?
508 1757632
>>57586
WIN + S "anaconda promt" а там jupyter-notebook
либо же
WIN + S "jupyter notebook"
либо же
WIN + S "anaconda navigator" и там в меню выбираешь юпитер

Должно автоматически в бразуере открыться. Допустим не открывается. Тогда берешь и как в консоли будет написано - копируешь ручками урл в браузер.
509 1757674
>>57583
мало напрягаешь. нужно чтобы еще убунта и винда были на двух вениках разных.
510 1757793
В какой стоит поступать институт и куда, если хочу связать свою профессиональную деятельность с тряской коробок?
МГУ, ИТМО?
511 1757818
>>57793
МГУ, МФТИ, ВШЭ. В первый легче всего поступить, потому что набор большой, а критической разницы между топ тиер вузами нет. Курсы связанные с дата саенсом во все программы вставили. Но там они могут быть в конце бакалавриата, поэтому надо с первого курса стоит поступить на частные сабжи либо техносферу, либо шад, либо озонмастер.
ДС2 это мусор, там этого ничего нет.
512 1757849
>>57818
>>57793
Нахуя, будут там тебе на этих курсах про сто раз про двуслойный перцептрон пересказывать, ты это сам из любого дедовского учебника усвоишь за час. Дрочи лучше практику, вуз чисто для галочки в дс нужен.
513 1757860
>>57849

> на этих курсах про сто раз про двуслойный перцептрон пересказывать


Если ты не знаешь, то зачем пишешь
514 1757863
>>57586
Если столько времени у тебя занимает возня с анакондой, мл не для тебя, у тебя ничего не получится. Покинь пожалуйста тред.
515 1757880
одс курсы, МФТИ первые 2 курса, первая часть "Прикладное машинное обучение с помощью Scikit-Learn и TensorFlow", ответьте без подколов, пожалуйста, что почитать для укрепления мат бекграунда, чего не хватает?
516 1757883
>>57880
Ты реально думаешь, что кто-то ебет, что на твоих сабжах было и сколько ты из них усвоил, чтобы понять чего не хватает?
Я просто в ахуе с некоторых вопросов итт. Пройди собес на машиниста, открой и попробуй осилить научную статью 2020 года и посмотри чего тебе не хватает.
517 1757890
>>57883
Вопрос дибильный, согласен, но спасибо!
518 1757946
>>57860
Неужели про VC размерность ещё расскажут?? Уууу
Сколько же охуительно полезного дедовского говна можно похлебать в этих ваших ТОПТИР вузах!!
15947829139680.jpg109 Кб, 1024x1024
519 1757962

> топтир вузы


Лол. Пикрелейтед это все образование, что светит зумерам вкатывальщикам в Блинолопатии. Ничего другого тут лет 50-500+ ещё не будет. А сами вы ничего не осилите, ибо тайдмены.
520 1757966
>>57818

>ДС2 это мусор, там этого ничего нет.


А зачем он нужен тогда? Везде слышу о ИТМО, что там такого?
521 1757970
>>57966

> Везде слышу о ИТМО, что там такого?


Одна единственная кафедра с олимпиадниками и больше ничего.
522 1758004
>>57962
А, ну т.е. шизопетух из мухосранского заборостроительного, зафиксировали
523 1758014
>>57890
Дибильными являются не столько отдельные вопросы, сколько постоянно воспроизводящие их люди. Скорее всего ml не для тебя, лучше тебе будет покинуть тред.
image.png10 Кб, 80x80
524 1758025
525 1758607
>>57863
нет. Я не вчера начал заниматься МЛ.
526 1758613
>>57632
Короче. Я все это уже делал. Там он так же еще дает ссылку на файл который нужно запустить из папки с Юпитером. И его я тоже запускал.
Юпитер запускался, но требовал ввести токен(как я выше писал уже). Я переписывал токен из консоли и он писал, что токен неправильный.
Сегодня я опять это сделал, снова запустил указаный в консоли файл. И всё БЛЯТЬ зарапытки запустить юпитер и заработало. Я конечно рад, и спасибо за советы. Но я не уверен, что при следующем запуске опять не получится тоже ебола, что и предыдущие мои попытки запустить юпитер из консоли.
527 1758614
>>58613

>и все БЛЯТЬ заработало.


Фикс
528 1758616
>>58613
блять нет, опять не работает. Не удается получить доступ к сайту бла бла. Чо за хуйня на пустом месте...
529 1758617
>>58616
и снова работает. Сука у меня биполярочка сейчас начнется
530 1758754
Тред утонул или удален.
Это копия, сохраненная 29 января 2021 года.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
« /pr/В начало тредаВеб-версияНастройки
/a//b//mu//s//vg/Все доски