Этого треда уже нет.
Это копия, сохраненная 1 октября 2020 года.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
НЕЙРОНОЧКИ И МАШОБ ТРЕД №24 /ai/ 1665515 В конец треда | Веб
Очередной тред про хипстерские технологии, которые не работают.

Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее keras и pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/

Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus.

Почему python?
Исторически сложилось

Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала

В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials

Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.

Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел

Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся

Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском

Где ещё можно поговорить про анализ данных?
http://ods.ai/

Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. На март 2020 Google Colab дает бесплатно аналог GPU среднего ценового уровня (что-то между 1050 и 1080) на несколько часов с возможностью продления.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь

Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом

Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/

Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.

Предыдущий:
https://2ch.hk/pr/res/1635685.html (М)
2 1665538
>>665515 (OP)
Первыйнах
3 1665671
Ну што, вы готовы, дети? Аутомл на одном проце, без видеокарт, за 12 часов с нуля вкатился в машобчик, и пользуясь полученными знаниями, улучшил себя. А вы за сколько вкатитесь? То-то.

> AutoML-Zero has already discovered neural networks, back-propagation, data-augmentation etc. from scratch within 12 hrs on a single CPU. It can adapt to lack of training data, required training speed and tasks.


https://bigthink.com/surprising-science/automl?rebelltitem=2#rebelltitem2
Ссылочка на архив: https://arxiv.org/abs/2003.03384
4 1665699
>>665671
Очередной громкий пук
5 1665722
>>665671
Лол, меня уже репостят.
>>665699
Хуюшки. Я ещё 5 лет назад думал о системах из алгоритмов машобчика, по кругу дрочащих друг другу гиперпараметры, причем последний настраивает гиперпараметры первого, по типу гиперциклов Эйгена, только с произвольно сложной структурой. Сейчас есть такие алгоритмы, о которых в 2015 никто и не мечтал. В 2020 идея обучить некую совокупность алгоритмов кодингу, чтобы он мог переписывать и улучшать сам себя уже не выглядит фантастикой. Причем, в составе такой метаструктуры могут быть Ганы с дипфейками, подсистемы могущие обучаться хакингу и взламывать все, до чего добрались и прочее. При сохранении нынешнего темпа развития машобчика, вышеописанное может стать реальностью через 5-10 лет. Хокинг покойничек в свое время призывал запретить такие исследования к хуям, пока всему человечеству песда не настала. Ну а в менее жуткой перспективе нечто такое на минималках легко порешает зумеров вкатывальщиков. Тут вообще аутомла хватит.
6 1665725
>>665722

> Хокинг покойничек в свое время призывал запретить такие исследования к хуям, пока всему человечеству песда не настала


Не мы, так Китай, и хули?
7 1665728
>>665725

> Не мы, так Китай, и хули?


О, эти могут. Такая система может обучиться молекулярной биологии, и хуярить полиморфные коровавирусы, которые вообще ничем не возьмёшь, никакая вакцина против них не будет работать.
sage 8 1665731
В голос с этого футуролоха.
9 1665823
>>665722
Будущий прорыв в conditional computations, а не automl, в котором ничего особенного нет
10 1666003
Тут для gan-ов картинку просто в вектор превращают:
images.view(images.size(0), 784)
https://medium.com/ai-society/gans-from-scratch-1-a-deep-introduction-with-code-in-pytorch-and-tensorflow-cb03cdcdba0f

А что, так можно было? (с)
Т.е. еботня со свёрточными сетями и макспулингом не нужна?
11 1666011
>>666003
MNIST можно даже на буханке хлеба обучить, не то что на полносвязных слоях. Проблемы начинаются, когда тебе нужны картинки побольше чем 28х28х1
12 1666012
>>666011
То есть тут на обучающем примере решили немного резать путь?

А на больших картинках или видео для GAN ещё и полноценная cnn понадобится?
13 1666013
>>665722

>Я ещё 5 лет назад думал о системах из алгоритмов машобчика...


Автоматизация тряски черного ящика это путь в никуда.
Хокинг петух.
14 1666095
>>666012
Наверняка.
15 1666096
Подскажите про всякие структуры для быстрого поиска ближайших соседей. Я правильно понимаю, что добавить туда новый объект невозможно - только с нуля перестраивать?
16 1666201
>>666003
Смысл свёртки же в том, чтобы уменьшить число параметров, учитывая при этом всю картинку.

А если параметров изначально мало, то можно сразу хуярить полносвязные слои.
17 1666209
>>666201
ResNet? Не, не слышал.
18 1666549
>>666012

>То есть тут на обучающем примере решили немного резать путь?


В идеале у нас должен быть ГПУ с зиллионом флопсов и столько же памяти, чтобы просто каждый слой делать полносвязным, а об обнулении параметров пусть алгоритм думает. Но фактически это работает только на MNIST.
И то в идеале тебе нужно предпринять аугментацию данных, подвигав циферки по осям x и y, иначе решение по сравнению со сверткой будет сосать, просто потому что у нейронки будет недостаточно знаний о 2D-пространстве.
>>666201

>Смысл свёртки же в том, чтобы уменьшить число параметров, учитывая при этом всю картинку.


Смысл свертки во внедрении знаний о датасете в архитектуру.
19 1666661
>>666209

>ResNet?


Он на слабых машинах идёт?
20 1666793
Здарова бандиты, существует одна проблема, взялся за реализацию FAST RCNN с нуля, проблема собственно с ROI слоем, в инпутах у него 1 карта признаков и тензор с roi'сами вопрос, нужно чтобы изображение и как в следствии карта признаков от изображения использовалась единожды со всеми roi'сами(один раз получили карту признаков и спользовали ее для каждого roi'са), спасибо за внимание!
21 1666890
Иными словами есть n тензоров на инпуте, как организовать на каждый тензор входящий в dense слой свой оутпут?
22 1666919
>>666890
В гугле "фреймворк нейм split layer".
После этого после своего dense слоя сплитишь его и направляешь куда нужно.
23 1667186
>>666919
Гиперспасибо, а можно ли сплитнуть выходы с roi и поэлементно направить тензоры в один и тот же dense слой?
24 1667216
Работающие, вы для решения задач используете готовые подходы/модели из статей/гитхаба или придумываете своё?
image.png83 Кб, 921x243
25 1667225
>>666919
И еще такой вопрос, на пике архитектурка, справится ли керасовское обратное распространение магическим образом с CNN стоящим после ROI, или нужно будет самому обучать CNNку?
26 1667232
>>666096
Ball tree
Kd tree
27 1667377
Хочу я, чтобы нейронка распознавала мой рукописный текст. Не произвольный человеческий, а именно мой.

Есть ли какая-нибудь пошаговая инструкция по созданию и тренировке подобной нейронки?
28 1667659
>>667232
Да это понятно, меня интересует именно возможность добавления и удаление объектов без перестраивания всей структуры с нуля.
29 1667774
>>665722
лол, автомл шиз еще не умер
30 1667778
>>666013
не отвечай этому шизу, он поехавший, про зумеров вкатывальщиков уже год кукарекает, все пришествие авто эмэла ждет, а нет до сих пор тут сидит, лол
31 1667779
>>667377
Ты не справишься
32 1667842
я просто оставлю это здесь
https://youtu.be/lthIsMLaq1Q
33 1667868
>>667778
>>667774
По делу-то нечего сказать, мань? Ну что ты можешь в машобчике, чего не может automl-zero? Ни Ху Я.
34 1667955
>>667868
далбаеб, еще раз тебе пишу, почему твоего автомла не видно в вакансиях топ компашек? Ты уже год высираешь одно и тоже, долбаеб, хоть бы почитал что да как

https://arxiv.org/pdf/2003.03384.pdf

>AutoML-Zero concerns the automatic discovery of algorithms that perform well on a given set of ML tasks T . First,


search experiments explore a very large space of algorithms
A for an optimal and generalizable a
∗ ∈ A. The search
could be random, evolutionary, etc
Свободен, дурачек
35 1667958
Ты на вопрос не ответил, мань.
>>667955

> почему твоего автомла не видно в вакансиях топ компашек?


Потому что он вместо вакансий?
36 1667961
>>667958
Хах, чекаю стату по кол-ву вакансий по млу, кол-во даже растет в некоторые сезоны, стату собираю чуть меньше года по месяцам с индеда.
37 1667999
Ех, слава богу автомль победит только зумеров с их няронками паршивыми, а настоящие специалисты с картами кохонесов и каэнн-каминс в безопастности так как всегда будут нужны!
38 1668007
Почему бустрап обеспечивает то что лёрнеры на подвыборках обученные будут нескореллированы?
39 1668169
>>668007
Потому что выборки, полученные в результате ресемплинга, независимые.
Не до конца обеспечивает, в random forest для уменьшения корреляции используется ещё и метод случайных подпространств.
RageFace.png17 Кб, 300x309
40 1668185
Сука, как же заебали твари, пишущие курсы по тензорфлоу. Ни в одном курсе нет данных по интеграции, распараллеливанию, оптимизации, да даже по расчёту затрат памяти - а ведь автоматика за тебя этим заниматься не будет, это не ram, кончилась видеопамять - сасай, и похуй, что ещё три видюхи свободны. Нет, мы лучше ещё раз расскажем, как собрать свёрточную сеть для классификации котов и собак.
41 1668276
>>668185
Так говорили тебе, что несколько видюх нужны для нескольких экспериментов, параллелить обучение одной модели это нахуй не нужный гемор
42 1668283
>>667868

>По делу-то нечего сказать, мань? Ну что ты можешь в машобчике, чего не может automl-zero? Ни Ху Я.


Во-первых, написание ТЗ и составление датасетов. Как че спарсить, пофоткать, написать скрипт для разметки и т. д.
Во-вторых, написать нормальную целевую функцию. Там, где речь идет о субъективном качестве, ML сосет. Естественно, когда лосс=0, то похуй, все идеально будет. Но на самом деле любая генеративная нейронка создает артефакты, качество которых оценить может только человек, потому что человек является главным потребителем и автоматизировать это можно только если получать целевую функцию прямо из мозга.
В-третьих, соптимизировать для железа.
В четвертых, все, что могут подобные системы я делаю на несколько порядков лучше, потому что это не шахматы и не старкрафт, где АИ выезжает только на том, что думает быстро. Здесь торопиться некуда.
43 1668302
>>668276
А если оно не влезает? Или лучшее решение - "купи видюху помощнее"? А в проде как быть, когда несколько моделей запустить надо?
44 1668307
>>668169

>выборки, полученные в результате ресемплинга, независимые


Они же одного распределения, как независимые?
45 1668309
>>668307
Ну так независимые. Совокупная вероятность равна произведению вероятностей.
46 1668313
>>668309
Не, ну и что, в этом смысле при рандом сплите трейн от теста тоже "независим" но нельзя ж сказать что качество на трейне и на тесте не коррелирует никак.
47 1668405
1
48 1668439
в общем, хочу написать статью на медиуме - про information value и credit scoring

Анон, ты мог бы посмотреть на саму статью?
Анон, ты мог бы подсказать, а это не обсосная тема для первой статьи?
49 1668443
>>668439

>credit scoring


Обсосная конечно. Впрочем, пиши, не похуй ли
50 1668564
А что там зумерошиз двумя-тремя тредами ранее кидал про машоб на лиспе и камле? Стоящее что-то?
Дайте плиз куда почитать
51 1668570
Напомните, пожалуйста, почему pix2pix может скатываться за 100-3000 итераций в черные квадраты на выходе? Пробовал уменьшать Lr, l1, gan weights - ничего не помогает. Может требуется оригинальная версия tensorflow 1.0.0, которой уже нету в репозитории? Пробовал как на оригинальном датасете так и на своем.
52 1668600
>>668570
Потому что это GAN, а тренировка ганов крайне неустойчивое дело

>Может требуется оригинальная версия tensorflow 1.0.0, которой уже нету в репозитории


Вряд ли

Попробуй взять оригинальный датасет и не менять ничего вообще
53 1668601
>>668600
вот именно, что я помню, как пару лет назад оно работало по дефолту и ни разу не сваливалось ни на каких сетах, что дефолтных, чт омоих. А сейчас все идет по пизде, причем разные имплементации. Делаешь меньше lr и все прочее- просто позже наступает черный экран. Только p2pHD работает.
54 1668602
>>668601
И за счет чего это может произойти? Я бы скорее поверил что в мастер бранче pix2pix поселился бранч, чем зависимость от версии tf. Но в принципе ты можешь докерфайл собрать со старой кудой и попробовать pip install tensorflow-gpu==что-то-древнее
55 1668605
>>668602
ну выдается много ошибок при выполнении инициализации. Типа древний код. Кажется проще будет самому в тф2 накопипастить новый код. А старых тф-гпу уже нету. Может быть и куда. Это все пробую п2п 512 с дополнительными слоями. Ранее запускал на 1024 имплементацию, так она работала. А сейчас и она не работает, и прочие. Такие дела.
Screenshot2020-04-2702-19-24.png173 Кб, 1148x676
56 1668606
>>668605

>ну выдается много ошибок при выполнении инициализации


Так почитай их

>А старых тф-гпу уже нету


Вот ты потратил 30 секунд моей жизни, и непонятно, нахуя
57 1668607
>>668606
tensorflow-gpu==1.0.0 тоже прекрасно ставится
58 1668608
>>668606
>>668607
ERROR: Could not find a version that satisfies the requirement tensorflow-gpu==1.0.0 (from versions: 1.13.1, 1.13.2, 1.14.0, 1.15.0rc0, 1.15.0rc1, 1.15.0rc2, 1.15.0rc3,
1.15.0, 1.15.2, 2.0.0a0, 2.0.0b0, 2.0.0b1, 2.0.0rc0, 2.0.0rc1, 2.0.0rc2, 2.0.0, 2.0.1, 2.1.0rc0, 2.1.0rc1, 2.1.0rc2, 2.1.0, 2.2.0rc0, 2.2.0rc1, 2.2.0rc2, 2.2.0rc3)
ERROR: No matching distribution found for tensorflow-gpu==1.0.0
ЧТО ЗА РЕПОЗИТОРИЙ, ЛИНУКСОИД
59 1668609
>>668606
я тоже иногда думаю, что нужно ставить линукс, но потом понимаю, что мне комп нужен для работы а не для ебли.
60 1668611
>>668608
Попробуй второй питон
61 1668612
>>668609
Ну если ты работаешь менеджером по продажам, то да
62 1668613
>>668612
да спасибо, наверное дело в куче зависимостей. Буду делать в тф2, но завтра.
63 1668805
>>668606
>>668611
ну в общем продолжаю, исправил ошибки в коде на tf.compat.v1, но это не дало никаких результатов. Сейчас уменьшил lt до 0.000 005, а также L1 и gan weight с 100 и 1 до 5 и 0.05. Вроде как работает часа два, изменения вносятся, вроде логичные. Может скатывание в черные квадраты было связано с реально большим количеством слоев, для которых lr 0.000 02 - реально слишком много, что и приводило, как оказывается, к "победе дискриминатора" (ака черным квадратам) или генератора, не суть важно..
64 1668822
>>665515 (OP)
Как ваши нейроночки, разработали уже нормально?
65 1668921
>>668313

>в этом смысле при рандом сплите трейн от теста тоже "независим"


Нет, это неверно. Перечитай, что такое независимость случайных величин. Величины из одного и того же распределения вполне могут быть независимыми.

>нельзя ж сказать что качество на трейне и на тесте не коррелирует


Коррелировать могут две случайные величины. А ты просто употребляешь термины из теории вероятностей, не понимая их смысла.
66 1669007
>>668185
nn.DataParallel
67 1669033
>>667955
думаю, лет через 10 настоящий мл будут пилить только большие компании, а для большинства компаний будет достаточно фронтэндеров с "<script>from google_ai import yoba_linear_regression</script>"
68 1669085
>>668185
пишут курсы те, кто хочет сам обучиться- лучший способ чему-то научиться- попробовать научить этому кого-то.
69 1669133
>>669033
Маловероятно. Низкоуровневый доступ к функциям будет всегда скорее всего. Зумера не знают, что первый прообраз нынешних слесарьпловов и торчей был создан ещё в 90е - штутгартский нейросетевой симулятор, SNNS. Его, кстати, очень удачно портировали в R, да и в оригинальном виде его сейчас найти не сложно. Мануал к нему - отдельная годнота, помимо прочего это ещё и серьезная матчасть по нейроночкам. Так вот, с тех пор качественно мало что изменилось. И вряд ли что-то в этой области серьезно изменится в обозримом будущем.
70 1669165
>>669033
Маня-менеджеры об этом 70 лет мечтают и говорят. Вот нажмёт анон одну кнопку и у него сайт из головы сразу построится! такое будущее, которого не заслужили. А на деле, только и успевают, как менять язык-нейм на другой
71 1669167
>>669085
Пишут курсы умные люди, которые стригут на идиотках-вкотиках денег больше, чем сеньоры в гуглах
72 1669234
>>669085

> пишут курсы


>>669167

> Пишут курсы


Инфоцыгане, цель которых - стрижка лохов, верующих что за бабло их добрый дядя научит как получать 300ккк/наносек.
73 1669254
>>669234
Ложное чувство знания и игра на чувствах "прошел курс - ачивка"
Есть у нас один зумер-программист, который прям "какжи я люблю курсы!!!!!!!"
74 1669303
>>668921

> Нет, это неверно.


Почему?

> Коррелировать могут две случайные величины. А ты просто употребляешь термины из теории вероятностей, не понимая их смысла.


Что имеется ввиду когда говорят про нескореллированность лёрнеров? Здесь смысл аналогичный
75 1669379
>>669303

>Почему?


Пусть есть выборка X, и ты разделил её на непересекающиеся выбоки X_train (длины n) и X_test (длины m). Вероятность ресемплингом без возвращения набрать X_train = 1/C(n + m, n), вероятность ресемплингом без возвращения набрать X_train = 1/C(n + m, m), это их частные распределения, но их полное распределение другое - p(X^n, X^m) = 0, если выборки X^n и X^m пересекаются, т.е. полное распределение не равно произведению частных, т.е. случайные величины не независимы.

>Что имеется ввиду когда говорят про нескореллированность лёрнеров?


Это хорошо написано вот тут http://www.machinelearning.ru/wiki/images/2/21/Voron-ML-Compositions-slides2.pdf на слайде 20 в самом низу. Это вполне конкретное математическое выражение, а не какие-то общие слова. А независимость следует из независимости выборок и свойств борелевских функций от случайных величин.

Я не великий специалист по терверу, но ты, похоже, даже азов не знаешь. Иди учи, они реально необходимы.
76 1669436
Пасаны, не обоссывайте за вопрос слишком сильно, но насколько сложно вкатится в базовый анализ сентиментов в социальных сетях имея из опыта программирования базовые навыки в питоне и опыт использования линупса? Ну и что почитать примерно хоть поясните. Пробовал искать статьи по тегам, но сразу начинать со всяких random forest и knn сложновато.
77 1669465
>>669379
Не раздражайся, просто ты не очень полно формулируешь мысли, поэтому трудно понять.
C элементарным тервером я знаком конечно, а вот со статистическим лёрнингом не очень, поэтому не вполне понятно в каком смысле лёрнер это случайная величина.

> А независимость следует из независимости выборок и свойств борелевских функций от случайных величин.


Вот это кажется ответ
78 1669543
Что можно напарсить, чтобы нейронка из этого профит извлекла?
79 1669553
>>669436
Ты неправильно подходишь к вопросу. Сначала сформулируй задачу, а потом придумай решение. random forest и knn - методы решения некоторой задачи.

В твоём случае задача может быть multi-class classification (человек доволен/недоволен, испытывает какую-то одну эмоцию), multi-label classification (человек в одном тексте выражает несколько разных эмоций), или вообще ordinal regression (у эмоций есть градации - очень недоволен, недоволен, нейтрален, доволен, очень доволен). То, какую задачу ты решаешь - это не математическая задача, это определяется тем, что ты хочешь получить в итоге (или что хочет получить в итоге заказчик), что ты сможешь сделать за то время, что у тебя есть, с теми ресурсами, что у тебя есть, на что тебе хватит профессионализма и т.д. Короче: постановка задачи зависит от внешних причин. И то, какая задача ставится, определяет то, какими методами ты будешь пользоваться.

Далее, тебе надо sentiment analysis социальных сетей. Значит, тебе нужно изучать методы работы с текстами: твой основной объект распознавания - текстовое сообщение. Ищи сводные статьи по типу "machine learning on texts", их дохера на том же медиуме. Реально твоя работа будет выглядеть как "собрал из стандартных кирпичиков модель под задачу и начал подбирать параметры, пока не заработало".
80 1669554
>>669543
Это не нейронка должна извлекать профит, а ты из инвесторов обещаниями AI-стартапа.
81 1669857
>>667377
Бамп.
82 1670001
По образованию я физик, поэтому интересуют сети с энергиями. В частности машины Больцмана.
Какие есть методы ее обучения, помимо градиентного спуска? Работал ли кто нибудь с машинами с другим распределением или с топологией?
83 1670010
>>669165
Сайты и фронтенд как раз останутся, т.к. сайты - это вопрос моды, стиля и прочих неизмеримых вещей. А, например, для НЛП `импорт берт фром трансформерс_хаггингфейс` уже почти всегда достаточно, если это не каггл (недостаточно, но ничего лучше человечество сейчас предложить не может).
sage 84 1670057
>>670001

>машины Больцмана


Дед, как там в доме престарелых?
85 1670069
>>670057

>Дед, как там в доме престарелых?


Пока хорошо, из-за короны перестали выпускать.Вот сидим, запускаем квантовый аналог этой сети на d-wave
86 1670183
Всё что моложе логистической регрессии - расхайпленное говно для зумеров.
1377782760529160401.png50 Кб, 367x320
87 1670246
>>667377
а он у тебя читабельный или закорючки как у врачей?
88 1670254
>>669033
а что не так? Упрощение это одно из особенностей н/т прогресса
89 1670263
>>670254
это я к тому, что Auto ML быть, и одними из первых пострадают Тензорфлоу-слесари.
sage 90 1670292
>>670069
Респект, но я не уверен, что это ML.
91 1670327
>>670001
https://ru.wikipedia.org/wiki/Машина_Больцмана

>Эта сеть использует для обучения алгоритм имитации отжига


>>670069

>квантовый аналог этой сети на d-wave


https://ru.wikipedia.org/wiki/Квантовый_отжиг

и зачем нас троллить?
92 1670331
>>670001

>машины Больцмана


>паравоз Жопеншмульцера

93 1670479
>>670327
Оно отжигает не по весам, в этом и проблема. Тут d-wave юзается чисто для того, чтобы можно было неклассическую энергию получить.
94 1670481
>>670292
Разные способы обучения как раз по ML. Как это говно считать потом, это к квантам, а сама идея это сюда.
95 1670951
>>670263
Я тебе уже написал, почему это нихуя не изменит, но ты проигнорировал неудобный пост
96 1670964
>>670246
Кривой, некрасивый, но читабельный. Некоторые системы распознавания с моими закорючками справляются, но хочу сделать свою, без предварительного глубокого изучения этих ваших deep learning'ов.
97 1671005
Вообще не представляю как и зачем ml используется в естественных науках.
Вам же скорее всего надо явление понять, а не просто как-нибудь зафитится под табличку с числами, зачем в какой-нибудь физике ml вообще?
Или это типа инженерия скорее, установку какую-нибудь строите?
98 1671006

>зафититься

99 1671016
>>671005
медицина это естественная наука?
100 1671027
>>671016
Не, насчёт того что базируется на статистике то как раз всё понятно - там табличка с числами.
101 1671041
>>671027
Ну говорят, что белки начали фолдить через ML. Фолдинг белков это экспотенциально-сложная задача.
102 1671078
>>671041

>белки начали фолдить


За щекой?
103 1671080
>>671005

>в естественных науках.


Т.е. что большинство наук натягивается на теоретическое матаноговно не имеющее отношение к реальности, тебя не смущает?
104 1671086
>>671027
Тебе нихуя не понятно.
"Понять явление" - это пустая фраза, за которой ничего нет. Задача естественной науки делать предсказания, а не какое-то там мифическое "понимание".
Естественные науки базируются на статистике. Открытый бозон Хиггса с вероятностью меньшей, чем 5 сигма, является просто совпадением на LHC.
Так было всегда. Почитай статью least squares на википедии, метод был сформулирован Гауссом для нахождения орбит спутников согласно данным астрономов. В ML метод наименьших квадратов для нахождения линейной регрессией объясняется самым первым.
Любые законы доказываются статистически. При этом в любой модели есть свободные параметры, например, постоянная Планка это весовой коэффициент в модели.
Проблема в том, что модели усложняются намного быстрее, чем человеческие возможности успевают их описывать в удобном для человека виде. Поэтому рулят численные решения дифференциальных уравнений. ML в этом плане ничуть не хуже любого другого метода, если он работает. Собственно ML это просто совокупность практик, которые со временем выделились в отдельную дисциплину, как часто происходит в науке. Сами эти практики в том или ином виде использовались всегда.
105 1671087
>>671005
В квантах используется для моделирования. Есть еба установка, ее запускать дорого. Ты позапускал ее некоторое кол-во раз, на данных обучил нейросеть генерировать результат, а потом исследуешь сеть, вместо установки. Неожиданно, но это иногда работает лучше, чем прямой анализ данных человеком.
106 1671088
>>671086

> Задача естественной науки делать предсказания, а не какое-то там мифическое "понимание".


Построение интуитивной модели вполне может прокатить как "понимание"
107 1671089
>>671088
Это проблемы мешка с мясом, который статью пишет. От его "понимания" никому вокруг легче не станет. В лучшем случае, если он учебник напишет
108 1671099
>>671086

>модели усложняются


И чо, как там квантовая модель поживает, хомячки хавают?
109 1671103
>>671086
Понимание = выведение аналитических формул, это обнаружение закономерностей, того, что формула может работать в других видах науки. Вот что дает быстрое предсказание результатов. А куча собранной статистики, без понимания. Это так, игрушки. Интеллект у нас в мире представлен только людьми, нейронки это жалкое подражание. Которое может обогнать в узких областях, типа распознавания котиков (но фейлиться на диване с расцветкой леопарда). Вот если будет технологическая сингулярность...
15879619103830.jpg109 Кб, 600x600
110 1671145
>>671086
>>671103
Зачем вам машобчик, если вы даже не понимаете, что он делает. Про как он это делает, вообще молчу.
111 1671258
>>671086

>Задача естественной науки делать предсказания, а не какое-то там мифическое "понимание".


С точностью до наоборот, наука - про то чтобы сделать обозримую человеком теорию, а не подсчитать брутфорсом кучу чисел.
По крайней мере, теоретическая физика об этом.
112 1671271
>>671258
ты попутал маркетинг с наукой. Теория относительности- далеко не каждому дано понять. Но это же наука. Тот же коллайдер только и делает, что изучает брутфорс реальности путем столкновения частиц.
113 1671279
>>671271

> Тот же коллайдер только и делает, что изучает брутфорс реальности путем столкновения частиц.


Школьник, открой для себя идентификацию систем.
114 1671305
>>671258

>По крайней мере, теоретическая физика об этом.


Нет, теоретическая физика не об этом. Это устаревший подход из 19 века. С появлением квантовой механики он умер естественной смертью, потому что мир оказался сложнее человеческой интуиции, которая формировалась не для того, чтобы человек "понимал" квантовую механику. Это хорошо показывают любые интерпретации квантовой механики, которые очень ограничены и фактически напоминают попытки анализировать тессеракт с помощью циркуля и линейки.
115 1671321
>>671305

>потому что мир оказался сложнее человеческой интуиции


Теоретическое знание оно не про интуицию, посмотри на теории струн и прочие M-теории. Тем не менее они вполне обозримы и понимаемы людьми.
1521228978135575299.jpg35 Кб, 331x289
116 1671356
>>671321

>теории струн и прочие M-теории

117 1671357
Таджики здесь? Пример фамилии, оканчивающиеся на пурдухт можно? Ничего не гуглится кроме этой новости и 1.5 обсуждений. Поди сегодня и придумали эту "традиционную таджикскую фамилию", а?
118 1671360
>>671357

>Таджики здесь?


Ты не в тот тред воюешь, ньюсач там ->
15875436816120.png63 Кб, 390x470
119 1671362
>>671357
Лол, не в тот тред написал. Хотя, наверное не так и промахнулся
120 1671395
>>671357

>пирдухт


Не знаем таких, нас тут только жопеншмульцеры.
121 1671421
Яндексойды на месте? Как там у вас с машинлёрнингом?
Однажды разговаривал с знакомым знакомого сестры отца который там работает, от его слов как-то энтузиазма не прибавилось, сказал что вся работа сводится к перекладыванию табличек, использованию готового апи и поддержке существующих пайплайнов. Это похоже на правду? Во всех крупных компаниях так?
Может стартапы перспективнее с точки зрения роста скилов в мле?
sage 122 1671423
>>669133
Ты про этот? >>670951

не вижу вообще противоречий.
image.png72 Кб, 718x598
123 1671473
Аноны, которые пользуются Tensorboard, подскажите плз, можно ли как то в ручную запустить лог? Я смог создать лог (он находиться в папке, где программа), но при переходе на http://localhost:6006/ мне выдает пикрил, подскажите, а то я ща с ума сойду.
124 1671513
>>671473
Сразу банальный вопрос- прописывал ли ты путь к логу при запуске сервера?
125 1671532
>>671513
Да прописывал и уже понял, как раз в этом пути обосрался. Плюс в процессах висело аж 5 тенсорбордов, так что я их закрыл к хуям, запустил по новой с правильным путем, и все заработало. Все равно спасибо, анон.
126 1671648
>>671258
Это открытый эпистемологический вопрос.

Что-то обобщать и систематизировать можно тогда, когда уже наработано достаточное количества фактического материала. Строить теорию с нуля это как создавать форму без содержания, кодекс законов без субъектов ему повинующихся, правило, без отдельных случаев, из которых оно выводится и которые подтверждали бы его верность.
127 1671659
Ещё не утратила силу истина, высказанная Аристотелем: то, что по существу своему занимает первое место, является для нашего познания самым последним. В логически-систематическом построении науки дефиниции основных понятий занимают, конечно, первое место, но только законченную науку можно построить таким образом, - начиная с самого простого и ясного. Если наука ещё в разработке, то нужно исходить из непосредственно данных проблем, которые всегда в вышей степени сложны и лишь постепенно могут быть разложены на свои элементы. Самый простой результат мышления отнюдь не есть результат самого простого мышления.
128 1671690
>>671648

>Строить теорию с нуля...


Получится религия
129 1671815
Кому-нибудь приходилось real-time получать данные с удалённой машины для обучения (мб хранилища на инстансе не хватает)?
130 1671837
>>671815

>real-time


>обучения


Выбери что то одно
131 1671853

> Выбери что то одно


Не рил тайм обучать, а данные без хранения тягать. Типа, скачал батч в оперативку, отдал нейронке, пока она его обрабатывает, качать другой.
133 1671874

>обучать нейронки с нуля


>писать на js

134 1671876
>>671874

>Обучение нейронки на жсе налету с камеры телефона


>Врётии

135 1671884
>>671853

>без хранения


А что за няронка и какой батч?
Уверен что обучение быстрее чем скачивание пойдёт?
Иначе хранить придётся
136 1671889
>>671876
Ага, и код с телефона писать, конечно
Не, я не отрицаю, что на современных телефонах вполне можно запускать нейронку (квантованную, со спец архитектурой) и детектировать на видео (5 фреймов в секунду).
Но если у вас обучение для продакшена (и тем более ресёрч) на js - реквестирую кулстори.
137 1671893

> Иначе хранить придётся


Если батч помещается в память, то просто скачивать с запасом в один висящий в памяти батч.
Если обработка дольше, чем качать - просто ждём, пока в памяти лежит батч.
В против случае простои неминуемы.
138 1671904
Тут ещё надо понять что за данные.
Если эток акой-то сторонний сервис то может стоит задуматься надо ли вообще обучаться на лету, от ошибок-то никто не застрахован - выкатят они говно какое-нибудь однажды и похеришь ты свою нейронку обучив её на каком-то треше.
Может можно просто скачивать данные скопом и периодически до/переобучать на очищенных и обработанных новых данных?
139 1671911
>>671904
Согласен.
У меня вариант простой, нужно брать данные из локалки института, в котором квартируется компания.
Походу, проще написать свой велосипед поверх sftp.
140 1672081
>>671690
Религия получается, когда обосравшуюся теорию пытаются починить
141 1672082
>>671815

> Кому-нибудь приходилось real-time получать данные с удалённой машины для обучения (мб хранилища на инстансе не хватает)?


Единственное, что я делал, это готовил данные в 2 потока, втупую без очередей

while(true) {
фьючер=подготовить_данные_в_отдельном_потоке()
train_on_batch_в_отдельном_потоке(данные)
данные=получить_фьючер()
}

Работало шикарно, единственное, пришлось заюзать numpy.memmap, чтобы данные не гонялись между потоками через медленную сериализацию/десериализацию. Поебался я знатно тогда, потому что не знал, что в питоне все настолько убого, что одна и та же переменная живет в разных адресных пространствах.
Можно замаунтить сетевую ФС и брать данные оттуда
142 1672112
143 1672134
Какие архитектуры могут эффективно генерировать картинки, если не GAN?
144 1672294
145 1672315
>>672294
VAE мутные
146 1672592
Пиздец, где взять исходники для ROI слоя? Кто обладает инфой(репозы и т.д) пожалуйста поделитесь!
8.jpg146 Кб, 1200x803
147 1672994
Нужна помощь, есть список игроков ~200к нужно для них вывести сегменты а-ля нищуки, нормичи, мажоры.
Цель сегментации - для каждого сегмента делать внутриигровые бонусы которые ну очень отличаются между сегментами.
РФМ - не предлагать ибо игроки игру часто дропают и возвращаются через полгода заливая много денег. Данные которые, есть по игрокам ревеня, длина сессии, внутриигровые покупки (даже гипер мажоры покупают дешевые расходники в игре) их количество и стоимость, лайфтайм игрока, да и по сути всё.
Что хочу у вас попросить, скажите о чём читать, покажите пример методов выделения сегментов в таких данных.
148 1673026
Господа, правильно ли я понимаю что для переката из софтваре инжиниринга в ML нужен интелект уровня студентов мфти ?
149 1673212
>>672592
это ты про РОИ-слои в прошлом треде спрашивал зачем они вообще нужны?
150 1673273
Прочитал статью, про то, что rnn бессмысленно использовать для предсказания котировок:
hackernoon.com/dont-be-fooled-deceptive-cryptocurrency-price-predictions-using-deep-learning-bf27e4837151
Но я так и не понял, почему? Если там предсказание отстает на день, то это же не критично?
Хотя я сам понимаю, что котировки зависят от множества внешних факторов и таким примитивным образом их предсказывать смысла нет.
А что насчет спортивных событий?
151 1673284
>>673273

>Но я так и не понял, почему?


Потому что на предсказании "цена завтра примерно равна цена вчера" не заработаешь. Не говоря о том что для такого предсказания нужно секунд десять подумать просто, а не накручивать rnnы.
152 1673296
>>673212
Ты выдумал, такого в тредах нету
153 1673389
>>673273

>Но я так и не понял, почему?


У RNN память очень недолговременная, они вообще мало для чего подходят
154 1673392
>>673273

>rnn бессмысленно использовать для предсказания котировок


Это все равно что предсказывать рулетку. Нужно либо делать сетку, которая постоянно читает новости и делает нужные выводы, либо скальпировать кратковременные отскоки/просадки, но там боты на крестах работают + нужен быстрый брокер с минимальной комиссией.
155 1673530
Придумано ли в интернете что-то более жалкое чем медиум с его уёбищными статьями за которые онни ещё и денег требуют?
156 1673531
>>673530
в опере открывай с впном
157 1673570
>>673026
Если ты о том, что это сложно, то ты слишком высокого мнения о них.
Мимофопф.
158 1673572
>>673531
Да это через инкогнито режим легко обходится, смешон просто сам факт жидизма.
159 1673761
>>672994
Сдохни, ублюдина. И твоё донатное мобилкоговно пусть тоже сдохнет.
160 1673817
>>672994

> РФМ


РФ \
161 1673820
>>672994

> РФМ


Это рандом форест? Так как он как раз всё отлично покажет. Ты сам-то поделить людей можешь? Я вообще не понимаю суть задачи. Почему ты по сумме вливаний (или сумме вливаний на игро-час) не поделишь? Просто отсортируй всех и возьми слева и справа кучки по 10%/25%, а оставшийся центр назови середнечками
nb9IOhlCVSM.jpg132 Кб, 980x893
162 1673851
>>673820
Нет, всё намного проще, рфм - сегментация для недалёких которую можно сделать в 2 строки формулы в экселе.
Ой блять, как меня поплавило, может действительно по ревене ебануть 10й сверху и 25й снизу просентиль а остальное нормичи и ничего не изобретать. Ладно, спасибо что вразумил.
163 1673882
>>673761
Пердед, плиз. Либо смирись с прогрессом, либо накрывайся простынёй и ползи в сторону кладбища уже.
15449096756860.jpg524 Кб, 2000x1593
164 1673906
>>665515 (OP)
Анон, чего я не понял?
Есть задача регрессии и перцептрон с одним скрытым слоем.
Обучающие и целевая переменная нормально распределены вокруг нуля с стд 1.

Проблема в том, что аутпут в основном либо ноль, либо больше нуля, отклонения в минус очень редкие и слабые.

Сначала грешил на функцию потерь, мол она не штрафует ошибки меньше нуля, но она mean(abs(true - pred)), проебаться негде.
Потом на активационную функцию, на скрытом слое: relu не возвращает меньше нуля и на выходной слой передаётся неотрицательный вектор.
Но на выходном слое обычная линейная функция и веса на нём инициализируются из распределения со средним 0, следовательно, должны домножить на отрицательное примерно половину элементов входящего вектора, а значить вывод должен быть плюс-минус симметричен.

Может я не понял что-то важное, но проблема в активационной функци скрытого слоя, потому что замена её наэкспоненциальный линейный юнит или даже тангенс делает аутпут симметричным, но более бредовым.

Почему релу приводит к преимущественно неотрицательным данным и где я проебался, что не могу этого понять?
На всякий случай: да, именно эту задачу, да, именно нейронкой. Цель - разобраться.
165 1673915
>>673906
У abs градиент постоянный, либо +1, либо -1, попробуй l2.
166 1673961
>>673915
Именно в этой задаче мне вредит большой прирост ошибки при неугадывании очень высоких или низких значений, поэтому оставил абс и положился на адам, который должен подобрать подходящий шаг.
Пробовал RMSE, результат почти такой же.
Только что попробовал MSE, результат как без корня, но хуже сходится (что ожидаемо).
167 1674023
>>673961
Не знаю что у тебя проблемы вызывает, я с тренировкой на рандоме получаю следующее

вывод: [[-0.02384087 1.2834619 -0.4978276 0.7138977 -0.6753584 ]]
датасет: [[-0.8020217 1.67333502 -0.61778619 0.51033259 -1.61678442]]

То есть видно, что +- нормально перекос идет. На более уже не хватает бензина, потому что с рандомом сетка вынуждена тупо все запомнить

Это l2, с модулем примерно такой же результат
[[-0.43907866 -1.2598822 -0.3356747 0.44521597 -1.1117768 ]]
[[-0.43537199 -1.3014218 -0.54382092 0.43602512 -1.36578004]]

https://pastebin.com/m4sMnray

Скорее всего если ты считаешь через tf.mean, ты неправильно указал axis, в итоге вместо лоссов, направленных в разные стороны для каждого элемента батча, ты имеешь один лосс, который не несет уже никакой информации

То есть вот такая хуйня

def lll(p, t):
return tf.reduce_mean(tf.abs(p-t))
model.compile(loss=lll, optimizer=keras.optimizers.Adam())

возможно будет работать сильно хуже. А может и нет. Хуйня у тебя какая-то короче
[southpark]freemium.webm9,9 Мб, webm,
1280x718, 3:00
168 1674053
>>673851
>>672994
у вас тоже 1% большую часть кассы заносит?
169 1674062
Знающий анон, подскажи, пожалуйста - как лучше подступить к такой задаче, как распознавание, например, афиш для извлечения полезных данных - дата, имя и т.д.? Там же куча разных шрифтов, а, порой, и совсем лишних изображений.
Какой подход использовать, как обрабатывать изображения и т.д.
С твоей точки зрения как это лучше решать? Есть тессеракт, но он какой-то хреновый.
170 1674074
>>673906
Проблема решена, дело в специфике данных.
171 1674113
>>674053
Прям как у Парето, 20% игрунов делает 80% кассы.
172 1674158
>>674074
Что, минусовые значения распознало как текст?
173 1674159
>>674074
Надо было по первому посту догадаться, что ты мудилка, с которой общаться не стоит
174 1674170
>>673389
А для чего они нужны то вообще? НЛП только?
175 1674192
>>674170
В НЛП они в первую очередь от своей памяти наркомана-укурка страдают. Не нужны они особо, в НЛП их аттеншен зарешал. С теоретической точки зрения нужны, на практике не особо.
Снимок.PNG747 Кб, 1328x780
176 1674480
177 1674484
>>674192
У аттеншна расход памяти квадратичный от длины предложения, а у рекуррентных - линейный, так что если на карточку не хочется раскошеливаться, а задача не сильно сложная, можно и рекуррентные использовать.
178 1674900
>>674480

>машинное обучение


>линейная регрессия



проиграл с дебилоидов, которые обычный МНК называют невъебаться дата сцуенсом машинным абучением
179 1674903
>>674900
Сам придумал - сам посмеялся
180 1674923
>>674903
животное, с каких пор обычная регрессия относится к маш.обу? более того, типичный подход машин хуернинг макак - полностью забить хуй на причинно-следственные связи в дате, из-за которых ваши любимые регрессии могут быть просто несостоятельными.
181 1675004
>>674923
Петух, плиз
182 1675088
>>674158
Нет, просто процесс такой, что, положительные отклонения происходят в более-менее похожих условиях, а отрицательны более хаотичны. Очевидно, положительные отклонения сетка выучила раньше.
15881333372170.jpg58 Кб, 714x800
183 1675162
>>674900
>>674923
Школота школотайд. Линейная регрессия и МНК это машоб, прикинь, петучок.
184 1675194
>>674480
Котаны, в первой лекции говорится про метод "хирургического вырезания связей" (или как-то так), так вот, если в модели после обучения запустить обучение с повышенным коэфициентом Learning Rate, это не будет почти то же самое, что и вырезание связей? Ведь по сути, слабые связи, которые не сильно влияли на выход модели смогут переобучиться, просто без полного разрыва.
185 1675342
>>675194

> метод "хирургического вырезания связей"


Пиздец, вся цена русскоязычным лекциям. Вместо нормальных терминов выдумывают какие-то канцелярские маняпереводы. По-русски это называется словом прунинг

>если в модели после обучения запустить обучение с повышенным коэфициентом Learning Rate, это не будет почти то же самое, что и вырезание связей


Нет, прунинг применяется для ускорения, а твоей хуйне вообще применение слабо можно придумать
186 1675351
>>675342

>По-русски это называется словом прунинг


Ебать дебил, ты же даже не знаешь, о чём речь. Optimal brain damage/surgery
187 1675354
>>675342

>прунинг


Хватит транслитерация, маня.
По-русски говори.
188 1675359
>>675354

>транслитерация


Ха-ха, ок
189 1675365
>>675351
Может это ты дебил, не думал об этом?
190 1675385
>>675351
Но он прав, речь о прунинге. Раньше это по-разному называли, те термины что ты принес - из 90х, Хайкин, вот это все. Тогда с этой темой обосрались (кардинального улучшения результатов не добились), сейчас, спустя 20 лет, пошли на второй заход, лол.
4b6473a35c140a850bfd8e5c4cea97cb.jpg46 Кб, 500x389
191 1675459
>>675385
>>675342
>>675354
>>675351
Спасибо, я все понял. Поробую, может отпишусь.
192 1675531
>>675385
Так прунинг не про улучшение, а про ускорение. Работает нормально
193 1675635
>>675162
дебил блять, МНК придумали ещё когда понятия "машинное обучение" не существовало.

Вообще большая часть "машоба" это тупо прикладная статистика адаптированная для инженегров которые не понимают теорвера и бездубно крутят хуйню не понимая ее смысла
194 1675654
>>675635

>теорвер


Так это говно не работает в реальности, только в голове матанопетушни.
1325786671574.jpg8 Кб, 200x191
195 1675659
196 1675671
>>675635
Мань, основные понятия любой науки формируются до создания этой самой науки. Наоборот невозможно. Представляю бляжь, сидишь такой, трешь янтарем о шерсть и думаешь - о бля, я электронику придумал. Понятно, что ты пришел повыебываться своим якобы эксклюзивным знанием о мнк, но попытки твои выглядят жалкими, а сам ты ничтожество.
197 1675735
Прунить, ребятушки, можно по разному.
1524402322115361845.jpg16 Кб, 400x300
198 1675878
199 1675879
>>675671

>электронику


Хехе, статику. Тащемто ни один вговнемоченый не знает что такое эл. ток.
200 1675944
Что думаете о manifold learning?
201 1676061
>>675944
говно тупое зумиры матоноблядки зачем думать берёш сетку и всё устарело ахаха дед как в могиле
202 1676069
>>675944
Маняфолдинг жопеншмульцера
203 1676087
>>675385
Ну я просто знаю, что именно читает Воронцов - он именно что OBD упоминает. вообще у него пиздец устаревшая программа
204 1676091
>>676087

>Ну я просто знаю, что именно читает Воронцов


И, радостно припрыгивая, побежал писать мне "ебать дебил". Воронцов - хуесос, если вместо нормальной применимой в профессиональной среде терминологии начинает навязывать свои термины, как какие-нибудь уебанские совковые книги. Если ты с этим не согласен - ты сам такой же хуесос.
1531631983149036584.png262 Кб, 700x675
205 1676208
>>676091

> в профессиональной среде

206 1676212
>>676091

> ыыыаа хуесос тварь мразь ыаа дебилы савки


Ты чего такой порвавшийся, в ШАД очень хотел но не взяли?
207 1676224
>>676208>>676212
Ого как у воронцовоманьки не горит, в ход пошел гринтекст и боевые картиночки.
208 1676240
>>676224
Да хватит гореть, оно того реально не стоит
209 1676260
>>676240
Так не гори. У тебя по существу есть претензии?
210 1676266
>>676260
Сначала хотелось бы услышать что-то членораздельное от тебя, но для этого тебе сперва придётся охладить жопу.
211 1676301
>>676266
Такой большой у мамы вырос, а все еще троллишь на дваче
212 1676550
Народ, вопрос, наверное, вызовет кучу хейта
Но сорян, если кого обижу
Короче, у меня наступает довольно ебанутое время - закачиваю вуз и думаю куда дальше.
За это время много где поработал - от Си для мк до геймдева. Также очень упорно учу Компутерное зрение. Понятно, что при таких скаканиях на хуях компетенции набралось не так много в кажой из области, но зато примерно понятно о чем в каждой из них речь
Мониторя вообще рынок понял, что пиздец хочу работать в RnD отделах по ИИ (асбстранкно, но я думаю понятно о чем речь).
ПОнятно, что такого хуесоса как я в свои 23 года туда никто не возьмет, поэтому хочу спросить у умных людей как развиваться, чтобы попасть туда рано или поздно (лучше раньше)
Бекграунд норм, бауманка, 3 года опыт работы, диплом по компутер вижну. Нейроночки знаю уже болие лимение - не вкатывальщик
Не кидайте камнями плз, лучше треда не нашел
Спасибо
213 1676575
Скандал на конкурсе Kaggle: победитель сжульничал, алгоритм плохо оценивает шанс бездомных животных найти хозяев
https://habr.com/ru/news/t/484264/
Kaggle — система организации конкурсов по исследованию данных, принадлежащая компании Google — обнаружила мошенничество в результатах одного из своих конкурсов. Победителя конкурса отстранили от участия в дальнейших соревнованиях.

Kaggle регулярно организует конкурсы в сфере обработки данных и машинного обучения. Призы на этих конкурсах могут достигать десятков тысяч долларов. На прошлой неделе компания объявила, что команда-победитель конкурса, который состоялся в прошлом году и был посвящён улучшению работы сайта по поиску хозяев для бездомных животных, выиграла обманом.

По условиям конкурса участники должны были разработать алгоритмы прогнозирования скорости поиска хозяев для бездомных животных для сайта PetFinder.my. Алгоритм BestPetting, команды-победителя, оказался лучшим среди участников с почти идеальным счетом — 0,912 из 1,0. В награду команда получила $10 000, а её решение было внедрено в работу сайта. Однако через девять месяцев после конкурса выяснилось, что результаты команды были слишком хороши, чтобы быть правдой.

Бенджамин Миниксхофер, программист из Австрии, который тоже участвовал в конкурсе и занял шестое место, вызвался помочь компании PetFinder интегрировать алгоритм в работу сайта. При этом он обнаружил, что команда BestPetting использовала в разработке своего решения закрытые данные с PetFinder.my, что давало ей незаконное преимущество. Эти данные она замаскировала в своём коде. Кроме того, команда использовала полученные данные не для всех питомцев, а для одного из десяти, чтобы избежать абсолютно идеального результата и не вызвать подозрений. Способ обмана Миниксхофер подробно описал в статье на Kaggle.com. При этом в комментарии для Motherboard он подчеркнул, что без обмана команда оказалась бы на приблизительно сотом месте со счетом 0,427526.

«Очень печально, что такие блестящие профессионалы пошли на все, чтобы обмануть конкурс, целью которого было спасение животных, исключительно ради собственной выгоды», — отметил Энди Кох, основатель PetFinder.

Как пишет Motherboard, мошенничество — не редкость в соревнованиях Kaggle. Для некоторых участников, помимо денежных призов, очень важны звания Kaggle, например, Expert или Grandmaster, которые можно получить, победив в конкурсе. Многих в сообществе разработчиков шокировало то, сколько усилий команда затратила на свой обман, а также тот факт, что некоторые из членов команды уже имели высокие звания в Kaggle. Среди них оказался, например, Павел Плесков, у которого уже был титул Kaggle Grandmaster и который не раз побеждал в различных конкурсах. После того, как мошенничество BestPetting было обнаружено, Kaggle навсегда заблокировала Плескова. По информации Kaggle, «доказательства указывают на то, что он был ключевым лицом этой мошеннической кампании». В Twitter Плесков извинился от имени своей команды и отметил, что намерен вернуть призовые деньги PetFinder.my.

«Для меня речь шла не о деньгах, а, скорее, о том, чтобы стать номером один в рейтинге. Я надеюсь, что хотя бы некоторые из вас простят меня, и что другие участники будут учиться на моих ошибках».

В дополнение к потере своего звания Плесков также лишился работы в компании по разработке программного обеспечения с открытым исходным кодом H2O.ai, которая стремится приглашать на работу специалистов со званием Kaggle Grandmaster.

«Действия в отношении конкурса Kaggle, о которых нам стало известно, идут вразрез с ценностями компании. Мы провели расследование, и этот человек больше не связан с H2O.ai», — заявили в компании.

Этот скандал, как считает Бенджамин Миниксхофер, говорит о том, что Kaggle должна улучшить систему защиты от мошенников.

«Весь этот инцидент очень расстроил меня. Не только потому, что это подрывает легитимность соревнований Kaggle в целом, но и потому, что я потратил довольно много времени на исследование их решения и интеграцию его в работу сайта. Я уверен, что каждый, кто выигрывает деньги в конкурсе, должен публиковать открытый исходный код своего решения. Я не единственный, кто так считает, и я понятия не имею, почему этого всё ещё не делается».

Как указывает Motherboard, хотя сейчас в правилах Kaggle есть пункт о том, что решения для конкурса должны быть с открытым исходным кодом, это означает лишь то, что алгоритмы должны разрабатываться по лицензии с открытым исходным кодом, а не обнародоваться.

«Это лазейка в правилах, которую хозяева соревнований даже не замечают», — считает Миниксхофер. Внедрение новых правил, по его словам, «предотвратит подобные инциденты в будущем».
213 1676575
Скандал на конкурсе Kaggle: победитель сжульничал, алгоритм плохо оценивает шанс бездомных животных найти хозяев
https://habr.com/ru/news/t/484264/
Kaggle — система организации конкурсов по исследованию данных, принадлежащая компании Google — обнаружила мошенничество в результатах одного из своих конкурсов. Победителя конкурса отстранили от участия в дальнейших соревнованиях.

Kaggle регулярно организует конкурсы в сфере обработки данных и машинного обучения. Призы на этих конкурсах могут достигать десятков тысяч долларов. На прошлой неделе компания объявила, что команда-победитель конкурса, который состоялся в прошлом году и был посвящён улучшению работы сайта по поиску хозяев для бездомных животных, выиграла обманом.

По условиям конкурса участники должны были разработать алгоритмы прогнозирования скорости поиска хозяев для бездомных животных для сайта PetFinder.my. Алгоритм BestPetting, команды-победителя, оказался лучшим среди участников с почти идеальным счетом — 0,912 из 1,0. В награду команда получила $10 000, а её решение было внедрено в работу сайта. Однако через девять месяцев после конкурса выяснилось, что результаты команды были слишком хороши, чтобы быть правдой.

Бенджамин Миниксхофер, программист из Австрии, который тоже участвовал в конкурсе и занял шестое место, вызвался помочь компании PetFinder интегрировать алгоритм в работу сайта. При этом он обнаружил, что команда BestPetting использовала в разработке своего решения закрытые данные с PetFinder.my, что давало ей незаконное преимущество. Эти данные она замаскировала в своём коде. Кроме того, команда использовала полученные данные не для всех питомцев, а для одного из десяти, чтобы избежать абсолютно идеального результата и не вызвать подозрений. Способ обмана Миниксхофер подробно описал в статье на Kaggle.com. При этом в комментарии для Motherboard он подчеркнул, что без обмана команда оказалась бы на приблизительно сотом месте со счетом 0,427526.

«Очень печально, что такие блестящие профессионалы пошли на все, чтобы обмануть конкурс, целью которого было спасение животных, исключительно ради собственной выгоды», — отметил Энди Кох, основатель PetFinder.

Как пишет Motherboard, мошенничество — не редкость в соревнованиях Kaggle. Для некоторых участников, помимо денежных призов, очень важны звания Kaggle, например, Expert или Grandmaster, которые можно получить, победив в конкурсе. Многих в сообществе разработчиков шокировало то, сколько усилий команда затратила на свой обман, а также тот факт, что некоторые из членов команды уже имели высокие звания в Kaggle. Среди них оказался, например, Павел Плесков, у которого уже был титул Kaggle Grandmaster и который не раз побеждал в различных конкурсах. После того, как мошенничество BestPetting было обнаружено, Kaggle навсегда заблокировала Плескова. По информации Kaggle, «доказательства указывают на то, что он был ключевым лицом этой мошеннической кампании». В Twitter Плесков извинился от имени своей команды и отметил, что намерен вернуть призовые деньги PetFinder.my.

«Для меня речь шла не о деньгах, а, скорее, о том, чтобы стать номером один в рейтинге. Я надеюсь, что хотя бы некоторые из вас простят меня, и что другие участники будут учиться на моих ошибках».

В дополнение к потере своего звания Плесков также лишился работы в компании по разработке программного обеспечения с открытым исходным кодом H2O.ai, которая стремится приглашать на работу специалистов со званием Kaggle Grandmaster.

«Действия в отношении конкурса Kaggle, о которых нам стало известно, идут вразрез с ценностями компании. Мы провели расследование, и этот человек больше не связан с H2O.ai», — заявили в компании.

Этот скандал, как считает Бенджамин Миниксхофер, говорит о том, что Kaggle должна улучшить систему защиты от мошенников.

«Весь этот инцидент очень расстроил меня. Не только потому, что это подрывает легитимность соревнований Kaggle в целом, но и потому, что я потратил довольно много времени на исследование их решения и интеграцию его в работу сайта. Я уверен, что каждый, кто выигрывает деньги в конкурсе, должен публиковать открытый исходный код своего решения. Я не единственный, кто так считает, и я понятия не имею, почему этого всё ещё не делается».

Как указывает Motherboard, хотя сейчас в правилах Kaggle есть пункт о том, что решения для конкурса должны быть с открытым исходным кодом, это означает лишь то, что алгоритмы должны разрабатываться по лицензии с открытым исходным кодом, а не обнародоваться.

«Это лазейка в правилах, которую хозяева соревнований даже не замечают», — считает Миниксхофер. Внедрение новых правил, по его словам, «предотвратит подобные инциденты в будущем».
214 1676604
>>676575
Ну еще вспомни конкурсы с изменением вида земли со спутника за год, когда идеальную дату можно было "намайнить" с гугл карт. Много такого, да еще и без печки с кучей видеокарт к конкурсам сейчас не подойти.
215 1676615
>>676575
Красиво, а ведь могли и не раскрыть
216 1676677
>>676575
Это ж жопа полная, ты, допустим, честны участник и соревнуешься с наебщиками. Ладно, одного наебщика раскрыли раз в 100500 межгалактических лет. А так остальные толпы наебщиков подебителей остались.
217 1676679
Вообще во всех конкурсах и соревнованиях побеждает всегда наиболее опытный наебщик. Либо самый опытный наебщик тренирует чемпиона, если сам по возрасту не проходит.
unnamed.jpg58 Кб, 512x512
218 1676734
219 1676762
>>676575

>Kaggle


Оверхайпнутое говно
Методы обучения без градиента 220 1676856
Отличительной особенностью моей модели является то, что функция ошибки вычисляется с большим шумом, а градиент аналитически вообще не считается. Возник вопрос - а как ее обучать? Метод роя частиц не подходит - если из-за какого то перла функция ошибки окажется маленькой, то частицы резко рванут туда, хотя в среднем ошибка может быть там большая.метод отжига или эволюционку не предлагайте, у меня много времени, но не настолько
221 1676870
>>676575
Свежие новости подвезли. Ещё расскажи, что его банили за то, что он майнил на кернелах кегла.
>>676856
REINFORCE?
222 1676890
>>676856

>если из-за какого то перла функция ошибки окажется маленькой, то частицы резко рванут туда


Инерцию побольше поставь, тогда не рванут.
А так ищи способ сделать функцию дифференцируемой, с фреймворками типа tensorflow это не так сложно заменить разрывные функции их гладкими аналогами

>метод отжига или эволюционку не предлагайте, у меня много времени, но не настолько


На кластере видюх считай
223 1677028
>>676890
У меня функция и так непрерывна, просто градиент ну очень уродский. У меня стохастическая сеть, и в качестве функции ошибки я беру метрику между целевым распределением и полученным. При взятии градиента от этой штуки у меня всплывают несчитаемые величины. Например коррелятор градиента и еще одной стремной величины. Т.е для того, чтобы посчитать градиент, мне надо его знать. Это обходится, но на каждый шаг решать стремное уравнение не вариант - оно решается только численно, а численно решать уравнения со средними, корреляторами и прочей лабуденью - гиблое дело.
224 1677029
>>676870
А это работает с генеративными сетями, которые не получают ничего на вход?
225 1677064
>>676550
ищи позиции типа intern/junior data scientist
226 1677082
>>676856
>>677028
Сдается мне, какой-то велосипед ты изобрел, и давно есть нормальные алгоритмы, решающие твою задачу.
227 1677087
>>677029
Сомневаюсь. А что генерировать надо и почему нельзя воспользоваться стандартными моделями для генерации картинок/текста?
228 1677093
>>677087
Генерить надо квантовые состояния, на квантовой же компе(да, я тот дед с паравозом жопенщульцера). Стандартный метод не подходит, потому что задача разработать рабочий метод для хуевого случая. Вкратце есть хуевый нейропроцессор, но он прям очень быстро считает - вычисляет одну реккурентную сеть из 1к нейронов за <15 мкс. Но очень хуево. Есть идеи в том, что это очень хуево можно преодолеть и получить в перспективе охует какой быстрый нейропроцессор.
229 1677144
>>677093
Опять ты со своей физикой, тебе же сказали - упразднена, теперь наука это только ковыряние гиперпараметров у бустенхов и сеток.
Увольняйся из своего НИИ ХУЯ лучше и иди в какой-нибудь стартап распознавать котов на фото.
230 1677171
>>677028

>При взятии градиента от этой штуки у меня всплывают несчитаемые величины


Ну NaNы это как правило численный косяк, где-то что-то нужно нормализовать
231 1677186
>>677093
Падажжи. 1к нейронов это же миллион-другой флопсов, что тут охуенно быстрого?
3890374.png14 Кб, 861x158
232 1677216
Хз куда именно это постить. В общем, такое дело: надо определить дисперсию системы по набору из данных (пример на пикриле)
У нас есть набор неких параметров из нескольких независимых исследований. Можно найти дисперсию каждого отдельного параметра, но как найти дисперсию всей системы? Не складывать же их
233 1677237
>>677216
Если система это f(параметры), можешь вычислив дисперсию параметров с помощью монте-карло вычислить дисперсию системы
for i=1:10000
a1=random(матожидание_а, дисперсия_а)
a2=random(матожидание_а, дисперсия_а)
...
a3=random(матожидание_а, дисперсия_а)
fs.append( f(a1,a2,a,3,a4) )
end
print(std(fs))

Лучше график нарисовать, а то мало ли у тебя распределение не нормальное нихуя. Но скорее всего f тебе известна (например, линейная комбинация параметров), поэтому ты можешь вычислить все по формулам для дисперсии и матожидания
15874380330630.gif170 Кб, 326x281
234 1677242
>>677216
А вот и ежедневный зумер вкатывальщик, не могущий нагуглить расчет дисперсии многомерной случайной величины.
235 1677407
Такой вопрос назрел. Могут ли ваши нейроночки в комплексные числа? Т.е задача сформулирована как y = f(x1,
..,x20), где y и все иксы - комплексные числа. Погуглил, предлагают разбивать на компоненты (re и im) и в таком виде подавать. А как из этой хуйни потом опять собирать комплексные числа?
236 1677432
>>677407
все настолько плохо? z = re z + i im z
237 1677476
>>677432
Т.е можно разбить задачу вида y = f(x1,...x20), на две: re(y) = f(re(x1),...,re(x20)) и im (y) = f(im (x1),...,im (x20))?
238 1677524
>>677407
Могут, просто указываешь тип данных tf.complex или какой-то еще

>Погуглил, предлагают разбивать на компоненты (re и im) и в таком виде подават


Это не всегда работает, потому что комплексные числа складываются как (re1+re2)+i(im1+im2), но перемножение идет уже по другим правилам. Поэтому если у тебя комплексные данные - это одно, а если комплексные веса - это уже совсем другое
239 1677565
>>677476
Только если f линейная. Иначе нет.
240 1677731
>>677242
Разве это не классика матстата? Нам рассказывали.
241 1677955
>>677028
Метрику? Какую метрику? Что ты вообще обучаешь? Какая функция потерь? Почему ты надеешься на помощь, при этом не рассказывая ничего о задаче?
242 1678040
>>677242
Если тебе интересно нихуя не интересно канешн, но все же высру это сюда я не "вкатываюсь" а решаю одну из ВУЗовских говнозадачек

По теме >>677216
Написал свой говнокод для поиска ковариационной матрицы и он вернул мне везде 0 (лол) кроме основной диагонали, на которой таки красуется дисперсия по конкретным выборкам
https://ideone.com/zEgpXm
Потом я забил хуй, читернул и заюзал np.cov на транспонированной матрице. Но вопрос, почему первый вариант кода нихуя не работает стоит открытым
243 1678113
>>676856
>>677028
Попробуй другую задачу решать. То есть эта задача математически правильная, но вычислительно сложная - ну и хуй с ней, сформулируй что-то приблизительно похожее, но чтобы считать было легче.
244 1678219
>>671421
Да, а еще можешь на кегле посидеть
245 1678267
>>671421

>Во всех крупных компаниях так?


Везде ресерчем занимается минимум людей, потому что мало кто может.
246 1679112
Народ, а можно ли как-нибудь пройти слушателем курсы шада? не то что в открытом доспуте
Сам туда поступать и времени не очень много (а то пишут что по 30 часов в неделю надо учиться, что при имеющейся работе многовато) и в целом интересуют лишь некоторые курсы, а не вся программа
Или у кого то можно их подрезать?
короче соре, если вопрос тупой
247 1679344
>>679112
Можно быть вольнослушателем. Спроси у кураторов шада как им стать.
image.png33 Кб, 547x465
248 1679830
Сап /pr/, можете помочь очередняре с проблемами по лабкам? Суть такова: нужно построить нейронку из одного нейрона (!), для обычной бинарной классификации. На вход дается два feature — координаты X1 и X2, на выход один класс — "-1" или "1". На графике видно как эти точки явно разбиты (синие это класс -1). Думал что проблема будет легчайшая.
Я пытался сделать это в Keras:

model = Sequential()
model.add(Dense(1, input_dim=2))
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

Так вот, она нихуя не фитится. Это не проблема с подачей данных, я три раза перепроверял. В зависимости от функций активации она либо идет вниз с 0.3 accuracy до 0.0, либо остается на 0.5, с софтмаксом, как-будто нейронка просто бросает монетку каждый раз. Loss, activation, epochs, optimizer — я не нашел работающи параметры .
Мне помог одногруп, но он написал на pytorch, как-то вот так:

class Net(nn.Module):
def __init__(self):
super().__init__()
self.fc1 = nn.Linear(2,1)

def forward(self, x):
x = self.fc1(x)
return x

Я не разбираюсь в этом фреймворке, но у него она обучилась за 3 эпохи. Вообще без проблем. Я гуглил, nn.Linear и Dense должны работать одинаково. Но я видимо все равно как-то не так описал модель на Keras.
Поэтому пошу помощи у анонов.
249 1679839
>>679830
Метод опорных векторов из склерн.
250 1679844
>>679839
Вот именно что нужна нейронная сеть, классификаторы это была первая лаба. Руки связаны.
251 1679854
>>679830
линейная регрессия + функция активации = логистическая регрессия
252 1679867
>>679830
замени лейбл -1 на 0
253 1679868
>>679830
>>679867
а вообще лучше кинь фулл код
Untitled.png88 Кб, 1676x947
254 1679911
Что тут написано?
255 1679939
256 1680043
>>679830
Твой лосс с лэйблом -1 работать на будет, 25% в тест отправлять слишком жирно, фиксированный рандомстейт тоже может быть источником проблем
image.png15 Кб, 425x308
257 1680055
>>680043
Ну вот допустим с test_size = 0.1, другим random_state, и с переименованным лейблом. Бля, а может мне надо аутпут настроить не как 0 и 1, или -1 и 1, а как [0, 1] и [1, 0]? Я уже не знаю, поможет это или нет.
258 1680074
>>680055
>>679830
Бля, я слепой, у тебя тут нет активации на выходе сетки.
Dense(1, input_dim=2, activation='sigmoid') это поставь, все норм будет
259 1680099
>>679911
Математическая постановка задачи обучения метода опорных векторов для случая двух классов, её двойственная задача и решающее правило.
260 1680293
Я тот анон, что в прошлом треде писал, что линукс не нужен. Я ставлю убунту из-за nccl. вы победили
261 1680367
>>680074
Лучше особо не вышло. На 100 эпохах это ужасный результат. Ладно, аноны, спасибо, пойду переписывать лабу одногрупа.
image.png5 Кб, 666x59
262 1680369
>>680367
Забыл прикрепить, ну и хуй с ним.
263 1680495
>>680293

>nccl


Для тензорфлоу он не обязателен, плюс есть неофициальные бинарники для винды.
image.png28 Кб, 1255x231
264 1680562
>>680367
поставил batch_size=2, зафиксировал хуевый сид, а потом ноет, что у него 0.87 точности (на 25 блять объектах) и это ужасный результат.
265 1680831
Помогите фетишисту вкатиться в машинное обучение.
Есть два пака фоточек, на одном тянки в колготочках, на другом с голыми ношками.

Задача: научить сеть отвечать на вопрос: "Эта тян в колготках?"
266 1681176
>>680831
Задача простая, но я за такое беру 80к в неделю
267 1681309
>>681176

>Задача простая, но я за такое беру 80к в неделю


Кого ты обманываешь, это твоя месячная зарплата.
268 1681332
>>680831
Что может быть хуже колкоточек. Этот ебучий материал. Фу.
269 1681520
Нейропетухи, под шконку
15878009596801.jpg1,8 Мб, 3024x4032
270 1681536
>>681332
Скорее всего ты нормис и тебе не понять, но у меня шишка колом, когда вижу этот материал на тянскихх ногах.

>>681176
Я к вам за советом пришел. Будь у меня 80к я бы снял шлюх, а на сдачу купил бы им колготочки.
271 1681562
>>680831
нейронная сеть, классификация изображений, туториал
272 1681632
>>681536
Скорее всего нормис из вас двоих как раз ты
273 1681639
Почему в обычных автоэнкодерах проблемы с регулярностью скрытого представления, и типа VAE нужны чтобы эту проблему пофиксить, когда как у PCA всё в порядке с регулярностью внутреннего представления?
274 1681697
>>681639
Потому что линейное преобразование, многомерный аналог растяжений-поворотов-проекций, там во многом сохраняется эта регулярность, не знаю, как это математически сформулировать
275 1681700
>>681536

>этот материал на тянскихх ногах.


Местные видят чулочки толька на ногах их научруков по математике Михаилов Эдуардовичей.
276 1681769
>>681639

>в обычных автоэнкодерах проблемы с регулярностью скрытого представления


Чего? Что за "регулярность"?
277 1681839
>>680495
ох, я только вынырнул спустя два дня погружений. Ставлю для pix2pixhd распределенных. Вроде все ставлю правильно на минимальную убунту 18.04. - миниконда, Cuda + дрова, cuDnn, nccl, потом numpy, pytorch, Dominate, scipy, tensorflow (нужен для логов).
И не работает. Может кто сталкивался- при параллельном обучении на двух видеокартах скорость меньше, чем при обучении на одной, при любом батче- что 2 (как написано в оф мануале), что 4, что 8. Обучение как ьудто идет по очереди то на одной видюхе то на второй. А потом внезапно комп подвисает. Или подвисает сразу же и выключает комп, если задать нечетное количество слоев генератора.
О невозможности запустить ни на линукс, ни на винде Apex я уже молчу. Сижу думаю, что делать с двумя видюхами. ну как бы никто не говорил, что обучение паралллельное будет поддерживаться. Буду писать на гитхаб.
278 1681842
>>680495
так, падажди, значит можно найти вот например вот эту https://github.com/tiandiao123/Pix2PixHD-TensorFlow и попробовать ее запустить на gpu-ids 0,1? Буду пробовать.
279 1681855
Скоро закончу Яндекс практикум и тоже вкачусь в ваш тред
Вот так, ds теперь доступен всем, у кого есть деньг
280 1681868
>>681855
Сюда только после ШАДа можно, через 2 года ждем тебя.
281 1681931
>>681839
учи на одной, прирост на паралельном не значительный по вермени, просто батч раскидывается по двум картам, и это дает задержки
282 1682086
>>681868
Так я же не в ml, а в ссаную аналитику и ds
Хорошо
283 1682181
>>681931
я подумал также, даже встречал статьи в инете, буквально пару по запросу "slow multigpu traning". Подлые жиды из нвидии про этот недостаток при батче маленьком не говорили. И раскидаю сиськи и письки грудь и таз на две модели и буду учить "параллельно", все равно в одну модель с дефолтными параметрами вся инфа не влазила за раз, очень хромает четкость- получается оче размыто, а больше параметров уже не влезает в видеопамять.
284 1682296
>>682181
Я тебе итт писал, что тренировка на двух GPU это бред.
15882364011230.jpg872 Кб, 971x1080
285 1682344
Фетишист-кун >>680831 репортинг ин.
По вашим советам начал ковырять туториалы.
Вот вроде как классика с кошками и собаками:
https://keras.io/examples/vision/image_classification_from_scratch/

В итоге словил затык в самом начале, на этапе подготовки датасета:

AttributeError: module 'tensorflow.keras.preprocessing' has no attribute 'image_dataset_from_directory'

Немного погуглил - этот модуль вроде как входит в тензорфлоу, но почему-то у меня его нет. Тензор флоу ставил через докер ветка tensorflow/tensorflow:latest
286 1682370
>>682344
Еще смотрел Созыкина, разжевывает хорошо, но его код какую-то старую тензорфлоу.
287 1682399
>>682344
https://github.com/keras-team/keras-io/issues/12
Пиздос, я сгорел.
Почему это ваше программирование такое говно?
Зачем вообще выкладывать в сеть туториал который не работает?
288 1682430
>>682399

>Зачем вообще выкладывать в сеть туториал который не работает?


Чтобы горели такие зумеры-вкатывальщики как ты.
289 1682444
>>682344
>>682399
Я тоже полтора года назад ебался. Мне просто повезло, что туториалы были актуальнее и мне получилось с первого раза запустить датасет с фасадами прямо в браузере. Тут то я и потер руки и стал копать гитхаб и ебать гугл "как включить код питон".
Если тебе нужна именно одна цель - сделать ноги в колготах- то.
1. Определись с видеокартой. Без видюхи с 8 гб видео я бы не влезал в pix2pix cycle gan. А мы будем запускать сразу две модели, так что разрешение будет тоже аховое- где то 256 на 8 гб видяхе и 512 на 11гб, и то если повезет. Не жди хайреза. Прочие характеристики не так важны. На процессоре даже не пытайся. А времени в выделенных серверах в онлайне не хватит, скорее всего, и будет ебля с постоянным реэкспортом модели по истечению выделенного для работы времени.
2. Определись- ты идешь учиться прогать или сделать колготы. В любом случае тебе нужен будет датасет на 5000-10000 фото. На меньшем ты соснешь. И как его получить- вручную качать или научиться запускать скрипт с гитхаба по выкачиванию определенных картинок- две большие разницы.
А затем, что у тебя была именно тренировка, а не пустое прокачивание ненужной инфы через видяху, нужно будет научиться вырезать именно те участки картинок которые нужно обрабатывать. Yolo3detector тебе поможет, но это мы забежали вперед.
Сразу скажу, что я не буду тебе расписывать подробно, потому что точных ссылок мне искать лень, а ты научишься искать нужную инфу.
1.0. Тебе нужно установить cuda от нвидии. Ставь 10.2 Если ты справишься, то у тебя есть шанс.
1.1. Тебе понадобится интерпретатор питона. Советую установить miniconda3, т.е. с третьим питоном на борту. Затем ты будешь запускать Anaconda Powershell Prompt (miniconda3) и работать с кодом ты будешь там. Впереди у тебя веселейшая ебля с path.
1.2. Когда ты все же разберешься с туториалом и запустишь у себя фасады и обрадуешься результату, советую тебе забыть это и скачать pix2pix cycle gan. Там ты почти не будешь читать код, ты будешь учиться запускать чужой код у себя- а это значит, что для чужого кода ты должен будешь научиться разворачивать виртуальную среду, чтобы все нужные для работы кода зависимости не путались (я не научился таки, как и пользоваться докером, позор мне). Это сэкономит кучу времени, если ты решишь потом запустить какую-то старую вещь у которой свои старые зависимости, как у твоего рассматриваемого кода. Возможно, что для твоих целей лучше подошел бы pix2pixHD, но для винды в нем нужно будет исправить самомоу некоторые ошибки из-за того что он предназаначен для линукса. Но, они таки могут быть исправлены, как и все ошибки, если ты будешь гуглить их. ГУГЛИ ОШИБКИ.
1.3. В эту виртуальную среду ты поставишь зависимости- сторонние куски кода, которые используют программисты чтобы не изобретать свои велосипеды для стандартных функций типа ресайзнуть картинку и вырезать по координатам. Они нужны для работы кода. познакомься - это установщик зависимостей pip. Pip list, pip install например numpy, pip uninstall tensorflow и потом pip install tensorflow==1.15.0 станут твоими друзьями.
1.4. Когда ты научишься запускать код pix2pix cycle gan и его просмотрщик, можешь начинать учиться запускать детектор yolo. Точнее тренировать. Ты, из скачанного массива возьмешь 500 картинок с колготам и разметишь его вручную на microsoft/VoTT, чтобы yolo смог обучиться на примерах искать твои колготы и голые ноги. Затем ты напишешь свой код с помощью инета, конечно, который нарежет тебе твои ноги - в одну папку голые, в другую колготы. И затем, ресайзнув свои ноги до нужного размера, ты зауснешь их в cyclegan и может быть, спустя несколько дней тренировки в игры нипаиграть он выдаст тебе результаты, от которых тебе уже не захочется дрочить, а только делать новые датасеты.
Ну вот когда ты сможешь делать весь список быстрее, чем читаешь этот текст, тогда у тебя начнет получаться результат, на который будет не стыдно пофапать.
289 1682444
>>682344
>>682399
Я тоже полтора года назад ебался. Мне просто повезло, что туториалы были актуальнее и мне получилось с первого раза запустить датасет с фасадами прямо в браузере. Тут то я и потер руки и стал копать гитхаб и ебать гугл "как включить код питон".
Если тебе нужна именно одна цель - сделать ноги в колготах- то.
1. Определись с видеокартой. Без видюхи с 8 гб видео я бы не влезал в pix2pix cycle gan. А мы будем запускать сразу две модели, так что разрешение будет тоже аховое- где то 256 на 8 гб видяхе и 512 на 11гб, и то если повезет. Не жди хайреза. Прочие характеристики не так важны. На процессоре даже не пытайся. А времени в выделенных серверах в онлайне не хватит, скорее всего, и будет ебля с постоянным реэкспортом модели по истечению выделенного для работы времени.
2. Определись- ты идешь учиться прогать или сделать колготы. В любом случае тебе нужен будет датасет на 5000-10000 фото. На меньшем ты соснешь. И как его получить- вручную качать или научиться запускать скрипт с гитхаба по выкачиванию определенных картинок- две большие разницы.
А затем, что у тебя была именно тренировка, а не пустое прокачивание ненужной инфы через видяху, нужно будет научиться вырезать именно те участки картинок которые нужно обрабатывать. Yolo3detector тебе поможет, но это мы забежали вперед.
Сразу скажу, что я не буду тебе расписывать подробно, потому что точных ссылок мне искать лень, а ты научишься искать нужную инфу.
1.0. Тебе нужно установить cuda от нвидии. Ставь 10.2 Если ты справишься, то у тебя есть шанс.
1.1. Тебе понадобится интерпретатор питона. Советую установить miniconda3, т.е. с третьим питоном на борту. Затем ты будешь запускать Anaconda Powershell Prompt (miniconda3) и работать с кодом ты будешь там. Впереди у тебя веселейшая ебля с path.
1.2. Когда ты все же разберешься с туториалом и запустишь у себя фасады и обрадуешься результату, советую тебе забыть это и скачать pix2pix cycle gan. Там ты почти не будешь читать код, ты будешь учиться запускать чужой код у себя- а это значит, что для чужого кода ты должен будешь научиться разворачивать виртуальную среду, чтобы все нужные для работы кода зависимости не путались (я не научился таки, как и пользоваться докером, позор мне). Это сэкономит кучу времени, если ты решишь потом запустить какую-то старую вещь у которой свои старые зависимости, как у твоего рассматриваемого кода. Возможно, что для твоих целей лучше подошел бы pix2pixHD, но для винды в нем нужно будет исправить самомоу некоторые ошибки из-за того что он предназаначен для линукса. Но, они таки могут быть исправлены, как и все ошибки, если ты будешь гуглить их. ГУГЛИ ОШИБКИ.
1.3. В эту виртуальную среду ты поставишь зависимости- сторонние куски кода, которые используют программисты чтобы не изобретать свои велосипеды для стандартных функций типа ресайзнуть картинку и вырезать по координатам. Они нужны для работы кода. познакомься - это установщик зависимостей pip. Pip list, pip install например numpy, pip uninstall tensorflow и потом pip install tensorflow==1.15.0 станут твоими друзьями.
1.4. Когда ты научишься запускать код pix2pix cycle gan и его просмотрщик, можешь начинать учиться запускать детектор yolo. Точнее тренировать. Ты, из скачанного массива возьмешь 500 картинок с колготам и разметишь его вручную на microsoft/VoTT, чтобы yolo смог обучиться на примерах искать твои колготы и голые ноги. Затем ты напишешь свой код с помощью инета, конечно, который нарежет тебе твои ноги - в одну папку голые, в другую колготы. И затем, ресайзнув свои ноги до нужного размера, ты зауснешь их в cyclegan и может быть, спустя несколько дней тренировки в игры нипаиграть он выдаст тебе результаты, от которых тебе уже не захочется дрочить, а только делать новые датасеты.
Ну вот когда ты сможешь делать весь список быстрее, чем читаешь этот текст, тогда у тебя начнет получаться результат, на который будет не стыдно пофапать.
image.png95 Кб, 935x707
290 1682447
>>682399
хуле горишь, деб. вот твоя функция
291 1682530
>>682444
Спасибо за такой развернутый ответ. Честно даже не ожилал здесь получить такую простыню.

>1. Определись с видеокартой.


С видюхой у меня хреново. На моей тачке gtx1050 ti, это совсем не годится?

>2. Определись- ты идешь учиться прогать или сделать колготы.


Думаю одно без другого невозможно. Как минимум мне потребуется прокачаться до уровня продвинутого нуба.

Алсо что значит сделать колготы? Думаешь нейронка сможет одеть голую тян в колготки? Боюсь результат будет уровня Сутулый Акела.
Так-то изначально я планировал парсить фап-контент из ВК.

>1.1. Тебе понадобится интерпретатор питона


А обычный голый питон чем плох?

Вообще главную проблему при запуске чужого кода вижу в том, что никто не пишет какие нужны зависимости.

>>682447

>хуле горишь, деб. вот твоя функция


В документации есть, а на практике ошибка. Вон даже какой-то хуй из Яндекса написал автору туториала:
https://github.com/keras-team/keras-io/issues/12
photo2020-05-0921-35-08.jpg60 Кб, 512x512
292 1682533
>>682530
Сутулый Акела отклеился
293 1682540
>>682530

>В документации есть, а на практике ошибка


pip install tf-nightly
294 1682555
>>682530

>С видюхой у меня хреново. На моей тачке gtx1050 ti, это совсем не годится?


Да. Слишком мало видеопамяти.

>А обычный голый питон чем плох?


Ничем. На самом деле если ты новичок, то не надо ставить анаконду. Она нужна для того, чтобы с была возможность иметь разные версии питона без заморочек.
295 1682581
>>682444

>Задача: научить сеть отвечать на вопрос: "Эта тян в колготках?"


>Выдумал какую-то генерацию ног в колготках и рассказывает ахуительные истории про pix2pix cycle gan, yolo


Что не так с этим тредом?
1469003336c51dimg4.jpg62 Кб, 952x607
296 1682601
А применяют ли нейросети для криптографии?
Есть отечественные ГОСТы на хешфункцию и непосредственно алгоритм шифрования. Ходят слухи, что в этих ГОСТах заложен бекдор. Возможно ли обучить нейросеть на поиск этого бекдора?
297 1682613
>>682581
а бля. я просто все уже вижу в своем сраном затуманненом зрении. Тогда чувак >>682530
ничего тебе не понадобится кроме части про yolo. Там не так много зависимостей. Ну или любой другой детектор. и видюхи тебе хватит твоей.
298 1682620
>>682613
Зачем ему yolo, если достаточно унылого классификатора. Достаточно mobilenet для keras взять
А старость туториалов решается установкой старой версии tf+keras
Просто если для такого требуются консультации, поциента придется за ручку тащить, нахуй надо
299 1682665
>>682601

>Возможно ли обучить нейросеть на поиск этого бекдора?


Скорее всего нет, слишком хороши современные хешфункции.

>А применяют ли нейросети для криптографии?


Гугли neural cryptography (выглядит там все довольно грустно)
300 1682920
Фетишист-кун опять на связи.
Обучил нейроночку по туториалу с котами и собаками. Точность вышла чуть более 80%
Думаю нужно больше данных для обучения.
301 1682973
Почему в задачах классификации мы просто берём класс с наибольшей вероятностью? Правильней же бросать монетку с соответствующими вероятностями и смотреть что выпадет.
302 1683137
>>682920
Добавь аугментаций
>>682973
По построению, модель имеет вид a(x) = sign(<x, w>). И почему правильнее будет бросать монетку?
303 1683157
>>683137

> модель имеет вид a(x) = sign(<x, w>)


Я про многомерную классификацию с логлоссом и софтмаксом на выходе

> почему правильнее будет бросать монетку?


Ну а как если это вероятности классов. Если у нас, к примеру, модель предсказывает в тысяче случаев вероятность класса 80% то это означает что из этой тысячи этого класса примерно 800, а не 1000, как мы будем предсказывать если будем просто всегда выбирать максимум по вероятности.
304 1683160
>>683157
Ты похоже вообще не понимаешь, что есть вероятность применительно к данным. Какая монетка, чё несешь-то
15621445076610.jpg41 Кб, 811x456
305 1683168
Не нашел где еще спрашивать. Есть задача, по набору параметров - определять фрод во входящем траффике. Один из параметров имейл, известно что у фрода в 95% случаев имейл выглядит так - g'_Nasdd2ANUSb"ydkPUNCTUMrAYfu Читал что есть какие-то цепи маркова, но нихуя не пробовал, т.к. не нашел инфы о практическом применении. Может есть какие-то либы для R или python которые на входе будут принимать вектор таких емейлов и выдавать вероятность того что это не бессвязные символы?
Пикрандом
306 1683177
>>683157

>Если у нас, к примеру, модель предсказывает в тысяче случаев вероятность класса 80% то это означает что из этой тысячи этого класса примерно 800, а не 1000


Не означает же. 80% это не реальное распределение объектов, а наша апостериорная оценка.
307 1683204
>>683168
Скорее всего, тебе предлагают какую-нибудь перплексию считать, но имхо, это хуета.
Попробуй просто разбить имейл на n-граммы и в логистическую регрессию запихнуть.
308 1683207
Спасибо, буду искать, читать.
309 1683208
>>683168
Я бы взял базу славянских фамилий и имен (ну и не славянских тоже, в идеале), перегнал бы их в латиницу и определил бы вхождение данных имен/фамилий в email (если входит - то некая группа 1; если входят такие как "John Doe", "Иван Иванов" и т.д. - некая группа 2а чуть более подозрительных; если вообще ничего нету подходящего - некая группа 2б чуть более подозрительных). Не уверен, что использование машинного обучения позволило бы получить более высокую эффективность в сравнении с этим методом, хотя это просто мое мнение.
310 1683218
>>683208
Словарный поиск - мне прямо после постановки задачи предложили это. Но жизня это жизня и человек который ставит задачу не смотрит в исходные задачи. Половина имейлов выглядит так konf+x0eta11ANUSb0BekPUNCTUMr*aLu
drnn%agon1960ANUSjPt!bbPUNCTUMr,yRu
Я придя сюда надеялся на более легкий выход, типа либа "vasha_taska_gotova_ser", но пока последую совету этого анона
>>683204
311 1683433
Аноны, можете посоветовать какой-нибудь курс по основам МЛ?
312 1683458
>>683433
открытый курс от ods
313 1683583
за правильный ответ нужно увеличивать вес?
314 1683619
>>683583
Зависит от функции потерь.
315 1683638
>>683160
Почитай что-нибудь из классической статистики и тервера, полезно.
>>683177

> 80% это не реальное распределение объектов, а наша апостериорная оценка


Ну у нас не абы какая модель а зафиченная под логлосс (а следовательно и под KL). Значит наше распределение должно быть близко к настоящему.
316 1683720
Хочу научиться понимать как работает нейросеть, но в школе забивал хуй на математику. Что читать, чтобы постепенно научиться?
317 1683767
Сап, хорош ли на данный момент вышкинский курс Е Соколова https://github.com/esokolov/ml-course-hse ?
318 1683860
>>681839
я апекс даже на колабе без проблем запускаю, а у него невозможно
319 1684337
>>683860
ну подскажи пожалуйста, я на винде pix2pixHd пытаюсь запустить. Он начинает выводить при заупске какой-то постоянно делящийся на два каждый шаг градиент, пока он там не поделит на ноль сам себя и не зависнет. Убунту аналогично. Вот теперь из за тебя пойду опять ебаться.
коммент из доков апекса-
-Windows support is experimental, and Linux is recommended. pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" . may work if you were able to build Pytorch from source on your system Как строить модуль самому? pip install -v --no-cache-dir . (without CUDA/C++ extensions) is more likely to work. If you installed Pytorch in a Conda environment, make sure to install Apex in that same environment. ага, щас посмотрю, может нужно conda install делать.
320 1684341
Графические модели устарели? Или и сейчас где-то эффективней чем блэк боксы?
321 1684393
>>682344
Блять, ты хоть понимаешь что для вката нужно для начала хотя бы на быдлооуровне освоить Питон? И основные для тебя либы (помимо keras): numpy, pandas, matplotlib?
Ты сходу хотел нажать клавишу и чтоб оно забурлило, закипело и высрало тебе отсортированный массив с фотками?
322 1684408
>>684393
Так у него в итоге все норм (разве что данных маловато), ты обосрался.
323 1684515
>>684393
хуйня в том, что не всегда нужно понимать чтобы просто повторить.
meme-cat2.jpg8 Кб, 278x278
324 1684572
Алоха аноны! В профильных тредах обсуждают поступление в вузы, а не его окончание.

Есть кто-то кто мог бы дать экспертизу по криптографии и информационной безопасности?

Горит диплом. Все прям плохо.

Сосед по общаге(учится на другом направлении) запилил какой-то по его мнению неебический machine learning проект, который который умеет воостанавливать двумерные функции по небольшой учебной дате.
Вопрос такой: могу ли я как-то заюзать его алгоритм, но найдя применение в криптографии? Строго говоря, есть какие-то реальные опции использовать машинное обучении где-то в криптографии?

П.с. Научник давно послал. Де факто у меня месяц, чтобы все в соло затащить
325 1684820
>>684572
Нет. Страдай.
326 1684826
327 1684835
>>684572

>реальные опции использовать машинное обучении где-то в криптографии?


Разработки ведутся (Neural cryptography) но там уровень теоритических статей. Врядли ты за месяц что-то конретное получишь.
328 1684838
>>684572
Подкидываю идею. Нейросеть определяет пользователя-злоумышленника на ранней стадии.
329 1685055
>>684572
использовать нейросети для крипты практически бесполезно, на крайняк можешь написать нейросеть, которая генерирует хорошие параметры для хэш функции.
330 1685056
>>685055
или генератора гаммы
331 1685227
>>684337
установи через докер с гитхаба апекс'а
332 1685679
Предсказываемая функция d == веса а перемножаются на аргумент b. Получаем матрицу 3 на 3. Но ведь истинная функция от b находится в виде вектора, а не матрицы. Как высчитывают ошибку между этой матрицей и вектором истинных значений, например методом наименьших квадратов?
333 1685796
>>685679
можно по-человечески, а то я не понял, что ты хочешь
334 1685877
>>685796
Ну я разобрался. Перемножение происходит как на первой картинке. Аргумент а один за каждый раз, но из трех частей. Теперь меня интересует другой вопрос: как расписать градиентный спуск для второй картинки.
335 1685955
>>685877
считать сумму градиентов трех функций?
336 1685960
337 1686002
>>685877
скачай любой учебник по линейной алгебре и прочитай. Очень сильно поможет. Я бы сказал, без этого ты сразу перестанешь понимать, почему это работает.
338 1686038
>>685227
на какой версии pytorch запускать?
339 1686163
>>686038
Что запускать? Внутри докера свой пайторч будет. Какой контейнер выбрать? - Не знаю, можешь просто попробовать последнюю. Можешь посмотреть, какую версию пайторча и апекса использовала твоя либа, чтобы точно всё работало как надо. У пайторча поменьше проблем с совместимостью разных версий, чем у тензорфлоу.
15801546481940.png6 Кб, 772x343
340 1686931
>>683767
помню как мы с ЖЕНЕЙ пили элитное вино и думали ехать ли в БАНЮ
яндексойды не поехали и никто не поехал
но зато много ходили кругами
все это я к чему -- курс реально ХОРОШИЙ
341 1686935
Ньюфаг вкатился.
Имеем:

>корочка топ вуза по спецухе примат (осталось защитить диплом)


>англ на уровне с1


>понимание матчасти (написал рабочий автоэнкодер с нуля)


>владение пистоном и опыт работы с керасом (возился с мнистом по фану)


Не имеем:

>любой опыт работы


>признаки моего кодинга в интернете


Что обязательно узнать/сделать, чтобы не уходить петушком с интервьюх? Или мне достаточно выложить написанное за эти годы в гит и меня расхватают?
r-FwDt9ugpM.jpg389 Кб, 810x1080
342 1686941
>>685877
ежели ф-ция оптимизируймая имеет ВЕКТОРНЫЙ домен значений значет более не пр/ма обычная теория оптимизаций
надлежит к рассмотрению МНОГООБРАЗИЕ парето-фронтовых оптимумов
учите ШАДчасть, орлы!
343 1686947
>>686935
что значит расхватают?
я бы тебя взял в свой стартап стажером, в процессе многое стало бы понятно
могу на основе своего опыта сказать, что новички весьма переоценивают, как ты говоришь, значение матчасти.
написал автоэнкодер - это какой же? вариационный, denoising, с каким-нибудь модным декодером, с модными норм потоками?
все это не то чтобы тебя зачмырить, а просто чтобы понимать.
в принципе описываемые тобою знания не очень сильно тебя выделяют, разве что на фоне совсем уж петушков
344 1686968
>>686947

>что значит расхватают?


Возьмут на начальную зарплату хотя бы 60-80к (после стажировки офк)

>я бы тебя взял в свой стартап стажером, в процессе многое стало бы понятно


Уже радуют подобные ответы.

>написал автоэнкодер - это какой же? вариационный, denoising, с каким-нибудь модным декодером, с модными норм потоками?


Обычный трехслойный, обучается при помощи дельта-правила. Сейчас юзаю его в дипломной работе как средство dimensionality reduction для векторов.
345 1686987
>>686935
На кагле поучаствуй в соревнования. Поймешь свой уровень.
346 1687212
>>686968
Понимаешь, в чем дело, в датасайенсе нет таких зарпплат. Возможно, зря, и, возможно, они еще появятся. Программистов еще можно нанять много, но дешевых и организовать их работу так, чтобы она приносила деньги, а с дата-сайентистами нельзя. Поэтому берут сразу на 300кк/наносек, но и ожидают немедленной пользы (или хотя бы ИНСАЙТОВ).
Поэтому я бы потыкался по стажировкам и сделал хоть что-нибудь слегка нестандартное. Не хочется тебя напрасно демотивировать (молодец, что разобрался), но обычный автоэнкодер для дата-сайентиста это все равно что оконное приложение уровня блокнот для современного программиста. Когда это было мощно и далеко не каждый мог такое реализовать, а сейчас любой школьник (студент, в твоем случае).
Отчаиваться, однако, не надо, базовую проверку ты прошел, теперь на этом фундаменте надо постараться развиться дальше до средне-рыночного уровня.
347 1687240
Сап, Машобач, давно нейронными сетями не занимался, сейчас вот понадобилось с помощью Кераса обучить нейронку, которая эмоции детектит, датасет нашел, все дела, выбрал GRU, однослойную сеть сделал, но вот в измерениях вообще не шарю, хоть убейте, выдает вот что

ValueError: Error when checking input: expected gru_4_input to have 3 dimensions, but got array with shape (23970, 15)

Уже второй час ебусь, просто все перегуглил уже, как блять нужно решейпнуть тренировочный сет, если у меня 23970 по 15 входных слов для решения задачи с помощью рекуррентки. Где мне batch_size указывать то? Вроде в fit указал, так надо еще и тренировочный сет перешейпить? Не понимаю зачем и почему...
348 1687261
>>687240
Ни разу не использовал керас, и никому не советую, но кажется, что одно из измерений это элемент в батче, второе это элемент последовательности, третье это измерение наблюдения. С точностью до перестановки
349 1687292
пацаны
что нужно уметь, чтобы вкатиться в компьютер вижн? а то я как бы уже и уник закончил только что, и просто кодером поработал, и все эти манякурсы прошел
Но я понятия не имею какой нужен уровень. Ну типа анону вот ответили, что рукописный энкодер не уровень. Ок, а что тогда уровень? У меня просто 3 года опыт работы прогером и идти на вакансию джуна с зп в пол булки хлеба не очень хочется, да и в целом хочу иметь нормальный уровень, чтобы не в адском усерье читать инфу, которую уже должен был знать при запросе на эту работу.
Короче не кидайте камнями плз, может кто знает идеи проектов для прокачки? чтобы не просто ебаная моделька в жупитире а прям проект с деплоем, инфроструктурой какой-никакй и, кончено же, уважемым CV
спасибо
350 1687302
>>687240

>у меня 23970 по 15 входных слов


Рекуррентная сеть ожидает вход размера batch_size x input_len x embedding_dim. То есть тебе нужно свои слова перевести в векторы фиксированной размерности.
352 1687474
>>687292
Сделай сегментацию с помощью U-net. Какое-нибудь блядское перекрашивание волос с помощью GAN'а (пусть будет всрато, главное что есть признаки работоспособности, и что ты все сам реализовал).
Если что, я из соседнего окопа, занимаюсь не CV
353 1687614
>>687474
типа как моб/десктоп приложуху?
354 1687624
>>687292

>Но я понятия не имею какой нужен уровень.


Тот, который потребуется дядьке, который будет платить тебе деньги.
В данный момент на коне в рашке кибергулаг, то есть нужно уметь с закрытыми глазами натренировать детектор лиц/тушек/автомобилей, привязать к этому поиск.
Промышленность - распознавание деталей, метрология и прочая поебистика.
Надо смотреть конкретных работодателей, мониторь вакансии и изучай то, что там требуется. Как только 2/3 будешь знать, можешь идти собеседоваться.
355 1687786
>>687292
А зачем тебе дс? Зарплаты ниже, чем у веб-макак или бэкенда, конкуренция выше.
356 1687833
Почему эпидеомологи и прочие статистики от науки гонят на дсов в связи с ковид?
Типа "нельзя просто так взять и работать с данными, вы неуполномочены, вы не владете Священным Знанием" или что?
357 1687887
>>687624

>на коне в рашке кибергулаг


Эх, скорей бы, надеюсь вся либирашья пидарастня окажется за решеткой.
358 1687914
>>687786
ну
1) комп вижн это не совсем дс
2) просто интересно, тк про образованию робототехник, а тут и матанчик и проганье
359 1688027
>>687914

>образованию робототехник


Хуясе, пади все курсы матаном ебли и квантовой физикой, лол
360 1688064
>>688027
нет, просто мне нравится область и я не хочу в веб или что то подобное проганье. А комп вижн тут как раз
Хули вообще доебался
361 1688070
>>688064
И какое отношение компвижен к робототехнике имеет?
362 1688076
>>688070
ты серьезно?
363 1688086
364 1688118
>>688027
Смотри, датамакака, отберёт ещё твоё место.
365 1688122
>>688076
да хорош тебе, ориентация на местности VSLAM, у промышленных роботов ставят сенсоры, которые обеспечивают визуальный канал обратной связи
Да много примеров, естественно GANы, например, не очень нужны. Тем не менее комп вижн нужен
boris[1].jpg62 Кб, 455x296
366 1688136
>>687914

> про образованию робототехник


Какого робота сделал для диплома?
367 1688146
>>687914
так бы я на собес пригласил (если бы занимался cv), ответ бы зависел от твоего знания большого О для поиска ключа в словаре и зачем нужен yield в питоне.
368 1688178
>>688146
ну это да, но как же без знания и классики, и алгоритмов, и ЯП, и матешки и диплернинга
Понятно что любая сфера, которой занимаешься серьзно это комплекс сфер и знаний.
Изначально вопрос был другой
369 1688204
>>688122

>комп вижн нужен


На том развитии как сейчас не нужен.
robonyasha-iskra-js.17.jpg474 Кб, 959x1000
370 1688206
>>688136
Они обычна типа пикрил делают
371 1688213
>>688204
а на каком же он развитии нужен? когда роботы блять будут как люди пиздохать по улицам, но, увы, без ебучей ргб вебки в глазу.
Вот тогда да, можно и научиться круги выделять на дороге
Ты либо шпака въебал либо я хз что у тебя в голове
372 1688216
>>688206
>>688136
ну если это не тролинг и норм вопрос, то никакого. На факультет был один промышленный манипулятор. Делал к нему систему управления
Внезапно роботы бывают не только мобильные
373 1688288
>>688178
Сделай самый базовый пет проект, но чтобы он хорошо был вылизан. Посмотри на artgor'а из ОДС, у него пет-проект - это сраный мнист в вебе, но потом удачно вкатился, а сейчас грандмастер.
374 1688329
>>688288
угу понял, дельный совет
посмотрю кто это
375 1688417
>>688213

>а на каком же он развитии нужен?


Хотя бы на уровне осы или пчелки.
376 1688423
>>688216

> На факультет был один промышленный манипулятор


Вы очереди им дрочили или завкафедры ревновал?
377 1688533
>>688423
ээээ, не понял
но вообще на него не было спросу особого тк в шараге на них всем похуй то было
378 1688534
>>688417
полный бред, я даже представить не могу что у тебя в голове возникает при слове "робот"
типа кроме как биологически подобных других не существует, да?
379 1688551
>>688534

>при слове "робот"


Мы же о кампутревижине, не?
380 1688553
>>688533

>тк в шараге на них всем похуй то было


И что ты умеешь после окончания шараги?
381 1688592
>>688553
у всех почему-то странный пункт на тему вышки
я после курса информатики и микропроцессорки пошел на работу на 3 курсе сразу на Си мк прогать
Помимо этого имею общие знания по проектированию железячному (понятно, что речь скорее о эрудиции, но я и не предентую на работу в этой трасли (хотя одногруппы пошли на конструкторов)), матеше, и, конечно же, РОБОТАХ.
Понятно что все не очень актуально и не сможешь ты сразу после уника мидлом/сеньером стать. Но основы норм, не понимаю чего так говнятся. Я еще и не в топовом вузе учился и все ок.
382 1688593
>>688551
блять ты вообще хлебушек какой-то
мы о КОМПУТЕРВИЖИНЕ в РОБОТОТЕХНИКЕ. Ты с этого начал, а теперь заднюю даешь
383 1688608
>>688593
Ебобо, уходи
>>688592

>странный пункт на тему вышки


Просто мы знаем что такое "вышка", лол
384 1688610
>>688122

>естественно GANы, например, не очень нужны


Ясно, доисторическое говнецо.
385 1688698
>>688592
Нахуя ты кормишь этих шизиков? Единственный адекватный ответ написал тебе я, но не, не хочу, хочу с шизиками обсуждать ненужность вышки и нейронок
386 1688799
>>688698
соглы, бес попутал. Понял: вылизанный пет-проект
387 1689050
Машинлёрнинг помогает спамерам?
388 1689174
>>689050
Нет.
389 1689184
>>689050

> Машинлёрнинг помогает спамерам?


Пока только им и помогает. Таргетированная реклама и прочее подобное говно.
390 1689271
>>688592

>Я еще и не в топовом вузе учился и все ок.


Очевидно, что твой заборостроительный это напрасная трата времени
391 1689272
>>689184

>Таргетированная реклама


Нейроговно даже в это нормально не может
392 1689426
>>689271
очевидно соси хуй
393 1689434
>>689272
пруфов не будет
394 1689571
>>689426

>очевидно соси хуй


С удовольствием!
qSd8n7kp618.jpg40 Кб, 512x764
395 1689700
Продублирую свой пост из другого треда, но это не суть важно.
>>687292
Чел, не слушай этого >>687786 он наверное сам машобщик или датасатанист и боится, что его потеснят молодые стремящиеся вкатывальщики с теплого насиженного места.
В вебе сейчас полный пиздец. Нужно учить, учить, учить, ещё раз учить. Нужно отрабатывать на работе, приходить домой, но дома вместо отдыха ещё учить новые фреймворки и языки. Хотел отдохнуть, посмотреть фильм раз в неделю? Хуй там, опять вышел модный фреймворк, придется учить каждый вечер всю неделю. Помню, хотел на одни курсы пойти, на которых в конце гарантированное трудоустройство в норм компанию, но там сразу сказали, мол, на всё время учёбы вы должны забыть вообще о личном времени, нет у вас личного времени, всё, вы должны круглосуточно учить и писать код, и отчитываться о проделанном 4 раза в неделю, иначе ничего не получите.
Если не будешь постоянно учить языки и фреймворки и тратить на это кучу времени, то в лучшем случае будешь в дноконторе веб-макакой работать, в худшем вообще выкинут.
А вот в областях, не связанных с вебом, таких как Machine Learning и Data Science, по-другому. Понятно, что придётся задрачивать с кодом матан, но отношение там получше, всё таки меньше конкуренции и больше перспектив для вкатывальщика.
У меня один друг туда пошёл, вроде норм всё более-менее (остальные пошли в веб и геймдев, в итоге жалуются теперь, что много требуют и работа как у тупой макаки). Если нравится задрачивать матан - добро пожаловать в дс и мл.
396 1689702
>>688592

>на Си мк прогать


Ебать вас развелось прогеров мк, тут на дваче чуть ли не каждый второй анон прогер микроконтроллеров. Байтаебов уже больше чем веб-макак, честное слово.
397 1689714
>>689700
че за 5 фреймворков в месяц вы учите постоянно?
398 1689822
>>689700

>Если не будешь постоянно учить языки и фреймворки


Это относится ко всему ИТ. Это же пузырь ебаный, все эти кампутеры не сделали никакой технологической революции. В 60х была попытка пидорнуть медиков, но лобби все порешало.
399 1689832
>>689822
Айти приносит большие бабки, значит экономический эффект от него есть.
Никто не стал бы платить пограмистам 300сек, если бы это не окупалось прибылью.
400 1689872
>>689832

>Айти приносит большие бабки


Наркотики еще больше
401 1689873
>>689832

>пограмистам 300сек,


Так никто им не платит, вернее 2.5 задротам платят
402 1689946
>>689872
наркотики не так вставляют как машоб
403 1690318
>>689873
Уже начиная с ждунов платят по 60к(в три раза больше медианной зарплаты в рахе), а через несколько лет они вырастают в тристасеков.
На других работах ты сможешь за несколько лет вырасти разве что из 20к в месяц до 50к в месяц.
404 1690321
>>665515 (OP)
Скажите, что легче, интереснее - машин лернинг или компьютер вижион?
405 1690324
А что такое "машина для машинлёрнинга"?
Типа 2 1080 ti, ssd и оперативки гигов 16?
Какой бюджет сейчас?
406 1690359
>>690321

>Типа 2 1080 ti


Самый ебанутый фетиш - ДВЕ карточки.
Хорошая видюха б/у с авито, проц амуде средней цены, 750 вт китайский бп, корпус дешевый, но проверить, что видюха туда влезает, оперативки лучше 32, ssd и hdd. Если есть лишние деньги - купить вторую такую же машину. Третья скорее всего уже не окупится.
407 1690439
А кто-то уже обучил свою машину для принятия бытовых решений у себя?
408 1690451
>>690359
ну типо на одной тренеш а на другой в игрули))
409 1690685
>>690451
подтверждаю, две карточки- хуйня. Лучше одну из топов, но это еще вопрос зачем. На много мелких задач, без компьютер вижена, может и пойдет две. Тока не забудь шлейф-удлиннитель взять, чтобы они друг друга не грели. Ну или если у тебя есть хороший план по экспериментам, то сможешь загрузить две карты работой. Как вариант, если они недорогие обе. Но на одной топовой ты почти наверняка сможешь сделать те же эксперименты в 1,5-2 раза быстрее чем на раздельных, даже если ты заморочишься и объединишь их мощности.
410 1690809
>>690685
>>690359
Т.е. лучше 2080 взять одну? Подскажите плз
411 1690926
>>690809
да, много меньше ебли. По крайней мере я знаю по компьютер вижену. Для дата саенс, чисто статистики и цифр- зависит от задачи, но точно не хуже, вопрос будет только в цене\эффективности на затраченные деньги.
412 1690945
>>690809
Лучше взять две пеки. На одной работаешь вторая на балконе круглые сутки пыхтит
wtf.png159 Кб, 1360x1056
413 1691389
Накидайте годной книги по PyTorch. Начал рандомную книгу читать, а там какой-то траленк.
414 1691501
>>691389
Накидайте годной книги по PyTorch.
Ты торч?
415 1691689
>>691501
Я пай.
416 1691757
>>691689
С кремом?
417 1691871
В SVM вместо весов нормаль к гиперплоскости?
418 1691939
>>691871
Лагранжианы. У всех векторов кроме опорных они равны нулю и т.о зануляется (и не участвует в вычислении решающего правила) все что не лежит на границах классов.
419 1692304
Есть ли вообще смысл ебаться с построение свёрточных сетей?
Или проще вщять денснет/реснет, хуяк-хуяк и в продакшн задача готова.
420 1692380
>>689700
уже два года все сидят на vue.js и реакте, что там учить-то. А теперь попробуй вкатиться в машин лернинг без знаний о последних модных модельках.
421 1692477
>>692304
плюсую, хороший вопрос
422 1692570
Че-т руки не доходят до новой версии тензорфлоу. Он сильно изменился? Керас тоже поменялся?
423 1692694
>>690926
>>690945
Т.е. для компьютер вижна и дата саенс нужна мощная пека и видюха?
На днищепека "два ядра два гига для учёбы" вкатится не выйдет?
424 1692724
>>692694

>компьютер вижна


нужна

>дата саенс


не нужна
425 1692733
>>692570
Керас стал считай что обязательным, дохуя чего поломали
426 1692749
>>692694
колаба и эпизодической аренды aws или gcloud для вкатывания хватит
427 1693095
Помогите плиз.
Не могу настроить VSCode для работы с ядрами помимо питоновских. Подскажите, что нужно сделать, что в VSCode (или другом редакторе) можно было запускать iJulia и Cling как в Jupyter lab, а то он заебал слабой функциональность.
428 1693268
Кто-нибудь сталкивался с тем, что pytorch очень долго качается? Скорость менее 20 кб. Я не хочу качать его целый день.
429 1693291
>>693268
У меня на питоне 3.7 так было, потом сделал окружение 3.6, он глючить перестал
430 1693417
Есть существенные пробелы в знаниях по матёхе, стат.значимость, регрессия. Как и где лучше всего их восполнить?инб4 в школе/универе Пробовал дохуя разных курсов, но все они рассчитаны на систематичное обучение, в своеобразном духе.
431 1693420
>>693291
потом отошла скорость, бывают залеты у них на хостинге.
432 1693428
>>693417

>но все они рассчитаны на систематичное обучение


А ты хочешь по верхам нахвататься, чтобы хрюш впечатлять?
433 1693461
>>693428
Нет, у меня есть конкретно список вопросов, отсутствие знаний и понимания которых тупо тормозят меня. Например:
1. Стат.значимость, каким способом проверки когда пользоваться
2. Какого хуя хи квадрат используется много где, что в нём такого особенного
3. Нахождение точки оптимум, есть ли какой-то трудный способ, кроме как с курса эконометрики
434 1693462
>>693461
трудный годный
435 1693999
>>666661
Разве что если будешь дотренивать сеточку используя transfer learning, я бы на твоем месте мувался бы на colab, если комп слабый.
Аноним 436 1694000
>>667216
Работаю с системами рекомендаций и пока как правило юзали уже рабочие архитектуры, иногда дописывали, но побольшей части лишь тюнили гипер-параметры.
437 1694178
А правильно я понимаю что с бустингом на деревьях можно заводить тонны всевозможных фичей, не оглядываясь на их корреляцию и общее количество?
ньюфажик
438 1694525
>>694178
По идее, с любой моделью большое кол-во хуевых фич будет способствовать переобученности модели
439 1694937
>>694178
+- да, если тебе нужен хоть какой-то бейзлайн и похуй на скорость/размер. Ну и желательно от ликов избавиться.
440 1695233
>>694525
>>694937
Ещё такой кубский вопрос, а какой обычно минимум ratio должен быть размер датасета/кол-во фич для бустинга?
441 1695475
В пустом 3-мерном пространстве только векторы базиса нелинейны между собой? При появлении в нем 4-ого небазисного вектора вся система превращается в линейную?
442 1695486
>>695475
Не "линейны"/"нелинейны" а линейно зависимы/линейно независимы

>В пустом 3-мерном пространстве только векторы базиса нелинейны между собой?


Нет, не только

>При появлении в нем 4-ого небазисного вектора вся система превращается в линейную?


Любые четыре вектора будут линейно зависимы
443 1695550
>>695486

> Любые четыре вектора будут линейно зависимы


Только если среди них есть три некомпланарных
444 1695593
>>695550
В трёхмерном любые четыре вектора зависимы. А то, что ты сказал - чушь: если среди них нет трёх некомпланарных, то вообще все 4 компланарны.
445 1695597
>>695550
Если среди них есть три компланарных значит там тем более есть линейная зависимость (т.е. их нетривиальная линейная комбинация равная нулю)
446 1695618
>>695593
>>695597
Бля, поцаны, реально хуйню сказал. Извиняюсь
447 1695630
>>695618
пизда тебе
448 1696850
>>695486

>Любые четыре вектора будут линейно зависимы


В пространстве 4х и более измерений тоже?
449 1697048
>>696850

>В пустом 3-мерном пространстве только векторы базиса нелинейны между собой?


>В пространстве 4х и более измерений тоже?


Чел, а ты контекст проебал.
450 1697292
В интернете много русских словарей stop_words для кириллицы. Но я чет не нашел русских словаей для латиницы. Слова типа: v, etot, nyet. Мне что их вручную переводить? Или кто-то может подсказать где искать?
image.png191 Кб, 668x423
451 1697312
я тупой, что за НК?
452 1697314
>>697312
блять, я тупой дважды, нейрокомпутер
453 1697389
>>697292
возьми какой-нибудь transliterate и прогони через него русский словарь
454 1697650
>>697312
Проиграл с этой кибернетики. Аж желтыми страничками запахло. Книга годов 80-х? Современней ничего не было?
455 1697747
>>697650

>современнее


типо основы поменялись с тех пор
456 1697748
>>697747
Типа отделить основы от ненужной хуиты дано не каждому и всему свое время. Книги о нейронках до 2015 года начинающим читать не нужно, там нет фокуса на то, что является основами сейчас
Untitled.png159 Кб, 1180x1044
457 1697763
Моя коллекция.
458 1697783
>>697763
Хуево не знать английский
459 1697903
>>697748

> Книги о нейронках до 2015 года начинающим читать не нужно, там нет фокуса на то, что является основами сейчас


Ты не тот шизик, который заявлял что читать нужно только пейперы за последние пару месяцев, более раннее неактуально? Основы там не менялись со времён Розенблатта. А потом зумера вкатывальщики прочитают какую-то новодельную херню и идут сюда спрашивать про сигмы.
460 1697945
>>697903
"Исторический подход" в изучении чего угодно может сработать, если у тебя дохуя времени, но только в теории, потому что на практике, пока ты будешь изучать весь накопленный человечеством багаж, ты состаришься и успеешь сделать свой вклад. Поэтому школьников не учат геометрии по началам Евклида, а программирование по бейсику для спектрума. Не потому что ОСНОВ в этих книгах нет, а потому что, помимо основ, фокус внимания не на том. То есть, написать пузырьковую сортировку на бейсике с goto может и можно, но крайне не эффективно с точки зрения существующих отработанных подходов. Читать книги 80-х по нейронкам (не говоря о более ранних временах) это еще большая тупость. Это для уже опытных людей, которые могут почерпнуть оттуда забытые экзотические идеи. Новичок же должен освоить мейнстрим, и освоить хорошо.
461 1698292
>>697945
Только ты не учитываешь деградацию в поле со времён "80-х не говоря о более ранних временах".
В средневековье читать античных классиков не зашквар так-то.
462 1698326
>>698292
А еще я не учитываю того, что земля плоская, что квантовую механику придумали жиды для объеба гоев, и теорию общественных формаций. Шизиков в мире дохуя, у каждого свой манямир. Когда я пишу про книги после 2015, я же не на шизиков ориентируюсь, а на адекватных новичков.
CNN-example-block-diagram.jpg33 Кб, 1024x340
463 1698441
Объясните тупому, пожалуйста, вот эту часть:
First up, we can see that the input images will be 28 x 28 pixel greyscale representations of digits. The first layer will consist of 32 channels of 5 x 5 convolutional filters + a ReLU activation, followed by 2 x 2 max pooling down-sampling with a stride of 2 (this gives a 14 x 14 output). In the next layer, we have the 14 x 14 output of layer 1 being scanned again with 64 channels of 5 x 5 convolutional filters and a final 2 x 2 max pooling (stride = 2) down-sampling to produce a 7 x 7 output of layer 2.
After the convolutional part of the network, there will be a flatten operation which creates 7 x 7 x 64 = 3164 nodes, an intermediate layer of 1000 fully connected nodes and a softmax operation over the 10 output nodes to produce class probabilities. These layers represent the output classifier.
https://adventuresinmachinelearning.com/convolutional-neural-networks-tutorial-in-pytorch/

Откуда после фильтрации черно-белого изображения 28х28 внезапно вылезают 32 канала?
464 1698479
>>698441
Свертка DL является не простой, а многоканальной, при чем может быть как много входных каналов (чб с 1, rgb с 3, 32 канала, 1024 канала), так и много выходных. Это обобщение простой одноканальной свертки, которая сводится к вычислению скалярного произведения со сдвигом.

Можно представить, у тебя между каждой областью 5х5х1 входного слоя и пикселем 1х1х32 следующего слоя есть персептрончик, с 5х5х1=25 нейронами на входе и 32 нейронами на выходе.
Если у тебя на входе 100 каналов, а на выходе 1000, это будет 5х5х100=2500 нейронов на входе и 1000 на выходе.

Или, по-другому, у слоя фильтр имеет размерность 1х5х5х32, где 1 - число входных фильтров, 32 - число выходных фильтров. Тебе нужно вычислить значение в пикселе с окрестнастью область_5х5. Тогда считаться будет так

for j = число выходных каналов
выходной_пиксель[j] = 0
for i = число входных каналов
выходной_пиксель[j] = выходной_пиксель[j] + фильтр[i, :, :, j]*область_5х5
end
end

Математически это одно и то же.
465 1698518
>>697945
Ну хуй знает, такой подход тож не оч есичесно. Ну смотри, представь себе абстрактного Андрюшку - такого непоседливого генератора идей с шилом в жопе. Надоело Андрюшке, скажем, ардуинки программировать или хуиту для андроида писать и захотел андрюшка в нейронные сети вкатиться. Есть два варианта эволюции Андрюшки как специалиста по нейронным сетям:
1. Вариант #1. Андрюшка сходу вкатывается в мейнстрим. Обмазывается Питоном. Идет качает с kaggle котиков vs собачек и пытается их различать с помощью сверточных сетей. Потом Льва Толстого через LSTM прогоняет. Может еще GAN какой сделает. Полгода-год он этим мается... а потом ВНЕЗАПНО заебало. Мол, мейнстрим и без меня нормально катится, нихуя тут нового не придумаю, кроме очередной оптимизации градиентного спуска, пойду лучше в цифровую обработку сигналов перекачусь.
2. Вариант #2. Андрюшка знать не знает, что там сейчас в мейнстриме. Приезжает он короч в село к бабушке, залезает там на чердак и находит старую, желтую дедовскую книгу "Основы Кибернетики" профессора Котикова В.М., издательство Мир, 1979-й год. И там же на чердаке садится ее читать. Раз в час, когда у Андрюшки затекают чресла, он спускается с чердака, носится по двору и генерирует идеи: "а что если взять эту хуйню и попробовать применить ее к той задаче", "а если взять ту хуйню и сделать ее эдак", "а если эдак через так и через эдак". И дальше на чердак читать. Одну книгу прочитал, вторую прочитал, третью забросил - она не интересная, четвертую прочитал. Закончилось лето, приехал Андрюшка обратно в город и полез в Интернет смотреть, что там у вас в мейнстриме. И видит Андрюшка, что в мейнстриме все дрочат три с половиной архитектуры (а о других архитектурах и не слышали) и выясняют, какую видяху лучше взять.
Ключевая разница между первым и вторым Андрюшкой в том, что во втором варианте Андрюшка вкатится в мейнстрим не очередной обезьяной, копирующей действия других обезьян, а человеком с идеями. Возможно через полгода, реализовывая свои чердачно-гаражные идеи, Андрюшка сам начнет задавать вектор развития мейнстрима.
Бля, я к чему веду, короч. Вот ты новичок, вкатываешься в мейнстрим. Тебе вообще поебать, сейчас вкатываться в мейнстрим или через полгода (или даже через год). Мейнстрим никуда не денется и в него будет одинаково легко/сложно вкатываться как сейчас, так и через год (а через год может еще какой фреймворк выкатят, который сделает вкатывание еще легче и видяхи подешевеют). Старичку, если он начнет целый год проебывать на чтение дедовской литературы, через год придется повторно вкатываться в мейнстрим. Новичок этой проблемой не обременен. Он может спокойно потратить этот год на изучение всего того, что напридумывали за 50 лет, чтобы когда весь мейнстрим упрется в нерешаемую проблему, Андрюшка мог такой мол, смотрите а тут эту проблему можно решить с помощью Машины Больцмана (или еще какой хуйни). Мейнстрим: с помощью чего? Андрюшка: ну Машины Больцмана же. Смотрите, берем так через эдак и через так и все решается. Мейнстрим: ааа... охуенно!
465 1698518
>>697945
Ну хуй знает, такой подход тож не оч есичесно. Ну смотри, представь себе абстрактного Андрюшку - такого непоседливого генератора идей с шилом в жопе. Надоело Андрюшке, скажем, ардуинки программировать или хуиту для андроида писать и захотел андрюшка в нейронные сети вкатиться. Есть два варианта эволюции Андрюшки как специалиста по нейронным сетям:
1. Вариант #1. Андрюшка сходу вкатывается в мейнстрим. Обмазывается Питоном. Идет качает с kaggle котиков vs собачек и пытается их различать с помощью сверточных сетей. Потом Льва Толстого через LSTM прогоняет. Может еще GAN какой сделает. Полгода-год он этим мается... а потом ВНЕЗАПНО заебало. Мол, мейнстрим и без меня нормально катится, нихуя тут нового не придумаю, кроме очередной оптимизации градиентного спуска, пойду лучше в цифровую обработку сигналов перекачусь.
2. Вариант #2. Андрюшка знать не знает, что там сейчас в мейнстриме. Приезжает он короч в село к бабушке, залезает там на чердак и находит старую, желтую дедовскую книгу "Основы Кибернетики" профессора Котикова В.М., издательство Мир, 1979-й год. И там же на чердаке садится ее читать. Раз в час, когда у Андрюшки затекают чресла, он спускается с чердака, носится по двору и генерирует идеи: "а что если взять эту хуйню и попробовать применить ее к той задаче", "а если взять ту хуйню и сделать ее эдак", "а если эдак через так и через эдак". И дальше на чердак читать. Одну книгу прочитал, вторую прочитал, третью забросил - она не интересная, четвертую прочитал. Закончилось лето, приехал Андрюшка обратно в город и полез в Интернет смотреть, что там у вас в мейнстриме. И видит Андрюшка, что в мейнстриме все дрочат три с половиной архитектуры (а о других архитектурах и не слышали) и выясняют, какую видяху лучше взять.
Ключевая разница между первым и вторым Андрюшкой в том, что во втором варианте Андрюшка вкатится в мейнстрим не очередной обезьяной, копирующей действия других обезьян, а человеком с идеями. Возможно через полгода, реализовывая свои чердачно-гаражные идеи, Андрюшка сам начнет задавать вектор развития мейнстрима.
Бля, я к чему веду, короч. Вот ты новичок, вкатываешься в мейнстрим. Тебе вообще поебать, сейчас вкатываться в мейнстрим или через полгода (или даже через год). Мейнстрим никуда не денется и в него будет одинаково легко/сложно вкатываться как сейчас, так и через год (а через год может еще какой фреймворк выкатят, который сделает вкатывание еще легче и видяхи подешевеют). Старичку, если он начнет целый год проебывать на чтение дедовской литературы, через год придется повторно вкатываться в мейнстрим. Новичок этой проблемой не обременен. Он может спокойно потратить этот год на изучение всего того, что напридумывали за 50 лет, чтобы когда весь мейнстрим упрется в нерешаемую проблему, Андрюшка мог такой мол, смотрите а тут эту проблему можно решить с помощью Машины Больцмана (или еще какой хуйни). Мейнстрим: с помощью чего? Андрюшка: ну Машины Больцмана же. Смотрите, берем так через эдак и через так и все решается. Мейнстрим: ааа... охуенно!
466 1698523
>>698518

> Машины Больцмана


Пиздец, а машина жопотраха Тьюринга у вас уже зашквар?
467 1698602
>>698518
Ключевая разница между двумя этими людьми, что первому легко показать, где он проебался, потому что он делает конкретные вещи. Делает LSTM, а она не работает. Пилит, задает вопросы. Делает GAN - не работает. В итоге этой он набивает шишки, получает опыт. За опытом приходят мысли, за мыслями - идеи, а потом и интерес к дидам, которых он уже читает через призму своего опыта, а значит ухватывает намного больше.
А второму показать, где он проебался, невозможно, ведь он не делает нихуя. Он создал себе манямирок, в котором верифицировать качество его знаний невозможно, потому что он ничем не занимается. Он даже не сдает экзамены, где кто-то бы проверил, как он понял материал, он просто хвалится прочитанным как лычками. Он не делает свои модели, обгоняющие существующие решения. Все, что делает - это мечты и треп на бордах, о том, как те, кто что-то делает, тупее него, и сей глубокомысленный вывод он сделал из разговоров на этих же самых бордах.

>Тебе вообще поебать, сейчас вкатываться в мейнстрим или через полгода (или даже через год).


Не поебать, потому что есть два варианта действий, либо пахать и упахиваться, либо прокрастинировать и рассказывать всем, какой ты гений. Есть люди действия, есть люди прокрастинации и пиздабольства.

>Старичку, если он начнет целый год проебывать на чтение дедовской литературы, через год придется повторно вкатываться в мейнстрим


То есть по-твоему опыт "старика" нихуя не стоит, поэтому он затратит на эту макулатуру столько же времени, сколько наш непризнанный гений, который в теме с нуля.
Вообще-то все наоборот. Со временем люди учатся лучше обобщать и находить более универсальные паттерны. Например, в столбик умножают пятиклассники, а с римскими цифрами в средневековье это было очень тяжело. Поэтому, несмотря на то, что у греков были доказательства многих вещей, читать их сейчас невозможно из-за крайней невыразительности языка. То же касается и дидовских книг.

>чтобы когда весь мейнстрим упрется в нерешаемую проблему, Андрюшка мог такой мол, смотрите а тут эту проблему можно решить с помощью Машины Больцмана


Вероятность этого примерна равна выигрышу в лотерею. При этом у андрюшки твоего будет один лотерейный билет, а у более опытных людей вокруг - тысячи. Потому что, конечно, не всякий человек будет читать всю ту муть, которую читал андрюшка, поэтому есть вариант, что он окажется в нужном времени в нужном месте. Но на практике он не реализуем.
Потому что одно дело доебываться до несчастного специалиста хуйней типа "а ты читал эту статью 1948 года? нет? ну ты и лох, а я читал! лох, вообще вас ничему не учат в вашем мейнстриме", а другое дело, вероятность того, что именно эта некростатья что-то порешает. На фоне того, что твой андрюха НЕ знает (а не знает он нихуя, потому что без самопроверки невозможно узнать качество своих знаний), это вообще нихуя не сработает.
467 1698602
>>698518
Ключевая разница между двумя этими людьми, что первому легко показать, где он проебался, потому что он делает конкретные вещи. Делает LSTM, а она не работает. Пилит, задает вопросы. Делает GAN - не работает. В итоге этой он набивает шишки, получает опыт. За опытом приходят мысли, за мыслями - идеи, а потом и интерес к дидам, которых он уже читает через призму своего опыта, а значит ухватывает намного больше.
А второму показать, где он проебался, невозможно, ведь он не делает нихуя. Он создал себе манямирок, в котором верифицировать качество его знаний невозможно, потому что он ничем не занимается. Он даже не сдает экзамены, где кто-то бы проверил, как он понял материал, он просто хвалится прочитанным как лычками. Он не делает свои модели, обгоняющие существующие решения. Все, что делает - это мечты и треп на бордах, о том, как те, кто что-то делает, тупее него, и сей глубокомысленный вывод он сделал из разговоров на этих же самых бордах.

>Тебе вообще поебать, сейчас вкатываться в мейнстрим или через полгода (или даже через год).


Не поебать, потому что есть два варианта действий, либо пахать и упахиваться, либо прокрастинировать и рассказывать всем, какой ты гений. Есть люди действия, есть люди прокрастинации и пиздабольства.

>Старичку, если он начнет целый год проебывать на чтение дедовской литературы, через год придется повторно вкатываться в мейнстрим


То есть по-твоему опыт "старика" нихуя не стоит, поэтому он затратит на эту макулатуру столько же времени, сколько наш непризнанный гений, который в теме с нуля.
Вообще-то все наоборот. Со временем люди учатся лучше обобщать и находить более универсальные паттерны. Например, в столбик умножают пятиклассники, а с римскими цифрами в средневековье это было очень тяжело. Поэтому, несмотря на то, что у греков были доказательства многих вещей, читать их сейчас невозможно из-за крайней невыразительности языка. То же касается и дидовских книг.

>чтобы когда весь мейнстрим упрется в нерешаемую проблему, Андрюшка мог такой мол, смотрите а тут эту проблему можно решить с помощью Машины Больцмана


Вероятность этого примерна равна выигрышу в лотерею. При этом у андрюшки твоего будет один лотерейный билет, а у более опытных людей вокруг - тысячи. Потому что, конечно, не всякий человек будет читать всю ту муть, которую читал андрюшка, поэтому есть вариант, что он окажется в нужном времени в нужном месте. Но на практике он не реализуем.
Потому что одно дело доебываться до несчастного специалиста хуйней типа "а ты читал эту статью 1948 года? нет? ну ты и лох, а я читал! лох, вообще вас ничему не учат в вашем мейнстриме", а другое дело, вероятность того, что именно эта некростатья что-то порешает. На фоне того, что твой андрюха НЕ знает (а не знает он нихуя, потому что без самопроверки невозможно узнать качество своих знаний), это вообще нихуя не сработает.
468 1698612
>>692304

>Есть ли вообще смысл ебаться с построение свёрточных сетей?


>Или проще вщять денснет/реснет, хуяк-хуяк и в продакшн задача готова.


Если данных много, бери реснет. Если нет, то делай сам что-то поменьше. При маленьком датасете и наличии хорошего железа можно вообще запустить автоподбор гиперпараметров.
469 1698619
>>698602

> Делает LSTM, а она не работает. Пилит, задает вопросы. Делает GAN - не работает. В итоге этой он набивает шишки, получает опыт. За опытом приходят мысли, за мыслями - идеи, а потом и интерес к дидам, которых он уже читает через призму своего опыта, а значит ухватывает намного больше.


Ага, сначала идти гомологическую алгебру учить, потом поняв, что нихуя не понял, идти курить школьные учебники. Ты примерно это предлагаешь. Исходя из этого треда, можно видеть, что все эти ежедневные зумера вкатывальщики вообще не понимают о чем речь даже на уровне того "что там за ошибку выдает керас про размерность входа" итд.
470 1698624
>>698619

>Ты примерно это предлагаешь.


В том посте я ничего не предлагаю. Это мне предложили выбор из двух вариантов.
А предлагаю я другое - читать учебники после 2015.
471 1698821
Добрый день. Есть задача - найти дороги на спутниковых снимках. Снимки таскаю с бинга, координаты дорог с OSM. Хочу, чтобы сетка прогнала все эти данные и обучилась. В нейросети никогда не лез и на питоне особо не писал. Какой фреймворк хорошо справится с этой задачей?
472 1699060
>>698602

>Ключевая разница между двумя этими людьми, что первому легко показать, где он проебался, потому что он делает конкретные вещи. Делает LSTM, а она не работает. Пилит, задает вопросы. Делает GAN - не работает. В итоге этой он набивает шишки, получает опыт. За опытом приходят мысли, за мыслями - идеи, а потом и интерес к дидам, которых он уже читает через призму своего опыта, а значит ухватывает намного больше.


IRL эт немношк не так работает. Андрюшка, который сразу с мейнстрима начала, пилит LSTM, а он не работает. Идет погуглить "куда нажать, чтобы заработало". Находит дохуя ссылок, "нажмите сюда", "скопируйте это отсюда туда", нажимает/копирует и все работает. Приобретает ценный опыт гугления и копирования кода с stackoverflow. Приходят мысли, как сделать то или это. Бежит сразу в гугл - томущо там уже 100 раз за него это сделали.
Ну а тот второй Андрюшка, который с дидов начал - ему приходится самому разбираться и действительно набивать шишки и получать опыт.

Го более наглядный пример, чтобы ты лучше мысль уловил. Стоит короч муравейник. Вокруг него муравьи бегают. В полуметре от муравейника с дерева упало подгнившее яблочко и лежит. Один из муравьев, рандомно шарясь, добежал до этого яблочка и побежал обратно к муравейнику, оставляя за собой дорожку ферментов. Потом еще один муравей нашел яблочко, побежал и увеличил количество ферментов на этой дорожке. Через какое-то время весь муравейник бегает за этим яблочком по протоптанной дорожке. С противоположной стороны муравейника, тоже в полуметре, кто-то уронил недоеденную банку варенья, которое клубничное и в десять раз пижже того подгнившего яблочка. Никто из муравьев не бежит к банке с вареньем - все бегают по ферментированной дорожке к яблочку. Пока кто-то из муравьев (не бегающий по ферментам, а читающий книги дидов с описанием других дорожек) не найдет эту банку и не натопчет новую дорожку. Через какое-то время весь муравейник бегает по новой дорожке хавоть клубничное варенье. А кто это новую дорожку натоптал? Тот, кто в мейнстриме бегал хавоть подгнившее яблочко? Не.
472 1699060
>>698602

>Ключевая разница между двумя этими людьми, что первому легко показать, где он проебался, потому что он делает конкретные вещи. Делает LSTM, а она не работает. Пилит, задает вопросы. Делает GAN - не работает. В итоге этой он набивает шишки, получает опыт. За опытом приходят мысли, за мыслями - идеи, а потом и интерес к дидам, которых он уже читает через призму своего опыта, а значит ухватывает намного больше.


IRL эт немношк не так работает. Андрюшка, который сразу с мейнстрима начала, пилит LSTM, а он не работает. Идет погуглить "куда нажать, чтобы заработало". Находит дохуя ссылок, "нажмите сюда", "скопируйте это отсюда туда", нажимает/копирует и все работает. Приобретает ценный опыт гугления и копирования кода с stackoverflow. Приходят мысли, как сделать то или это. Бежит сразу в гугл - томущо там уже 100 раз за него это сделали.
Ну а тот второй Андрюшка, который с дидов начал - ему приходится самому разбираться и действительно набивать шишки и получать опыт.

Го более наглядный пример, чтобы ты лучше мысль уловил. Стоит короч муравейник. Вокруг него муравьи бегают. В полуметре от муравейника с дерева упало подгнившее яблочко и лежит. Один из муравьев, рандомно шарясь, добежал до этого яблочка и побежал обратно к муравейнику, оставляя за собой дорожку ферментов. Потом еще один муравей нашел яблочко, побежал и увеличил количество ферментов на этой дорожке. Через какое-то время весь муравейник бегает за этим яблочком по протоптанной дорожке. С противоположной стороны муравейника, тоже в полуметре, кто-то уронил недоеденную банку варенья, которое клубничное и в десять раз пижже того подгнившего яблочка. Никто из муравьев не бежит к банке с вареньем - все бегают по ферментированной дорожке к яблочку. Пока кто-то из муравьев (не бегающий по ферментам, а читающий книги дидов с описанием других дорожек) не найдет эту банку и не натопчет новую дорожку. Через какое-то время весь муравейник бегает по новой дорожке хавоть клубничное варенье. А кто это новую дорожку натоптал? Тот, кто в мейнстриме бегал хавоть подгнившее яблочко? Не.
473 1699069
>>699060
Это гугл и пейсбук должны искать банки с вареньем для своих библиотек.
474 1699078
>>699069
Это тех, кто искать умеет, берут в гуглы и фейсбуки. Те же, кто искать не умеет, занимаются только оптимизацией существующих уже дорожек.
475 1699080
>>698821

>Какой фреймворк хорошо справится с этой задачей?


https://habr.com/ru/company/yandex/blog/431108/
476 1699174
>>699078
Это все круто, ещё бы муравью с вареньем деньгами платили, а не рыбной котлетой было бы совсем хорошо.
477 1699470
>>698479
Спасибо. Стало чуть яснее.
478 1699537
Посоветуйте хороших книженций по линалу, терверу, тензорам раз уж тут начался холивар за книги.
С меня как обычно нихуя
pia18335-1041.jpg121 Кб, 1041x828
479 1699694
Года три назад видел курс (вроде на курсере) по анализу астрономических данных на Python с использованием машоба, финальный проект был по поиску или квазаров или экзопланет - не помню уже - по массивам данных с телескопов. Кто-то знает что за курс? мб кто-то проходил и может кинуть ссылку?
Сейчас не получается найти, выдает только это:
https://www.coursera.org/learn/data-driven-astronomy
и это не он
480 1699982
У меня есть проблема с Pytorch'ем и FastRCNN'ом которую уже 4-ю неделю никто не в состоянии решить, а именно:

Есть 1 батч(пускай картинка) на входе и несколько минибатчей на выходах, для каждого минибатча находится лосс...
КАК ДЛЯ КАЖДОГО лосса найти градиент и обновить веса(обратное распространение для каждого лосса)?

Спасибо за внимание.
481 1700018
>>699982
Лосс - это и есть градиент, зачем тебе искать для него градиент?
Что ты обучаешь? Может быть нейросеть надо другой структуры просто, например - свёрточная.
482 1700099
>>700018
Спасибо за ответ, говоря про лосс я имел ввиду значение функции ошибки, обучаю целиком fastRCNN без предобучения cnn блока
15896926695862.png469 Кб, 535x604
483 1700112
>>698624

> А предлагаю я другое - читать учебники после 2015.


Вот тебе пример такого читателя >>699982 все смешалось в доме Облонских - батчи, лоссы, градиенты... В дидовских книгах хоть не умничали и все по делу поясняли, в ISLR первые страниц 300 про линейную регрессию, и SVM разбирается даже без функционалов и прочего вариационного исчисления.
484 1700123
>>700112
Ты тот шиз что уже 10-й тред тут существуешь? Зачем выше хуйню высрал лосс для него градент, иди книги читай
485 1700207
>>699982

>1 батч на входе и несколько минибатчей на выходах


Ты чё несёшь. Может, у тебя на входе картинка, а на выходе - несколько чисел?
486 1700210
>>700123
Но у того анона действительно каша в голове. Он не отличает задачу, её формализацию, метод решения и технические детали.
487 1700217
>>700018
Щито? Лосс-функция - это функция, которую надо минимизировать, найдя ее производную (градиент).
488 1700227
>>700207
>>700210
>>700018
Да я ошибся, с одной картинки два выхода, оба тензоры с числами, первый вероятности, второй координаты, сори
489 1700267
>>700227
В общем виде лосс у тебя может быть один, если у тебя 2 цели для оптимизации, тебе нужно сделать
alpha=0.5
loss=alpha*loss1+(1-alpha)loss2, где alpha - это новый гиперпараметр
Вот например кто-то это делает в этой строчке
https://github.com/jwyang/faster-rcnn.pytorch/blob/master/trainval_net.py#L322
Либо обучать по очереди, сначала одним оптимизатором, потом другим. Одновременно обучаться с разными целями это все равно что провести из точки вектор, смотрящий в две разные стороны, это нонсенс.
490 1700290
>>700112
У человека есть предыстория - интеллект, опыт, талант (Т). Есть время, затраченное на обучение (В). И есть, наконец, качество этого самого материала (К)
Получаем формулу успех=ТхКхВ, в первом приближении считаем талант не зависящим от времени (то есть реально там успех=Т(t)хК(t)хdt)

Далее ты делаешь следующий вывод, исходя из постов на дваче:
успех1>успех2
Т1хК1хВ1>Т2хК2хВ2 => K1>K2

Что, естественно, неправильно. Глубоко неправильно. Пиздец как неправильно. Очевидно же, что если >>699982 за 4 недели нихуя не понял в его вопросе, то он нихуя не поймет ни при каких обстоятельствах. Обучить нейронку для цифрового гулага по аналогии - это его максимум.

На деле же качество дидовских книг околонулевое, потому что технологическая база ушла вперед. Вот есть книги по ламповой схемотехнике - ОСНОВЫ те же самые, те же законы Ома и Киргофа. Но читать их - бред, потому что вокруг уже нет ламп, они громоздкие и неповоротливые, и изучать применения закона Ома через лампы - глупо. Акцент не на том.

>Ну а тот второй Андрюшка, который с дидов начал - ему приходится самому разбираться и действительно набивать шишки и получать опыт.


Не приходится, потому что у дидов нет задач и шишек. Он может думать, что он крут, но способа проверить это нет.

>Го более наглядный пример, чтобы ты лучше мысль уловил


Я уже уловил мысль, когда написал "Вероятность этого примерна равна выигрышу в лотерею. При этом у андрюшки твоего будет один лотерейный билет, а у более опытных людей вокруг - тысячи.". Пока один андрюшка ползает, другие муравьи получили права категории А и ездят вокруг муравейника на маленьких мотоциклах. Большинство тусуется у яблока, но кто-то раз в месяц ездит, куда глаза глядят. И, несмотря на то, что на скорости видно хуже, таких ездящих много, и видят они дохуя.
image.png11 Кб, 64x64
491 1700334
>>700267
СПАСИБО! Как я понимаю:
На входе картинка, на выходе 2 тензора: вероятности и координаты, в тензорах равное колво векторов и равно оно кол-ву отдельных выходов(равно кол-ву ROI координат)
1. Нахожу лоссы для каждого из таких векторов в тензорах, получились лоссы для вероятностей(лосс1) и для координат(лосс2)
2. К примеру беру среднее для лосс1 и лосс2
3. С помощью alpha масштабирую общий лосс(лосс = лосс1 + альфа*лосс2)
Да?
492 1700477
Есть какая-нибудь статья/учебник, где рассматривается вычисление backpropagation с примерами и пояснениями?
494 1700516
>>700334
Да, как вариант
495 1700842
>>700514
Спасибо.
496 1701783
Эх, а вот получилось бы так что кто-то для использования машобных либ захотел няшный лиспчик использовать, писали бы на языке илиты сейчас, заодно и в ит ревайвал бы произошёл. Нет не хочу, хочу датафреймы перекладывать и в tf хуйне ковыряться.
497 1702167
Так а напомните, существует в природе машобный фриланс кроме решения домашек заграничным студентам? Не считая просто удалёнку постоянную
15886641435810.jpg54 Кб, 520x807
498 1702200
499 1702367
>>702167
Дохуя, зайди на апворк и посмотри. Домашки просто хороши тем, что они посильны толковому начинающему, быстро набивают тебе рейтинг и избавляют тебя от тонн говна типа
- кабанчиков с охуенной идеей уровня "повтори этот стартап за $100"
- перекупов, с которыми не построишь длительные отношения и которые будут ныть о том, что 10 в час это дорого
А с рейтингом можно уже среди адекватов выбирать
500 1702598
>>702367
А какие вообще задания на фрилансе по машобу?
1415484197202.jpg30 Кб, 500x331
501 1702764
Перед перекатом расскажите, какие есть альтернативы указанным в шапке сайтам для тренировки?
Что касается Каггла: ныне он что-то ударился в большие датасеты, да обработку изображений, что требует бόльших вычислительных мощностей, что не всегда возможно.
Если говорить, про http://mltrainings.ru/ , то, во-первых, он редиректит на https://ods.ai/competitions - поменяйте в шапке, во-вторых, нативных соревнований там очень не много, а остальные - это ссылки на тот же Каггл, TianChi и прочие ресурсы.
В общем да, реквестирую ресурс где можно попрактиковаться в машобе бесплатно без смс и лишнего геморроя.
502 1703141
Да в пизду этот хреланс, вот удалёночку бы долларовую для датасатаниста ммм
503 1703280
>>703141
Берешь 1ое место в кагле - получаешь доллары.
504 1703296
Здарова зумерок вкатыш на связи
Сразу задам глупый вопрос и полезу обратно в питон тред
ти ваши нейронки можно обучить торговать криптой хотя бы в 0-10% профита в зависимости от сценария (состояния рыночка)
Я подозреваю, что больше нет, чем да
505 1703333
>>703296
нет
507 1703351
пааацаны сори за около оффтоп но надо разделить все значения в датафрейме на одно число в гугле какая-то ебань памагите
508 1703355
>>702764
бамммммммммммммп
509 1703642
Аноны, стратегический вопрос.
Если сотрудники компании, есть некоторая информация по тем операциям которые они совершают. Задача - поиск признаков коррупции в деятельности сотрудника. Примеров поведения коррупционеров нету, поэтому просто классифицировать каким-нибудь МЛ алгоритмом я не могу. Если все данные представить в виде двухмерной матрицы, где ось Х - сотрудник, а по Y данные о нем, получится таблица с парой тысяч строк и десятками тысяч столбцов (ну мб сотнями столбцов если напрячь анус, посовещаться с кучей людей и погруппировать и отбросить мусор).
Рассматривать отдельные транзакции и искать в них признаки фрода смысла нет, так как по отдельным транзакциям не так много информации и там совершенно невозможно понять хорошая эта транзакция или плохая.
Т.е. меня интересуют возможность вычленить кластеры сотрудников по паттернам их работы. Обучение с учителем отпадает из-за отсутствия колонки target в моих данных.
В каком направлении вы бы копали?
Мб есть какие-то интересные типы алгоритмов кластерного анализа, на которые стоит обратить внимание в этой ситуации (когда фич много, а данных мало)?
Или мб еще какие-то методы вычленить группы в данных? или извлечь больше информации из данных?

Соц.сетей (или нормальных идентификаторов человека, чтоб их добыть) сотрудников и их клиентов, чтоб напарсить друзей и проанализировать связи между сторонами сделок нету - как это вещают на всяких конференциях по антифроду, тупо транзакции
511 1708793
>>704038
Удклили?
image.png100 Кб, 774x761
512 1722206
Какие ошибки в архитектуре могут приводить к таким расхождениям в точностях?
513 1722936
>>722206
ты просто переобучился
Тред утонул или удален.
Это копия, сохраненная 1 октября 2020 года.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
« /pr/В начало тредаВеб-версияНастройки
/a//b//mu//s//vg/Все доски