Этого треда уже нет.
Это копия, сохраненная 5 марта 2020 года.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
НЕЙРОНОЧКИ И МАШОБ ТРЕД №20 /ai/ 1543969 В конец треда | Веб
Очередной тред про хипстерские технологии, которые не работают.

Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".
Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.
Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материала
В чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examples
Где набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/
Где работать? https://www.indeed.com/q-deep-learning-jobs.html
Где узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихся
Где посмотреть последние статьи? http://www.arxiv-sanity.com/
Где ещё можно поговорить про анализ данных? http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.

Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/

Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.

Предыдущий:
https://2ch.hk/pr/res/1515078.html (М)

Архивач:
http://arhivach.ng/thread/412868/
Остальные в предыдущих тредах

Там же можно найти треды 2016-2018 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
2 1544006
Сап, нейробото

Решил я сделать простую программку на питоне, которая детектит лицо и возвращает изображение с выделенным прямоугольником лица.

делаю при помощи https://github.com/opencv/opencv/tree/master/data/haarcascades

так вот, это говно фейлит на, казалось бы, очень простых фото (пикрелейтед)

на последнем пике нашло только 1 "лицо"
Как это вообще настраивать, чтобы хотя бы на рандом фотке из поиска это работало?

Код этого дела:

faceCascade = cv2.CascadeClassifier(cv2.data.haarcascades + "haarcascade_frontalface_default.xml")
faces = faceCascade.detectMultiScale(
gray,
scaleFactor=1.3,
minNeighbors=3,
minSize=(30, 30)
)

Возможно как-то параметры подкрутить и прочее хз

Разочаровался что-то, казалось бы, задачу уже хуй знает сколько лет изучают и обучили на тоннах материала, а оно фейлит на первых фотках из гугла
3 1544007
>>44006
нейробоги*

И да, пробовал разные модели и пока ничего.
4 1544012
>>44007
Кстати еще было бы круто, если кто что может посоветовать почитать, чтобы реализовать non-linear region для контура лица
а то из коробки эта штука возвращает мне только прямоугольник, а хотелось бы многоугольник более точный
5 1544019
>>44007
Ты некролибу используешь. Ищи по слову yolo, уже много реализаций есть.
6 1544020
>>44019
Спасибо, что гугл выдал из "стандарта" то и взял
153099803388.jpg108 Кб, 720x960
7 1544056
>>43969 (OP)
Анон, а как решать задачи на Kaggle?
Ну вот допустим, что Титаник и ещё пара базовых задач сделана, что дальше?
Участвовать в соревнованиях и закономерно обосраться из-за незнания кучи архитектур нейронных сетей? Смотреть уже решённые задачи? Всё вместе?
8 1544068
>>44056

> Анон, а как решать задачи на Kaggle?


Autokeras
9 1544096
>>44056
Табличные соревнования тащатся LightGBM
10 1544100
>>44096

> LightGBM


А что, xgboost уже не в моде?
11 1544135
>>44100
да, слишком медленный
linear.PNG218 Кб, 1920x1920
12 1544348
Что по линейной алгебре почитать?
13 1544429
>>44348
Найди какую-нибудь методичку по линалу любого вузика, там более чем достаточно материала чтобы понять машобчик.
14 1544450
>>44429
Понял.
1367504123272.jpg59 Кб, 400x600
15 1544453
16 1544519
>>44453
Что не так-то? Перемножение итд векторов и матриц, ну тензоров ещё - максимум что нужно себе представлять из линала чтобы понять нотацию. Даже какой-нибудь поворот матриц не нужен. Тут один клован писал что гамалогии нужны, на предложение привести пример слился, это не ты был?
17 1544703
>>44006

>задачу уже хуй знает сколько лет изучают


>каскады хаара


как там в двухтысячном?
Найди предобученную нейронку. Попробуй чекнуть dlib, мб это подойдет http://dlib.net/cnn_face_detector.py.html ?
18 1544845
>>44068
>>44096
То есть вместо того, чтобы самому разбираться и применять методики, вы предлагаете готовые решения?
Это толстота такая?
19 1544848
>>44845
С каких пор LightGBM готовое решение?
20 1544906
>>44845

> То есть вместо того, чтобы самому разбираться и применять методики, вы предлагаете готовые решения?


А ты сможешь сделать лучше, чем automl?
21 1544938
>>44348
Критерий нормального учебника - там должно быть SVD. В совковых учебниках этого как правило нет.
22 1544944
>>44519

>Что не так-то


Твоя совершенно уебанская поверхностность. Буквально вчера читал пейпер о прунинге, в котором из нейронки удаляли из линейно зависимые фильтры. Соответственно без знания всего линала на уровне ВУЗа, ты даже это предложение не поймешь, не то, что смысл подобных действий. А если знаешь, то можно пейпер даже не читать, идея-то уже описана.
Поворот так тем более нужен, потому что если ты не знаешь, что конкретно делает W*x в нейронке (линейное преобразование пространства, а поворот - частный случай, как и сверта), то шансов нормально работать у тебя минимум.
А так, если вместо пейперов читать только двачи, а зарплату получать мамкиным борщом - конечно нихуя не нужно.
23 1544948
Антоны, я видимо совсем дегенерат тупой, направьте на путь истинный.
Сеточка на тензорфлоу валилась и жаловалась на недостаток памяти, когда я на маленьком датасете указывал количество батчей 32.
Позже, я поставил 8 и все было норм, она даже обучилась.
Собственно, я довёл датасет до 10к пикч и оставив количество батчей таким же думал, что чем больше их укажу, тем больше памяти она будет жрать.
Когда я указывал 6 батчей на новом датасете, то нейронка выжирала всю память и не обучалась.
Поставил 32 батча и сейчас все норм и loss идёт примерно так, как он и должен быть.
Где про все это можно почитать?
24 1544951
>>44948
Если есть жалобы на память, запусти nvidia-smi и убедись, что где-то не висит недобитый инстанс какого-нибудь питона, потому что так бывает - вроде все прибил, а на видюхе все еще память занята. В этой ситуации killall python поможет
25 1544968
>>44056
Просто берешь и участвуешь, без задней мысли.
26 1544985
>>44944

> читал пейпер о прунинге, в котором из нейронки удаляли из линейно зависимые фильтры.


В крайнем случае непонятное можно непосредственно догуглить по ходу чтения, целиком вузовские курсы в себя пихать не обязательно.
27 1544987
>>43969 (OP)
Сколько поели говнопрочитали пейперов аноны ИТТ с утречка?
28 1544997
>>44987
Ни одного, я покакол, если хочешь можешь навернуть
29 1545013
>>44997

>хочешь можешь навернуть


Хочу, я же учу математику
30 1545181
>>44951
Да я на гугл колабе делаю.
А вот как количество батчей влияет на обучение?
31 1545420
>>45013

> Хочу, я же учу математику


Кому ты пиздишь, зумер без мозгов? Твой предел возможностей в математике - счёт древних шизов. Ноль, целковый, чекушка и как там дальше.
32 1545425
>>44985
Это что-то уровня "английский знать необязательно, ведь словарь есть". Догугливать ты можешь только если у тебя хоть какой-то фундамент есть, и когда ты понимаешь хотя бы 90% пейпера.
У меня инженерное образование и были хорошие курсы матана и линала, а вот с теорвером у меня провал, и я это каждый день чувствую, потому что, даже освоив базу, нужно несколько лет для интуитивного понимания.

>целиком вузовские курсы в себя пихать не обязательно.


Обязательно. И чем раньше ты это сделаешь, тем лучше. Тот же курс линала вполне реально осилить за месяц.
33 1545463
>>45420

>Кому ты пиздишь


Ну покажи нам, как математики жрут говно.
34 1545469
>>45420
Петух, плиз. Теория вероятностей и матстат это завершенные области математики, в которых нет ничего нового. Этот раздел нужен только говноедам-прикладникам, которые размазывают несвежую статистику по своим ебальникам.
35 1545476
>>45469
А туда ли ты зашел, петушок? Пиздуй в свой шизозагон в /math/
36 1545506
Ноль
Полушка
Чекушка
Пучок
Фричок
Гротендичок
37 1545536
>>45420
Твой матстат это тоже не математика. Сиди возле параши в /pr. Ах, тебя уже обоссали на вторую культуры.. какая жалость.. .
38 1545553
>>44948
Звучит так будто ты хранишь датасет в памяти или пытаешься запихнуть в нейронку картинки больше чем 512x512
39 1545625
>>45506

Хуй на воротничек
Дурачек
40 1545628
>>45625
Очередное быдло не знает русского языка
41 1545654
>>44906
Теоретически, да. К тому же в любом случае надо хотя бы как-то представлять как реiаются проблемы. Работодатель-то тебя будет брать, а не automl, и работодателю нужны твои компетенции.
>>44848
Насколько я понял, просто применяешь его к датасету, он сам там всё делает. Поправь, если не так.
>>44968
Поподробнее плёс. Вот я что-то знаю, чего-то не знаю. Как овладевать тем, что не знаю и как это применять? На сосаче особо не помогут.
norma.png254 Кб, 1442x1060
42 1545741
Норма вектора - это тупо квадрат гипотенузы?
43 1545743
>>45741
То есть, в смысле, не квадрат гипотенузы, а корень квадратный из суммы квадратов катетов.
44 1545748
>>45654

> просто применяешь его к датасету, он сам там всё делает


А как же фичи инжинирить? Гиперпараметры настраивать?
45 1545756
>>45743

>корень квадратный из суммы квадратов катетов.


Только математики смогли натянуть геометрию на... на что вы там ее натянули, на ИИ?
46 1545764
>>45756
Какая разница, кто кого натянул? Если применимо - почему бы не использовать? Тем более, у математиков есть аппарат, с помощью которого можно не изобретать колеса.
47 1545769
>>45764
Перестань кормить шизика
48 1545811
>>44703
Уже чекнул https://github.com/ageitgey/face_recognition
оно вроде на длиб основано тоже

>как там в двухтысячном?



соре, у меня проблемы с мотивацией
стараюсь мл потрогать через практические и полезные для меня подзадачи в моих проектах
49 1545917
>>45741
>>45743
Норма вектора - это его длина.
50 1546380
Ребзя, я правильно понимаю? Есть два способа вкатиться в машоб:
1. Прочитать книгу Яна Гудфэллоу.
2. Вмазаться Питоном и накачать библиотек.
51 1546430
Ещё можешь через нечеткую логику, гомологии и теоркат
52 1546562
Антоны, как определить, когда сетка переобучается?
10к итераций назад она выдавала хоть и хуевые, но более нормальные результаты, чем сейчас, это все, переобучилась?
53 1546729
>>46380
cs231n
54 1546733
>>46729
Сплошные индусы и китайцы.
Пиздец.
55 1546903
>>46729
Даун лол
еще бы курсеру скинул.
software-developer-and-programmer-vector-10673178.jpg106 Кб, 1000x1080
56 1547057
>>46733

> Сплошные индусы и китайцы.


Так лицо современного СЖВ-кринж-дайверсити айти.
- небелое сойбойское еблишко
- петушиная борода из барбишопа
- петушиный кукарек на голове
- петушиная клетчатая рубашка, как вариант - петушиная футболка с петушиным принтом (пакман, какой-нибудь петушиный айти юморок)
- петушиные лосины с подворотами, кедики, наушники, партаки
- петушиные очки
57 1547084
>>46733
И треть - тяны.
58 1547249
>>46562
Короче, сетка выдает хуевые результаты на тестовом сете.
Попробую ей еще 10к данных пригнать и посмотреть, увеличится ли точность.
59 1547549
>>47249
Хотя, можно будет попробовать и на другой сетке, хоть там код под Питон придётся перепиливать.
Кому-нибудь ещё известны хорошие модели под OCR?
Я таки не понимаю, чому нынешняя модель не обучается, может из-за того, что в датасете есть разброс данных, где у одного класса 6к примеров, а у нескольких других меньше сотни.
Таки попробую у каждого класса под 60% дотянуть, а то точность в 33% - это совсем отстой.
60 1547672
>>47549

>под 60%


под 2к примеров на класс*
61 1547751
Что почитать про логику?
62 1547880
>>47549
Я ведь писал тебе почему у тебя не получится, а ты не слушал
63 1548051
Нужно найти косинусную близость двух русских предложений. Что лучше использовать в качестве эмбеддингов предложений?
64 1548061
>>47751
Майн Кампф
65 1548062
>>48051

>косинусную близость двух русских предложений


Через пифагороштанишное распределение попробуй, ну еще можно получить катет и гипотенузу предложения, а от туда косинус наизичах найдешь
66 1548092
>>48051
StarSpace, конкретно sentence embedding оттуда. Вот насчёт русского текста не пробовал.
67 1548093
>>48062
Нахуй пшел, дегрод
14384349270480.png71 Кб, 241x300
68 1548095
69 1548167
>>48051
ELMO, USE, BERT
70 1548328
Сап аноны. Есть те кто успешно вкатился или уже долго работают в этой теме? Сам я закончил айти специальность по направлению программная инженерия, есть небольшой опыт программирования на С#. Надоело писать на нем, хотел бы обучиться чему-то новому и прибыльному, выбор пал именно на машинное обучение. Но есть загвоздки, во-первых в процессе обучения ничего не рассказывали на эту тему, во вторых не очень сильная математическая подготовка. На разных формулах очень часто встречал такое мнение, что без профильного мат. образования делать в этой профессии нечего. Знающие аноны, посоветуйте плиз, стоит ли начинать развиваться в этом напралении?
71 1548332
>>48328

>Знающие аноны, посоветуйте плиз, стоит ли начинать развиваться в этом напралении?


Поскольку это говно складно работает только в больном мозгу маняматиков, то да, матан тебе нужно подтянуть.
72 1548340
73 1548388
>>48332
Товарищ жопеншмульцер вы сегодня таблеточки не забыли выпить?
74 1548448
>>48051
ванхот вектор на н-граммах с лемматизацией, стеммингом и хешированием
ну или BERT
75 1548538
>>48328
Образование не при чем, нужно быть не тупым. А это сильно не для всех
76 1548654
Аноны, хочу начать играть в keggle, получить практический опыт. Не совсем понимаю как лучше начать, смотрю как другие ребята решали данную проблему, совсем не могу понять. Может кто подсказать гайд либо видео где ПОДРОБНО разбирается ходя бы один пример (гуглил уже, есть годная статья на хабре где написано как начать, но нет разбора ниодного разбора). Также в шапке нашёл ссылку http://mltrainings.ru/ но там тоже нет разобранных заданий. Если нет материалов по детальному разбору, посоветуйте пожалуйста что лучше изучить (если есть возможность поделитесь ссылками)
77 1548677
>>48654
Ты вообще ничего не понимаешь в машинке? Если что-то понимаешь попробуй надергать идеи из кернелов и подрезать мастера.
78 1548692
>>48677
В том-то и дело, мало что понимаю. Я немного изучил, думал на практике разбирая задания быстрее научусь, но что-то так не катит. Не мог бы посоветовать минимум, изучив который можно приступить к этим играм(из того что представлено в шапке не хватает)? И опять же, если есть видео или гайды с полным разбором, поделитесь пожалуйста
79 1548781
>>48692

>играм


Фигасе игры
80 1549094
Насколько адекватным является обновление весов нейронки только в случае уменьшения лосса на тестовой выборке?
81 1549135
Здаров пачаны, есть ли библиотека нейронок для Петухона в которой реализована нумерация связей между нейронами и возможность задать вес этой связи обратившись к ней по её номеру. Пробовал FANN2, но это говно перестали развивать да и нужной мне нумерации связей нема. Ваши предложения? Также оч нужен генетический алгоритм обучения.
82 1549137
>>46562
Сколько слоёв по сколько нейронов?
83 1549150
>>49094
Адекватно чему. Всё ведь зависит от задачи и требуемой точности. Если точность 100% то веса будут обновляться вплоть до полной сходимости. Но в таком случае высока вероятность переобученности.
84 1549164
>>49135
Хочешь связи генетическим алгоритмом настраивать? Смысла нет, никакого выигрыша не будет.
85 1549185
>>49164
Выигрыш будет, т.к. обратное распространение ошибки в моём случае не подходит. В датасете на входе не одно значение а последовательность. Т.е. пока вся последовательность не пройдёт через перцептрон результат на выходе не нужно сравнивать с требуемым в датасете.
86 1549232
Как по русски называется то, о чем речь в статье с вики
https://en.wikipedia.org/wiki/Data_assimilation
87 1549278
>>49232
Адаптивное моделирование?
88 1549319
>>49185

> В датасете на входе не одно значение а последовательность. Т.е. пока вся последовательность не пройдёт через перцептрон результат на выходе не нужно сравнивать с требуемым в датасете.


А ты не думал, что тебе нужен не перцептрон? Ну или как вариант, сам датасет переделать так что его можно будет перцептрону скормить. Все эти варианты в разы проще чем мутить то что ты собрался.
89 1549372
>>49278
Похоже, но вроде не то, спасибо
90 1549379
>>49232
>>49278
>>49372
Блин, надо было просто вбить прямой перевод Ассимиляция данных
91 1549561
>>49094
будет оверфит под тестовую выборку
92 1549681
Анголы, обучаюсь в магистратуре по специальности информационная безопасность, параллельно с этим изучаю нейронки. Хотел бы написать диссертацию, в которой бы переплетались и ИБ и нейронки, но что-то не могу придумать такую тему. Может у кого-то есть интересные идеи?
93 1549685
>>49681
Извлечение алгоритма из отполиморфенного кода
94 1549686
>>49681
Аноны*
95 1549694
>>49685
Имеешь ввиду сделать нейронки которая определяет полиморфный вирус по тем вирусам, которые на него похожи?
96 1549707
>>49681
Написать самообучающийся вирус.
97 1549735
>>49707
Посмотрел Кремниевую Долину?
98 1549736
>>49694
Сделать нейронку, которая из обфусцированного отполиморфленного кода выделает оригинальный алгоритм, который был обфусцирован
99 1549738
>>49736
Не совсем понимаю что значит отполиморфленный код(что такое обфусцированный понимаю).
100 1549739
Поясните за BERT. Все говорят - прорыв, а по виду - всё та же идея "заебеним побольше аттеншона, attention is all you need", только для предобучения взяли другую задачу (вместо объектов - последовательностей слов и таргетов - последовательностей слов у нас теперь объекты - пары последовательностей слов и таргет - бинарный, "связаны ли они логически", плюс нужно восстановить эти последовательности слов).
101 1549740
>>49738
Какой же ты ИБ, если про полиморфизм не знаешь?
https://ru.wikipedia.org/wiki/Компьютерный_вирус#Противодействие_обнаружению
102 1549741
>>49740
В контексте вируса знаю, но не совсем понимаю как это может относится к каким-то обычным приложениям. Имею ввиду как может приложение самоизменяться, и при это сохранять нормальную работоспособность. Возможно есть какие-либо примеры?
103 1549744
>>49741
Ну так тебе и предлагают вирусню восстанавливать.
104 1549749
>>49744
Все, разобрался, спасибо
105 1549778
>>49744

>вирусню


ИИ триппер
106 1550039
>>49741
>>49744
И вы почему-то считаете, что таким образом можно доказать что разный код делает одно и то же?
107 1550044
>>49739

>Все говорят - прорыв, а по виду - всё та же идея


Не прорыв, не прорыв, успокойся, ты у мамы самый умный
108 1550047
>>49739
>>50044
Всё-таки гуглоподелиЯ для НЛП это излишняя сложность на ровном месте. Пейсбуковские проекты хороши тем, что просто поставил и пользуешься по назначению, можно даже и не знать что там какие-то нейросети бесовские. А этот ваш берт чтобы просто запустить, уже нужно пердолиться в слесарьплов, керас итд.
109 1550052
>>43969 (OP)
Тред зовётся "нейроночки и машоб", а пикчи по Дата саенсу, это разве одно и то же, поясните?

Алсо, сложно сделать вкат в анализ данных? В ШАД пытался кто-нибудь поступить? Норм или потеря времени? Матан знаю, корочку имею
15744438343430.gif170 Кб, 326x281
110 1550058
>>50052
О, ежедневный зумер вкатывальщик! Куда ты вкатываться собрался, если не понимаешь, какая связь между датасаенсом и машобом?
111 1550061
>>50058
Так я и спрашиваю поэтому, мог бы и ответить.
112 1550071
>>50052
Нейронки кормят бигдатой.
113 1550073
>>50047
Потому что гугл - это тф, фейсбук - это торч. И тф превратился в черти что. Какой-то франкеншейн, в котором есть как минимум 3 основных способа сделать что-то (старое апи, керас, при чем можно делать import keras, а можно делать import tensorflow.keras и это разные вещи, вплоть до невосместимости, если ты установил через pip другой керас, а еще есть эстимейтор апи, который нужен для кластеров, а еще есть иигер экзекьюшен, который вообще не ебу нахуй нужен), при чем все это еще и депрекейтится быстрее, чем ты успеваешь закончить проект.
Например, я столкнулся с тем, что та поддержка TPU, которая есть 1.13, уже помечена как депрекейдед и выпилена, но в новых версиях нужные функции (а именно fit_generator) просто не имплементировали.
Впрочем, торч тоже поебень та еще, но для в основном это примерно как линукс вс мак.
114 1550225
>>49681
Анализ аномальной активности. Типа чел логинится откуда-нибудь из зимбабве или делает нетипичные действия, и надо автоматом выставлять красный флаг.
115 1550230
>>50073
Sad but true. Tf че-то в последних 1.х релизах совсем заговнякали. А перекатывать всю кодовую базу на tf2 это опупеть можно.
116 1550324
>>50230

>А перекатывать всю кодовую базу на tf2 это опупеть можно.


Для этого и нужны кодеры.
117 1550348
>>50052

> В ШАД пытался кто-нибудь поступить?


Да, учиться сложно
118 1550401
>>49739
Поясните за машобчик. Все говорят - прорыв, а по виду - всё та же идея "умножать, складывать, вычитать и делить".
119 1550411
>>50401
Ты просто тупой или троль, фишка в том, что если решать некоторые задачи для бизнеса с помощью машоба, то прибыль растет.
120 1550413
>>50411
Как и с бертом
121 1551244
Получается, BERT это лучшее, что есть сейчас для NLP?
122 1551318
Можно где-то почитать теорию по сетям в tensorflow, с формулами и прочим говном?
123 1551365
Поясните по хардкору за SVD. Для чего оно надо в машобе?
1615.jpg119 Кб, 2400x1350
124 1551413
>>51365
Это советская винтовка под патрон 7.62×54
Питросян.jpeg25 Кб, 450x600
125 1551423
>>51413
А это Питросян. Хз, под какой патрон.
126 1551432
>>51423
Ну смотри, ты задаёшь тупые вопросы уровня "я слишком ленив чтобы ввести мой вопрос в гугл и прочитать первую ссылку" и какого вида ответы ты ожидаешь?
127 1551440
>>51365
Для PCA, например.
128 1551510
>>51244
xlnet этим летом выкатили
129 1551516
>>51365
Понижение размерности.
130 1551517
>>51510
Да ёп, как эти сойбои-зумерки умудряются все эти пейперы читать?
131 1551519
>>51517
Работать не пробовал?
132 1551533
>>51510

> xlnet


Им тоже можно через колаб пользоваться?
133 1552097
>>51519
Уже работаю.
134 1553513
Ребят, скажите какую нибудь уважаемую, но не особо серьезную книгу по NLP, чтобы я мог в отчете для уника ее в референсах использовать, пока описываю базовые вещи и понятия во введении.
15754444707410.gif69 Кб, 284x264
135 1553536
>>53513
Зумера вкатывальщики как всегда. Ну если ты что-то пишешь про НЛП, что мешает загуглить NLP book и на первое в выдаче сослаться?
136 1553881
>>53513
https://github.com/yandexdataschool/nlp_course
Можешь от туда статей натырить
137 1554072
Ребята, вы тут как раз NLP обсуждаете...

Короче такой вопрос: имеет ли смысл вкатываться в NLP сейчас и насколько перспективна эта область? Я вообще полный ноль в дата саенсе, но знаю JS и Python (довольно поверхностно). Мне почему-то интересна именно область NLP. А еще распознавание изображений и компьютерное зрение, но там, наверно, еще больше матеши придется учить. Если вкатиться сейчас, то какие перспективы для трудоустройства будут через 2-3 года? Хотелось бы узнать про Россию, так как не сильно хочу уезжать куда-то. Допустим, как с NLP обстоят (будут обстоять?) дела у Яндекса или ABBYY?

Алсо сейчас глянул на либгене книги по NLP на Python: почти ВСЕ авторы книг в этой области - индусы (либо пакистанцы), как-то это странно и забавно.
138 1554109
>>54072
Если ты 0 в матеше, то лучше тебе от этих тем держаться подальше.
139 1554278
>>54072

>ABBYY


Им в основном нужны опытные программисты (и в первую очередь на плюсах), которые хотят ещё и машобом заниматься.
140 1554313
>>54072

>Я вообще полный ноль в дата саенсе, но знаю JS и Python (довольно поверхностно)


Для начала научись программировать на уровне миддла. Без этого ты все равно ничего не сможешь.
15581865712860.jpg41 Кб, 745x480
141 1554468
>>54313

> Для начала научись программировать на уровне миддла. Без этого ты все равно ничего не сможешь.


> import slesarplow as sp

142 1555273
Модель сделал, а она не работает. Как жить?
143 1555367
>>55273
Сосай
144 1555428
>>45741
Как книга называется?
1457458608a241b79501c12e14c17ab8900c985904.jpg66 Кб, 604x413
145 1555623
ну что же всем привет как вам зима без снега
в эфиопии тоже зима без сг=нега кстати именно туды мы все умные молодцы-ученцы поедем в следущем году и тогда уже будет весна
в этом году скоры какието злые и много хороших статей не взяли даже с приличнымсполичными оценками
расскажите будет ли в эфопии гашиш я всегда курю когда на конференции а потом краисво танцую спросите винода андрея сашу
обсуждайте
146 1555628
>>54072
индусы просто житят хотят поэтму пишут книги
мне предлагалои писать книги я отказался много мороки а денег мало я же н только рисом питаюсь
NLP сейчас на подеме там трансформеры хорошо работают скоро заработают ганы и файн тюнинг
напоминаю что это все сначала опробовали на картнгках и там это зажгло
теперь с отставанием дого(перего)НЯет в области текстуальных символьных дискретных данных
рекомендую базаню
191376800.jpg87 Кб, 800x436
147 1555630
>>50073
это правда тензорфлой пошел по другому плохому пути они наняли красавчика франсуа а он нехороший самовлюбленный тиран болван
файсбук хуже работают чем гугл но хороший торч сделали
хотя вроде он не все умеет что умеет тензорфлоу на самом деле
148 1555631
>>51365
свд это чуть ли не суть вообще всей прикладной математики если крепко задуматься
я однажды сдавал экзамен на вмике и злой професор меня отправил на пересдачу за то что я все ответил и не ответил про свд
он зло пошутил и сказал что я негодник а спустя много лет я понял что он прав
даже в квантовой химии нужно свд поэтому учи его будь годником (но не срочником)
149 1555637
>>55628

>и там это зажгло


Чего оно там зажгло, мань?
150 1555639
>>55631

>квантовой химии


Такое же теоретическое говно как и маняматика
151 1555644
>>55428
"Глубокое обучение", Ян Гудфеллоу.
152 1555646
>>55637
ганы в смысле перцептуальных функций потерь несомненно зажгли
файн тюнинг я оговорился имел в виду трансфер лернинг он тоже однозначно зажег
как пример статьи отчественного яндексоида артема бабенко про поиск с помощью сети имандж нет
153 1555662
>>55646

>яндексоида


>поиск


Уже смешно
154 1556640
СДЕЛАЛ КАСТОМНУЮ СЕТКУ ПОД ЗАДАЧУ
@
ОНА НЕ ОБУЧАЕТСЯ В ПРИНЦИПЕ, ВЕЗДЕ ОДИНАКОВЫЙ ОТВЕТ
@
ДОБАВИЛ ПОБОЛЬШЕ СЛОЁВ
@
РАБОТАЕТ


А я-то думал, что stack more layers - это сарказм.
its-magic-i-aint-gotta-explain-shit2.jpg81 Кб, 800x450
155 1556761
>>56640
Какой уж сарказм, это реальность современного машобчика. Ты не знаешь, почему не работало с меньшим количеством слоев, не знаешь, почему заработало с большим. Новые архитектуры разрабатывают с десяток жрецов, имена которых общеизвестны, все остальное соевое зумер-кринж комьюнити иногда может какие-то гиперпараметры настроить лучше аутокераса. Это финиш, все.
157 1556829
>>56826
Ты марксист что ли? ВОт взять говно. 1кг говна это говно, жд состав говна это почему-то тоже говно. Где переход?
images (21).jpeg17 Кб, 620x494
158 1556831
>>56826

>Гегель

picebb271ed9604bca02887ffc0d9dbbade.jpg71 Кб, 420x280
159 1556917
>>56761

>десяток жрецов


Они гранты пилят
160 1557215
Как изучить матешу с нуля и до такого уровня, чтобы осилить курс Ына на курсере?
161 1557252
Хочу написать бота для одной браузерки, нужно распознавать текст с картинки и сами простые картинки, типа рюкзак, молоток, удочка итд, размером 10x10 пикселей и выше. Писать буду на С++ под виндой msvc, возможен шланг. Есть готовые фреймворки для таких задач?
162 1557254
>>57252
caffe, pytorch c++
163 1557258
Нейраны, есть одна лаба, там нужно написать сетку для распознавания образов и гуи. Образы задаются в виде таблицы чёрно-белых квадратов, структура сети четко задана. На чем это проще всего написать? На шарпе? Я просто с нейронками имела дело только в R и питоне, там все проблемы решаются с помощью знаменитого stack more layers.
164 1557259
>>57258
Таблица будет 10х10 или 8х8 квадратов. Нужно еще обратное распространение сделать, но это уже детали
165 1557261
>>57258

>На чем это проще всего написать?


На питоне.
166 1557283
>>57261
а гуи?
167 1557284
>>57283

>а гуи?


Мне было бы удобнее на шарпе, но на питоне тоже можно.
168 1557295
>>56829

>жд состав говна это почему-то тоже говно.



это навоз и его можно продать теперь
169 1557420
>>43969 (OP)
Глицинки сосете?
170 1557674
>>57215
Бамп вопросу
171 1557684
>>57674
Любая математика освивается только решением задачек, желательно на доказательства теорем. Если ты обучаешься сам, то тебе повезло, потому что
1. Можно не так сильно дрючить внимание, перепутал плюс и минус и ответ не сошелся, нашел - исправил, двойку никто за это не поставит
2. Можно не так сильно ебать себя вещами типа 100500 видов интегрирования, потому что это из докомпьютерной эры
Но повезло только в этом. Если ты думаешь освоить математику, не решая задачи, иди нахуй.
172 1557780
>>57684

>докомпьютерной эры


Паняматика сама по себе докомпьютерная эра старых пердунов
173 1557794
>>57780
Это всего лишь язык для общения умных людей между собой. Ты к ним не относишься
174 1557796
>>57684

>Можно не так сильно ебать себя вещами типа 100500 видов интегрирования, потому что это из докомпьютерной эры


Градиентный спуск обратен интегрированию.
175 1557811
>>57684
Ок, но будут ли какие-то конкретные советы по книгам или курсам?

Вообще я думал неторопливо вкатиться через Савватеева и Куранта/Роббинса, но решил спросить про конкретно математику для ML.
176 1557832
>>57811

>Ок, но будут ли какие-то конкретные советы по книгам или курсам?


Мой совет конкретный, но ты его не понял. Ты перечисляешь лекторов с теорией. Математика - это практика. Это не "бля, я разучу 200 определений и начну решать задачи" и не Савватеев под пивас с его лживым "математика - это просто" для впаривания гуманитариям лекций. В любом вузе на 1 пару с лекцией будет несколько пар семинаров, на которых решают задачи, плюс домашка, где еще решают задачи. То есть на час теории у тебя часов пять практики. Естественно при таком соотношении времени можно найти себе книжку или лектора по душе. Магического лектора который даст тебе хотя бы 1.5х буст не существует.

Начни с задачника по аналитической геометрии, это самое приземленное и понятное для вката. Затем линал. Затем бери задачник по матану. Конкретные фамилии похуй, это задачник, там задачи. Можно изучать все одновременно, но меньше нескольких месяцев тратить - самообман.
Откуда ты при этом теорию будешь черпать - похуй, потому что разным людям понятно разное. После этого ты будешь знать достаточно математики для Ына и cs231n.
Не осваивая этого ты в принципе тоже осилишь и то, и другое, но пользы извлечешь заметно меньше.
177 1557858
>>57684
>>57832
Чтобы просто понимать, о чем примерно вещает условный Ын, такой уровень и близко не нужон. Как и вообще для понимания что примерно делает энный алгоритм машобчика. Примерное понимание происходящего - это максимум, что нужно зумеру вкатывальщику, все равно сам писать алгоритмы он не будет, но, понимая в общих чертах, чего он вообще делает, не будет он и совсем уж импорт-слесарьплов мартышкой.
>>57780
Да для тебя и счёт древних шизов уже высшие знания.
178 1558098
>>57832

>аналитической геометрии


Нахуй не нужно без связки с линалом, да и в связке не слишком.
179 1558150
>>58098
Без ангема линал будет просто набором каких-то буковок без какой-либо визуальной привязки
sage 180 1558168
>>58150
Визуальная привязка не нужна. Не говоря уже о том, что для пространств произвольной размерности её хер построишь.
181 1558223
>>58168

>Визуальная привязка не нужна


Визуальная привязка не просто нужна, заниматься математикой без активного использования визуальной системы мозга невозможно, у большинства терминов есть какой-либо трехмерный источник, например, выпуклая функция, овражная, градиентный спуск, момент (т.е. инерция, это вообще физика), и эти названия дают прямую интуицию о том, что происходит.

>Не говоря уже о том, что для пространств произвольной размерности её хер построишь.


n=2 и n=3 являются частными случаями произвольной размерности. Собственно, вот рандомная страница из гугла курса Ына, йоба, он объясняет линейную регрессию именно для случая n=2. SVM объясняется тоже для случая n=2, ну и так далее.
Новые алгоритмы именно обучения тоже первым делом тестируются на 2d датасетах, потому что там сразу видно, что происходит.
182 1558293
>>55623
Тоже туда поеду, если одобрят командировку.
183 1558305
>>57794

>умных людей


Причем здесь ум и матаноговно? Это стереотип вбиваемый тетясраками еще со школы, обычно маняматики рассеянные, замкнутые, токсичные, на хуй никому не нужные корзинки.
184 1558340
>>58305
Ум и матаноговно не при чем. Но если одному умному человеку нужно передать мысль другому умному человеку (в том числе и себе в будущем), ему нужен для этого язык. Русский язык для этого подходит плохо.

>рассеянные, замкнутые,


Черта любых интровертов

>токсичные,


Токсичнее тебя что ли?

>на хуй никому не нужные корзинки.


В рашке может быть, в мире спрос только растет
185 1558397
>>58340

>ему нужен для этого язык


Ты же не будешь отрицать, что математические записи это пиздец, пиздец, пиздец? Там такой легаси, от которого даже математики жидко сруться по этому поводу.
186 1558402
>>58397
Никто не заставляет тебя использовать конкретную нотацию, можешь хоть римскими цифрами писать.
Давай конкретно, что тебе не нравится.
188 1558437
>>58420
Я спрашивал, что тебе не нравится, а ты кидаешь какую-то пасту.
Там сквозь весь текст между строк написано "я аутист, помогите мне кто-нибудь". Любые языки для людей ambiguous и контекстно зависимы по своей природе, это не баг, а фича. Доебываться в этом плане до математики это все равно, что доебываться до английского языка, где он пишет "From Wikipedia Curvature as of 2008-02-22" - где здесь подлежащее и сказуемое? Нету их, ambiguous твою мать. Потому что это зависимость от контекста - это удобно. Неудобно тащить везде этот самый контекст и думать о нем.
189 1558439
>>58437

>Любые языки для людей ambiguous


Язык матана это аналог ЯП брейнфак
190 1558450
>>58439
Почему в /pr/ сидят такие как ты? Просто интересно.
15771951994850.png80 Кб, 360x270
191 1558454
>>58439
>>58397
>>58305
Ты мне напоминаешь СЖВ быдло, кукарекающее, что математика это инструмент белых расистов для угнетения негров https://www.google.com/amp/s/iz.ru/export/google/amp/930789
192 1558458
>>58454

> белых расистов


Жидов
193 1558462
>>58458
Ко всему прочему ещё и жидошизик. Как называется эта болезнь?
194 1558473
>>58462

>Как называется эта болезнь?


Здравомыслие
15758716899760.jpg251 Кб, 894x1280
195 1558480
>>58473

> кефирщик


> плоскоземельщик


> верун


> СЖВ клоун


> жидошизик


> Здравомыслие

196 1559288
Кто в тензорфлоу работал с ragged tensor, поясните, как они? А то я не понимаю даже, как его через placeholder подать, плюс есть подозрение, что хуёво поддерживается и сделано для галочки.
197 1559330
Ну как потомки, написали всемогущего чат бота на нейронных сетях?
Screenshot20191228-123753.png81 Кб, 720x1280
198 1559381
>>59330
Ато. https://lifehacker.ru/nejroset-porfirevich/amp/ нейросеть порфирьич, дописывает предложения всяким рандомом Машобчик, который мы заслужили.
199 1559388
>>59381
Это ведь даже не чат бот,
нахуй вы форсите это дерьмо?
200 1559470
>>59388

> Это ведь даже не чат бот,


Эту ебулду на gpt сделали, обучение на предложениях, часть которых маскируется, а затем предсказывается. Для обучения всякую классику брали, но если нужен именно чатбот, нужно несколько гигов логов чятиков, думаю, будет не сильно хуже рандомной ТП общаться.
201 1559585
>>59288
например используя метод from_value_rowids, создаешь плейсхолдеры одномерные и конструирушь новый с помощью этого метода
1575706823145795180.jpg148 Кб, 700x975
202 1559597
>>59330

>всемогущего чат бота


Единственный более менее это ИБМовский Ватсон, но там проприетарный франкейнштейн с хз что под капотом.
203 1559870
>>59585
А как с поддержкой всего этого? Можно на вход керасовскому слою передать? Пробовал с эмбеддинг-лейером - не сработало.
204 1560007
Кто-то использовал для оптимизации K-FAC? На практике хоть какой-то буст дает?
205 1560011
>>59870
В seq2seq используются тензоры с шейпом (BatchSize, MaxLenInBatch, X) и маски с шейпом (BatchSize, MaxLenInBatch), я не знаю где такие тензора используются.
206 1560070
>>60011
Тогда вообще непонятно, нахуя эти ragged tensors нужны, потому что самое очевидное их применение - работа с последовательностями.
207 1560102
>>60070
Обработка строк с помощью тензорфлоу, автоматом получать маски, вместо возни np.array и паддингом, просто можно и без них работать.
208 1560116
>>60102
Падажжи, то есть раггед тензоры нужны тупо для автоматической генерации полного тензора + маски? То есть мне предлагается тратить память и вычислительный ресурсы видяхи на то, что можно сделать на этапе предобработки?
209 1560128
>>60116
Не на видюхе, ты же не будешь паддить тексты по максимальной длине среди всего датасета.
210 1560210
астрологи объявили неделю горящих лаб

нужно запилить нейросеть, которая примерно определяет числовое значение некоторого параметра по фотографии. допустим, от 1 до 100. Во всех туториалах, которые я читал нейросеть определяла к какому классу относится объект.
Но в моем же случае нужно что-то другое? или делать 100 классов - это норм?
помогите, как это загуглить
211 1560241
>>60210
Я не зумерошизик, но ты хотя бы почитал чуть-чуть теории перед тем как вкатываться. Задачи классификации/регрессии, все дела.
212 1560258
>>60241
К сожалению вкатываться нет ни времени ни желания, уже работаю джава обезьяной. Но семестровую работу нужно сдать завтра на первой паре, чтобы не проебать отсрочку от армии.
Поэтому пытаюсь найти наиболее легкий способ ее запилить - читаю туториалы по этому вашему тензорфлоу. очень сложно, нихуя не понятно.

Может здесь кто нибудь снизойдет до помощи неучу-студентику?
Получается мне стоит копать в сторону "задач регрессии"?
213 1560310
>>60210
В последнем слое вместо сигмоида/софтмакса выдаешь либо линейный слой без активации, либо нормируешь датасет чтобы он был ну допустим -0.5 до 0.5 вместо от 1 до 100 и ставишь tanh, либо делаешь 100 классов и сводишь задачу к классификации.
Если лень думать, попробуй все 3 варианта и выбери тот, который работает лучше всего на валидационном множестве.
sage 214 1560331
>>60128
Но я могу паддить на этапе генерации батча. И почему "не на видяхе"? Они это делают на обычном проце?
Всё-таки это разочарование, я ожидал, что эта штука позволяет драгоценную память экономить.
215 1560334
>>60331
Память не особо драгоценная штука, ее локальность важнее, поэтому RNN сосет, а стейтлесс модели с аттеншеном - нет
sage 216 1560344
>>60334
Так у меня не так много этой памяти, вот в чём проблема.
15744438343430.gif170 Кб, 326x281
217 1560433
>>60210

> астрологи объявили неделю горящих лаб


Количество зумеров вкатывальщиков увеличивается вдвое.

> помогите, как это загуглить


https://en.m.wikipedia.org/wiki/Constant-weight_code Нужные параметры кодируются в виде "1-of-n" (в твоём случае 1 из 100). Т.е код в виде "1 из n" это выход, а вход это картинка, которая содержит соответствующий параметр. Просто пронумеровать нельзя, т.к алгоритму нужно продемонстрировать, что искомые параметры это разные вещи. Простой пример - волк, коза и капуста. Если пронумеровать их просто как 1 2 3 соответственно, то для нейроночки коза будет средним вариантом между волком и капустой, что не имеет физического смысла. Тут сработает только кодирование 1 из 3.
218 1560449
>>60334
в seq2seq все может упираться в CPU если колаб, к тому же если ты паддишь при генерации батча, то в этом случае как раз есть экономия по памяти
sage 219 1560493
>>60433
Мы не знаем, какой у него таргет. Может, у него не "волк, коза, капуста", а " резко негативно, негативно, нейтрально, позитивно, крайне позитивно", как в соцопросах. В таком случае порядковая шкала 1 2 3 4 5 имеет право на существование (или даже (0 0 0 0), (0 0 0 1), (0 0 1 1), (0 1 1 1), (1 1 1 1), если мы хотим учесть, что между ними разница бывает разной)
220 1560691
>>60334

>ее локальность важнее, поэтому RNN сосет, а стейтлесс модели с аттеншеном - нет


Поясни.
221 1560809
такая задумка посоны короче
взять малину 4б с 4гб памяти
ip камеру к ней затем идет
сильная нейронная магия и
она начинает распознавать лица
тех кто к ней подошел по базе лиц.
реально или бред?
forman.jpeg88 Кб, 454x600
222 1560810
>>60809

>4гб памяти


>сильная нейронная магия

223 1560840
>>60809
реально, но бред
не проще где-то на сервере обрабатывать?
224 1561034
>>60809
Тарищ майор, вы ебанутый? Про облачные вычисления не слышали?
225 1561686
>>44944
У меня за плечами мехмат и сколько-то лет опыта в дата саенс. Честно признаться, смысл действий из названия статьи понял сразу, но что конкретно делает W*x с точки зрения линейной алгебры и почему это важно не понял, можешь пояснить, что ты имел ввиду?
Я не работаю с комп. зрением, больше с НЛП (чаще всего ещё старыми методами, безо всех этих новомодных нейронок) и простыми табличными данными. Не могу вспомнить когда я последний раз перемножал матрицы в своём коде, думаю только в целях обучения на какой-нибудь курсере.
Ещё про алгебру: Даже на собесах математику мало спрашивают, если и спрашивают то матстат, тервер, алгоритмы вот они мне и в работе пару раз очень пригодились, методы оптимизации. Линал -- на собесах никогда не встречал и не слышал.
Также вопрос: какой практический смысл в чтении пейперов? Реализовал в своём рабочем проекте описанное улучшение? Я пейперы активно читал только когда писал диплом и готовился к паре презентаций, но для повседневной работы польза сомнительна. Если это удаление лин. зависимых фильтров рили работает на практике то очень скоро оно будет во всех фреймворках страны вот тогда можно будет и почитать, если документация будет недостаточно подробна, а если нет, то ради чего время тратить?

>>57796
А градиентный подъём тогда чему обратен в такой терминологии?

>>54313
Поддерживаю вот это, хз почему тут все топят исключительно за математику, это ведь только часть успеха. Сильное программирование на мой взгляд обязательно, также как и сильные софт скиллы. По моему опыту, самые херовые вещи на проектах происходят как раз тогда, когда баги оказываются в "пустяковой" части кода, в выгрузке, предобработке данных, в валидации моделей. Более того, ошибки в математике обычно легче прощаются (все же знают, какая эта математика сложная, ууу!), а вот ошибки, смысл которых способен понять даже ПМ с заказчиком могут привести к потере доверия и репутации.
В целом, я вообще поражаюсь, насколько медленно хорошие практики кодирования проникают в среду датасаенса. Линтер, гит, код ревью и автодеплой в мире датасаенса это какие-то высшие технологии!
225 1561686
>>44944
У меня за плечами мехмат и сколько-то лет опыта в дата саенс. Честно признаться, смысл действий из названия статьи понял сразу, но что конкретно делает W*x с точки зрения линейной алгебры и почему это важно не понял, можешь пояснить, что ты имел ввиду?
Я не работаю с комп. зрением, больше с НЛП (чаще всего ещё старыми методами, безо всех этих новомодных нейронок) и простыми табличными данными. Не могу вспомнить когда я последний раз перемножал матрицы в своём коде, думаю только в целях обучения на какой-нибудь курсере.
Ещё про алгебру: Даже на собесах математику мало спрашивают, если и спрашивают то матстат, тервер, алгоритмы вот они мне и в работе пару раз очень пригодились, методы оптимизации. Линал -- на собесах никогда не встречал и не слышал.
Также вопрос: какой практический смысл в чтении пейперов? Реализовал в своём рабочем проекте описанное улучшение? Я пейперы активно читал только когда писал диплом и готовился к паре презентаций, но для повседневной работы польза сомнительна. Если это удаление лин. зависимых фильтров рили работает на практике то очень скоро оно будет во всех фреймворках страны вот тогда можно будет и почитать, если документация будет недостаточно подробна, а если нет, то ради чего время тратить?

>>57796
А градиентный подъём тогда чему обратен в такой терминологии?

>>54313
Поддерживаю вот это, хз почему тут все топят исключительно за математику, это ведь только часть успеха. Сильное программирование на мой взгляд обязательно, также как и сильные софт скиллы. По моему опыту, самые херовые вещи на проектах происходят как раз тогда, когда баги оказываются в "пустяковой" части кода, в выгрузке, предобработке данных, в валидации моделей. Более того, ошибки в математике обычно легче прощаются (все же знают, какая эта математика сложная, ууу!), а вот ошибки, смысл которых способен понять даже ПМ с заказчиком могут привести к потере доверия и репутации.
В целом, я вообще поражаюсь, насколько медленно хорошие практики кодирования проникают в среду датасаенса. Линтер, гит, код ревью и автодеплой в мире датасаенса это какие-то высшие технологии!
226 1561844
>>61686

>В целом, я вообще поражаюсь, насколько медленно хорошие практики кодирования проникают в среду датасаенса. Линтер, гит, код ревью и автодеплой в мире датасаенса это какие-то высшие технологии!


Это от того что всем хочется налабать по быстрому эксперименты, а времени все переписать нет особо.
227 1561866
Зумерошизик, налетай.
https://2ch.hk/pr/res/1557307.html#1561731 (М)
228 1562033
>>61686

>НЛП


Алису няшишь?
229 1562041
>>61686

>а если нет, то ради чего время тратить?


Если тебе неинтересна эта область, иди кодировать на жабе, там тоже платят. Нахуя ты сюда пришел, зумер?
230 1562048
Эй, ML-щики, возьмите на работу, пожалуйста.
231 1562104
>>62048
Глицинку сосешь?
232 1562129
>>62104
Статьи курю.
233 1562136
>>58397
Очередной ебанат, который не осилил математическую нотацию, но суетится около математики и читает мнения умных людей о легаси в математике.
234 1562165
>>62136

>умных людей


>математики


Троль, плез
235 1562167
>>62165
Маляр, плиз
236 1562168
>>62167
Ты пианистов тоже умными людьми считаешь?
237 1562243
>>62168
Я считаю.
238 1562306
Так, расступитесь, хуесосы. Какой-то червь выше заявил, что язык математики это дремучее легаси. Спешу поссать ему в рот. Язык математики это самый плотный способ передать огромное количество информации. Зачем нужны слова? Они так заебали! Давайте разговаривать абстракциями!
239 1562323
>>61844
Ну хз. Во всех местах, где я работал, времени было предостаточно и даже больше. На мой взгляд дело скорее в отношении: "Мы же датасаентисты, а не какие-то там программисты!". Да чего я рассказываю, этот тред сам по себе очень показателен: тут многим дай волю, они бы переменные в коде греческими буквами называли.

>>62033
Нет.

>>62041
Таким как ты даже математика не поможет.
240 1562347
>>62323

> тут многим дай волю, они бы переменные в коде греческими буквами называли.


Как что-то плохое. В агде (хотя оно и не для датасатанизма) так и есть https://people.inf.elte.hu/divip/AgdaTutorial/Symbols.html и это норма - использовать общепринятую нотацию, которой может быть не одна сотня лет. Поэтому языки для обработки данных должны иметь такую возможность. В идеале ещё и полная поддержка latex/ams-tex с распознаванием рукописного ввода.
изображение.png823 Кб, 960x540
241 1562379
Сап аноны, какие порекомендуете книги для практического применения нейронок с кодом и прочее, эдакий разбор задач по машобу?
242 1562455
>>62306
Это вебмакаки бугуртитят от математики, так как в ней надо представлять, а не ебошить по списку действий.
243 1562478
>>62455

>надо представлять


Сябя сферой?
244 1562484
>>62306
пидоры, где спецификация этого языка, блядь, хочу ебашить пучки и топологии!!!!!!!
245 1562656
>>43969 (OP)
Аноны, дайте совет, сейчас изучаю питон и ML библиотеки, хочу начать учить sql. Возник вопрос, на какой СУБД лучше начать изучать? Какие чаще всего применяются в ML? И нужно ли на данном этапе учить NoSQL?
246 1562669
Какое соотношение количества фич к количество точек в датасете достаточно чтобы без опаски применять случайный лесок? бустинг? нейронки?
247 1562708
>>62656
Никакие. Матешу учи и статьи читай.
248 1562738
>>62708

>Матешу учи и статьи читай


Статьи из газеты Труд подойдут?
249 1562741
>>62738

> Статьи из газеты Труд подойдут?


Тебе что-то большее и не осилить.
250 1562746
>>62741

>Тебе что-то большее и не осилить


Главное, что результат будет одинаковым.
251 1562753
>>62746

> Главное, что результат будет одинаковым.


Для тебя - безусловно. Чтобы была разница в результатах, мозги нужны.
252 1562757
>>62753
Я глицинки сосу, этого достаточно.
253 1562986
>>62656
Какая разница? Базовый синтаксис запросов везде одинаковый, а большего тебе и не надо, ты ж их не администрировать собрался.
254 1563291
А существуют ли фрилансеры занимающиеся нейросетями? Или такие специалисты только бывают штатными при какой-либо организации научной или коммерческой?
Screenshot from 2020-01-02 20-37-33.png1 Кб, 79x58
255 1563344
>>62379
И Агда тут не исключение, есть ещё куча языков, которые поддерживают матанические символы и питон их тоже поддерживает кстати, если для именования переменных использовать
и добавляют +100 к крутости, когда на них пишешь. Вот только где нормальные, большие и крутые проекты, которые бы нормально работали, будучи написаны на подобном языке?
Да и не в греческих буквах дело, я ничего против них не имею, возможно просто выбрал не лучший пример. То, на что я хотел обратить внимание -- низкий уровень программирования у многих датасаентистов и хреновые процессы во многих ДС командах. Сейчас уже начала отпочковываться отдельная профессия -- Machine Learning Engineer, единодушного понимания кто это такой как обычно нету, но некоторые конторы понимают это как "датасаентист, умеющий прогать".

>>62669
В общем случае нельзя сказать, зависит от датасета. Пробуй всё, но делай хорошую валидацию.

>>62656
Если ты правда хочешь учить скл рекомендую sql-ex ru. Но по мне так >>62708 всё правильно сказал, забей хуй и на скл и на носкл, даже если тебе нужно будет из базы достать данные, там примитивнейшие запросы, как-нибудь уж сдюжишь на месте или спросишь у кого. Если тебя на собесе активно спрашивают по всяким группировкам и оконным функциям, уточняют про ТРИГГЕРЫ и всячески склоняют в сторону БД, то знай, с большой вероятностью это унылая вакансия скл пидора, на которую из последних сил пытаются заманить лохов навешивая модный шильдик Датасаентист.

>>63291
Можешь зайти на апворк и поискать спецов, это вроде доступно, даже если нету акка их там дохерища с разными рейтами, начиная от 10$ и до $100+.

Если в треде есть датасаентисты-фрилансеры, расскажите как часы клеймите: обучение модели, чтение статей и т.д. Бывает ли недопонимание со стороны клиентов?
256 1563366
>>63291
>>63344
У меня на работе к начальнику иногда подваливает халтура (по связям), которую делают в основном студенты. Насколько я понял для сдачи достаточно продемонстрировать работу и заболтать клиента. Я один раз участвовал в подобном проекте, работать со студентами не возможно (хотя это возможно был студент долбаеб).
257 1563374
>>63366
Студенты же разные бывают и реальные челы - 7 пядей во лбу и псевдоботаны, которые считаются типа хорошими - все посещают, не имеют проблем с поведением, делают уроки, но на реальном задании из настоящей жизни сосут буй.
258 1563390
>>63374
Этот в питоне делал статические классы как в джаве (Хотя там явно нужно делать просто класс), наебенил копипастом модули вместо классов, наделал утечек памяти, ловил Exception в цикле, долбился в CloudFlare при скрапинге сайтов, в различных версиях программы одни и те же столбцы назывались по разному.
259 1563395
>>63390
Студент в первый раз на грабли наступил. Ну, или не в первый, а второй раз. Студент по кличке ОП
260 1563408
>>63344

>с большой вероятностью это унылая вакансия скл пидора, на которую из последних сил пытаются заманить лохов навешивая модный шильдик Датасаентист.


Бэкэнд?
261 1563585
>>63390

>в питоне


>наделал утечек памяти


Но... чёрт возьми... как?
262 1563631
Мне надо в шарагу научную статью написать про нейронные сети, подскажите, где можно подсмотреть у американцев разработки по нейронным сетям и потом у них цап-царап! себе научную статью.
263 1563632
>>63631
З.Ы. Это я пошутил, цап-царап делать не обязательно.
264 1563649
>>63632

>цап-царап делать не обязательно


В этой стране все так делают, ты чего как маленький
265 1563651
>>63631
arxiv-sanity
266 1563653
Сейчас психотерапевты пишут огромное количество статей про отношения, разрывы и проблемы в отношениях. Берите и читайте - получайте мудрость из интернета, которую ваши деды десятилетиями познавали на своем опыте. Но вместо этого вы как инфантильные долбоебы наматываете сопли на кулак, а у вас в голове до сих пор радужные пони. Впрочем, по тому, что ОПшу испугали точки в общении, тут все понятно
267 1563654
>>63653
мимо треда
268 1563655
>>63654
да не так уж и мимо
269 1563827
>>63585
В bs4soup память может течь
270 1564269
>>63653
Намек понят. Нужно создать базу прецедентов из диалогов, которые привели к отношениям. Их исход не особо важен. И требуется разработать систему оценки благоприятности диалога и, возможно, помощника в ответах на уровне "пиши, что хочешь писку ебат" или "не напирай".
271 1564311
>>64269
Охуенная идея для проекта.
272 1564332
>>63653

>психотерапевты


>говноеды

273 1564362
>>64269
Тогда уж лучше сразу бота, который от твоего имени будет окучивать сразу много сельдей. Даёшь ему например 100-200 акков понравившихся, и вуаля, через неделю 20-30 уже готовы на поебушки, выбирай и действуй.
274 1564380
>>64269
Глупые вы люди. Диалоги. Нужна pix2pix GAN, которая из фоточки обсоса сделает фоточку чада
275 1564402
>>64380
Свидетель внешки? Внешка решает только с харизмой, тогда как харизма решает и без внешки. Если нейроночки могут в сентимент анализ, т.е в эмоциональное содержание текста, то смогут и в харизму, так же на примерах, при наличии датасета.
276 1564419
>>64402
В тиндере без фоточки тебя не лайкнут, а милф на мамбе сам трахай
15740463911470.png63 Кб, 390x470
278 1564432
>>64420

> 2020


> свидетель Протопопова

279 1564527
мб кто-то работал с распознованием графиков с картинки(python)?
что можно было бы такого использовать?
280 1564637
>>64362
Для тиндера и других подобных помоек уже дохера таких ботов есть, только там не нужны ни нейронки, ни мл вообще, бот просто пишет всем подряд: "приезжай ко мне сегодня вечером", тех кто сразу не отваливается добиваешь вручную и готово. При этом сомневаюсь что процент отказов можно существенно снизить без сильного ИИ, потому что если беседа развивается дальше 5-6 сообщения, то список тем, которые могут возникнуть просто огромен.

Ещё из интересного: я видел доклад про бота, который клянчит деньги в чатах, рассказывая всякие грустные истории. Принцип тот же самый, мл либо вообще отсутствует, либо в самой зачаточной форме, главное не качество отдельной беседы, а кол-во попыток. Результат по $$ был очень впечатляющий, любят люди деньги не пойми кому скидывать.

>>64402
Думаю что для разных девушек и для разных ситуаций сильно по-разному, но подумай вот о чём: внешку ты демонстрируешь всем девушкам, в поле зрения которых попадаешь, а харизму только тем, с кем непосредственно взаимодействуешь.

>>64419
Совсем без фоточки может и не лайкнут, но если поставишь фоточку с весьма средней внешкой, лайки будут точно. К тому же, чтобы вам там не говорили пикап коучи с ютуба, описание тоже читают и оно тоже решает.

>>64420
Занятное чтиво, спасибо.

>>64527
У меня был похожий проект, тут в первую очередь нужно использовать красноречие, чтобы убедить заказчика всё таки поискать исходные данные, по которым графики строились, точность такого подхода будет намного выше, чем дрочево с картинками.
Возможно конечно я что-то не так понимаю, и у тебя графики не заданного формата, а просто рандомные графики разных видов и типов, тогда бэд лак, такую херню ты не решишь нормально.
mygraph2.png8 Кб, 640x480
281 1564718
>>64637
Графики в принципе пока только column вида, как на картинке например
они на странице, могут быть разных размеров и количества колонок
Как подобраться к ним ещё более-менее понятно
а вот как доставать данные..
282 1564733
>>64637

>У меня был похожий проект, тут в первую очередь нужно использовать красноречие, чтобы убедить заказчика всё таки поискать исходные данные, по которым графики строились, точность такого подхода будет намного выше, чем дрочево с картинками.


Не понел, разве сложно самому данных нагенерировать и различных графиков по ним?
283 1564747
>>63344

>В общем случае нельзя сказать, зависит от датасета. Пробуй всё, но делай хорошую валидацию.


Ну хорошо, какой хотя бы порядок трейна нужен для бустингов на деревьях? Десятки тысяч примеров, сотни? Подходит ли бустенх для малых данных?
284 1564768
>>64747

С практической точки зрения:

10_000+ примеров -- точно подходит, сам использовал + есть много кагл сорев, где выигрывал хгбуст (а позже и лгбм) и размер данных был именно в этих пределах.

Меньше 10к -- может быть, но нужно очень аккуратно подбирать гиперпараметры, лучше попробовать более простые модели.

С теоретической точки зрения:
ГБТ это аддитивная модель над деревьями, если ты поставишь max_depth=1 и n_estimators=2 то (если я нигде не путаю) у тебя будет всего 2 сплита и 2 параметра (места этих сплитов). Полученная модель будет очень слабая и, соответственно крайне устойчивая к переобучению (при размерности пространства >=2, модель будет безопаснее обычной (лог) регрессии, у которой кол-во параметров кол-во фичей+биас)
285 1564835
>>64768
Я чё вообще бустинг-то взял: у меня катфичей много, если что-то более простое взять то после их раскукоживания данных тем более не хватит.

> 10_000+ примеров -- точно подходит


Ну и заебок, пойду доразмечу тогда. А несбалансированность (бинарная классификация у меня) для гбт проблема сильная?
286 1564867
>>64835

> у меня катфичей много


используй mean target encoding чтобы не раскукоживать, во всяких лгбм уже встроен давно

> 10000 примеров


хуя много насобирал

> А несбалансированность (бинарная классификация у меня) для гбт проблема сильная?


Можно вес для каждого класса указать чтобы потом под нужную метрику подстраиваться. Так что не проблема.
287 1564887
>>64835

>пойду доразмечу тогда


Не забудь построить кривую обучения, может не нужно столько примеров.
288 1564981
>>64835

>катфичей много


Смотря как раскукожить, про target encoding уже сказали.
Попробуй libffm, из бустингов лучше всего подойдёт catboost -- он с категориальными вообще норм работает.

>>64867

>во всяких лгбм уже встроен давно


там не mean target encoding, там другой категорикал сплит, в доках есть пояснение, т.е если сделаешь mean target enc дополнительно вручную, то есть потенциальный шанс увеличения скора
289 1565078
Есть одна таблица 40000 x 7000.
При использовании той или иной классификации, она выжирает всю память.
Можно это как-то оптимизировать?
Инб4 докупи памяти, урежь количество признаков.
290 1565223
>>65078
Это же пара гигабайт. Достаточно обучать классификатор с помощью SGD.
Было бы сто гигагабйт, пришлось бы юзать np.memmap
291 1565246
>>65078
Ты на телефоне тренируешь, что ли?
292 1565252
>>65246
Да, на кнопочном.
294 1565306
>>65305
Это примерно как один инвалид рассказывал как там Черные Дыры устроены. Очередной балабольще.
295 1565363
Будут ли профиты от знания всяких теорем тервера, теории меры и всякого такого, или достаточно уметь решать задачи про урны, находить матожидания и дисперсии?
296 1565366
>>65363
В общем, вопрос про то, достаточно ли для дс и мошонлернинга знать тервер только на уровне практики? И какие профиты знать более этого?
297 1565394
>>65366
Теорему Байеса надо знать для минимума.
https://www.youtube.com/watch?v=trHMLJpxG7o
298 1565404
>>65366
Поймешь как работает VAE. Я вот не понимаю, например
299 1565412
>>65394
Зачем ты это говнище смотришь? Тебе не жалко времени?
300 1565413
>>65404
Через пиховекторизацию
301 1565426
>>65412
Сказал хуй сидящий в самом бесполезном треде раздела
302 1565482
В датасаенсе вообще интереснее работать, чем просто прогером? Я вот на жабе пишу, бывает интересно, бывает не оч. Большую часть времени не оч конечно, но я просто в уебищной шараге работаю. Вообще мечтаю создавать огромные распределенные пайплайны по процессингу данных (типо Google cloud dataflow). И плюс поиском интересуюсь (information retrieval, вот это вот все). Скажите, это датасаинс? Это весело такие штуки создавать?
303 1565527
>>65306
Есть чем возразить, дебил?
JOKER WALLPAPER (1).jpg472 Кб, 1375x1600
304 1565557
>>65482

> Это весело такие штуки создавать?


Весело что-то или нет, только от тебя зависит. Если поймёшь, что твоя жизнь это комедия, а не трагедия, будет весело в любом случае.
305 1565577
Что делать, если в тренировочном наборе данных есть признаки, отсутствующие в тестовом, и в тестовом, есть признаки, отсутствующие в тренировочном?
Дропать и там, и там?
306 1565598
307 1565601
>>65598
Спасибо.
308 1565666
Реально ли вообще использовать ИНС в роботах (не считая облако)? Хотя бы на какой нибудь малине или lattepanda alpha?
309 1565675
>>65666
Да, например используя nvidia jetson или пременяя различные трюки сделать маленькую быструю нейронку из большой.
310 1565796
>>65305

> андрей курпатов


так это же почти фрик, который просто рубит бабло

>>65363

>теорем тервера


да

>теории меры и всякого такого


не
311 1565818
Не отстань меня!
В этом же, сударыня?
В этом же вам со всем теперь заговорить меня с шелкимую волочу, тебе посводится с конченом и учити
Ну, но, вот и не за чем же, как будто я к полуженсю совершь, то друг ему знает чусти братиц роди
А вы, не беспокоит!
Однако я к веле имение не понимают.
Не отутный, два цену сметла.
Не какой мой, так и манушка. Я пользом снех, а то странно пократить о видеми за себя вашего по
На котерож и ждуни комнать.
Что ты фаспериовать?
Вы когдани выпьем, потому вас положу. Не поклянаято ваша возятся проводит смотрю, что только и не ув
Напки умолите, чтоб он тебе подаствяю наких тонов, тогда не должат болет.
Что ты будел у нее взять? Странное и сострятья!
Ну, что ж ты себи знативое здесь? Когда вы так так обнимать можетс? Ну, да и тогла, чтоб она о денега
Приедаться ваши постраляться не может. Он меня объястить может.
312 1565828
>>65818
Порфирьевич, ты? ИИ которое мы заслужили.
313 1565993
Какие же косорукие дебичи тренировали этого порфирьеча. Или это код генерации сломан. Результат просто рандом, хуже марковской цепи по двум словам.
314 1566066
>>65993

>косорукие


Даже не косорукие соснут у русского языка
315 1566076
>>66066
Свидетель великаго и могучего, лол. Вся разница в том, что может быть нужен корпус текстов побольше.
316 1566082
По поводу великих и могучих. Вот у чукч вроде 10 или около того названий снега, в зависимости от его цвета и плотности. И ни один чукча эти сорта не спутает, для них это реально разные вещи. Понятно, что NLP модели на таком языке будут работать хуже, чем на любом другом, где "снег" это одно слово и одно понятие. Но было бы очень странно считать язык с десятком названий для снега более великим, чем с одним.
317 1566084
>>66076

>Вся разница в том, что может быть


Что может быть это не аналитическое недоязыковое говно типа инглиша?
318 1566085
>>66082

>с десятком названий


Так, а причем здесь язык в виде грамматики?
319 1566325
Функан будет полезно знать?
320 1566330
>>66325

>Функан


Типа пукан, но не оч мытый?
321 1566331
>>66330
Да, со вставленным туда вектором.
322 1566344
>>66325

> Функан будет полезно знать?


Из функана полезны понятия функционала и оператора, если есть желание осилить Вапника и вообще понимать статистическую теорию обучения.
323 1567118
>>66082
да, а ещё у чукч полисинтетический язык
и вот тебе десять "названий" снега: мокрыйснег, желтыйснег, грязныйснег, белыйснег, твердыйснег, падающийснег и тд
324 1567125
>>67118

>желтыйснег


Есть нельзя
325 1567167
>>43969 (OP)
А вот интересно, ведь на сколько я понимаю вся эта ваша матаностатистическая поебота теоретически может из больших набров вывести грамматику? Это же охуенчик, почему вы этим не занимаетесь?
326 1567181
>>67167
Недостаточно количества куда-ядер.
327 1567291
>>67167

> может из больших набров вывести грамматику?


Может. Есть побуквенные эмбеддинги, которые на больших наборах текста могут анализировать очень сложные связи слов на основе корней, приставок, суффиксов, окончаний итд. Вроде наиболее информативны в этом плане буквосочетания от 2 до 5 букв внутри слов.

> почему вы этим не занимаетесь?


Занимаются этим, попадались пейперы на такую тему.
tmb1006532076.jpg90 Кб, 1000x625
328 1567324
>>67291

>на основе корней, приставок, суффиксов, окончаний итд


Тоесть их нужно вручную забивать? Кекус

>попадались пейперы


Значит ничегошенки не зделоли
329 1567325
>>67324

> Тоесть их нужно вручную забивать? Кекус


Зумер, тебе ясно написали, эмбеддинг на уровне букв. Затем для анализа задаётся количество букв. Где я хоть что-то про ручное написал?
157770908012134651.jpg81 Кб, 400x266
330 1567328
>>67325

>на уровне букв


Вы там вобще ебанулись? Я конечно понимаю, что матанопетушня сует свой еврейский нос во все сферы пока по нему не счелкнут, но это уже слишком... Зачем вам вобще буквы, замените их порядковыми номерами в алфавите?
331 1567330
>>67325

>задаётся количество букв


А как по количеству определется морфема?
15772876173990.jpg17 Кб, 620x494
332 1567446
>>67328
Мань, вообще-то буквы цифрами и кодируются, ты настолько безграмотное село, что не в курсе про ASCII или там юникод? Хотя что ещё можно ожидать от жидошизика.
333 1567457
>>67330

> А как по количеству определется морфема?


Статистически, текста же много. Наилучший результат, если букв от 2 до 5, остальные варианты хуже.
334 1568029
>>66325
Метрические пространства полезно, наверное
335 1568043
>>67457

>текста же много


Ну и что, как статистичесаи можно вычленить морфемы?
>>67446
Но вот и работай с цифрами, приводи любую писменность к одной последовательности.
336 1568232
>>68029
Для чего пригодится?
337 1568309
>>68232
Будешь с другими маняматиками за кассой в Макхрюке обсуждать
338 1568471
>>43969 (OP)
Аноны, хелпаните плиз. Хочу диплом написать по маш.обучению+ИБ. Аноны посоветовали мне сделать сетку, которая из обфусцированного кода сможет выделить оригинальный. Возникла проблема, не могу найти ни датасеты в которых были бы примеры вирусов, ни книг либо курсов по написанию вирусов. Возможно кто-то сталкивался с подобной задачей? Можете накидать ссылок на датасеты и/или курсы по вирусам?
339 1568639
>>68471
МЛ+ИБ гиблая тема, сам по ней писал диплом, ничего хуже этого в мл нет, особенно с IDS, по которым сотни бесполезных статей. И вообще ИБ-шники смотрят на тех, кто хочет применить нейронки в иб как на городских сумасшедших.
340 1568833
>>68471

>Аноны посоветовали мне сделать сетку, которая из обфусцированного кода сможет выделить оригинальный


Я только в полглаза видел доклады, вроде чем-то похожим в Jet brains. У них канал вроде бы на тьюбе есть, посмотри там.
341 1568991
Может кто-нибудь слить эту книгу?
https://books.google.ru/books?id=M5RRDwAAQBAJ&lpg=PP1&hl=ru&pg=PP3#v=onepage&q&f=false
343 1569242
Поясните за функцию, которую оптимизируем в линейном SVM. Чёт не вдупляю, первая часть -- типо мы уменьшаем длину вектора, нормального к разделяющей гиперплоскости (это понял), и потом в большинстве источников написано "subject to yi(W x Xi + b) >= 1 for i from 1 to n". Что это за yi(...)? Выглядит как функция, но yi -- это же просто метка, к которой принадлежит очередной инстанс из выборки.
344 1569244
В минимаксе нужно оценить состояние игры, хочется использовать для этого нейронку. Как её обучить?
Просто семплировать траектории и скармливать сетке пары (состояние, итог игры)? Но тогда после обновления сетки агент станет другим и оценки станут неправильными.

tldr: как лучше обучить критика без актора?
345 1569251
>>69244
Обучение с подкреплением.
346 1569288
>>69242
Все верно классы +1 и -1, эти условия в случае линейной разделимости.
347 1569297
>>69288
То есть если всю выборку можно разделить гиперплоскостью -- задача состоит просто в нахождении двух самых ближних точек, принадлежащих разным классам? И 1/2 от расстояния между ними и будет самой оптимальной длиной перпендикуляра к разделяющей плоскости. Блин, вроде понял
348 1569301
>>69297
Да, и ещё вопрос:
Получается когда данные неразделимы, то тут начинается вся эта магия с "kernel trick" и мы переводим их в пространство большей размерности, в котором они становятся разделимыми и сводим задачу опять же к простой геометрической?

И кстати, что если классов несколько? Там типо строим всякие диаграмы Вороного?
abstract-background-white-soapy-foam-texture-shampoo-foam-w[...].jpg70 Кб, 626x417
349 1569332
>>69301
Ты как-то странно интерпретируешь кернел трик. Диаграмма Вороного это считай оптимальная граница между например сферически ориентированными множествами, имеющими центр, мыльная пена это 3д диаграмма Вороного ирл. Суть svm же в том, что учитываются только точки на границах, разделяющих классы, остальные просто обнуляются умножением на нулевые ланранжианы. Центры классов при этом так же не учитываются, даже если они есть. Ты не в ту сторону мыслишь, короче, это разные вещи.
350 1569335
>>69301
нет в случае неразделимости вводятся переменные, которые обыно обозначаются кси.
351 1569346
>>68639
>>68833
Хорошо, спасибо за ответы аноны
352 1569401
>>69297
Нет, не так. Задача - так провести прямую, чтобы сумма расстояний от неё до классов +1 и -1 была минимальной (расстояние между множествами - это минимальное расстояние между их элементами). Это не сводится к поиску минимального расстояния между парой точек из множества: например, если взять точки из класса +1 {(0, 0), (2, 0)}, а из класса -1 {(1, 1), (2, 1.2)}, то минимальное расстояние будет между точками (2, 0) и (2, 1.2), и серединный перпендикуляр - y - 0.6 = 0, но оптимальная разделяющая плоскость (с максимальным зазором между классами) будет y - 0.5 = 0.
>>69301

>Получается когда данные неразделимы, то тут начинается вся эта магия с "kernel trick" и мы переводим их в пространство большей размерности, в котором они становятся разделимыми и сводим задачу опять же к простой геометрической?


Да, kernel trick для этого и нужен. Второй инструмент добиться желаемого - >>69335: позволить некоторым точкам вылезать в зазор, но при этом накладывать штраф за нарушение. Обычно их просто вместе используют.

>что если классов несколько?


Боль. Обычно строят кучу классификаторов либо в стратегии one-vs-one (сравниваем каждые пару классов), либо one-vs-rest (класс против всех остальных классов) и пытаются агрегировать результаты классификации. Один из плюсов логистической регрессии по сравнению с SVM - за счёт нормальной вероятностной интерпретации она легко и естественно обобщается на многоклассовый случай (биномиальное распределение заменяется на мультиномиальное, сигмоида - на софтмакс, логлосс - на кросс-энтропию, да-да, ровно оттуда в нейронки они все и пришли).
353 1569447
>>48328

>пи фкн итт?

354 1570031
>>69401
Только вот kernel trick работает так же как линейный SVM, только в пространстве поражденном ядром (reproducing kernel hilbert space).
355 1570033
>>43969 (OP)
А Big Data это тоже в ваш тред?
356 1570046
>>69251

>пук


спасибо
357 1570051
Когда уже сделают нейросеть, которая юудет генерировать самые оптимальные sql запросы? А мы будем просто с ORM работать.
358 1570059
>>70051

> юудет генерировать самые оптимальные sql запросы


Там и без мошонлёрнинга оптимизация выдрочена.
359 1570076
>>70059
Но ORM глючат и наркоманят.
помогите помогите помогите 360 1570218
Учусь в вузе на 1 курсе, жутко хочу вкатиться в мл ресерч.
Проблема лишь в том, что на данном этапе у меня мало математики: всего лишь год матана и год линала, а потом один семестр теорвера и матстата. Как жить дальше?
За первый семестр я:
1. научился решать несложные пределы
2. еще раз потренировался в нахождении производных
3. научился раскладывать функции в ряды тейлора и маклорена
4. еще раз узнал про методы аналитической геометрии (афинных преобразований у нас не было)
5. научился немного в матрицы: складывать, умножать, находить обратную, решать простейшие матричные уравнения, метод гаусса, и все такое

Помимо этого пытался учить теоремы и доказательства.

Вопрос, каким образом я могу повысить свой уровень математической подготовки? Понятно, что если дела так пойдут дальше, то я вообще не смогу конкурировать на рынке ML с остальными вкатывальщиками.
Слышал, что в РФ есть какие-то крутые магистратуры, связанные с ML, только туда не поступить, так как все места заняты выходцами из мфти и вшэ, уровень развития которых намного опережает уровень развития выпускников других вузов.
361 1570243
>>70218

>Понятно, что если дела так пойдут дальше, то я вообще не смогу конкурировать на рынке ML с остальными вкатывальщиками.


В таком случае останется только самому замутить стартап с нейросетями и бигдатой.
362 1570246
>>70218
Матподготовка на самом деле нужна как раз для собеседований и как раз вот по перечисленным тобой темам. Из специфичного тебе надо для мл только некоторые вещи из статистики, ну и хорошо понимать как многомерные функции и оптимизация работают. После матфака один хрен ничего бы не помнил, а ты вон даже мотивированный и заинтересованный. Учи модели, пиши их, соревнуйся на каггле, там и поймешь какие знания недостаточны
363 1570248
Всем привет
Я-зумер. Буду вкатываться в вашу сферу с помощью платных (дада, я еблан) курсов Яндекса. Надеюсь, все получится
364 1570284
>>70218

>жутко хочу вкатиться в мл ресерч.


Но зачем? Потратишь десять лет на вкат, чтобы работать за зарплату кассира. Так себе перспективы.
365 1570287
>>70218
пиздуй в НМУ

>>70246
и как это поможет в ресерче?

>учи модели, пиши их, соревнуйся на каггле


заебись ресерчер будет
366 1570325
>>70248
В чем проблема с плантыми курсами/вузиком, если ты реально, что-то изучишь и найдешь работу 300кк в нс? Платное образование - это инвестиция
367 1570340
>>70287

>НМУ


Нормальный такой совет для начинающего ml
368 1570345
>>70325
вряд ли такое найду
мне бы найти работу джуном в Польше, ибо своя работа надоела
369 1570348
>>70325

>Платное образование - это инвестиция


А опыт кто даст? Без опыта работодателю ты не нужен.
370 1570409
>>70348
Иди на стажировку.
371 1570410
>>70409

>подразумевая, что их охуеть как много

372 1570481
>>70031
Ну да.
373 1570544
>>70031

> Только вот kernel trick работает так же как линейный SVM, только в пространстве поражденном ядром (reproducing kernel hilbert space).


>>70481

> Ну да.


А это точно? Я что имею в виду. Некоторые реализации svm, дающие возможность покопаться в потрохах алгоритма, позволяют такой финт ушами, как умножение датасета на кернел, а затем обработку этой хуйни линейным svm. Я специально пробовал, результат ровно тот же, если использовать нелинейную svm с тем же кернелом. Может быть "нелинейные" svm это просто враппер для удобства использования, а по факту там просто данные умножаются на кернел и обрабатываются линейной svm?
374 1570545
>>70544
Так можно делать, все дело в затратах памяти, алгоритмической сложности и нужны ли опорные вектора.
375 1570798
>>70340
а как ещё вкатываться в ресерч без фундаментальной математики? предлагаешь ему всю жизнь гиперпараметры перебирать и графики строить?
376 1570833
>>70798

>а как ещё вкатываться в ресерч без фундаментальной математики?


Судя по тому, что он написал, учится он в техническом вузе, какое НМУ инженерам или прогерам? Что там объясняют понимают лишь единицы, и почти в 99% случаев это люди, которые учатся на мехмате или матфаке и хотят заниматься фундаментальной матешей. А ресерч в мл это совсем другая область.

покормил
377 1570934
>>70833

>фундаментальной матешей


Риали этим говнищем еще кто то и хочет заниматься? Ох лол
378 1570939
>>70934

>Риали этим говнищем еще кто то и хочет заниматься?


Ну вот в НМУ можешь зайти, там полно таких. Ну и среди школьников сейчас распространено мнение, что математика, а особенно фундаментальная, это круто и вообще математики самые уважаемые в мире люди.
379 1570947
>>70218

> научился решать несложные пределы


Нужно для понимания производных

>еще раз потренировался в нахождении производных


Основа градиентного спуска вообще

>научился раскладывать функции в ряды тейлора и маклорена


Линеаризация - куда без нее

>еще раз узнал про методы аналитической геометрии (афинных преобразований у нас не было)


Нужна для понимания линала

>научился немного в матрицы: складывать, умножать, находить обратную, решать простейшие матричные уравнения, метод гаусса, и все такое


Все что нужно для понимания LU и SVD

Для первокурсника у тебя нормальная подготовка. В ML основная задача не в математике, а ее интерпретации.

Типа вот есть математический маятник, есть диффур, его описывающий. Есть типичная преподша, закончившая мехмат, которая вызубрила, как решается такой диффур, но совершенно не понимает, как это относится к реальным физическим процессам. Таких людей дохуя. У них есть дипломы, они зарабатывают знаниями на жизнь. Но при этом совершенно не умеют интерпретировать свои результаты. Для этого есть другие люди - физики. И с ML примерно такая же ситуация. Там нет особо сложной математики. Вся сложность там в интерпретации.

Поэтому, отвечая на твой вопрос, читай arxiv-sanity и выписывай темы, которые не знаешь, затем прорабатывай. Перед этим почитай книги по DL, cs231n, популярные презентации ЛеКуна посмотри.

>Понятно, что если дела так пойдут дальше, то я вообще не смогу конкурировать на рынке ML с остальными вкатывальщиками.


Ну это ты им льстишь. Впрочем, так думать полезно

>Слышал, что в РФ есть какие-то крутые магистратуры, связанные с ML, только туда не поступить, так как все места заняты выходцами из мфти и вшэ, уровень развития которых намного опережает уровень развития выпускников других вузов.


Эти люди даже в мухосранском заборостроительном будут лучше тебя. Вузики дают сраный энтрилевел, а волшебного места, попав в которое ты поумнеешь, нет
380 1570951
>>70798

>а как ещё вкатываться в ресерч без фундаментальной математики?


Фундамент ему дают.
А то, что дают в НМУ, это фундамент для теорфизиков. С каких пор фундамент для теорфизиков стал каким-то фундаментным фундаментом, и почему все должны все бросить и разрабатывать теории струн, которые не обладают предсказательной силой - не понятно
381 1570965
>>70934

> Риали этим говнищем еще кто то и хочет заниматься? Ох лол


Не все же клоуны типа тебя.
382 1570980
Ну надо же, как вы все сегодня разговорчивы.
С высшим образованием для ML понятно.
А что с переквалификацией в ML уже выпустившихся и работающих? Вкатываться джуном/интерном?
383 1570995
>>70980
зумерошизика на тебя нет
384 1571001
>>70995
Только про него вспомнил, лол.
Небось не оклимался после праздников.
157770908012134651.jpg81 Кб, 400x266
385 1571033
>>70965

>Не все же клоуны типа тебя.


Ой, а чому теологию например не изучают?
386 1571090
>>70939

>Ну и среди школьников сейчас распространено мнение, что математика, а особенно фундаментальная, это круто и вообще математики самые уважаемые в мире люди.


Тогда бы школьницы Перельману проходу не давали.
387 1571092
>>71090
Это мнение 10-11классников, которые сдают егэ по матеше и мечтают зашибать бабки за то что они такие крутые умеют решать задачи с параметром, а не школьников в целом
388 1571124
LSTM в состоянии генерации символов производит их на основе своей памяти и предыдущего символа?
389 1571142
>>71124
конечно, как иначе
390 1571145
Для ML достаточно математики уровня первых двух курсов хорошего инженерного вуза. Дискасс.
391 1571226
>>71145
Для вката - да, для ресерча скорее нет.
392 1571274
>>71226
Ну для ресерча нужна профильная мага по ml/ds и пхд потом.
В магистратуру после инженерного вуза поступить скорее всего будет не сильно сложно, особенно если были методы оптимизации и тервер матстат
393 1571297
>>71145
В инженерном вузе инфу-то дают, то не контролируют ее никак. Вызубрил, допустим, линал, сдал - и все, в дальнейшем обучении он тебе не требуется. Еще инженерам хуево дают тервер.
Так что с точки зрения инфы - в целом правда, но надо еще суметь все выучить, а инженерный вуз будет сильно тебя отвлекать нерелевантной хуйней.
087.gif110 Кб, 326x281
394 1571691
Короче, факт в том, что в настоящее время все мы наблюдаем очередной кризис жанра в нейроночках. Вялые попытки наебенить побольше слоев, всякий прунинг итд. Все это уже было и привело ровно ни к чему, но зумера этого не знают, потому что не читали того же Хайкина толку-то его читать с клиповым мышлением. Прошлый раз ситуацию спасли новые архитектуры (+ закон Мура), вкратце - диплернинх. Но сейчас уже и из этого выжали все, что можно, нужно двигаться куда-то еще. И на данный момент единственный выход и дальнейшее развитие возможно только в сторону написания нейроночек на функциональных ЯП и затем доказательства нужных свойств в пруверах. Подход Вапника (построение теории и уже на ее основе вывод алгоритмов) так же начисто проебан, практически ни у кого нет на это мозгов. Остается вариант формализации элементов нейроночек в MLTT/HoTT/COIC/т.п. и экстракции новых архитектур из формулировки требуемых свойств в виде теорем в зависимых типах. Даже на неразрешимость такой задачи на тактиках похую - есть quickcheck/quickchick, да и логика нейроночек не слишком сложная. Можете скринить, так и будет, когда какой-нибудь Сунь Хуй Чай напишет на коке хуйню, уделывающую весь современный стейтофзеарт. Собственно, некоторые поползновения уже имеются - https://github.com/liaopeiyuan/zeta нейроночки на окамле. Минусов такого развития событий я вообще не вижу, одни плюсы включая соснувших зумеров-вкатывальщиков, которые уж в кок точно не вкатятся никогда.
395 1571698
>>71691

>дальнейшее развитие возможно только в сторону написания нейроночек на функциональных ЯП


Т.е., что нейронки являются неработоспособным говном ты не рассматриваешь?
396 1571725
>>71698

> Т.е., что нейронки являются неработоспособным говном ты не рассматриваешь?


Нет конечно. Зачем мне рассматривать фантазии двачного кефирщика?
397 1571740
>>71725

>Нет конечно


А, ну ладно тогда
398 1571751
>>71691
хорошо, что ты все свои высеры помечаешь картинками

>>71698
ну только они уже работают
399 1571769
>>71691

>Короче, факт в том, что в настоящее время все мы наблюдаем очередной кризис жанра в нейроночках


Мы наблюдаем, лол. Какой год кризиса пошел в твоем манямирке, пятый?

>Но сейчас уже и из этого выжали все, что можно, нужно двигаться куда-то еще


Движение сейчас идет в сторону замены convolution'ов attention'ами, спарсификацией и соответствующей модификацией железа и софта (текущие фреймворки для перемножения sparse матриц плохо подходят).
Прунинг - это половичнатое решение, когда обучение ведется dense, а спарсификация производится потом. ConvNet'ы -= еще более половинчатое решение, когда спарсификация жестко зашита в архитектуру.

Иными словами, сейчас размеры сетки (данной архитектуры) пропорциональны количеству гигафлопсов, которые она потребляет, то в будущем количество весов будет расти, а гигафлопсы - нет. Так и работает мозг, который опыта помнит дохуя, но в данный момент времени потребляет энергию только малая его часть, а если бы мозг заработал сразу целиком, он очень быстро бы перегрелся и умер в собственных продуктах жизнедеятельности.
На железе подобное поведение сейчас только эмулируется.

> Подход Вапника (построение теории и уже на ее основе вывод алгоритмов) так же начисто проебан


>экстракции новых архитектур из формулировки требуемых свойств


Потому что этот подход аргументированно разъебан ЛеКуном. http://www.abigailsee.com/2018/02/21/deep-learning-structure-and-innate-priors.html
Когда ты строишь теорию о своем датасете, далее ты изучаешь уже не сам датасет, а свои предположения о нем. Этот подход годится для коммерческих решений, но не для магистрального направления науки.

Про борщемечты типа "я не знаю математики, пусть за меня ее знает КОК" отдельно посмеялся.
400 1571905
>>71769

> этот подход аргументированно разъебан ЛеКуном.


И поэтому svm из 90х (основанная на принципах из 60х) кое-где в NLP досихпор sota, а бустинг и в других областях машобчика. А про ленеты многие даже не слышали.

> Про борщемечты типа "я не знаю математики, пусть за меня ее знает КОК" отдельно посмеялся.


Кок не про это вообще, как и формализация нейроночек.
402 1571917
>>71905
Дежурный шизик опять что-то пукает, не поняв даже пары предложений из поста
403 1571981
>>71751

>ну только они уже работают


Так себе работают.
404 1572127
Котятки, я ньюфаня и у меня совсем тупой вопрос:

Делаю я по гайду простейшую нейронку, которая ,
допустим, учится XOR выдавать.
Скрытый слой, сигмоида, её производная, блаблабла
И всё работает, всё замечательно.

По другому гайду другую простейшую нейронку для классификации котиков и собачек. Там в примере используется RelU.
И тоже всё работает и заебись.

Но стоит мне самому засунуть эту Relu и её производную вместо сигмоиды в первую нейронку,
как всё идёт по пизде, веса улетают в бесконечность, гроб гроб

И вот понимаю, что функции разные, но что нужно менять конкретно, чтобы засунуть Relu вместо сигмоиды, и оно не развалилось всё?

Пробую уже не из говна и палок , а в том же керасе, тоже по примеру.
С Relu работает, за 2000эпох постепенно выучивается, тупо activation="relu" меняю на activation="sigmoid" и всё, нихуя не учится. Или что-то нужно менять ещё?
(в последнем слое у меня софтмакс во всех вариантах, его я не трогаю. Или надо, но на что?)

Примеры своего говнокода не привожу, думаю, есть какое-то адекватное универсальное объяснение.
405 1572141
>>72127

>И вот понимаю, что функции разные, но что нужно менять конкретно, чтобы засунуть Relu вместо сигмоиды, и оно не развалилось всё?


При проектировании нейронки тебе нужно понимать, какая область значений у твоей нейронки, и активацию на последнем слое выбирать с учетом этого.
Xor имеет значения либо 0 либо 1, поэтому выбирать relu на последнем слое глупо, потому что у relu область значений от 0 до бесконечности. Хотя принципиально возможно за счет промежуточных слоев ограничить выход, все равно ты потратишь мощность нейронки на глупую работу. Так что при решении задач типа 0/1 последний слой всегда должен быть sigmoid, либо линейным (зависит от твоего лосса).

Если у тебя задача регрессии, и Y датасета имеет произвольные значения (например, -5), то сработает только линейная активация на последнем слое, надеюсь понятно, почему.

Это не касается промежуточных слоев, только последнего.

Что касается промежуточных слоев, то правило совсем простое - используй relu всегда (если совсем хипстер, можешь заменить relu на swish, но сильно это не поможет). Если у тебя активация с насыщением в более чем 1-2 слоях подряд, твоя сетка столкнется с проблемой vanishing gradients, поэтому если тебе все-таки нужны сигмоиды в промежуточных слоях (например, для сложной логики типа LSTM), нужно позаботиться о том, чтобы градиент распространялся мимо сигмоидов, которые имеют нулевой градиент во всем диапазоне, кроме близкого к нулю, и поэтому имеют свойство там застревать и не обучаться.
406 1572184
>>72141
Спасибо, я вроде разобрался.
Думал у меня с сигмоидой вообще не учится, а оказалось что просто очень медленно.
Вот про swish читал как раз, но так и не понял, как его задавать.
Какая у него производная? Я какую-то хуйню насчитал вместо производной(
407 1572189
>>72127
Входные данные в каком диапазоне? Возможно, надо их нормализовать. Из-за этого с релу могут взрываться градиенты (а с сигмоидой все будет "норм")
408 1572193
>>72189
Это большая загадка, какие входные данные у xor'а
image.png78 Кб, 300x284
409 1572200
>>72193
любые
410 1572477
>>72193

> большая загадка, какие входные данные у xor'а


>>72200

> любые


> булева логика с двумя значениями 0 и 1


> большая загадка, какие входные данные могут быть у булева типа


> любые

411 1572484
>>72477
Да, любые, для тебя даже картинку нашел
А ты высрал что-то невнятное про булевы типы.
xor-table.png15 Кб, 394x326
412 1572552
>>72484
Мань, xor это булева функция, принимающая на вход два значения из булевых типов и выдающая на выходе значение также из булева типа, Bool -> Bool -> Bool. Таблица значений xor пикрелейтед, а что ты там за картинку с нечёткими множествами (?) высрал, я не знаю.
413 1572616
>>72552

>я не знаю


хорошо
414 1572624
https://habr.com/ru/post/474954/
как вам новая статья от хинтона?
415 1572664
>>72624
Охуеть гений. До идеи МакКаллока и Питтса о нейронах в нейроночке на бинарной логике (1943 год) он уже додумался. До адаптивной динамической структуры сети, определяемой конкретной задачей, тоже (Ивахненко, 60е годы). Если ещё до генетического программирования додумается, вообще атас будет.
416 1572711
Скоро машобу будут учить не связанные с кодерством специальности. Превратится в опцию экселя.
https://www.youtube.com/watch?v=4_RmPnU-UzA
417 1572764
>>72624

>хабр


Что ты в этом петушарнике забыл?
418 1572846
>>72711
Деда, ты? Еще с нулевых программирование учат на НЕ технических направлениях на бакалавриате в нормальных вузах. Уверен, на направлениях связанных со статистикой (менеджмент, финансовые, социология, етц.) уже изучают МЛ хотя бы в эксперементальном формате

инб4 зеленая стрелочка рашкообразование
419 1572880
>>72552
Я на матфаке и я бронза + серебро всеросса (10 и 11 класс), третий курс, в нму не пошёл ибо разъёбываю дип лёрнинг (nlp, хотя сейчас shallow нейросети, неевклидовы модели векторных представлений слов для нужд кластеризации/факторизации текстов, но вообще больше в глубоких сетях, тоже nlp), так что ты мне не ровня.
420 1572906
>>72880

>я я я



Слишком слабо не знать информатику за 8 класс или когда там проходят логику.
421 1572935
>>72880

>Я на матфаке и я бронза + серебро всеросса (10 и 11 класс), третий курс


ололо диванон травля
a36ed91bc6bbdfaa66258f78f92bae85.jpg74 Кб, 600x596
422 1572943
Ну и срач вы тут развели.
А сейчас снова тупые вопросы:
беру код из примера одного для pytorch-а, этот вот:

https://pastebin.com/tzZ88vUK

он работает, но чёт ругается сильно вот такими нехорошими словами:
..\torch\csrc\autograd\generated\python_variable_methods.cpp:1204:

UserWarning: This signature for add_ is deprecated:
add_(Number alpha, Tensor other)

Пример кода из 2017 года, а у меня последняя версия торча, на что он ругается не понимаю(
15787290461120.jpg100 Кб, 600x450
423 1572997
>>72880

> Я на матфаке и я бронза + серебро всеросса (10 и 11 класс), третий курс, в нму не пошёл ибо разъёбываю дип лёрнинг (nlp, хотя сейчас shallow нейросети, неевклидовы модели векторных представлений слов для нужд кластеризации/факторизации текстов, но вообще больше в глубоких сетях, тоже nlp), так что ты мне не ровня.


Ага, уровень образования в Блинолопатии сразу видно. Зумер медалист не знает, что такое булева функция. Таблицу умножения хоть знаешь, гейний? Пикрелейтед ксиву победителя всероса не ты обронил?
424 1573007
>>44056
курс на курсере how to win a kaggle competition
425 1573044
>>72997

Хоть один публично доступный пруф регистрации российских номеров ТС по видеопотоку за все это время запилили? Гугл забит сугубо нерабочими велосипедами разной степени упоротости, в половине закрытых решений по факту нихуя не машинное обучение и даже не нейрон очка. Вкатывайтесь лучше в js-программирование адаптивных интерфейсов, детки, вам со всеми этими бесполезными понтами там самое место.
426 1573121
Посоны, таки получилось обучить нейроночку на распознавание текста.
Только есть одна проблема - низкая инвариантность, полагаю это из-за того, что мой датасет был на одном шрифте одного размера.
Я могу еще сгенерировать картинки с другими шрифтами и размерами и даже добавить наклон, сделать на цветном фоне, добавить размытие.
Но каковы вообще шансы, что нейроночка после обучения на нескольких шрифтах научится воспринимать и другие?
427 1573160
Ребята, кто нибудь слышал у новом мега мощном алгоритме биморф, который достигает 100% качества? Слышал что он не переобучается и может работать на бесконечно больших данных.
428 1573161
>>73121
Вчера обучал на датасете в 20к картинок, но там был один шрифт одного размера на белом фоне.
Сегодня взял еще текста из книг и сгенерировал картинки с 4-мя другими шрифтами, добавив рандомный наклон и небольшое изменение размера шрифта.
Думаю еще нужно рандомных фонов закинуть, чтобы нейроночка не только на белом фоне умела определять.
Алсо, по обучению на том шрифте нейроночка уже лучше тессеракта по точности
429 1573202
>>73160
тут не оценили >>72624
U2FsdGVkX18x3ULJ5Vj6gQLxSzZ4NGWw2ePzGUWa1zGTDfwYnXV9Q,,.jpeg98 Кб, 714x944
430 1573690
>>72997

>уровень образования в Блинолопатии


Петух, ты там со шпротляндии или незалежной перемогаешь?
15100328371990-b.jpg65 Кб, 604x465
431 1573860
Котаны, че по нейронным машинам Тьюринга, где почитать-пощупать-спиздить себе в код?
Пытаюсь в разумного чатбота с памятью не как у рыбки
432 1573935
>>73690
Не рвись маня, ну в каком ещё университете мира (который даже внешне больше напоминает африканский приют для бомжей) будут изучать философию и историю на кафедре информатики, правильно, в свинособачьем.

https://www.youtube.com/watch?v=znJd0i6wKQY
433 1573937
>>73935

>Не рвись маня, ну в каком ещё университете мира (который даже внешне больше напоминает африканский приют для бомжей) будут изучать философию и историю на кафедре информатики


В Гарварде?
434 1573966
>>73937
Тссс. Не ломай залетышу картинку мира. Для него это болезненно.
435 1573971
>>73937
>>73966
Клоуны. Сравните вклад в машобчик той страны, где Гарвард, с вкладом Сладкохлебии.
436 1573989
>>73971

>вклад в машобчик индусов и китайцев в той стране, где Гарвард

437 1573999
>>73989

> вклад в машобчик индусов и китайцев в той стране, где Гарвард


Даже это показательно, если сравнить с вкладом в машобчик узбеков и таджиков в Сладкохлебии. Кто едет туда, а кто к нам.
438 1574072
>>73935

>будут изучать философию


И получать степень професора философии? Дай подумать...
439 1574073
>>73999

>а кто к нам


Хохол, причем здесть твоя укропомойка?
440 1574076
>>74073

В отличии от ваты мы из штанов от гордости за постсовковую территорию сладкого совкового хлебушка не прыгаем и работаем и живем там где нам выгодно и удобно.
441 1574097
>>74076

>от гордости за постсовковую


Так у вас и государства не было, чего вам прыгать? Благодаря совку и образовалось это недорозумение с землями которые вам никогда ее пренадлежали.
442 1574101
>>74097

> с землями которые вам никогда ее пренадлежали.


Типа, тебе в Блинолопатии что-то принадлежит кроме соплей в носу? Да даже говно, которое ты высрал, оно не твое, а управляющей компании.
443 1574105
>>74101

>Блинолопатии


Селюк, плез. Пиздуй к свиньям на цензор и перемогай там, здесь ваша мерзкая хохлявая пиздобратия не нужна.
444 1574107
>>74101
Типикл хохол, всех не любит, все смешивает с говном, сам нихуя не может.
445 1574111
>>74107
>>74105
>>74097
>>74073
Мань, а с чего ты взял что я хохол?
446 1574114
>>74111
А кто?
447 1574120
>>74114
Есть такая работа - Родину ненавидеть.
448 1574127
>>74120

> Есть такая работа - Родину ненавидеть.


Так всё наоборот - родина меня ненавидит.
449 1574128
>>74127
Ого! Тебя аж целая Родина ненавидит! Тяжело тебя живётся, но ты держись там.
450 1574144
Нахуя вы этот срач развели вообще. Хохлы, блять, русофобы, ватники, вам не похуй, а?
451 1574174
>>74144

>вам не похуй, а?


Нет конечно.
452 1574187
>>74144
Это тот же дегенерат, который кефирщик и математику не понимает. Помимо этого ещё и путриот, что не удивительно - мозгов-то нет.
453 1574199
>>74187
Зато все математики мерзавцы и подлецы, русофобы и предатели.
454 1574220
>>74199

>русофобы и предатели


Как что-то плохое.
455 1574228
>>74199
А как же савватеев
157770908012134651.jpg81 Кб, 400x266
456 1574245
>>74220

>Как что-то плохое.


Для тебя это норма
457 1574287
>>74245
Любишь жрать говно, но родное?
458 1574290
Антоны, где почитать про визуализацию работы нейроночек?
У меня InceptionV3 + lstm с аттеншионом, хочу посмотреть, какие признаки нейроночка выделила.
459 1574292
>>74287

>Любишь жрать говно, но родное


Либираш, почему только вы жрете говно? Ни я ни мои знакомые его не едят. Может просто ты никчемный, озлобленный неудачник?
460 1574298
>>74290
http://cs231n.github.io/understanding-cnn/
еще можешь просто вывести значения аттеншена в отдельный выход сетки
ну и про всякие LIME можешь почитать
461 1574299
>>74292
Скажи, хуесос, почему я не могу на так называемой родине заниматься фундаментальной математикой и чтобы не сосать хуи и не есть говно вынужден работать на зарубежной удаленке или перекатываться за бугор? Если вы, гниды, не можете удержать свою интеллектуальную элиту, завалите хлебальники и не мешайте людям жить так, как они хотят. Вам никто ничего не должен.
462 1574304
>>74299

>родине заниматься фундаментальной математикой


Почему меня должны ебать проблемы матанопетушни? Хотя может потому, что твоя маняматика говно без задач и никто не хочет содержать таких бесполезных хуесосов как ты? Если еще один токсичный, бесполезный кусок говна покинет мою страну, я только буду рад.
463 1574312
>>74304
Хуесос, почему ты называешь кого-то предателями? Мы никому клятву не давали, поэтому под точное определение предательства мы не попадаем, как бы тебе этого ни хотелось. А то, что мы не хотим жрать говно вместе с тобой, надеясь на лучшее, это тебя не ебет. Вопли про "надо подождать" пока рашка встанет с колен, напоминает бугурт тупых нищих пидорашек, которые возмущаются тем, что тян не захотела быть с ним и терпеливо воспитывать из пидорашки человека, а сразу нашла себе подходящего партнера.
464 1574315
Желание переехать в другую страну чаще всего связано с:

1. Необустроенностью жизни в стране, начиная от пресловутых дорожных ям в Омске и заканчивая пятью часами в день в пробке в Москве.

2. Отсутствием внятной перспективы и гарантий достойной жизни (аггресивность внешней политики, санкции, отмена пенсий, подкидывание наркотиков и тд и тп, например история с nginx)

3. Климат. Где-нибудь в Сочи ещё куда ни шло, но в Петербурге с 360 пасмурными днями в году и ночью 16 часов зимой банально некомфортно.

4. Возможность «повидать мир». Паспорт моей нынешней страны позволяет безвизово путешествовать в 150+ стран, идут переговоры с США чтобы и туда тоже. Есть 5-6 лоукостеров, которые довезут к примеру в Израиль или в Милан за 20 евро.

Я уже не говорю о менталитете, ведь многие жители России, вкусившие пресловутый «воздух свободы», не готовы возвращаться в средневековую азиатчину с бессменными пашами и ярлыками на рабов.
465 1574326
>>74312

>не хотим жрать говно


А не жрать не пробовал? Нищий матанопетух думал что срыночек будет кормить паразитов, лол.
IMG20200116165157913.jpg312 Кб, 1280x956
466 1574331
>>74315

>Паспорт моей нынешней страны


Шпротляндии? Всегда угарал, как такие вот колбасные эммигранты начинают рассказывать как мне хуево в России живеться. Большинство евроуебков даже и не мечтали о моем уровне и переспективах.
IMG20200116165340978.jpg300 Кб, 956x1280
467 1574334
>>74331
Наконец то еду домой из этой пидерской европы в нормальный город - СПб.
468 1574335
>>74312

>нищих пидорашек


Нищий здесь только ты, манька.
469 1574405
>>74331
Покормил копипасту швабропетуха, лол
470 1574661
Что делают с Policy Gradients, если некоторые из действий в данный ход невозможны? Семплировать из π(s), пока нормальное действие не выберется?
test0.png9 Кб, 199x99
471 1574793
>>74298
Спасибо, сделал по активации, там какой-то пиздец
472 1574935
Анончики, подскажите тему для курсовой по нейронкам
473 1575022
Анонасы, вопрос тем, кто имеет коммерческий опыт с компутер виженом. Как часто вы строите нейронки собственной архитектуры, как приходите к пониманию, что пора откладывать в сторону резнет какой-нибудь и начинать пилить и обучать что-то своё?
474 1575049
>>74661
В смысле? Policy должна быть ноль для запрещенных. Зануляй@нормируй.
475 1575052
>>74935
Обнаружение 2d кейпоинтов людей на фото/видиео, трансфер лернинг (файнтьюнинг) хотя бы на cats vs dogs, Нейромашинный перевод, языковые модели, image captioning with attention.
476 1575053
>>75022
Архитектур сейчас доступно более чем достаточно. Это не особо нужно, особенно в CV.
477 1575071
Щаащ
478 1575075
>>75022
Когда бизнес требует лучшего качества, приходится подпиливать архитектуру под себя.
479 1575314
>>43969 (OP)
Кто нибудь что нибудь знает про бинарные/двоичные нейронные сети. Давайте умнички, помогите, сам только пару статей нашёл про то как засунуть их в FPGA.
480 1575610
>>75052
Спасибо тебе, Анонче
481 1576057
Ребята, которые уже вкатились.
Расскажите, сколько по времени +/- займёт вкат у довольно сильного студента мех-мата (не самого топового вуза) 4-го курса? Матан, линал, матстат, программирование (в основном c++) - всё на месте.
15754444707410.gif69 Кб, 284x264
482 1576262
>>76057
С вами рубрика ежедневный зумер вкатывальщик! Возьми да почитай что-нибудь из оп поста, казалось бы.
483 1576330
>>76057
чел нахуй это профессия только для элиты, в москве все места попилены между выпускниками МГУ и ВШЭ а в регионах ты на хуй не усрался никому
484 1576447
А зачем в бустинг либах есть обработка категориальных признаков, без них же всё должно работать?
15793259345010.png137 Кб, 480x480
485 1577045
Объясните, пожалуйста.
Вот есть задача про Титаник: мы анализируем данные, чистим их, выбираем и используем информативные признаки, применяем какую-нибудь линейную регрессию, получаем модель, которая в той или иной мере может быть использована на новых данных.
А причём тут нейронные сети? Их тоже можно для такой задачи использовать? Или они скорее для компьютерного зрения?
image.png101 Кб, 835x439
486 1577096
делаю проектик на pytorch-CycleGAN-and-pix2pix и вот какой график идет.

Сначала делал обучение на изображении 128х180, потом на 256x290.

и вот какой график на 50 эпохе обучения, стартовал продолжением с 100 эпохи 128х180. Результаты пиздаты, но по графику нихуя не понял, так и должно быть?

Кст, есть нормальные аналоги google colab? Готов и платные, если будут с нормальной консолью, а не той парашей.
Сколько по времени можно обучать в этом колабе, 12 часов?

щас все на домашнем пека делаю
487 1577139
>>77045
Нейронная сеть чистит и выбирает информативные признаки за тебя
488 1577175
>>77139
То есть грубо говоря, нейросетки - для автоматизации работы?
489 1577201
>>77096

>Результаты пиздаты, но по графику нихуя не понял, так и должно быть?


GAN это минимакс игра, поэтому да, плавного уменьшения и увеличения лосса нет, все болтается одном коридоре. Единственное D_A вызывает вопросы, если у дискриминатора такой низкий лосс, значит он уже слишком крут, но если результаты пиздаты, то проблем с этим не должно быть.

>Кст, есть нормальные аналоги google colab? Готов и платные, если будут с нормальной консолью, а не той парашей.


Самое нормальное сейчас это домашний пека с редкими вылазками на гугловские TPU. Остальное не выгодно, особенно с учетом падения цен на видюхи за последний год. gtx 1070 стоит десять тысяч на авито.
490 1577202
>>77175
В целом да, но автоматизация дает качественно иной уровень, нейросетки могут вытаскивать закономерности из огромных датасетов
491 1577219
>>77045
Можно. Не мешай способ решения задачи с самой задачей в одну кучу.
492 1577617
Делаю пет проект, спарсил объявления о продаже квартир в своем городе, хорошо почистил данные, распределения признаков нормальные без длинных хвостов. датасет 30000 записей 65 признаков после думми(38 до). Качество на кросс валидации по всему дата сету 0.877 по метрике r2, модель RandomForestRegressor.
Думаю ну такое себе качество но сойдет. Решил проверить качество на отложенной выборке, сделал train_test_split 33% на тест. Обучаю. и хуяк качество 0.99 , думаю чего блять, переобучился 100%. делаю 66% данных на тест 33% на трейн и хули, опять качество на r2 кросс валидации 0.99 . Ну ебать думаю надо бустинг попробывать. Обучаю lightgbm на 66 данных(в трейне) на 100 деревъях, качество 0,93 думаю ну уже лучше. Попробывал увелисть деревья до 200 качество на кросс валидации 0.988 ну бля как так нахуй, обучаю трейн , качество растет на отложенной опять до 0.99 , думаю ну ща как въебу 1500 деревьев посмотрю че будет, и че стало, качество еще лучше вырасло, я нихуя не понимаю почему, я уже должен был переобучится на трейт так что пиздец и должен потерять качество на отложке но нет, оно растет. УТЕЧКУ ДАННЫХ долблюсь долблюсь но не вижу, посторил графики весов признаков, вроде заебись там нет фичей которые могли бы лик сделать. ну думаю посмотрю качество RMSE - вышло 178446 рублей ошибка. Уже похоже на правду. Может я просто хуево понимаю как метрика r2 работает? и у меня модель просто хорошо обобщает не понинмаю блять СЛОЖНААА
493 1577638
>>77617
Описание признаков:
area - площадь квартиры.
ливинг спейс - площадь гостинной
китчен спейс - площадь кухни
румс тотал - кол-во комнат в квартире
буилд уеар - год постройки
флорс тотал - кол-во этажей в здании
флорс офееред - конкретный этаж квартиры
тотал имаджес - кол-во картинок в объявлении
ну остальные признаки по хуйне вес имеют.
494 1577654
>>77617
>>77638
Короче обучил LGBMRegressor(n_estimators=2500)
на кросс валидации качество(метрика r2) стало 0.913 . Склоняюсь к тому что просто данные сложные, а утечек нету. А качество на отложнной выборке лучше чем на кросс валидации потому что там выбросов поменьше. хз. Если не прав то поправьте.
495 1577705
>>77617
>>77638
>>77654
Короче епта, загнал в модель параметры свой квартиры, получилось 4 ляма 350 тыс. Пошел у мамки спросил во сколько она оценивае нашу квартиру она сказала 4 ляма 400 тыс так шо епта моделька правильная.
496 1577899
>>43969 (OP)
Двощ, в шапке нет.
Что надо минимум из матана знать для вката? В питон уже могу.
497 1577927
>>77899
минимум - ничего не надо знать
но желательно программы 1-2 курса по матану-линалу-терверу-матстату
498 1577940
>>77927
Спасибо.
499 1578178
>>77219
Я новичок и пока разбираюсь, что к чему.
500 1578194
>>77202

>вытаскивать закономерности из огромных датасетов


Из огромных датасетов картинок, или аудиозаписей, ибо для таких типов данных сложно придумать и сгенерить фичи руками. На табличных данных, таких как Титаник, до сих пор решает ручной фичер экстракшен + бустинг разбудите, если это уже не так.
501 1578198
>>78194

> до сих пор решает ручной фичер экстракшен + бустинг разбудите, если это уже не так.


Это ещё бабку твою будить надо было. Советские алгоритмы МГУА (метод группового учёта аргументов) могли отбрасывать незначимые фичи автоматически. Конец 60х, если что.
502 1578212
>>78194

>картинок, или аудиозаписей


У картинок и аудио есть другая фича - пространственная инвариантность, которая позволяет использовать свертки.
Табличные данные не инварианты, а значит ты из уютного мира сверток попадаешь в суровый мир полносвязных сетей. Но сейчас появился аттеншен, который делает полносвязные слои уже не настолько сосущими,
503 1578403
>>75314
Зумеры нихуя толкового не знают, чего их спрашивать!
504 1578655
Использовал кто-нибудь?
http://numba.pydata.org/
505 1578862
>>78655
Да, гораздо лучше, чем писать на cython, но подходит только для математики
image.png22 Кб, 342x242
506 1578949
Антоны, оно вообще учится? Мне чет кажется, что оно застряло на одном моменте
507 1578951
>>78949
Датасет всего в 61к фото, 22 батча.
508 1578969
>>77202
А ещё такой вопрос: если брать ту же задачу по Титанику и решать её при помощи нейронной сети, как выбирать:
1) Размер входного слоя - он будет зависеть от каждого пассажира?
2) Размер и количество скрытых слоёв
3) Размер выходного слоя - он будет равен количеству классов в задаче классификации?
510 1579125
>>78951
Батч сайз какой?
511 1580249
Куда тред делся?
Тред утонул или удален.
Это копия, сохраненная 5 марта 2020 года.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
« /pr/В начало тредаВеб-версияНастройки
/a//b//mu//s//vg/Все доски