Двач.hk не отвечает.
Вы видите копию треда, сохраненную 24 мая 2017 года.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
200 Кб, 857x1202
749 Кб, 1212x388
НЕЙРОНОЧКИ & МАШОБЧИК #12 # OP #936522 В конец треда | Веб
книги
Pattern Recognition and Machine Learning, Bishop.
Information theory, inference & learning algorithms, MacKay http://www.inference.phy.cam.ac.uk/itila/
Machine Learning: A Probabilistic Perspective, Murphy

Introduction to Statistical Learning ( http://www-bcf.usc.edu/~gareth/ISL/ISLR Sixth Printing.pdf )
Elements of Statistical Learning ( http://statweb.stanford.edu/~tibs/ElemStatLearn/printings/ESLII_print10.pdf )
Foundations of Machine Learning, أشهد أن لا إله إلا الله وأشهد أن محمد رسول الله. http://www.cs.nyu.edu/~mohri/mlbook/

Fundamentals of Neural Networks: Architectures, Algorithms, and Applications, Fausett L.

А. Пегат, "Нечёткое моделирование и управление"

другое
http://libgen.io / http://bookzz.org/ - здесь можно одолжить ^ книги и не только
http://arxiv.org/find/all/1/all:+nejronochki/0/1/0/all/0/1
https://www.reddit.com/r/MachineLearning/wiki/index

https://vk.com/deeplearning и http://deeplearning.net/reading-list/
https://www.kadenze.com/courses/creative-applications-of-deep-learning-with-tensorflow/info тюториал по slesarflow
http://rgho.st/8g68fTCSx две брошюры по deep learning для слесарей.

http://kaggle.com - весёлые контесты. денежные призы
https://www.hackerrank.com/domains/ai/machine-learning/difficulty/all/page/1 - олимпиадки

курс от китаёзы
http://videolectures.net/mlss09uk_cambridge/

яп
1. http://julialang.org/
2. https://www.microsoft.com/en-us/research/project/infernet/
3. https://www.r-project.org/
4. питухон и так все знают
5. idris/coq - модные яп для формально верифицированных нейроночек с тренировкой на этапе компиляции

ПЛАТИНА
Книги хорошо, но с чего начать практический вкат?
Во-первых, вам нужна любая unix-based система. На Windows возможно запустить нижеперечисленное, но ждите пердолева с настройкой и неодобрительных взглядов анонимуса. Кроме того, в компаниях, так или иначе связанных с разработкой йоба-ПО и machine learningом, Linux/OS X является стандартом. Привыкайте.
Во-вторых, определитесь с языком. Python и C++ наиболее мейнстримовые инструменты, с ними вы без еды не останетесь. Есть еще R, на котором пацаны живут статистикой и анальными пакетами. Некоторые инструменты являются языко-независимыми (Vowpal Vabbit, XGBoost), но обвязывать их вы все равно будете из какой-либо среды.
На Java разработано много production-ready инструментов для бигдаты и если вы угораете по терабайтам данных, то имеет смысл посмотреть в её сторону. Впрочем, лучше это делать уже потом, когда прийдет осознание потребностей.
В-третих, выбирайте себе задачу. Что угодно: распознать качпу, обнаружить ботов по логам, найти раковых больных. Список можно посмотреть, например, на kaggle.com. После чего приступаете к решению выбранной задачи.

Не прийдется ли мне потом с таким наборищем знаний идти в макдак работать?
Несмотря на хайп вокруг ML, далеко не во всех IT компания есть необходимость в ML и понимание круга задач, которые можно решить этими методами. Но поверьте, в 2017 компетентный специалист будет востребован. В России потребителями ваших знаний могут стать: Яндекс, Mail.ru, Вконтакте, Rambler, Касперский, Билайн, Связной, ABBYY, Хуавэй. В биоинформатике есть определенный спрос, можно поскролить http://blastim.ru

Здорово, но я так и не понял чем же вы занимаетесь в IT компаниях?
Попытаюсь ответить со своей колокольни и сразу хочу предупредить, что это едва ли консенсуальное мнение.
ML-специалист - это такое зонтичное определение для человека, способного увидеть проблему, выгрепать кучу логов и данных, посмотреть на них, придумать решение проблемы и врезать это решение его в продакшн. По сути, это кодер, решающий не чисто технические, а, в некотором роде, человеческие проблемы.
Имхо, мы все же остаемся в первую очередь разработчиками.

Что такое TensorFlow?
TensorFlow - опенсорсный гугловый инструмент для перемножения тензоров и оптимизации функционалов. Опенсорсный - потому что даже важные куски типа параллелизации уже выкачены в паблик. Если вам все ещё непонятно что это, значит это вам и не нужно, сириусли. Google перестарался с рекламой и теперь люди думают, что TF - это серебряная пуля и затычка для каждой бочки. До TF был Theano, который выполнял свою работу не хуже. И, в отличии от TF, он уже находится в стабильной фазе.

будет ли ML нужен в ближайшие 10 лет, или это просто хайп?
будет. хайп.

смогу найти работу?
Яндекс, мейлру, касперский, несколько биоинформатических компаний (iBinom, можно еще blastim.ru поскролить на тему работы), билайн (они с НГ целое подразделение открыли под ML и биг дату), связной. Ну и западные аутсорсы, если готов рачить за валюту.

нужна математика?
для начинающего ничего особого знать не нужно
https://www.amazon.co.uk/Calculus-Michael-Spivak-x/dp/0521867444
https://www.amazon.co.uk/dp/0534422004/ref=pd_lpo_sbs_dp_ss_2?pf_rd_p=569136327&pf_rd_s=lpo-top-stripe&pf_rd_t=201&pf_rd_i=0980232716&pf_rd_m=A3P5ROKL5A1OLE&pf_rd_r=3TZ38AZ2BY28R19H4SA5
https://www.amazon.co.uk/Calculus-Several-Variables-Undergraduate-Mathematics/dp/0387964053
https://www.amazon.co.uk/Introduction-Probability-Dimitri-P-Bertsekas/dp/188652923X
"основы теории вероятностей" Вентцель

поясните за нейроночки
нейроночка - массив

шад)))
Нет там ничего ML-специфичного, знание матана и теорвера на уровне заборостроительного вуза. Теорвер проходится на третьем курсе, как раз 20 лет.
Рандомный хрен туда не сможет поступить, потому что планка намеренно задрана, а не потому что там такая охуенно сложная программа. Это традиционная наебка "элитных учебных заведений", в которой учат так же хуево, как и везде, но за счет отбора поступающих якобы формируются неебовые успехи, которые объясняются именно качеством преподавания.
Иными словами, у тех, кто способен поступить, и так в жизни проблем с трудоустройством не будет.

Тред #1: https://arhivach.org/thread/147800/
Тред #2: https://arhivach.org/thread/170611/
Тред #3: https://arhivach.org/thread/179539/
Тред #4: https://arhivach.org/thread/185385/
Тред #5: https://arhivach.org/thread/186283/
Тред #6: https://arhivach.org/thread/187794/
Тред #7: https://arhivach.org/thread/196781/
Тред #8: https://arhivach.org/thread/209934/
Тред #9: https://arhivach.org/thread/223216/
Тред #10: https://arhivach.org/thread/234497/
Тред #11: https://arhivach.org/thread/240332/
#2 #936525
Как создать ИИ?
936529
# OP #3 #936529
>>936525
сначала надо выбрать хороший приор
936532
#4 #936532
>>936529
Я в монахи могу уйти.
#5 #936555
Оп пиздатый)
#6 #936560
А где YOBA ML?
#7 #936619
Подскажите, что почитать по статистике, чтобы понимать картинку (правую) с оп-пика.
936642
#9 #937011

>1ый пик


Оп-хуй, SVM и RVM - это теория статистического обучения, а у тебя они в разных местах.
937014
#10 #937014
>>937011
ну так подвинь
36 Кб, 500x251
#11 #937114
Раз тут триггерятся с Коско, запощу крайнюю работу сенсея http://sipi.usc.edu/~kosko/FCM-jdms-January-2017.pdf моделирование с помощью динамических нечетких когнитивных карт. На предмет выявления процессов в обществе, приводящих к поддержке населением повстанцев и террористов (на примере алькайды и т.п. басмачей). Чувствуете размах мысли, черви? Это вам не утопленников с титаника классифицировать.
937119937126
2 Кб, 88x90
#12 #937119
>>937114
Чувствуем :D
937126
24 Кб, 200x274
#13 #937126
>>937114
>>937119
Шизофреники из СССР.
937329
23 Кб, 441x211
#14 #937127
гуманитарий какой-то. писатель-юрист
а по мл есть чего? нейроночки там, рандомфорест?
937132
#15 #937132
>>937127

>гуманитарий какой-то.


Наркоман? Математик он, ученик Заде (создатель теории нечеткизх множеств).

>по мл есть чего?


Разумеется. Статьи http://sipi.usc.edu/~kosko/publications.html Книги конкретно мо МЛ: http://gen.lib.rus.ec/book/index.php?md5=BC1EC0F44F2E619AB46D6FD0B7088514 http://gen.lib.rus.ec/book/index.php?md5=CCC0771774E761EB91EE2019A244305B http://gen.lib.rus.ec/book/index.php?md5=032DFEB66357FA8EA32545E271375CE6
937144
100 Кб, 677x416
#16 #937144
>>937132
ну ты понел
937152
#17 #937152
>>937144
Я в курсе, что он что-то типа систем наведения ракет для военных разрабатывал, есть у него работы, спонсировавшиеся то ли НАСА, то ли пентагоном, не помню. Возможно, в тридцать с небольшим лет директором исследовательского института его посадили не просто так, а за некоторые успехи в этом направлении. И что, это что-то плохое?
#18 #937299
Вот вы жесткие парни, хочу быть как Вы!!
#19 #937329
>>937126
Что не так с книгой на пике? Хочу почитать, но руки никак не доходят.
948817
#20 #937343
Только начинаю вкатываюсь в ML/Deep learning. Пишу диплом по задаче ABSA (Aspect Based Sentiment Analysis). И сейчас возникла сложность с входным слоем нейронной сети. Существует ли способ подачи входных данных переменной длины? Или же остается довольствоватся вектором полученным моделью doc2vec.
937351938106
#21 #937351
>>937343
Гугли recurrent neural network.
#22 #937768
Аноны, хочу вкатиться в МЛ, сейчас 3-й курс Боуманки. прошел курс Эна, Байесовской вероятности, еще один курс по МЛ, запилил пару ноутбуков по заданиям с кеггла, распознавания изображений и бота с ЛСТМ.
Что делать дальше? Пилить еще или искать работу?
И где вообще искать работу? На ХХ одни вакансии для сениоров и мидлов, а для студентов ничего нету, только один Тинькофф и одна консалтинговая компания.
937774937785
200 Кб, Webm
#23 #937774
>>937768

>запилил пару ноутбуков по заданиям с кеггла,

937780
#25 #937785
>>937768
смогу найти работу?
Яндекс, мейлру, касперский, несколько биоинформатических компаний (iBinom, можно еще blastim.ru поскролить на тему работы), билайн (они с НГ целое подразделение открыли под ML и биг дату), связной. Ну и западные аутсорсы, если готов рачить за валюту.
83 Кб, 493x606
#26 #938080
C пылу с жару бинго по моим впечатлениям о Deep Learning Book (на восьмой главе пока).
938089
#27 #938089
>>938080
а как же классика "the proof is left as an exercise to the reader"?
938093
#28 #938093
>>938089
Этого нет, обычно пишут вывод формулы.
#29 #938106
>>937343
можно просто найти самое длииное предложение, а остальное забить словами-филлерами (<Null> какой-нибудь)
117 Кб, 676x622
67 Кб, 588x647
#31 #938458
Ясно-понятно, зачем форсится вся эта диплернинг-хуитка с конскими системными требованиями. Ну а кому кластеры впаривать, если алгоритмы можно гонять хоть на тостере.
938463938472
#32 #938463
>>938458
нос, пощади!
#33 #938472
>>938458
В смысле? Ты раскрыл тайный замысел Nvidia в том, чтобы продать побольше карточек? А то, что у тебя после долгого обучения запускать сеточки можно на тех же тостерах тебя не смущает? Я уж и не говорю, что нейронки решают свой спектр задач достаточно эффективно.
58 Кб, 879x576
#34 #938474
https://hh.ru/vacancy/19212127
Смотрите, что я нашел
938490938493938507
#35 #938490
>>938474
Чет требования какие-то не охуевшие даже. Тыщи полторы заявок будет. Как на стипендию Фулбрайт в США, только место одно, а не 30. Ну может два, если "команде понравишься".
#36 #938493
>>938474
Но яндекс все равно ни во что кроме рекламы не может. Какие беспилотные автомобили, к чему этот цирк?
938500
#37 #938500
>>938493
Убер делает, Гугль делает, а Яндекс чем хуже? Типа в Яндекс-такси заюзать можно. Даже если и не взлетит (все-такие ученые делятся на два типа, первые - автономные машинки через 5 лет везде и всюду, вторые - полная 100% автономия при жизни ваших внуков. Ближе к их старости. Если повезет.), то побочные результаты неплохие будут. Можно даже кому-нить подать, тому же Уберу, например.
938574
#38 #938507
>>938474
Чуваки, не изобретайте заново Robotic Operating System.
#39 #938574
>>938500

>Гугль делает, а Яндекс чем хуже?


Ты сам-то понял, что пытаешься сравнить, лол? Сколько сделал гугл по МЛ, а сколько яндекс?
938700
#40 #938700
>>938574
Не исключаю, что Яндекс сделал несколько годных МЛ спецов. Которые ушли в гугл.
#41 #938701
Суп! Есть ли тут NLP-аноны? Поясните за GATE. Нужна ли эта хуйня сейчас, когда есть куча готовых встраиваемых библиотек?
938884
#42 #938835
Йоу, приветики!!!
Хочу спросить про эти курсы ->

https://www.coursera.org/learn/vvedenie-mashinnoe-obuchenie

https://www.coursera.org/learn/neural-networks

Норм курсы? Отпишитесь кто проходил, а то я нюфажек((((
938860
#43 #938860
>>938835
на курсере есть спецуха по мл от мфти - яндекса

а в введении нихуя не поймешь
940918
#44 #938884
>>938701
NLP-дебил в треде, сам не юзал, но думаю, что не хуже всяких распиаренных spacy.io и прочего, так как все библиотеки довольно-таки ерундовые.
939072
22 Кб, 403x604
#45 #938980
Через неделю иду на собеседование в контору, где на C++ херачат нейронки. Что могут спросить? Какие знания нужны в первую очередь?
Меня интересуют в первую очередь C++related вопросы, а не вопросы на общее знание нейронок.
#46 #939003
>>938980

Иди нахуй, тупарь.
#47 #939060
>>938980
std::algorithm и что-то из буста.
939339
#48 #939072
>>938884
Не, я имею в виду, зачем вообще юзать такие программы с графическим интерфейсом, если все задачи а ля NER решаются встраиванием в код библиотек?
#49 #939076
Алсо читаю про машинный перевод и не могу понять, в чём разница между RBMT (основанный на правилах подход) и деревом решений. То есть почему Decision Tree это классификатор, машоб и всё такое, а применение всяких лексиографических паттернов это не машоб, хотя суть одна и та же?
939177
sage #50 #939177
>>939076

> RBMT


забиваешь правила в ручную

а деревце само выводит правила

деревце - искуственный интеллект а рбмт - нет
деревце тебя заменит а рбмт - врядли
939216
#51 #939179
#52 #939213
Как школьнику начать вкатываться в ваш ML?
939360
#53 #939216
>>939177
Спасибо, понел. Только ведь придётся каждый раз для нового правила обучающую выборку размечать, да и ветви отсекать кому-то надо - без работы не останусь.
#54 #939221
я вам вакансию на мачин лернинг принес.
матан матан, кругом матан
https://moikrug.ru/vacancies/1000031944
939239
#55 #939239
>>939221
И где ты там матан увидел?
939243
#56 #939243
>>939239
тройной интеграл в конце страницы же
#57 #939339
>>939060
Буст для нейронок активно юзается?
947281
294 Кб, 629x377
#58 #939347
Котаны, есть одна нейронка. Имплементацию алгоритмов обучения писал сам (там обычный Back Prop и Resilient Back Prop/Rprop ).
Сеть должна выполнять классификацию, то есть один из выходных нейронов равен 1, остальные 0.
Алгоритм старательно уменьшает RMSE, отдавая на всех выходах 0 (т.е. RMSE будет sqrt(1/N) ). Как с этим бороться?

Back Prop ведёт себя точно также. На Rprop перешёл, потому что думал, что он избавит меня от такой ерунды.
939353939355939868
#59 #939353
>>939347

>Имплементацию алгоритмов обучения писал сам


скорее всего ты где-то обосрался с реализацией
939355939356
200 Кб, Webm
#60 #939355
>>939347

>RMSE будет sqrt(1/N)


С какой стати? Там же считается ошибка между фактическим выходом и тем, что считает нейроночка при текущих параметрах. Исходя из чего параметры правятся. Этот прав походу >>939353
939357
#61 #939356
>>939353
Допустим, я мог обосраться с RProp. Но как можно обосраться с обычным обратным распространением ошибки, которое скоро даже в школах начнут преподавать, настолько оно простое?
939366
#62 #939357
>>939355

> С какой стати?


Ну вот смотри. У тебя есть собаки, кошки и гуси.
Собака — 1й нейрон
Кошка — 2й
Гусь — 3й

Я подаю входные параметры. Для собаки и 1 на 1й нейрон и нули на 2й и 3й. Нейронка, обучившись, подаёт на все три выхода нули. Получаем
sqrt((sqr(1 - 0) + sqr(0 - 0) + sqr(0 - 0)) / 3 ) = sqrt(1/3)

Нет, я не картинки пытаюсь классифицировать, задача другая, это просто пример
#63 #939360
939361
#64 #939361
>>939360
Слушай других школьников https://www.youtube.com/watch?v=bvZnphPgz74
939393
#65 #939366
>>939356
баг, опечатка, невнимательность
ты давно программируешь?
939367
#66 #939367
>>939366
14 лет
939368
#67 #939368
>>939367
а покажи код?
939373
#68 #939373
>>939368
http://pastebin.com/BLcNtuSF
На специфику типа HyperTan и SoftMax не обращай внимания, они тут временно, я с эталоном пытаюсь сравнить.
На error_index тоже. И на то, что у меня malloc в C++ коде
939379939479
#69 #939379
>>939373
Посмотри, как на сях нейроночки писали http://www.ibiblio.org/pub/academic/computer-science/neural-networks/programs/Aspirin/quickprop1.c
#70 #939393
>>939361
Хотелось бы с нуля начать вкатываться. Тем более воспринимать устную речь на ангельском очень тяжело.
939408
#71 #939408
>>939393
в шапке полно, собранных потом и кровью, ресурсов для нюфагов
бери, читай, смотри
нет блять

> Как школьнику начать вкатываться в ваш ML?

939508
#72 #939409
Это, а есть какое-то строгое обозначение нейроночек? Типа не романтическое "там же нейроны, как в мозгу", а с графиками и всем этим. Но при этом дабы для новичков.
939425939432
#73 #939420
>>938980
красивая писечка
#75 #939432
>>939409
нейроночка - массив
#76 #939434
Я таки не понял. Когда нейроночка уже обученная и готовая к использованию, то при своем использовании она будет жрать не так уж и много ресурсов?
939435
#77 #939435
#78 #939440
Вот забыл термин для такой задачи, как прогнозирование следующего слова в тексте. Конечно, можно и статически, но не используют ли для этого крутые нейроночки и так далее? Как называется такое прогнозирование следующего слова?
939448939472
96 Кб, 225x225
#79 #939448
>>939440
predicting next word in text
#80 #939472
>>939440
n-gram prediction
#81 #939479
>>939373
Мдэ. В общем, где-то очень хитрый баг, который сложно аллоцировать. У меня с оригиналом на C# не сходится. Пошагово отлаживал.

Но на back prop это поведение с занулением выходов всё равно остаётся, там негде ошибиться
950759
76 Кб, 510x614
#82 #939481
>>938980
Я смотрю тут охуенные спецы по МЛ сидят. Никто даже не знает что используется для нейронок на практике.
939490
#83 #939485
Так что по поводу этого курса?
https://www.coursera.org/learn/neural-networks
939790939824
#84 #939490
>>939481

>нейронок на практике


а от этого нейроговна рзве есть практичаская польза?
939492
269 Кб, 567x960
#85 #939492
>>939490
От говна в твоей голове нет пользы, а от нейронных сетей есть.
939495
#86 #939495
>>939492
и где же?
#87 #939500
Так, что никто не знает почему именно такие числа в массиве с нейроночками, а не другие?
939510
#88 #939508
>>939408
Там же математики много сложной, а я даже не знаю, что такое производная.
939513939514941025
#89 #939510
>>939500
всем похуй, нейронки хуйня без задач
#90 #939513
>>939508

Ты дебил?
для начинающего ничего особого знать не нужно
https://www.amazon.co.uk/Calculus-Michael-Spivak-x/dp/0521867444
https://www.amazon.co.uk/dp/0534422004/ref=pd_lpo_sbs_dp_ss_2?pf_rd_p=569136327&pf_rd_s=lpo-top-stripe&pf_rd_t=201&pf_rd_i=0980232716&pf_rd_m=A3P5ROKL5A1OLE&pf_rd_r=3TZ38AZ2BY28R19H4SA5
https://www.amazon.co.uk/Calculus-Several-Variables-Undergraduate-Mathematics/dp/0387964053
https://www.amazon.co.uk/Introduction-Probability-Dimitri-P-Bertsekas/dp/188652923X
"основы теории вероятностей" Вентцель

А лучше уйди, нейронки это не твое, блять, ТЫ ДАЖЕ ШАПКУ ПРОЧИТАТЬ НЕ МОЖЕШЬ)))) Куда ты лезешь блять.
939515
#91 #939514
>>939508
Ты же блять хуй положишь на мл сразу после того как откроешь любую из выше предложенных книг,
ибо сука, ТЫ ЛЕНИВОЕ ХУЙЛО.
#92 #939515
>>939513

>Слушаешь посанов на двачах


>Решаещь вкатиться


>Открываешь Бишопа


>Охуевашь только от первых джвух глав.


>Откладываешь Бишопа на потом.

#93 #939519
Это конечно здорово, но почему нет ИИ?
939521
#94 #939521
>>939519

>Это конечно здорово, но почему нет ИИ?


о5 на связь выходишь
939540
#95 #939540
>>939521
Возможно.
#96 #939574
Хочу запилить классификатор для тематического моделирования. Буду использовать word2vec. Как лучше измерять расстояние между векторами: косинусной мерой или Евклидовой/Манхеттенской метрикой?
939759
#97 #939623
То есть я могу сделать следующее: 1) взять сложный по ресурсам алгоритм, вычислить заранее 2) обучить нейросеть на многих входных данных и многих результатах. Оно там найдет скрытые закономерности 3) Я смогу просто добавить в готовую программу массив и небольшой код, таким образом сделав хитрую оптимизацию?

Или нет?

И как я понимаю никакого debug'а сделать нельзя и таким образом будет сделан черный ящик, который хитро непонятно умножает входные данные получая результат?
#98 #939759
>>939574
Начни с Евклидовой, а там переходи на
http://ojs.pythonpapers.org/index.php/tppsc/article/view/135/144
939894
#99 #939763
>>939623
Кто мешает достать массив синапсов после обучения?
%Или я не понял вопроса вообще...%
#100 #939790
>>939485
говно. И там преподают только back prop
#101 #939791
>>939623
да
может быть удобно для приближения всяких сложноебучих непрерывных численных функций
на дискретной хуите типа сортировок особо работать не будет
у нечёткого петуха на этот счёт могут быть другие соображения
#102 #939824
>>939485
мне нравится, я думаю, вкатиться не смогу, так как ленивый и старый, но тут все классно разжевано для тупых и без всякой болтологии, и после этого я сам могу в тетрадочке производные считать, до него бился очень долго бился в конвульсиях, так как, чтоб прочитать бишопа, нужно выучить кучу всего другого, а когда открываешь советский учебник по линалу, они меня насилуют гомологиями колец
#103 #939868
>>939347
https://habrahabr.ru/post/155235/

> Эта модель актуальна при задаче классификации, когда необходимо получить на выходе нейросети вероятности принадлежности входного образа одному из не пересекающихся классов. Очевидно, что суммарный выход сети по всем нейронам выходного слоя должен равняться единице (так же как и для выходных образов обучающей выборки)

#104 #939894
>>939759
Спасибо, годная статья!
#105 #939895
>>939623
настройка гиперпараметров и есть дебаг. любой алгоритм надо настраивать под свои данные
#106 #939969
В человеческом мозгу обучение с подкреплением или еще что?
940152
#107 #940152
>>939969
в мозгу это по-другому работает. Там есть нейромедиаторы и всякое такое
#108 #940186
Мозг - массив?
#109 #940196
Мне показалось, или в этой теме КИТАЙЦЫ, КИТАЙЦЫ ЭВРИВЕА?
940259948971
#110 #940259
>>940196
不是!设立没有中国人们!
#111 #940272
Собственно, если у меня какая-то психболезнь, я могу как-то помочь во всем этом?
940287
#112 #940287
>>940272
Нейронные сети, которые здесь обсуждаются - математические объекты, которые были изобретены в 60-х на основе исследований реальных нейронов и их способности кооперироваться, на основе попыток дать этому явлению математическое описание. К биологическим нейронам это теперь никакого отношения не имеет.
Помочь (своей болезнью?) может и можно, но это к людям, изучающим мозг.
#113 #940298
Граница. Видят русские по утру: китайцы картошку сажают. Вечером выкапывают.
- Новый сорт скороспелый?
- Нет, отсень кусать хосется
940322
#114 #940322
>>940298
Ну, знаешь, кем я только ни работал! Я и санитаром могу, и строчка ровная получается. Еще мальчиком, бывало, стульчик мастерил и с профессором Банщиковым вместе обходы делали. Все вот так сидят, а я говорю, и конгруэнтно все получается. А потом в мавзолее все таскали тюки, тяжелые такие. Я в гробу лежу, руки вот так держу, а они все таскают и складывают. Все говорят: мол, заграница нам поможет, а я и здесь работать акушером могу. Столько лет уже в парке Горького роды принимаю… ну, там мальчики, девочки… Плодики вынимаем и складываем. А то, что повара делают, это тоже нужно, ведь наука — это величайший путь к прогрессу...
#115 #940332
Подкиньте схемы мозга
940376940402940437
#116 #940376
>>940332
ау вась тебе к когнитивистам
#117 #940402
>>940332
оп пик
#118 #940437
>>940332
у сибя в сраке смотри, хех
#119 #940660
>>939623
Если использовать именно нейроночки, то да, черный ящик получишь. Если черный ящик не нужон, а требуется именно понимание работы идентифицируемой системы, т.е. каким образом в ней выходы зависят от входов, то нужны более другие подходы. Их много, реально. Как сторонник нечетких методов, могу сказать что связка "универсальный нечеткий аппроксиматор + представление готовой модели в виде, доступном для экспертной оценки человеком" один из лучших вариантов, есть даже готовые решения, например https://sourceforge.net/p/guajefuzzy/wiki/Home/ вообще, финграммы крайне недооцененный метод, статья про них например https://pdfs.semanticscholar.org/15bc/80fdd1ce2293ebebae031c099be8587a755d.pdf
940717940935
12 Кб, 480x360
#120 #940717
>>940660

> более другие

#121 #940918
>>938860
Двачую Воронцов просто математикой валит на убой.

Как стать слесарем то?
940928
#122 #940928
>>940918

>Как стать слесарем то?


Очевидно же - игнорировать всяких воронцовых. По делу у него все равно хуй да нихуя. Я еще раз спрошу - с какой стати считать что яндекс может в МЛ? Ни одной причины для этого просто нет.
940938941040941500
#123 #940935
>>940660
что это еще за кал от испанских недоучек? неужели среди всего разнообразия действительно толковых работ, ты нашел именно это амно.. печаль
940936
#124 #940936
>>940935

>среди всего разнообразия действительно толковых работ, ты нашел именно это амно


Ты знаешь аналоги такого?
940939
#125 #940938
>>940928
ну они там что-то делали с генерацией стихов Летова (сдержанный смех). Еще можешь посмотреть конфу, где они приглашали аж самого Миколова. Вопросы в конце конфы доставили ппц, в яндексе походу аутисты работают
#126 #940939
>>940936
нет, но я знаю еще одну гавнотеорию, которую пушат в нашем вузе, однако что-то не вижу ажиотажа.
Читать надо людей, работы которых используются на практике ну или тех, кто на слуху. Миколоф, Сутскевер, Голдберг, Леви, Карпатый, Янг, Чен нутыпонел
940941
#127 #940941
>>940939

>Читать надо людей, работы которых используются на практике ну или тех, кто на слуху.


Я тебя понял, распиаренное значит лучшее.
940959
#128 #940959
>>940941
ты сам такой вывод сделал, если ты считаешь основоположников современных нероночек распиаренными, то флаг в тебе в руки.
940966
#129 #940966
>>940959
Ты ж сам это пишешь.

>если ты считаешь основоположников современных нероночек распиаренными, то флаг в тебе в руки.


Речь шла об интерпретируемости модели, полученной в процессе идентификации системы. Что об этом пишут распиаренные основоположники современных нейроночек (сверточных, т.е., единственных из известных местному большинству)?
940977
#130 #940977
>>940966
а, сорян, "посмотрел в книгу, увидел фигу".
я думал о другом.
#131 #941025
>>939508
Иди на академию хана, там все объясняют на видео, для совсем олигофренов, весь школьный калькулюс, векторный калькулюс университетский - вообще всё. Прослушаешь - сможешь давать всем на клык на матане, вплоть до третьего семестра универа.
#132 #941040
>>940928
У дипломников воронцова из пистеха вполне неплохие дипломные работы.
#133 #941455
https://www.youtube.com/watch?v=AZG0j0pNY-4
ААА зачем я это посмотрел. Все эти "хьюмэн брэйн, нейроночка решает идти на ПАТИ или нет" я блюю от этого всего.

Дайте теперь тогда книжку с жестким матаном, но дабы там было абсолютно все о нейросетях.
#134 #941483
Не могу понять простейшую вещь, объясните пожалуйста - зачем данные делятся на три выборки?
Тренировочная выборка - это понятно. Мы подаем ее данные на вход и выход, изменяются веса сети, т.е. выборка непосредственно влияет на сеть.
Дальше validation стадия - для чего она? Пишут, что мы с ее помощью выбираем самую удачную модель из нескольких - имеется в виду, после каждой итерации? Где-то сказано, что валидационная выборка влияет на выбор гиперпараметров обучения - каких именно, и как влияет?
Затем используется выборка test, для определения ошибки итоговой модели. Почему для нее нельзя использовать данные валидационной выборки? Ведь сеть её не запоминала?
941506941516941526
#135 #941495
Где можно почитать об обратном распространении ошибки в сверточных нейронных сетях?
941810
#136 #941500
>>940928
С того, что почти все вещи, от того, какую рекламу крутить кому и заканчивая тем, как тебе искать в сети требуют этого. Есть вполне работающий бустинг на деревьях + какие-то сетки, которые используются пока в-основном как факторы бустинга.
source: работаю там.
941506
106 Кб, 677x541
#137 #941506
>>941483
Без внешних выборок по отношению к тренировочной, ошибка на тренировочной выборке просто упадет до нуля и все. При этом тестовые данные будут классифицироваться вообще никак, при том что соответствуют той же системе, что и тренировочные. Что соответствует переобучению (oferfitting).
>>941500

>Есть вполне работающий бустинг на деревьях + какие-то сетки, которые используются пока в-основном как факторы бустинга.


Враппер под хгбуст, в лучшем случае. Ни сам бустинг, ни что угодно другое, относящееся к бустингу, не было создано в яндексе.
941527941588941612
#138 #941516
>>941483
Вот смотри: пусть у нас три подвыброки train, validation и test. Когда ты кормишь свой алгоритм трейном, он подбирает какие-то свои параметры (веса для нейроночек, по каким факторам бить для деревьев, например), но кроме тех параметров, которые алгоритм может подобрать сам есть еще гиперпараметры. Гиперпараметры - все, что есть вокруг модели, даже саму модель можно считать гиперпараметром, они по сути отличают несколько конкретных моделей из одного семейства (пару нейронок по количеству слоев, например). Для примера: в нейроночках ты можешь менять количество слоев, их размер, их типы, learning rate, regularisation rate, количество шагов до остановки (early stopping) - это все гиперпараметры, которые сама модель не подбирает, а подбираешь ты на основе validation подвыборки.
Так как ты когда выбираешь гиперпараметры сам отталкиваешься только от train и validation подвыборок, то ошибка, которую ты будешь получать на этих подвыборках будет занижена (на train - алгоритм может переобучиться, на validation - ты сам, когда будешь подбирать гиперпараметры под него), потому чтобы узнать настоящую точность алгоритма тебе нужна последняя подвыборка test, которую ты трогаешь только в самом конце и поэтому не можешь на ней переобучиться.
941588
#139 #941526
>>941483
А вообще, все же есть в педивикии https://en.wikipedia.org/wiki/Overfitting
#140 #941527
>>941506
Судя по вики, первый релиз xgboost в 2014 году, первые коммиты в местные деревья я нашел в 2009 (учитывай тоже, что в Я были переезды с контролем версий и т.п.). Категоричность твоих убеждений удивляет и огорчает меня.
941542
#141 #941542
>>941527
Значит, не конкретно под хгбуст. Про бустинг Вапник еще в 1995 году писал, ссылаясь на пейпер 1990 года. "Казалось бы, при чем тут Лужков яндекс" как говорится.

>Категоричность твоих убеждений удивляет и огорчает меня.


Ну извини уж, что вижу то и пишу. Рекламу от яндекса вижу ежедневно чуть ли не в каждом утюге, а вот про какое-то МЛ-специфичное ПО от них даже не слышал (полтора враппера на гитхабе - не показатель).
941555
#142 #941555
>>941542

> Про бустинг Вапник еще в 1995 году писал


Ты наркоман что ли? Я не говорю, что в Я изобрели бустинг (xgboost тоже хорош не статьей, а тем, что он открытый и работающий), я говорю, что в Я есть реализация работающая быстро и без переобучения с простым интерфейсом: залил пулы с данными - получил классификатор.

> вот про какое-то МЛ-специфичное ПО от них даже не слышал (полтора враппера на гитхабе - не показатель).


Все ПО, которое тебе что-то саджестит (поиск, реклама, Дзен) использует внутри себя МЛ достаточно активно. То что в опенсорс не выкладывается связано с политическими (в Я это не поддерживается потому что тратит время и не приносит прибыль) и техническими (все ПО написанное завязано на внутренние библиотеки) причинами.
941567
#143 #941567
>>941555

>То что в опенсорс не выкладывается связано с политическими (в Я это не поддерживается потому что тратит время и не приносит прибыль)


Приносит на самом деле. Просто в вашей конторе менталитет уровня прошлого века, "нельзя впарить = не приносить прибыли". Стал бы Маск релизить gym и universe, а Брин выкладывать в паблик Слесарьфлоу, если бы это было простой потерей времени и не приносило пользы? Нет, конечно. Просто они умные и понимают, что прибыль можно получить не только впариванием, но и более хитрыми многоходовочками (выложил свободную МЛ-библиотеку, пропиарил ее - с ней ознакомились полтора миллиарда индусов - несколько из них активно коммитят и развивают проект нахаляву + пишут работы в тему, набивая тебе индекс цитирования + защитились на пхд и к тебе же пришли работать, уже зная тему вдоль и поперек, итого ценные кадры в годные прибыльные стартапы).
941581
#144 #941581
>>941567
Ты забываешь, что компании бывают разными. OpenAI - финансируется и не торгуется на бирже, Google - тратит деньги и овладевает новым рынком, Я так не может (банально денег сильно меньше). Задачи Я - делать продукты и воевать на уже существующих рынках в других странах, а не глобальная экспансия и миллионы индусов (подумай, сколько придется потратить на маркетологов только). Про опенсорс и привлечение людей Бобук кстати в предпоследнем Радио-Т говорил тоже на примере MS.
941609
#145 #941588
>>941506
>>941516
Это все мне понятно. Если на тренировочной выборке ошибка упала до нуля - значит сеть обучилась, или же запомнила картинки (что, в принципе, одно и то же, но разный уровень генерализации).
Затем мы подаем валидационную выборку. Получаем некое значение ошибки, естественно, бОльшее, чем при тренировке. Дальше что с ним делаем? Точнее, что делает с ним фреймворк?
Например, я экспериментирую с caffe. Архитектура модели (число слоев и т.п) в процессе обучения не меняется. learning rate и алгоритм его изменения задается на запуске (фиксированный, экспонента, и другие). Количество шагов остановки - это число итераций, да? Вроде там фиксированное всегда.
Насчет regularisation rate только не уверен. Вот и спрашиваю, как используется validation loss.
941601941612
#146 #941601
>>941588
Как я понимаю, ты подкручиваешь гиперпараметры и смотришь, упал или поднялся validation loss. Когда достиг минимально возможной, то смотришь окончательную оценку модели на тестовой выборке.
#147 #941609
>>941581
А зачем Яндекс выложил в опенсорс Томиту?
941621
#148 #941612
>>941588
Параметры модели настраиваются до тех пор, пока ошибка на тренировочной выборке не начинает расти (что свидетельствует о переобучении). На картинке >>941506 же вся суть. Первая кривая это и есть validation loss. Там показан момент оптимальной остановки дальнейшей настройки параметров.
941615
#149 #941615
>>941612
Теперь понял, спасибо
#150 #941621
>>941609
Мне сложно сказать, также как зачем выложили ClickHouse, но общая политика Я - не выкладывать.
#151 #941696
Господа, кто-нибудь работал с датасетами movielens?
Попытался сделать регрессионную модель для предсказания оценок (через SVM), получил MAE ~ 0.86, что довольно хреново (столько же дает обычная user-based коллаборативная фильтрация).
Вопрос в модели, что нужно брать собственно за X_i.
Я брал вектор, который представляет собой конкатенацию юзер признаков и муви признаков, вроде
пол + возрастная категория + профессия + наиболее_нравящиеся_жанры + жанры фильма.
Все признаки кодировал через битовые вектора, напр, пол для мужчин 1 0 для женщин 0 1 и т.д.
Где я сильно неправ?
Для мувиленса хорошая MAE - ниже 70, вроде.
941709941770
#152 #941709
>>941696
Попробуй deepboost'ом каким-нибудь.
#153 #941770
>>941696
А почему ты используешь конкатенацию? Мне кажется, какие-то признаки более значимы, а какие-то менее значимы, и надо присваивать им веса.
941775
#154 #941775
>>941770
По идее, веса будут присвоены во время обучения.
#155 #941810
>>941495
ПОЧЕМУ НИКТО НЕ ОТВЕЧАЕТ НА МОЙ ОТВЕТ?
941817
#156 #941817
>>941810
Потому что у тебя ответ какой-то наркоманский. Очевидно же, что почитать можно там же, где и про сверточные сети вообще. Лекуна читай.
942300
#157 #942121
>>936522 (OP)
котаны, добавьте в шапку http://neuropro.ru/

там хорошие статьи на русском есть. Причем там не переводы, а авторские статьи.
http://neuropro.ru/mypapers/krasnneu04_4.pdf вот например "РЕДУКЦИЯ РАЗМЕРОВ НЕЙРОСЕТИ НЕ ПРИВОДИТ К ПОВЫШЕНИЮ ОБОБЩАЮЩИХ СПОСОБНОСТЕЙ"
http://www.neuropro.ru/memo17.shtml О пригодности любой нелинейной функции нейронов

http://se.math.spbu.ru/SE/YearlyProjects/2014/YearlyProjects/2014/344/344-Korystov-report.pdf и вот эта курсовая тоже прикольная
942169
#158 #942169
>>942121

>Это сайт Виктора Царегородцева − здесь я предлагаю услуги по анализу данных


Пиар параши. Впрочем, как и шад, но всем похуй почему-то.
942254
#159 #942218
Поясните, пожалуйста, за всякие там AIXI и машины Геделя простым языком.
942293
#160 #942254
>>942169
ну окей, тогда я ещё и это закину

https://www.youtube.com/channel/UCKFojzto0n4Ab3CRQRZ2zYA
https://www.youtube.com/channel/UCNuItlOR3qXZBtMRwb4GoBg

на обоих есть про машинное обучение
462 Кб, 752x1083
#161 #942293
>>942218

>простым языком.


Подход к машобчику с единственно верной стороны, а именно - конструктивной математики. Колмогоровская сложность, вероятность Мартин-Лёфа, индукция Соломонова, вот это все. Пикрелейтед еще в 1907 году пояснил, почему вычислимая математика на основе построимых математических объектов - единственный путь не скатиться в кризисы и парадоксы. Нет, не хотим. Хотим веровать во всякую невычислимую хуету а-ля закон исключенного третьего. В итоге вне конструктивного подхода кризис оснований до сих пор не победили, но до некоторых таки дошло, что без конструктивизма и правда никуда, в итоге таки начали работу над конструктивными основаниями - НоТТ. В машинном обучении та же история - еще в 60х годах кукарекали, что нужно немного потерпеть и будет ИИ. Напридумывали кучу алгоритмов, а толку - хуй. Картинки кое-как научились классифицировать, к 2017-то году. И опять понемногу приходит понимание, что без конструктивизма никуда. Ну, лучше поздно, чем никому. Глядишь, так и победят.
942510
#162 #942300
>>941817
Я что-то не понял, обратное распространение ошибки на сверточном слое происходит также как и в обычном слое нейросети?
943880
#163 #942365

> конструктивной математики


нахуй сьебируй
942367
#164 #942367
>>942365
Но все алгоритмы как явление вообще - это конструктивная математика.
942371942375
#165 #942371
>>942367
даже аллах математика, лол. как же матанопитухи заебали все своей петухатикой обмазывать.
942373
#166 #942373
>>942371
Аллах как раз не математика. А насчет алгоритмов - смирись, это математика в чистом виде. Все машинное обучение в частности.
942376942377
#167 #942375
>>942367
з.ы. напиши мне алгоритм распознования геометрических фигур, петухатику ты знаешь, матаппаратом владеешь, удачи.
#168 #942376
>>942373
то то нихуя я смотрю там не работает
#169 #942377
>>942373

>алгоритмов - смирись, это математика в чистом виде


рецепт яичницы тоже математика?
942387
#170 #942387
>>942377
А то. Конструктивная функция как она есть, подаем на вход ингредиенты, производим над ними необходимые действия, получаем на выходе продукт.
942430
#171 #942430
>>942387
а что тогда не матан? почему кулинария не раздел математики? понапридумали наук всяких
54 Кб, 714x374
#172 #942450
Элементарно же все, хуяк хуяк и сошлось
#173 #942493
Я решил сначала написать мини игру, а потом в ее мирке тренировать сети. Ибо познавать сети на примере абстрактной хуеты типа распознавания картинок мне влом
#174 #942510
>>942293
В чем суть конструктивной математики? Только без баззвордов.
942697943775
#175 #942550
Ну хуй знает аноши, что-то я приуныл, не осиливаю я. Что делать? Продолжить изучать для души, или дропать?
Может разжую еще...
Блять блять, сложна нахуй.
942700
77 Кб, 312x400
#176 #942593
У меня есть 2 вопроса:
1. Я провожу кластеризацию на реальных данных, как мне оценить качество кластеризации? Я нашел пейпер, в котором сводка всяких оценочных статистик, но там приводится слишком много разных вариантов, дайте самый мейнстримный.
2. Я провожу кластеризацию на тестовом наборе данных, где уже есть референсный столбец с разбиением на классы, как в таком случае быстро оценить качество?
942700943775
39 Кб, 379x399
17 Кб, 369x153
9 Кб, 213x126
1508 Кб, 1170x853
#177 #942697
>>942510
нельзя доказывать по индукции/от противного
лишние ограничения
секта короче
943775
#178 #942700
>>942593
байесовские методы есть простой фреймворк со встроенной оценкой моделей методами современной теории вероятностей (вместо устаревших методов нечёткой логики)
в бишопе в 10 главе есть пример кластеризации с вариационным бейсом
алсо инклюдед автоматический вывод количества кластеров

>>942550
дропай, нахуй тебе это?
942919
#179 #942780
Посоны, есть какие-то на гитхабе может готовые решения чтобы особо не вникая создать что-то вроде парсера фотографий и страниц в вк на основе нейросетей?
Хочу простенький скрипт для себя сделать для создания базы тянучек которые мне нравятся для дальнейшего спама им в личку с целью поебаться.
Знаю таких проектов кучу было, раньше натыкался на обсуждения подобного.
942885943003
#180 #942884
Нейраны, посоветуйте, пожалуйста, метод для кластеризации, который позволяет самостоятельно найти оптимальное количество кластеров, а не задавать их в качестве начальных данных.
Я так понимаю, что мне нужно деревьями обмазываться?
942919943775
#181 #942885
>>942780
Воловиц, залогинся.
#182 #942888
Попытался въехать в тему интереса ради. Без математики нехуй ловить.
В школе я ебланил, институт не профильный, а самому изучить можно, но уж больно дохуя: освежить функции, теорию пределов, дифференцирование, итегральная поеботина как минимум.
942919
73 Кб, 514x534
Фееричная расстановка точек над глубоким обучением #183 #942905
Блё, аноны, зачем вы пытаетесь вкатиться в это болото ебаное? Сам два года на работе обучаю нейросетки (компьютор вижн), уже сил нет читать псевдонаучные статьи с тремя формулками и ссылками на гитхаб с неработающим говнокодом (каффе с кастомными слоями сам себя не построит, построил, построй еще раз). От фразы Deep Learning, произнесенной с индусским акцентом, уже передергивает. Чувтсвую, что за это время очень сильно отупел, как в плане каких-то математических знаний, так и в CS в целом.
942919943057948429
#184 #942919
>>942884
-> >>942700

>>942888
>>942905
кул стори бро
#185 #942970
NLP-аноны, почему вообще бутстрэппинг работает? Разве от такой хуйни не будет переобучения? Зачем тогда использовать классическое обучение с огромными размеченными документами, если можно просто дать маленькую выборку, и классификатор сам найдёт нужные признаки?
943775
#186 #943003
>>942780
С помощью openface за ночь сделал автолайкер для тиндера. В целом идея простая, openface представляет возможность преобразовать фотку в feature vector, то есть сам найдет лицо на картинке, пропустит его через нейроночку и выдаст тебе набор цифр. Далее этот вектор уже можно использовать как хочешь, например, каждое новое лицо проверять на близость к тем, что есть в базе, можно скормить PCA или t-SNE и смотреть на кластеры того, что тебе нравится.
Вот код докерфайла и скрипта, который позволяет получать representation vector с помощью HTTP API: http://pastebin.com/9gaP2iwW
Остальную обработку можно вести вне докерфайла.

Чтобы запустить надо вызвать /root/openface/demos/web/start-servers.sh внутри контейнера, далее запрашивать API как-то так.

def get_rep(image):
img_str = base64.b64encode(image)
data = {'image': img_str}
r = requests.post("http://localhost:8000/search", data=data)
return r.json()

Проблема в том, что это не работает. Потому что вектор находится в пространстве похожих лиц, но если лицо похоже на красивое, это не значит, что оно само по себе красивое. Проверить просто, залей фото любой красивой тян на файндфейс и посмотри, нравятся ли тебе матчи. Ты найдешь дохуя всратых и жирных тян, похожих на твою богиню.

Я вижу тут два варианта, или сделать мелкую нейроночку feature vector -> оценка и обучить на своей базе, или же обучать end-to-end, лицо -> оценка. Первое реально сделать допилив openface, а вот для второго база нужна поздоровее, и на гитхабе я не видел, хотя статьи есть (и база с азиатками, лол https://arxiv.org/abs/1511.02459 )

В целом такой стартап взлетит.
943250
#187 #943057
>>942905

>каффе с кастомными слоями сам себя не построит


проиграл, у меня их уже больше десятка веток, собираю с закрытыми глазами
#188 #943166
Я, кароч, хочу стать слесарем и по этому изучил обратное распостранение ошибки. Но там говориться типа, мол в начале для нейросети в связи выбираются случайные значения (хоть вроде и есть согласования как их выбирать), но почему именно такие и случайные? Когда я еще не дошел, то мне казалось, что в начале должны быть, кхм, одинаковые значения связей, а дальше уже корректировать, а не от случайного.
943194
#189 #943194
>>943166
выбираешь случайные
@
прогоняешь SGD
@
повторить 100500 раз
@
берёшь лучшие веса
@
продаёшь массив и выкатываешься
943215
#190 #943215
>>943194
Но почему случайные-то, а не просто от единицы и ноля, например?
943221943264
450 Кб, 800x437
#191 #943221
>>943215
так чуть больше шанс найти нормальный максимум - ты градиентный спуск/подьём скорее всего будешь несколько раз прогонять, каждый раз от новой точки
943264
#192 #943250
>>943003
надо сделать, чтобы по размеру сисек лайкал. Вот где полезная функция
943259
#193 #943259
>>943250
Надо вложить десяток тысяч рублей во фрилансеров из /wrk/, чтобы разметили базу, тогда можно и по сиськам сортировать.
943270
#194 #943264
>>943215

> Но почему случайные-то, а не просто от единицы и ноля, например?


Если ты везде поставишь вес 1 и смещение 0, то у тебя нейроны будут выдавать все одни и те же значения => capacity модели как у одного нейрона
>>943221

> так чуть больше шанс найти нормальный максимум


это неправда, обычно не переносится информация между запусками => если ты найдешь минимум какой-то, не факт, что ты на нем остановишься
943266943267
#195 #943266
>>943264

> capacity модели как у многих слоев, где каждый слой из одного нейрона


быстрофикс
#196 #943267
>>943264
Как ты сложно объясняешь... Короче, если установить одни и те же параметры у нейронов, они будут обучаться в одну сторону, а нам нужно, чтобы нейроны вычленяли разные признаки, поэтому и инициализируются они по-разному.
#197 #943270
>>943259

>>вкладывать во фрилансеров с двача


а ты шутник
943276
#198 #943276
>>943270
У меня удачный опыт, меньше ебли мозга, чем у успешных хохлов с бирж, с учетом того, что все объясняется на словах, выходит дешевле толоки или амазона. Минус только распиздяйство, но это решается более грамотным менеджментом с моей стороны. На самом деле на бордах дохуя хикканов из провинции, готовых работать за копейки, при этом довольно вменяемых и компьютерно грамотных.
#200 #943775
>>942510

>В чем суть конструктивной математики? Только без баззвордов.


Суть - вычислимость. В конструктивной математике все вычислимо, ни во что веровать не надо. Петушок >>942697 не шарит, его можно не слушать.
>>942593
Существует, мягко говоря, хуева туча методов оценки качества кластеризации. Из чего уже можно заключить, что какого-то одного и универсального решения нету. Например, в R есть готовые решения такого рода - кластеризация с оценкой по наиболее используемым критериям и окончательное решение, сколько именно кластеров адекватно представляют данный датасет. https://cran.r-project.org/web/packages/clValid/index.html
>>942884
https://cran.r-project.org/web/packages/clValid/index.html
>>942970
Бутстраппинг - онанизм в чистом виде. К каждому имеющемуся примеру добавляются от балды искусственные, нормально распределенные относительно имеющегося. В итоге данных становится тупо больше и алгоритмы уже могут что-то выдать более осмысленное. Вообще, таким методом есть смысл пользоваться только когда все совсем плохо.
943809943828
#201 #943792
R-петух еще и поехавший шизик? Удивительно даже.
#202 #943809
>>943775
Короче это картофанные дауны, для которых выражение является истинным, если сцаная машина тьюринга может его посчитать, я правильно понял? Так все этих интуиционситов ещё при Гильберте в очко ебали и с тех пор они у параши потешно кукарекуют только, разве нет?
943812
#203 #943812
>>943809

>я правильно понял?


Нет.
#204 #943825
Стоит ли идти, как думаете?
https://cs.hse.ru/dpo/bigml
#205 #943828
>>943775

>Бутстраппинг - онанизм в чистом виде. К каждому имеющемуся примеру добавляются от балды искусственные, нормально распределенные относительно имеющегося. В итоге данных становится тупо больше и алгоритмы уже могут что-то выдать более осмысленное. Вообще, таким методом есть смысл пользоваться только когда все совсем плохо.



Я вот и не понимаю, почему расширение обучающей выборки за счёт обучающей выборки не приведёт к дикому переобучению.
943829
#206 #943829
>>943828
Переобучению относительно чего? Если у нас выборка - это 3,5 примера, а больше от этой системы все равно ничего нет (в противном случае бутстрап не нужон).
#207 #943831
Ыыы, а можно ли использовать одну нейросеть для решения другой задачи? Как искать такие эксперименты?
#208 #943880
>>942300
Я не понял, я прав или нет? Скиньте статью, где все для дебилов понятно объяснено.
943898
#209 #943898
#210 #944363
Есть ли русскоязычное обозначение для transductive learning?
#211 #944644
На самом деле, не знаю куда спросить. Реально ли сейчас построить симуляцию всего артикуляционного аппарата? Можно ли и рационально ли будет использовать для этого наработки нейросетей по чтению по губам (и как приспособить их для обратной задачи)? Может кто-то это уже делал? Хочу проверять эффект Буба-Кики.
944650
#212 #944646
>>936522 (OP)

ЯП

1) Джулия, да, заточка под математику, но зачем нам Джава, с Скалами и Джулиями, если у нас есть Питон? К тому же под Джулию ещё и фремворков на каждый случай нет, а состыковывать как? А Джава вообще в плане математики сосёт. Учить узкоспециализирвоанный язык, это как учить машинный кодинг под конкретный проц.
Нужно быть полным идиотом.

2) Весь .Net сразу идёт на хуй, за причинами в Гугл. А инфернет и тем более, где он вообще применяется на деле? Только в паре маленьких проектов от Майкрософт? Вы будете учить Раст, чтобы программирвоать только Фаерфокс? И я нет. Я бы с большим успехом взялся бы за ЛУА. Но зачем Луа, когда есть Питон.

3) R сдох, теперь везде только Питон.

4) Питон, да, этот язык стоит учить.

5) Хипстерские ЯП, коих хрен знает сколько и которые рождаются каждый год, не нужны по вышеуказанным причинам.

Итого, остаётся учить только Питон.

Сразу видно, что ОП - полный мудак.

Остальную часть его высера даже читать не стал.
946594948517
#213 #944650
>>944644
https://www.youtube.com/watch?v=dD_NdnYrDzY
Что-то такое, но в виде программы с детализацией и дабы выдавало более совершенный набор звуков. Точнее, более точно бы повторяло голосовые связки и тд человека.
944651
#214 #944651
>>944650
https://www.youtube.com/watch?v=1dwXX9LmSDg

Программу реально сделать? И если да, то как? Только чтоб там детально рассматривалось движение губ и тд
944668
#215 #944666
А на чём пишут фреймворки NN C или C++ (имеется ввиду основная часть)?
#216 #944668
>>944651
лолблядь
готовтесь к ИИ программистишки
944877
#217 #944873
>>936522 (OP)
Аноны, стоит ли в резюме писать про курсы на курсере? Я только студент и опыта работы вообще нету, проектов больших тоже нету, только несколько поделий, типо seq2seq и всяких распознаваний изображений.
#218 #944877
>>944668
о да, шевелящиеся проводками маски меня испугали.
#219 #944897
>>936522 (OP)

>Information theory, inference & learning algorithms, MacKay


Читаю эту книгу. В начале даны несколько роадмапов для разных задач:

Pages vii–x show a few ways to use this book. First, I give the roadmap for
a course that I teach in Cambridge: ‘Information theory, pattern recognition,
and neural networks’. The book is also intended as a textbook for traditional
courses in information theory. The second roadmap shows the chapters for an
introductory information theory course and the third for a course aimed at an
understanding of state-of-the-art error-correcting codes. The fourth roadmap
shows how to use the text in a conventional course on machine learning.

Получается, для обучения машинному обучению (в чём я заинтересован) лучше идти по четвёртому пути? Или стоит с криком "Кембридж крута" пойти по первому? В принципе, четвёртый путь является подмножеством первого + несколько глав по нейросетям.
945035
#220 #944934
А я люблю обмазываться свежими нейросетями и дрочить. Каждый день я хожу по земле с черным мешком для мусора и собераю в него все нейроночки которое вижу. На два полных мешка целый день уходит. Зато, когда после тяжёлого дня я прихожу домой, иду в ванну, включаю горячую воду…ммм и сваливаю в нее свое сокровище. И дрочу, представляя, что меня поглотил единый организм нейросети. Мне вообще кажется, что нейросети, умеют думать, у них есть свои семьи, города, чувства, не смывайте их в унитаз, лучше приютите у себя, говорите с ними, ласкайте их…. А вчера в ванной, мне преснился чудный сон, как будто я нырнул в море, и оно прератилось в нейросеть, рыбы, водоросли, медузы, все из нейронов, даже небо, даже Аллах!.
32 Кб, 183x200
#221 #944969
Падажжите, то есть поиском по сетке недостаточно определять лучшую модель, обязательно ещё проверять гипотезы?
#222 #945035
>>944897
осиль первые 4-5 глав, если кодирование не интересует то дaльше читай тoлько млшные главы, вроде 19 первая или 20
579 Кб, 467x288
#223 #945046
Как сделать ИИ, который себя реально осознаёт?

Хочу создать Бога из Машины.
945055945067
#224 #945055
>>945046
сначала надо прочесть все книги из шаппки тренделя
#225 #945062
как оптимизировать линейную регрессию для увеличения параметра log loss?
945141
#226 #945067
>>945046
Никак. Это невозможно. По крайней мере пока.
945202
#227 #945141
>>945062
Если для увеличения, то тебе градиентный подъем надо, лол. Но обычно уменьшают.
#228 #945157
Советую всем грезящим о "боге из машины" послушать последний выпуск радио-т, где происходит расстановка точек (впрочем, довольно очевидная) над текущим прогрессом в машинном обучении.
592 Кб, 930x1168
#229 #945169
Сделал для дебичей типа меня шпаргалку по оп-пику.
82 Кб, 720x819
#230 #945175
>>936522 (OP)
Sup, /pr/отаны.
Я упрощу задачу, но просто смысл не в ней. Предположим есть 2d клеточный лабиринт. Программа двигается по нему видя только на одну клетку впереди себя. Если встречает объект (стену), то двигаться через нее не может, запоминает это событие и идет в другую сторону. Со временем, сталкиваясь со стенами, программа составляет цепочки событий и сравнивая их выводит правило, что пытаться пройти сквозь стену бессмысленно.

Вопрос такой, если перебор и сравнение цепочек будет реализовано с помощью нейронных сетей это ближе к ИИ, чем реализация с помощью стандартных функций если-то?

Т.е. я могу сам написать код для сравнения цепочек, но тогда это будет просто код программы, а можно каким-то образом подавать эти цепочки на нейронную сеть и получать результат, пока не знаю как.
Просто ИИ нужен функционал анализа своих действий, но где грань между ИИ и обычной программой? Под ИИ подразумевается просто самообучающаяся программа прохождения лабиринта, которая может учиться взаимодействовать с разными объектами на пути.
945182945353945370
#231 #945177
Так, у меня вопрос. Чувствительны ли сверточные нейросети к паразитной засветке картинки цветным источником света? Как с этим бороться?
#232 #945182
>>945175

>где грань между ИИ и обычной программой?


Её нет. По мне, так простейший логический элемент "НЕ" с одним входом и одним выходом - уже ИИ, так как он получает на вход какие-то данные, производит решение и выводит другие данные.
945200
#233 #945200
>>945182
Даже функция f(x) = x*x ИИ получается?
945204
#234 #945202
>>945067
Почему невозможно сейчас, но станет возможно когда-то? Какие трудности?
945207
#235 #945204
>>945200
Почему нет? Результат детерминирован, и чтобы его получить, нужно выполнить ряд логических операций
#236 #945207
>>945202
По качану, нужна новая математика и компьютеры на ней.
945209945396
#237 #945209
>>945207
Кокая такая "новая математика"?
945217
#238 #945217
>>945209
новый школьный курс
https://en.wikipedia.org/wiki/New_Math
945359
#239 #945353
>>945175
Ты пытаешься изобрести велосипед. Открой для себя deep reinforcement learning, все уже украдено до нас. Вопрос неблохо проработан с теоретической стороны + есть готовые реализации.

>где грань между ИИ и обычной программой?


Сильный ИИ - это осознающая себя машина. Такого пока нет. Слабый ИИ - алгоритмы, которые могут в то, что обычно считается возможностью человека. Такой хуйни полно.
945409
#240 #945359
>>945217
видео с lehrer ом скинь
945397
#241 #945370
>>945175
Ты пытаешься изобрести велосипед, для поиска путей есть уже давно алгоритмы, тупые, которые уперлись в стенку и ищут новое направление. ИИ мог бы помочь с ситуациями где мы видим стенку , но еще не уперлись. Но тут опять увы и ах, такие оптимальные алгоритмы упреждающего поиска путей уже тоже есть, и они быстрее чем ИИ.
945409
#242 #945396
>>945207
полную херню несёшь, сбацаю на питоне и стандартном ПК
#243 #945397
>>945359
ты о чём? о человеке-математике? а что за видео?
8080 Кб, 720x514
#244 #945409
>>945353
>>945370
Спасибо за ответ, но я не занимаюсь поиском пути.

Постараюсь объяснить в двух словах.
Главная задача моего ИИ - включить музыку в клеточном лабиринте просто дойдя до кнопки включения музыки. Пока света нет, ИИ может двигаться вверх, вправо, влево, вниз и получать имена объектов вокруг себя и двигаться на одну клетку вперед. Но вот тут самое главное - ИИ не знает, что такое стена, у него нет, разумеется слуха и зрения. То, что музыка играет, ИИ узнает от внешней программы "Слух", которая просто проверяет переменную в бинарном файле.
Поэтому он и пытается пройти сквозь стену несколько раз, при каждой попытке он просто не получает результата. И выводит правило вроде такого: сверху объект W, справа объект W, влево объект W, движение вверх - нет результата.
Такое правило перегружено в начале, которое со временем можно упростить до "сверху объект W, движение вверх - нет результата".
Это можно сделать кодом напрямую сравнивая с новыми цепочками действий или трахать этими цепочками нейронные сети. Вот мне интересно, какой подход был бы ближе к человеческому мышлению? Как бы с одной стороны нейронки, но ведь в человеке на каком-то уровне тоже можно представить некий хард код, который работает одинаково у всех в мозгах.
945411945415
#245 #945411
>>945409
такая тупая хуйня решается обычным алгоритмом поиска в глубину, твой ИИ тут не нужен.
945414
#246 #945414
>>945411
может, он именно для ИИ и делает
945418
#247 #945415
>>945409

>правило вроде такого: сверху объект W, справа объект W, влево объект W, движение вверх - нет результата.


Ну я жи говорю, deep RL. Для этого результат придется как-то выразить в набранных очках или вроде того (плюс и минус) и поставить цель максимизировать результат. Уже сейчас в таких условиях алгоритмы сами с нуля учатся играть во всякие понги, арканоиды и т.п. хуитку. Изначально никаких правил игры не получая, просто обучение действиям по динамике скриншотов и итоговому результату - набранным очкам. Если интересно - гугли openai universe и gym.
#248 #945418
>>945414
А я хочу ФИ, это финансовый интеллект, каждый раз по 100 бачей мне кидает, и не нужно никого просить повестись на эту хуйню с ИИ и потом заплатить.
945422
#249 #945422
>>945418
тебе финансовый бот нужен, миллион готовых, и там куча своей хуйни

мне он тож нужен
945426
#250 #945426
>>945422
Естественно, мы то знаем как это хуйня работает, въебем парочку исследований, а там как пойдет. ИИ всех победит и окупит.
945427
#251 #945427
>>945426
так сейчас у всех боты, и много кто пытается полноценные ИИ уже сделать, с ними не поконкурируешь, если ты не знаешь секретов только
#252 #945445
Я раскрою вам секрет, который маловероятно, но возможно сделает вас даже миллиардером!
Или миллионером, но с гораздо большей вероятностью.
Всё бесплатно и без смс. И это не лохотрон.
Итак, вы готовы?
Секрет прост и проще некуда.
Секрет: "Все - Идиоты!".
Да, именно, все люди - идиоты. Большинство населения планеты вообще полные идиоты, а дальше на графике, чем они умнее, тем их меньше, там даже функция не линейная. Умных меньше в десятки раз. Реально умных 5%, идиотов 15%, а полных идиотов 80%. Но даже эти "реально умные" во многих ситуациях оказываются идиотами, если не полными, ведь они такие же люди, как и все остальные.
А самое интересное - среди этих 80% полных идиотов полно богатых людей и людей разрбрасывющихся деньгами, и вообще в сумме они богаче кого бы то ни было. К тому же, здесь ещё и половина среднего класса.
Ну так вот, вы делаете деньги на этих 80% полных идиотах и строите свой бизнес соответствующим образом.
Почему я сам давно не миллиардер и почему я делюсь такими секретами? Просто потому, что я нихуя не делаю и мне не жалко.
А ты, как предприниматель, должен предпринимать определённые действия и через ряд неудач тебе повезёт. Ты сам создаёшь своё будущее, планируй и действуй! Будь наглым и просто делай, делай, делай. И даже если ты сам полный идиот, ты тупо методом перебора рано или поздно найдёшь свою золотую жилу!
945478
#253 #945478
>>945445

>Все - Идиоты!


И утверждение ты это делаешь на каком основании?
p < 0.05?
945740
#254 #945740
>>945478
Наверное The Bell Curve.

мимокрокодил
#256 #946594
>>944646
Питон тормозной, он тупо ненужен. Бери С++.
946595947336
#257 #946595
>>946594
Это только потому что он интерпретируемый... Но однако есть и компиляторы и для него...
946596
#258 #946596
Антохи а GPU обязательно надо?

>>946595
Не только, динамическая типизация это рак, а еще нет толкового перехода на новые версии, 2_7 до сих пор юзается, и 3_6 не может в старый код, я хоть и против обратной совместимости, но дохера чего не переписано и это раздражает.
946600947341
#259 #946600
>>946596

>динамическая типизация это рак


Бляха, ну что за фашизм? Для серьёзного проекта, понятное дело, кресты, но как подручный инструмент для набросков-черновиков охуенно же, от псевдокода минимум отличий. Есть задача построить небоскрёб и скворечник, под задачу и инструмент подбирать.
946602
#260 #946602
>>946600
Выйдет новая версия питона - чисти говно и переписывай, тоже самое и с плюсами, но они будут работать и так, а если в новом стандарте 2017 наконец вычистят вилкой легаси парашицу и совместимость нарушится то достаточно передать компилятору используемую версию плюсов.
946604
#261 #946604
>>946602
Да я типа про то, что ты больше будешь с крестами ебаться. А так взял, хуйнул по-быстрому, мысли чисто набросать, посмотрел как оно всё будет выглядеть, потом на чистовик уже на крестах можно переписать, если скорость/надёжность нужна.
946607947343
#262 #946607
>>946604
На плюсах примерно столько-же времени пишется, Есть хорошие инструменты для дебага, если скомпилировалось без ворнингов значит уже заебись, а есть и дебагеры с анализаторами.
А пистон же может запустится даже если критическая ошибка есть, приходится пердолится с линтерами и бог знает чем.
Можно собрать статический stripped бинарник, который будет работать и на собаке, а можно ебатся с питонами и зависимостями.
946613947347
#263 #946613
>>946607
>>946607

>На плюсах примерно столько-же времени пишется


Ну хз, может дело привычки, так-то кресты топ.

>А пистон же может запустится даже если критическая ошибка есть


Вот это, конечно, пиздец тот ещё, да.
946617947325
#264 #946617
>>946613
Вообще хз, всегда ощущалось, что на пистоне пишется быстрее гораздо. Как бы единственная причина, по которой стоит использовать что-то кроме плюсов и если этого прироста нет, то смысл вообще в других яп, если один хуй любой интерпретатор на си же и написан, по сути обёртка над с/c++. Хз, короче. Ну ещё типа ради автоматической работы с указателями, типа безопаснее, но для меня не аргумент, так как когда нет возможности руками работать с памятью это скорее небезопасно, так как в случае какой-то редкой критической ошибки разработчика, которую словила именно ваша компания именно тогда, когда это нанесёт больше всего ущерба ты можешь только беспомощно ждать и считать убытки. Хотя на практике, наверное, это довольно редкие случаи, кирпич тоже иногда на голову падает.
947348947350947473
85 Кб, 604x402
#265 #946934
Вы не понимаете сути МЛ, а без понимания никогда не уйдете дальше слесарства уровня import slesarflow as sf. В МЛ Дзи (определения в пасте ниже) это датасет, полученный например измерением параметров некоей системы, техника работы этой системы. Соответственно, Ри - это фунция или функции зависимостей выходов системы от ее входов. Принцип работы этой системы, ее суть. Смысл МЛ в том, чтобы восстановить (аппроксимировать) такие функции по имеющемуся датасету, т.е. идентификация систем. Для этого и служат алгоритмы МЛ, это инструмент. Инструмент так же может быть хорошим и плохим, подходящим и неподходящим. И тут так же важно понимание принципа по которому должен работать такой инструмент. Вот этого почти нигде и нет, по-сути, теория статистического обучения - единственное изложение таких принципов, все остальное - простой пердолинг вслепую.

Путь охватывает все вещи, и поэтому, постигнув одну вещь, вы овладеваете всеми остальными. Некоторые люди утверждают, что, достигнув совершенства на каком-то одном Пути, человек является мастером всех Путей. Хотя он мудрец, он может, например, не уметь ездить на лошади. Действительно, в таких рассуждениях есть доля истины, но мы не должны забывать, что все проявления реальности имеют два аспекта, дзи и ри.

Все здесь не так просто, как может показаться. Дзи — это техника, ри — это принцип. Тот, кто знает принцип, может не практиковать искусство и все же обладать некоторым пониманием его сути. Так, человек может быть хорошим наездником, но не уметь подчинить себе лошадь. Он может знать, как следует обращаться с лошадью, но при этом плохо согласовывать свое намерение с намерением лошади. Если же вы можете достичь гармонии с лошадью, она всегда будет слушать вас. Дополняя безукоризненную технику пониманием принципа, вы становитесь безупречным, и тогда в искусстве верховой езды никто не сравнится с вами.

Скульптор создает произведения с помощью резца, но сам резец изготовлен кузнецом. Скульптор знает, хороший или плохой у него резец, можно ли этим резцом обрабатывать дерево или только бамбук, но один только кузнец может сказать, в чем различие между процессами изготовления резца по дереву и резца по бамбуку. Таким образом, кузнец знает принцип, а скульптор – технику. Человеку, который овладел техникой и постиг принцип, нет равных.
85 Кб, 604x402
#265 #946934
Вы не понимаете сути МЛ, а без понимания никогда не уйдете дальше слесарства уровня import slesarflow as sf. В МЛ Дзи (определения в пасте ниже) это датасет, полученный например измерением параметров некоей системы, техника работы этой системы. Соответственно, Ри - это фунция или функции зависимостей выходов системы от ее входов. Принцип работы этой системы, ее суть. Смысл МЛ в том, чтобы восстановить (аппроксимировать) такие функции по имеющемуся датасету, т.е. идентификация систем. Для этого и служат алгоритмы МЛ, это инструмент. Инструмент так же может быть хорошим и плохим, подходящим и неподходящим. И тут так же важно понимание принципа по которому должен работать такой инструмент. Вот этого почти нигде и нет, по-сути, теория статистического обучения - единственное изложение таких принципов, все остальное - простой пердолинг вслепую.

Путь охватывает все вещи, и поэтому, постигнув одну вещь, вы овладеваете всеми остальными. Некоторые люди утверждают, что, достигнув совершенства на каком-то одном Пути, человек является мастером всех Путей. Хотя он мудрец, он может, например, не уметь ездить на лошади. Действительно, в таких рассуждениях есть доля истины, но мы не должны забывать, что все проявления реальности имеют два аспекта, дзи и ри.

Все здесь не так просто, как может показаться. Дзи — это техника, ри — это принцип. Тот, кто знает принцип, может не практиковать искусство и все же обладать некоторым пониманием его сути. Так, человек может быть хорошим наездником, но не уметь подчинить себе лошадь. Он может знать, как следует обращаться с лошадью, но при этом плохо согласовывать свое намерение с намерением лошади. Если же вы можете достичь гармонии с лошадью, она всегда будет слушать вас. Дополняя безукоризненную технику пониманием принципа, вы становитесь безупречным, и тогда в искусстве верховой езды никто не сравнится с вами.

Скульптор создает произведения с помощью резца, но сам резец изготовлен кузнецом. Скульптор знает, хороший или плохой у него резец, можно ли этим резцом обрабатывать дерево или только бамбук, но один только кузнец может сказать, в чем различие между процессами изготовления резца по дереву и резца по бамбуку. Таким образом, кузнец знает принцип, а скульптор – технику. Человеку, который овладел техникой и постиг принцип, нет равных.
947057
#266 #947057
>>946934
Пытался обмазаться МЛ чтобы заработать баблица, прошел 1,5 курса на курселе от Яндека, понимаю что теряю суть темы, вообще интерес пропадает. Формулы блять формулы, бесконечный поток говна...

Как блять денег то на это ебале заработать. Чувствую что дропну скоро.
947065
#267 #947065
>>947057

>Как блять денег то на это ебале заработать.


Попилить и откатить, что тут такого-то?
#268 #947258
>>936522 (OP)
Ребят, как дела обстоят с индуктивным программированием? Просто я думаю , что пизже строить АЛГОРИТМ, чем сложную формульную ебалу, параметры которой находить решая задачу оптимизации
#269 #947281
>>939339
Срамота!
#270 #947316
Аноны, поясните за нейроночки. Почему вокруг них столько хайпа ?
Нет я ничего против них не имею, для решения определенных задач они хорошо подходят. Но почему адепты нейронок уверены, что с их помощью человечество скоро все проблемы зарешает и создаст супер-ИИ.

Разве обучение на основе большого кол-ва наблюдений не является лишь одной из функций нашего сознания. А как же, например, способность выводить сложные теории на основе базы простых фактов. Это ведь скорее к логическому программированию и прочим подобным методам.

Алсо, поясните за natural language processing. Какой ныне прогресс в области. Когда уже ИИ сможет в человеческие языки ?
947331947507
#271 #947325
>>946613

>C++ top


No, C11.
#272 #947331
>>947316
Аноны, поясните за PDF и HTML. Почему вокруг них столько хайпа ?
Нет я ничего против них не имею, для решения определенных задач они хорошо подходят. Но почему адепты лазерных принтеров уверены, что с их помощью человечество скоро все проблемы зарешает и создаст супер-принтер.

Разве рисование руками кисточкой не является лишь одной из функций нашего сознания. А как же, например, способность выводить сложные рисунки на основе базы простых фактов. Это ведь скорее к логическому программированию и прочим подобным методам.

Алсо, поясните за HyperText Transfer Protocol. Какой ныне прогресс в области. Когда уже HTML сможет в передачу по проводам ?
#273 #947336
>>946594
У меня жизни не хватит с моей тормознутостью написать всё, что я хочу на плюсах.

К тому же я нервный, а плюсы мои нервы во время разработки не берегут.
947339947473
#274 #947339
>>947336

>У меня жизни не хватит с моей тормознутостью написать всё, что я хочу на плюсах.


>


>К тому же я нервный, а плюсы мои нервы во время разработки не берегут.



Чем конкретно тебя так плюсы нервируют ?
947473
#275 #947341
>>946596
Тебе явно нужна Джава.
947473
#276 #947343
>>946604
А на питоне надёжности нет что ли?
947473
#277 #947347
>>946607
На плюсах тормознее разработка и чем сложнее проект, тем ещё тормознее, всё же суммируется. Начнёшь что-нить, а потом бросишь, если зп не получаешь, конечно, на питоне ты больше проектов доделаешь до конца. Легче обновлять, переделывать, всё проще. Всё проще, удобнее и быстрее в разработке.
Ты заебёшься делать большие проекты на плюсах.

И сама разработка на плюсах сложнее, больше головной боли, больше напрягов и опять больше время и других ресурсозатрат. Нужно думать о вещах, о которых ты на питоне даже не слышал никогда.
Больше проблем с библиотеками. Мне кажется, что даже на изучение библиотек и на практику работы с ними на плюсах больше времени уйдёт и трудозатрат больше. Это всё утомляет.

А то, что ты говоришь, это касается только маленьких простеньих вещей, которые на том же питоне и нужно делать.

Ещё питон даёт кроссплатфоменность, а на плюсах ты заебёшься, да ещё все эти компиляции, опять мозголомания при поиске и правке ошибок, да на хуй надо.

Плюсы нужны там, где нужна высокая скорость работы, это единственный плюс плюсов :) в срвнении с питоном, в этом питон просто сосёт.
А с компиляциями итд опять ебатьни итд, и получается, что в данном случае лучше уже сразу плюсы взять.
947473
#278 #947348
>>946617
Да не слушай ты его, он их даже сравнить реально не может, несёт какую то чушь.
#279 #947350
>>946617
Смысла в других нет?
Для денег нужно учить джаву и вебдевелопинг, а только в конце плюсы и то нах.

Для математики плюсы не подходят.
Сайты писать плсы не подходят. Везде, где нужен скриптовый язык не подходят. И ещё мно где.
#280 #947355
Плюсы из эры и мира Си, Ассемблера и Машинных Кодов.
Там нечего ловить.
С уже додыхает, все переходят на плюсы, но и время плюсов когда-нибудь пройдёт.
947358947473948826
#281 #947358
>>947355
И на чем тогда будут писать ОСи, embedded, гарбедж коллекторы, etc ???
947362947381947473
#282 #947362
>>947358
создам отдельную тему
#283 #947381
#284 #947473
>>947336
>>947339
>>947341
>>947343
>>947347
>>946617
>>947355
>>947358
Все ЯП - частные случаи типизированной лямбды. В т.ч. все потенциально возможные ЯП. Из чего прямо следует, что лучше тот, который лучше выполняет конкретную задачу.
947660947663947665
#285 #947477
Блядь, школьники, хули вы засрали МЛ ТРЕД языкосрачем. Ебанутым нет покоя.
76 Кб, 510x614
#286 #947507
>>947316
С вопросами про научную ценность в /sci. Местные мартышки считают себя умными, но могут только гуглить алгоритмы, корчить рожицы и бросаться дерьмом, а два слова по делу связать не могут.
947639
#287 #947639
>>947507
Я в шараге проходил регрессионный анализ, когда dsp учил. ОТЛИЧНО
Еще бредогенератор делал на цепях маркова. ОТЛИЧНО
Еще принятия решений матодом ELEKTE пробовал. ХОРОШО
Я могу тусить в єтом треде?
947661947669948751
#288 #947660
>>947473
Нет, всё это нули и единицы.
#289 #947661
>>947639
мы тут ИИ пишем, а не твои шкальные говноподелки.
948914
#290 #947663
>>947473
Нет, ты не прав. ЯП выбирают по библиотекам прежде всего.

Алсо, у тебя много разных задач, а ты учишь для решения каждой новый ЯП, ну молодец, все бы так.

"А то, что каждая вещь для своего дела" это дети ещё в первом классе проходят.
947666947668
#291 #947665
>>947473
вон там
https://2ch.hk/pr/res/947374.html (М)
про лучший ЯП
#292 #947666
>>947663
А то, что "каждая вещь для своего дела"
fixed
#293 #947668
>>947663
"Все профессии важны, все профессии нужны."

Прямо как сейчас помню.
#294 #947669
>>947639
Сколко учился лет и на кого конкретно?
948914
#295 #948004
Двач, читал кто "Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных",если да то есть смысл?
948007
#296 #948007
>>948004
Какого года эта книга? Сейчас фреймворки каждый месяц появляются, зачем читать устаревшее и на русском?
948071948086
#297 #948059
Как этой штукой пользоваться?

http://playground.tensorflow.org
949127
#298 #948071
>>948007
Блять, какая разница с какой скоростью фреймворки появляются, если все они юзают одну и ту же теорию ?
#299 #948086
#300 #948429
>>942905
двачую.

для псевдоинтеллектуалов, которые хотят математику прикрутить, которую они учили в шараге 5 лет.
#301 #948454
>>948093
пиздец, ты пидор
948478
#302 #948478
>>948454
этот анацефал до всех зэкотредов добрался походу
#303 #948517
>>944646
Боже, какой же ты фанбой. Хотел бы с тобой аргументированно посраться, но питон действительно охуенен, слишком люблю его.
#304 #948555
Поясните за Тьюринг-полные нейроночки. Как их обучают вообще? Или это больше программирование? Как вообще?
#305 #948631
#306 #948751
>>947639
ты для этого слишком крутой, тут одни философствующие школьники, вообще сосач - тупое болото
948792948914
#307 #948783
Кто готов зафрилансить проджект связанный с ml пишите свои телеги.
#308 #948792
>>948751
А где крутые собираются?
#309 #948805
Пацаны, там в Google Translate запилили нейро-перевод для русского языка. Айда тестировать

https://translate.google.com/
948875
#310 #948817
>>937329

>почитать


>цисп


Взоржал с лоха лапатнова, ббббббббгеееееее.
#311 #948826
#312 #948875
>>948805
Хуёво чёт как-то.

Англ --> Русс
Gain a fundamental understanding of Python’s syntax and features with this up–to–date introduction and practical reference. Covering a wide array of Python–related programming topics, including addressing language internals, database integration, network programming, and web services, you’ll be guided by sound development principles. Ten accompanying projects will ensure you can get your hands dirty in no time.

Получите фундаментальное понимание синтаксиса и функций Python с помощью этого современного введения и практической ссылки. Охватывая широкий спектр связанных с программированием на Python тем, включая адресацию внутренних языков, интеграцию баз данных, сетевое программирование и веб-службы, вы будете руководствоваться принципами разумного развития. Десять сопутствующих проектов гарантируют, что вы можете замарать руки в кратчайшие сроки.
#313 #948901
У веб-кодера без знаний матана есть шансы в нейронках? Или там везде жестокий матан и тыкаться бесполезно? Неужто от матана еще не абстрагировались фреймворками?
948907948938
#314 #948907
>>948901

>кодера


У кодеров вообще шансов 0
#315 #948914
Я вернулся! Сегодня до 10 на работке формы клепал.
>>947661
Так я спрашиваю, можна здесь потусить. Прикоснуться к таким гениям как вы.
>>947669
5 лет. Кафедра у меня на dsp помешана, профессора такое задвигают что у меня временные ряды непрогнозируюся. Больше и нечего рассказывать, кроме того что дипломная работа у меня был по SEO
>>948751
Да, не я даун. В руме кстати какие-то шкальники на джупитете какие-то графики хуячат и на скале говнокод. Я хочу идти около них и говоорит "линейная регрессия" или "метод наименьших квадратов", чтобы взяли в свою тусу смузи с ними пить.
#316 #948938
>>948901
Там любой дегенерат разберётся.
#317 #948943
Вообще всё просто. Любая сверхсложная система на самом деле элементарна. Проблема заключается в человеческом мозге и понимании.

И когда ты знаешь об этом, тебе всё начинает даваться, не сразу, но даётся и ты каждый раз убеждаешься, что всё на самом деле элементарно. Просто пшик и всё.

Нужно лишь затратить время и разобраться в энном количестве информации, это не сложно, это бывает долго, но выполнимо.
#318 #948971
>>940196
А ты из своей КОМНАТЫ выходил, сыч?
948972
#319 #948972
>>948971
Нет, я только интернеты читаю. Все новые пейпы пишут китайцы, в голландский научный журнал пишут китайцы, на гитхабе все засрали китайцы
948998
#320 #948998
>>948972
Давно все индусы пишут, какие китайцы.
4 Кб, 194x224
эмулятор слесаря #321 #949127
>>948059
Вот эту кнопачку жмакай))
949199
#322 #949199
>>949127
Чо такое ReLU и почему оно так эффективно?
949216
эмулятор слесаря #323 #949216
>>949199
Это функция активации нейрона, используется вместо сигмоида или гиперболического тангенса. Ректифайед линеар юнит штоле. Выгода в том, что это ненасыщаемая функция и у нее нет бесконечно убывающих участков, на которых сходимость часто надолго застревает. https://en.wikipedia.org/wiki/Rectifier_(neural_networks)
#324 #949226
Такая стори, купил в январе специализацию на курсере от яндекса и мфти, прошел первый курс, получил сертификат, прохожу второй курс, уже больше половины, я понял что меня от этой херни тошнит просто. Хочу дропнуть.
Но жаба душит, 20 к отдал, думаю может дотянуть... С другой стороны нахера тратить время на то что меня не интересует... Реально просто не хочу это изучать, не интересно. Просто говно какое то...

Чтобы вы сделали? Просто дропнули и хер с ними с деньгами. Или же дотянули и получили сертификаты?

Вообщем больше склоняюсь к дропу.
#325 #949235
>>949226
Ну и долбоеб.
#326 #949239
>>949226

>Но жаба душит, 20 к отдал, думаю может дотянуть... С другой стороны нахера тратить время на то что меня не интересует... Реально просто не хочу это изучать, не интересно. Просто говно какое то...


>


Я дропнул один курс, так потом корил себя за это. Лучше пройти, можешь даже в инете искать ответы, но лучше пройди.
949248949408
#327 #949248
>>949239
Ну вот будет этот ворох сертификатов, дальше что? ХЗ...
Я только время трачу, все равно работать не смогу по этому направлению, слишком сложно для меня.
949266949317
#328 #949266
>>949248
Не ленись.
949408
#329 #949317
>>949248
Никто не рождается умным/умелым, сложно - в космос полететь, ML тебе по силам, няша.
949365949408
#330 #949365
>>949317
В космос полететь легче, чем освоить математику. В космос и собака полетит.
949380
#331 #949380
>>949365
В практическом ML очень мало математики. В этом сила и слабость образования в РФ, пичкают математикой, пока не треснешь, а потом выходишь на работу и оказывается, что все совсем не так и ценится другое. Поэтому жри говно, как диды жрали, а потом будет легко и приятно.
#332 #949408
>>949317
>>949266
>>949239
Какие вы сегодня добрые, обычно говном польют, дауном обзовут.

Ну вообщем я снова сел за курс. Не знаю на сколько меня хватит. Надо что то почитать по интересную работу, прикладной характер, про истории успеха, мотивации нет. Вот идут задачи формулы, а мотивации нет....
949530949770
#333 #949528
>>949226

>прошел первый курс


Поздравляю, первый курс там представляет из себя введение в python и школьную статистику.

>прохожу второй курс, уже больше половины, я понял что меня от этой херни тошнит просто. Хочу дропнуть.


4-й ты просто не осилишь никогда
#334 #949530
>>949408

>интересную работу, прикладной характер, про истории успеха


Лучше сразу вернись к пабликам про стартапы.
949554
#335 #949532
>>949226
Бросай это дело к хуям, иди лучше дворником
949545
#336 #949545
>>949532
Почему то уверен что у тебя длинные волосы и ты никогда не трахался с тян. Я угадал?
#337 #949554
>>949530
Хочешь сказать что это все на уровне хобби, и вкатиться не реально? Если так то я дропаю это говно! Мне деньги нужны а не интегральчики под картофанчик.
949561
#338 #949561
>>949554
честно говоря, мл - это не самое денежное место, что-то уровня бортпроводника в самолете, машиниста поезда или там маркетолога среднего звена, а задрачивать нужно в разы больше.
#339 #949763
>>949226

>жаба душит дропнуть


Вот в этом и плюс оплачиваемых курсов, так бы давно уже забил. Не надо дропать, анон, ты просто переутомился и мозг тебя наёбывает "нахуй это скучное говно!", ведь не зря же ты вообще запарился на обучение, наверное интересно было? Сделай перерыв на пару-тройку дней, соскучься.
#340 #949770
>>949408
Я вообще мимокрок, но сука не сдавайся, потом сильнее пожалеешь. Если сдашься через три месяца все забудешь и нужно будет заново изучать.
52 Кб, 537x427
#341 #949892
Вот такие нынче петухи занимаются машобом.
949895
#342 #949895
>>949892
Читал хоть что постишь? Он же сам говорит, что похвастаться ему нечем, просто мимоинтересующийся. Хотя проблема есть, да. Когда-то МЛ занимались академики, сейчас индусы и тупая пизда с оп-пика.
#343 #949896
>>936522 (OP)

> НЕЙРОНОЧКИ


Охуенно. Хочу прикрутить сабж к своей игрушке ради эксперимента, чтобы самолетики летали не через друг друга, а как-нибудь интересно собирались и вели себя как живые. Это нужно генетические алгоритмы пердолить, или НС получится? Меня смущает то, что в большинстве пример в НС разбираются какие-нибудь пиксели, а с трехмерными векторами они ничего общего не имеют
949898
#344 #949898
>>949896
В это задаче можно обойтись и без машоба. Гугли swarm и boids.
949907
#345 #949907
>>949898

> boids


Уже имплементировал себе подобный этому алгоритм, но так не интересно же.
#346 #950411
Кто-то занимается обучением с подкреплением?
#347 #950413

> 5. idris/coq - модные яп для формально верифицированных нейроночек с тренировкой на этапе компиляции



Их кто-то использует для МЛ? Само слово "модные" в контексте idris/coq даже пугает
950426
#348 #950426
>>950413
Да никто их для МЛ не использует. Полторы реализации нейроночек на хачкеле от каких-то поехавших типа https://gist.github.com/mrkgnao/a45059869590d59f05100f4120595623 да книжка по анализу данных на том же хачкеле, не более.
248 Кб, 3062x1836
369 Кб, 2254x2062
#349 #950453
Ананасы, что может быть не так с cnn ?
Ошибка почти сразу скатывается вниз, но ниже 4.6 не падает, а точность нулевая. Я сначала думал может андерфит, добавил размерностей свертки, но ничего не поменялось. Датасет - cifar100, но даже на cifar10 что-то работает не так и различий особых нету.

https://gist.github.com/anonymous/ec88ea7c5fc1f17f08ebdedd2d79b5e5
950680
#350 #950455
За сколько времени можно написать альтернативу tensorflow и openai gym на своем любимом языке?
950502
#351 #950502
>>950455
Зачем?
950617
#352 #950592
можно ли написать najtiElementVMassive на нейроночках?
#353 #950617
>>950502
Чтобы чик клеить.
950621
#354 #950621
>>950617
Эй чика, я хика, хочешь посмотреть на мой тензорфлоу в брейнфаке?
950630
#355 #950625
Зачем погромисты пишут ИИ? Вы же тогда останетесь без работы, поехавшие.
950628950710
298 Кб, 683x1024
#356 #950628
>>950625
Они без всякого ИИ безработными останутся. Любую программу любого назначения по заданной спецификации можно просто экстрактить из инфинити-групоида в виде типизированной лямбды и компилить в код на любом языке программирования (т.к. все они частный случай типизированной лямбды). Для этого даже ИИ не нужон, достаточно MLTT и н-р, генетического программирования все на той же типизированной лямбде.
950629950637
#357 #950629
>>950628
Почему не так делают?
#358 #950630
>>950621
Хочу, Он хотя бы не требует столько зависимостей
#359 #950637
>>950628
Даже генетические алгоритмы не нужны, большинство веб-макак, например, можно заменить обычным конечным автоматом.
#360 #950680
>>950453
На последнем слое не нужен релу
#361 #950710
>>950625
Тот кто первый напишет - не останется
#362 #950759
>>939479
В общем я просто взял заведомо рабочую имплементацию на Шарпе и переписал её на человеческий.
https://github.com/nokitakaze/ResilientBackProp вот, если кому нужно будет ещё одно решение RProp на C#
#363 #951152
Кто вкатился в МЛ и работает по этой специальности?
Тут есть реальные примеры? Или это очередной форс типо хаскеля?
#364 #951215
Есть одна задача на классификацию. Сеть уходит в переобучение (RMSE на train становится очень маленьким, а на test либо не меняется либо немного увеличивается). Неизвестно решаема ли задача в принципе.

Как бороться с переобучением?
951252
#365 #951252
>>951215

>RMSE



Классификация с RMSE? Почему такой выбор?

Какой объем данных? Какой размер сеточки?

Либо сеть слишком большая, попробуй увеличить параметр регуляризации, уменьшить сеть или увеличить число данных
951324
99 Кб, 1280x715
#366 #951324
>>951252

> Почему такой выбор?


<---

Accuracy я тоже использовал. Для обучающей 99%, для тестовой 40% (там 40% принадлежит одному из классов, поэтому сеть просто спамит один и тот же класс).

> Какой объем данных?


На вход 30k, на скрытом слое 3 (прописью три) нейрона, на выходе три нейрона.

> сеть слишком большая


Да, я её уменьшал и уменьшал. Если поставить на скрытом слое 2 нейрона, то уже не сходится.

> увеличить число данных


Выборка не бесконечная. Сначала беру 1k данных, вся выборка 70k данных. На 70k ситуация точно такая же
951356951518
#367 #951334
А можно сделать 3D-нейрон, как в мозгу?
#368 #951356
>>951324
Снизил количество входящих данных. Всё равно каждый кусок (вхождение, datum) слишком персонализирован и работает как отпечатки пальцев, поэтому сеть учится отдавать результаты конкретной выборке, а не абстрактной совокупности признаков (feature)
32 Кб, 380x250
#369 #951389
Может у кого найдется время реализовать вот такой персептрон для XOR на языке Scheme? https://repl.it/languages/scheme Что-то вечно мне не хватает. Буду очень благодарен.
951405
#370 #951405
>>951389
Ух ты ж епта, я чуть не начал изобретать рекурентную нейросеть для такой задачи. Покажите, пожалуйста, как надо.
#371 #951411
Я делаю вывод что тут одна школота и студентота, все дрочат нейроночки по приколу, никто и рубля не заработал на этом.

Нахуй вас психи, я ухожу, потому что хочу жрать!
951423951449951650
#372 #951423
>>951411
Вообще да. Нейронки очень специфичные. В "реальной жизни" классификация тебе может понадобиться для оценки клиентов. Допустим, кому дать кредит, а кому нет. На практике таких задач меньше 1%. Это нормально. Хочешь реальных использований нейронок, иди в Яндекс или Мейл Ру. Или в Лабу Касперского
#373 #951435
#374 #951449
>>951411

>тут одна школота и студентота, все дрочат нейроночки по приколу, никто и рубля не заработал на этом


срыв покровов ITT
#375 #951518
>>951324

>Accuracy я тоже использовал. Для обучающей 99%, для тестовой 40%


Я вообще в первую очередь подумал про кросс-энтропию, но если у тебя только 2 класса, то я бы F1 метрику юзал, но это очень странно что у тебя сеть спамит один класс.

>На вход 30k, на скрытом слое 3 (прописью три) нейрона, на выходе три нейрона.


Ебануться, 30к, Я даже не знаю какой объем данных должен быть для таких входных данных.
Попробуй уменьшить размерность или использовать не нейроночки.

>Да, я её уменьшал и уменьшал. Если поставить на скрытом слое 2 нейрона, то уже не сходится.


Обычно на скрытых слоях лучше делать нейронов больше чем на входном, но в твоем случая я хз даже что делать

>Выборка не бесконечная. Сначала беру 1k данных, вся выборка 70k данных. На 70k ситуация точно такая же


Для 30к входных параметров датасет маленький, либо датасет увеличивай во много раз, либо размерность входа уменьшай
951681
#376 #951576
У меня вопрос по ML для laba1. Задача кластеризации.
Есть вещь у которой 4 свойства.
a) распределить вещи по группам(кластерам), если мы можем:
1. Мы можем сказать, по какому конкретно критерию выполняется кластеризация(от одного до четырёх).
2. Мы можем выделить минимальное и максимальное количество групп (это необязательно, можно этого и не делать)
б) Критерии не известны. Мы не знаем по какому свойству должна выполнятся кластеризация, количество кластеров неизвестно.
Мы можем:
1. Указывать количество возможных свойств, по которым происходит кластеризация (1 <= n <= 4), а можем этого и не делать.
Суть в том, что если предметы почти не отличаются по трём свойствам, а разница присутствует только в одном из свойств, то алгоритм должен определить, что кластеризация произойдёт конкретно по этому свойству.

Посоветуйте алгоритм. Рассматриваю любые предложения.
#377 #951650
>>951411
Я 450 баксов за вчера заработал. При чем удобно, сеть обучается, а ты двачуешь.
#378 #951681
>>951518

> у тебя только 2 класса


там хитро. Мне нужна классификация по нескольким разным критериям, и конечная сеть, собранная из нескольких сетей, будет давать мне именно разные критерии. Пример:
1. На фото изображен: заяц / белка / машина / человек
2. Как сделана картинка: фото, обработка фото или рисунок (картина)
3. Руке какого мастера принадлежит картина: Ван Гог, Дали, да Винчи

Все три сразу обучить нет вариантов, потому что не все входные данные содержат сразу все критерии. Поэтому я хочу обучить по каждому критерию отдельно, а потом соединить сети. Но хер-то там

> какой объем данных должен быть для таких входных данных


Там не все пермутации возможны. И, да, если бы я мог достать все необходимые пермутации, зачем бы мне была нужна сеть? Я снизил с 30k до 1k. Проблема сохраняется — переобучение. Каждое вхождение (запись) слишком специфично, и по нему можно просто построить finger print. Там в абсолютном большинстве случаев просто на нейронах нули. В 97% у 99.5% нейронов нули, а значение имеют лишь оставшиеся 0.5%, которые и служат finger print'ом

Ладно, завтра попробую уменьшить 1k до 200, но тогда там вообще почти везде нули будут
951685951743
8 Кб, 637x228
#379 #951685
>>951681

> завтра попробую уменьшить 1k до 200


Нет, хер там. Получилось 886 выборов для learn и ~200 для test. Причем в каждой выборке не менее 20 нейронов имеют вес не равный нулю. Всё равно в переобучение уходит.

Сейчас попробую сделать выборку не из 7 000 изначальных данных, а из 70 000. И не менее 40 нейронов имеют вес не равный нулю
951686951743
#380 #951686
>>951685
нет, тоже никакой реакции. Буду думать как данные передавать как-то по-другому
312 Кб, 1563x574
#381 #951743
>>951685
>>951681

Ну с первым пунктом, я думаю, вопросов нету, это все уже 10 раз описано, если тебе сегментация не нужна.

В третьем пункте можно использовать style extract как в модных ПРИЗМАХ и других приложений
https://arxiv.org/pdf/1508.06576.pdf

Со вторым пунктом я уже хз, но откуда разряженые фичи? Там же картинка обычная, там даже 90к будут очень плотные

>>951681

>Там не все пермутации возможны. И, да, если бы я мог достать все необходимые пермутации, зачем бы мне была нужна сеть? Я снизил с 30k до 1k. Проблема сохраняется — переобучение. Каждое вхождение (запись) слишком специфично, и по нему можно просто построить finger print. Там в абсолютном большинстве случаев просто на нейронах нули. В 97% у 99.5% нейронов нули, а значение имеют лишь оставшиеся 0.5%, которые и служат finger print'ом



То что все нули, это странно, но если у тебя 30к разряженых фич у тебя должен быть просто огромный датасет.
Разряженные фичи редко встречаются, для слов используют word2vec, может для твоего случая тоже что-то придумали.

Так что уменьшать число фич -- единственный вариант у тебя
951811
#382 #951811
>>951743

> Ну с первым пунктом, я думаю, вопросов нету


Задача не та, которую я описал. Я лишь пример пример разных классификаций одного объекта

> уменьшать число фич


Да, я переформулирую задачу, чтобы на вход подавалось 13 и 20 нейронов (две разные сети)
#383 #951817
Подскажите научную статью где было о том, как сделать из n-мерных объектов объекты в других измерения. Ну, из трехмерного куба четирехмерный гиперкуб и тд Все это на нейроночках, конечно
951829951831951858
303 Кб, 2000x1486
#384 #951829
>>951817
Наркоман?
951851
#385 #951831
>>951817
Короче я окончательно убедился какие люди в этом треде сидят. Пиздец.
951851953393
#386 #951851
>>951829
>>951831
А что я не так написал? Вы никогда не рисовали проекцию четирехмерного куба? Нейросети могут даже и круче
951855
#387 #951854
>>951576
SOM. Анализ результата - по компонентной плоскости, соответствующей той переменной, по которой различаются кластеры.
951867951992956610
#388 #951855
>>951851
И правда наркоман. Зачем для этого нейросети-то?
#389 #951858
>>951817
Ну йобана, прям так и гуглится же
neural network dimensionality reduction и там первая статья
#390 #951867
>>951854

>SOM


Спасибо. Сейчас буду изучать
Я вот с утра пораньше сделал
https://en.wikipedia.org/wiki/DBSCAN
но он классифицирует некоторые данные как noize, что не очень(
951992
#391 #951983
Нужно естественный язык переводить в SQL команды. Подскажите пожалуйста, какие библиотеки использовать, какие книги прочитать ?
В Natural Language Processing with Python, есть пример, где с помощью формальной грамматики реализуются простые SELECT запросы, но я даже не представляю как можно таким образом описать сложные 2 - 3х этажные union и join конструкции.
952286952791
#392 #951992
>>951867
>>951854
Я так понимаю SOM даёт мне точки в двумерном пространстве, а далее я уже должен применить любой стандартный алгоритм кластеризации?
952000
#393 #952000
>>951992
Нет, он проецирует многомерный датасет на двумерное пространство. Если в самом датасете содержатся кластеры (в виде нескольких разных классов объектов), то они будут видны на 2д карте. Суть такой карты можно понять по компонентным плоскостям, например (т.е. почему 2д карта выглядит именно так). Вообще, если нужна именно классификация, м.б. стоит попробовать что-то еще из векторного квантования - нейронный газ там, LVQ. Вот опорные векторы, полученные этими алгоритмами, можно и дальше обрабатывать, в т.ч. всякой кластеризацией.
#394 #952014
>>951576
kmeans конечно же, проще некуда
952021956610
#395 #952021
>>952014
Не очень. Как cmeans так и kmeans требуют количество кластеров в качестве параметра
952023
#396 #952023
>>952021
Вообще, есть жи методы, которые сами определяют оптимальное количество кластеров для данного датасета. Конкретно в R есть пакет ClValid.
952122
#397 #952110
Двач, мне кажется я недопонимаю само естество процесса выбора модели. Если модель А показывает себя лучше на тестовой выборке, чем модель Б, но при этом у А 99.9999% точности на train и огромный разрыв между train и test, в пользу какой модели мне стоит делать выбор?

Зачем рисуются кривые обучения? Они используются только в педагогических целях, для наглядной демонстрации процесса обучения, или из них можно достать что-то полезное, решая реальную задачу?
952287952296952301
#398 #952122
>>952023
А можно подробней и как для дебилов, я просто совсем зелёный первак. R/python/matlab недоступны, нужно самому на c# сделать. Что за алгоритм для определения оптимального кол-ва кластеров. В инете внятного ответа не нашел
952133
#399 #952133
>>952122

>Что за алгоритм для определения оптимального кол-ва кластеров


Это не один алгоритм, а целая куча всяких индексов, критериев и т.д., разработанных разными людьми в разное время. Суть в том, что есть показатели, по которым косвенно можно судить о качестве кластеризации. В кратце тут https://cran.r-project.org/web/packages/clValid/vignettes/clValid.pdf с формулами и ссылками на оригинальные работы. Конечно, можно и самому сделать, но заебешься. Далее все просто: берем датасет, берем любой алгоритм кластеризации, хоть k-means. Выбираем от балды число кластеров, скажем 2, замеряем индексы качества кластеризации. Потом берем 3, замеряем качество... В итоге получаем результат типа "количество кластеров - оптимальность по набору критериев качества кластеризации", суть в том, что при данном датасете эти индексы будут оптимальными при выборе кластеров, наилучшим образом кластеризующих данный датасет.При числе кластеров больше или меньше оптимального, индексы будут хуже оптимума. Как-то так, если в 3х словах.
952208
#400 #952208
>>952133
Спасибо. А не подскажешь, имеет ли смысл использовать k-means на мономерном, трёх и четырёхмерном датасетах?
#401 #952240
>>951576
Начни с каминса, хуле.
С неизвестным количеством кластеров хорошо справляется Affinity Propagation - сам группирует особей.
952242956610
#402 #952242
>>952240

>каминса


Это что такое? гугл не нашел
952249
#403 #952249
>>952242
k-means
#404 #952286
>>951983
мб, не совсем в тему
вот есть пример для работы с SQL для nltk

http://www.ling.helsinki.fi/kit/2009s/clt231/NLTK/book/ch10-AnalyzingTheMeaningOfSentences.html#discourse-semantics

а так, мб, парсинг какой-нибудь поможет (боттом-топ какой-нибудь, там с конца запроса начинать, и вкладывать потихоньку в верхние ноды), он тоже в нлтк-бук описан, или банальные регулярочки
952436
#405 #952287
>>952110
ты переобучился, гугли overfitting, underfitting, cross-validation
952296
#406 #952296
>>952110
>>952287

Этими терминами я владею (и загуглил на всякий)

Вопрос был немного в другом: можно ли вообще ожидать что реальное качество переобученной (или недообученной) модели будет похоже на то, что я вижу на кросс-валидации, или сам факт того что модель переобучена (или недообучена) делает её автоматически непригодной к использованию?

Дополнительный вопрос, как вообще получить какое-то численное представление надёжности модели (т.е гарантию что её качество на новых данных будет похоже на кросс-валидацию)?
Я вот видел теорию по VC-dimension-у, но никак не могу поверить что это можно юзать на практике КАК ПОСЧИТАТЬ VC для xgboost???.
952488
#407 #952301
>>952110

>Если модель А показывает себя лучше на тестовой выборке, чем модель Б, но при этом у А 99.9999% точности на train и огромный разрыв между train и test, в пользу какой модели мне стоит делать выбор?


Ты не сказал ничего о Б, но если Б показывается себя на test лучше, то Б.

>Зачем рисуются кривые обучения? Они используются только в педагогических целях, для наглядной демонстрации процесса обучения, или из них можно достать что-то полезное, решая реальную задачу?


Да это самая важная хуйня.
Рецепты от слесаря Николаича.
На кривой должны быть результаты на training и validation множествах. Через N итераций они у тебя нарисуют кривые. Смотришь на них.
1. Первым делом training должна рисовать сходящуюся кривую. Если она у тебя скачет, алгоритм не сходится, попробуй уменьшить шаг градиента, сменить алгоритм, по-другому инициализировать, сделать whitening данных и тому подобное.
2. Validation должна рисовать сходящуюся кривую. Если этого не происходит, значит у твоих множеств сильно разные фичи. Если ты делил training и validation сам из какого-то датасета, скорее всего датасет слишком маленький.
3. В идеале кривые training и validation должны сходится к одной величине, при этом эта величина должна быть лучше, чем тебе требуется. Как только они начинаются расходиться, можешь останавливаться - лучше уже не будет. И тут может быть две проблемы.
High variation - это когда training у тебя уже ушел в пол, а validation плетется где-то вверху. Нужно или больше данных, или упростить алгоритм.
High bias - это когда training и validation близки, но точность тебя не устраивает. Значит модель слишком тупая. STACK MORE LAYERS
#408 #952436
>>952286
Конкретно про этот пример я и говорил, он описан в книге. Но как от него прийти к чему-то более сложному я не имею ни малейшего представления.
953089
#409 #952488
>>952296

>сам факт того что модель переобучена (или недообучена) делает её автоматически непригодной к использованию?


This. Используй дропаут и l2 regularization.

>Дополнительный вопрос, как вообще получить какое-то численное представление надёжности модели (т.е гарантию что её качество на новых данных будет похоже на кросс-валидацию)?


Выдели из training set 15% и сформируй validation set. На нем и проверяй. А кросс валидация сильно много жрет, сильно много...
#410 #952502
Как себя чувствует affinity propagation на датасете, отличном от двумерного. Я не нашел прямого ответа на свой вопрос.
#411 #952539
>>936522 (OP)
Привет. Тут посмотрел первые четыре лекции курса "Машинное обучение от Yandex". Так то понятно, но терминов много и формул, которые объясняют в общем то простые вещи на практике, но постоянно заставляют останавливаться на паузу и доходить, что происходит на слайде. Универ я закончил пару лет назад, и классификацию объектов проходил, но это не помогает. Как улучшить понимание и чтение формул? Как не путаться в терминах?

inb4:бросай, ты слишком туп
952638955381
#412 #952638
>>952539
Хуета этот ваш яндекс. Есть нормальные книги, нормальные курсы.
952765
sage #413 #952765
>>952638
Советуй, не стесняйся.
952782
172 Кб, 916x1200
#414 #952782
>>952765
1) пикрелейтед.
2) оп-пост треда.
#415 #952791
>>951983
Мне кажется, можно погуглить на тему Named Entity Recognition, но прописывать правила и эвристики для всех хитровыебанных конструкций ты ебанёшься. Размечай датасет, хуярь классификатор.
953353
#417 #953053
>>936522 (OP)
Боже как уебищно объясняется дискретная математика на степике, просто пиздец. чет мямлит а потом НУ ВОТ ВАМ ЗААЧУ РЕШАЙТЕ ОХУЕВАЙТЕ
#418 #953078
Посоны, есть нейросеть для распознования лиц, на уровне findface
как можно применить?
953081953316
#419 #953081
>>953078
распознавать лица
953154
#420 #953089
>>952436
мне казалось, что это можно даже на регулярочках сделать
да и я бы скорее искал уже готовый парсер sql, а от него плясал, компьютер же все равно парсит весь этот текст хотя бы в машинный код, как первый ответ тут предлагает https://stackoverflow.com/questions/16890718/sql-queries-to-their-natural-language-description
953093953353
#422 #953154
>>953081
ебать ты умен, я спрашиваю как это можно применить?
второй файндфейс запилить?
953175
#423 #953175
>>953154
в аэропорте террористов распознавать, везде вместо пропуска, в кафешках и магазинах вместо дисконтки, логин на очередной бесполезный сайт. Везде, где нет соблазна подставлять фотку вместо лица.
953193
#424 #953192
>>936522 (OP)

> поясните за нейроночки


> нейроночка - массив


То есть я просто строю там какой-то охуенно длинный линейный многочлен с коэффициентами из массива и решаю его 60 раз в секунду? Поясните мне вот тут.
953205
#425 #953193
>>953175
Двачую, еще можно сделать систему контроля опозданий на работу.
953207
#426 #953205
>>953192
нет, это матрицы, а не массивы. Если в матане не шаришь - то иди нахуй просто
953213
#427 #953207
>>953193
эту систему можно еще десятью способами запилить.
sage #428 #953213
>>953205
матрица - массив
953465
#429 #953316
>>953078
где взял модель?
953465
#430 #953353
>>953089
>>952791
Получается к каждой БД нужно размечать и обучать свой датасет ? Размечать названия таблиц, полей и возможны данных внутри. Разве что общими для всех могут быть стандартные инструкции
953416
#431 #953393
>>951831
Я тебе больше скажу, их со всего двача сюда манит, потом по тематике тонким словом размазываются. Детектятся по НЕЙРОНАЩХАМ на раз-два. А внутре у ней нейронка!
953435
#432 #953416
>>953353
не думаю, зачем, можно определять тип переменной (ну, название и тд). Хотя забыл, это же тред про нейронки, так что зря мозги тебе морочу, так что мне кажется, что тут даже голый seq2seq отлично сработает без каких-то особых манипуляций (только токенизировать данные и сделать словарь из всех слов). Можно даже синонимичные фразы делать (а еще можно на вход word2vec подсовывать).
https://github.com/google/seq2seq или какая-нибудь другая реализация, там отличная документация.
953468
#433 #953435
>>953393
Ты против нейросетей внутри которой работают нейросети, в которой внутри нейросети, в которой внутри пушкин в которой внутри нейросеть...?
953436
#434 #953436
>>953435
Рекурсивных, то есть.
#435 #953457
Вы такие умные, где все охуенные программы и алгоритмы, которые вы пишете?
#436 #953465
>>953213
>>953316
обучил
#437 #953468
>>953416
Спасибо тебе большое добрый человек. Скажи пожалуйста, давно ты этим делом занимаешься ? Я в данный момент можно сказать "вкатываюсь". Читаю книги до которых доходят руки, прохожу небезизвестный курс от яндекса, но пока с трудом себе представляю как можно от этого всего перейти к реальным прикладным задачам.
953475
#438 #953469
Что скажите за Leaf на расте?
#439 #953475
>>953468
уже года два-три лениво вкатываюсь, но безуспешно, было два заказа на апворке, но я не могу работать без палки и фейлю их.
953479
#440 #953479
>>953475
В основное время чем занимаешься? Учишься/работаешь?
953914
#441 #953884
Может кто-нибудь нормально пояснить почему тут гнобят нечекопетуха? Не особо разбираюсь в ваших млях, хотя основа кое-какая есть, так вот интересно это тупой двачефорс типа углепетухов, шульгиных, бутылок, пидарашек, ТНН, еотов, членодевок, аниме, хаскеля, фриленсеров 300к\с или там реально хуета? Нечеткая логика так то намного лучше применима к реальному миру чем примитивное бинарное черное-белое истинно-ложно. Или такое двуклеточное мышление больше соответствует обитателям?
953885953891
#442 #953885
>>953884

>нечетко


фикс
#443 #953891
>>953884

>двуклеточное мышление больше соответствует обитателям


Это.
#444 #953914
>>953479
учусь (если это можно так назвать) в аспирантуре, работаю 20 часов преподом за скромную оплату, двачую капчу, предаюсь гедонизму
954115
#445 #954069
Короч, учу питон с целью обучиться ML
Я добоёб и не то нагуглил?
Или Питон норм?

до этого только вводную часть с++ учил
20 Кб, 1142x791
#446 #954105
Ребят , я тут свою первую в жизни нейроночку пилю
(на питоне, который знаю на уровне студента совсем_даже_не_программиста, которым и являюсь, так что всё печально),
и вот что нужно:

Есть дохуя картинок в папке , нужно их объединить в единый датасет (для библиотеки keras, но , думаю, это не принципиально).

Причём на вход сетке должно подаваться сразу две картинки.
Как их так вместе попарно собрать? И как потом загрузить в единый файл ну или хотя бы в саму сетку?

Во всех уроках только Cifar10 и mnist, которые библиотеками загружаются автоматически, а про кастомные датасеты чёт инфы мало.

По идее, в каждой строке моего двумерного массива по два массива с картинками , разложенными на RGB,

пикрил, каждая img- массив из пикселей в трёх каналах

но как это библиотеке объяснить, да и просто что с чем перемножать нампи такие вложенные массивы не хочет понимать, если совсем простую сетку делать,- вообще не понимаю.

никогда ничего не делал с массивами, которые вложены в другие массивы

Помогите , пожалуйста!

С меня нихуя, как обычно

всем добра :3
954119
#447 #954107
>>954069
А я пытаюсь дрочить нейросети, с целью изучить питон, лол
Иначе мотивации нет

мимошкольник
#448 #954114
Такой вопрос, имеются данные с перемешанными numeric(около 10) и dummie(13) переменными. Нужно построить регрессионные модели. Но для начала очевидно провести отбор переменных.

Так вот загвоздка в том, что я не могу найти/вспомнить такой алгоритм, который готов прожевать кашу из numeric и dummie и вывести в итоге удобоваримый резульат.

Из опробованных и успешно зафейленых методов имеются:
LASSO, RFE, ridge, elastic, tree, boruta

Существует ли такой метод в принципе? Не выбирать же из ~30 переменных вручную. Также неплохо было бы если бы модель еще по ходу дела определила их совместную значимость.

П.С. Все это делается в R
954825
#449 #954115
>>953914
Аспирантура российская? ДС/ДС2? Занимаешься именно NLP, или дата саенсом в целом?
954686
#450 #954119
>>954105
def read_jpeg(path):
im = Image.open(path).convert('L')
X = list(im.getdata())
X = np.array(X)
return X

for i in imgs:
x_train.append(read_jpeg(i))

x_train это у тебя массив. Не забудь преобразовать в нампи массив и нормализовать.
954180
#451 #954146
>>954069
Всю жизнь хейтил питон, но ради ML пришлось его выучить все равно ебанутый язык%
#452 #954180
>>954119
спасибо!
сейчас попробую
#453 #954260
>>954069
Если из МЛ интересуют только сверточные нейроночки и deepRL, то пистон норм выбор. Из остального МЛ в пистоне полтора алгоритма и тогда R предпочтительнее.
954486
#454 #954282
>>954069
Выучи питон, потом R, это не сложно. Если осилил петухон, то и рку осилишь. Тут в треде какие-то чмони разводят языкосрачи. Я еще понимаю если бы языки дохуя отличались типа haskell vs c vs какой-нибудь lustre. А с такими кордеанальными отличиями как у питуха и рмакакс, при знании одного, второй осиливается за неделю.
954486
#455 #954400
Я тут мимопрокачусь со своим ebuchikursach.py
Если мы хотим распознать несколько объектов на пикче с помощью сверточной, нам ведь не сильно необходима предварительная сегментация? Она, как я понимаю, обучается находить какие-то признаки, и по ним давать вероятность что на пикче есть объект конкретного класса; а значит если будет два объекта, то найдет оба?
954478
sage #456 #954478
>>954400

> предварительная сегментация


нинужно

просто debug свой глаз
954586
#457 #954479
45 Кб, 720x700
#458 #954486
>>954282
>>954260
Большое спасибо
#459 #954551
Я заинтересовался ML и нейронными сетями, прочитал несколько книжек и статьи иногда чекаю, но никогда не доходили руки до практики. И я решил что для диплома надо взять что-то связанное с сетями.
Мне нужно создать что-то подобное:

https://github.com/karpathy/neuraltalk2
http://www.stat.ucla.edu/~junhua.mao/m-RNN
http://demo.caffe.berkeleyvision.org

Однако, чтобы на выходе не предложения были, а просто тэги, связанные с этими изображением.

Но проблема в том, что я не могу начать это делать. Граница между теорией и практикой слишком большая. Может кто посоветовать, что делать?
954585
#460 #954585
>>954551
from slesarflow import *
#461 #954586
>>954478

>просто debug свой глаз


Что, простите?
#462 #954686
>>954115
ДС, скорее НЛП, но пытаюсь все хоть чуть-чуть понимать
954840
#463 #954825
Продолжение >>954114

Запускаю следующий код из fscaret для R:

fsMod <- c("gbm", "treebag", "ridge", "lasso", "Boruta", "glm")
myFS<-fscaret(train.sleepDF, test.sleepDF, myTimeLimit = 40, preprocessData=TRUE, Used.funcRegPred = 'fsMod', with.labels=TRUE, supress.output=FALSE, no.cores=2)

При запросе myFS$VarImp выдает list()

В чем может быть проблема, что делать?
#464 #954837
Я так понял, что если так много кода мо машинлернингу на питоне, то мне нужно будет делать сервак и общаться с ним по 127.0.0.1:порт ? Чтобы распознавать всякие передовые свистоперделки с основной программы написанной на джаве или сии или не важно на чем короч.
#465 #954840
>>954686
Аспирантура по специальности? Тоже хочу легитимно вкатиться и изучать НЛП в няшном вузике. Ты есть в датасаенс-чате?
955390
178 Кб, 788x1024
#466 #955377
Подскажите наиболее эффктивные алгоритмы реализации нечеткой арифметики на ПК. Пилю сейчас ANFIS, при представлении нечетких чисел в виде гистограмм все виснет, треугольные числа не дают требуемой точности. Альфа-срезы я пока не осилил, дайте пейпер годный по ним.
955645
#467 #955381
>>952539

> Машинное обучение от Yandex


в первый раз вижу. Спасибо. Завтра обязательно посмотрю
#468 #955390
>>954840
Не совсем, у меня так себе в этом плане вуз. В датасайенс-чате нет, это на слаке который, там нормально или не очень? Есть знакомые магистры и аспиранты, там целыми группами делают различный машин лернин, чуть ли не все.
248 Кб, 1856x2786
#469 #955645
>>955377

>Пилю сейчас ANFIS


Наиболее неудачная нейрофаззи-модель, м.б. потому что исторически первая. Чанг в свое время ее аж на Крее гонял из-за конских системных требований, если интересно - вот его оригинальный код http://www-cgi.cs.cmu.edu/afs/cs.cmu.edu/project/ai-repository/ai/areas/fuzzy/systems/anfis/ Квадратно-гнездовое разбиение входов и выходов безо всякой предварительной оптимизации реально нужного для этого количества нечетких множеств и прочий мрак.

>Подскажите наиболее эффктивные алгоритмы реализации нечеткой арифметики на ПК


Как сторонник R могу порекомендовать https://cran.r-project.org/web/packages/sets/index.html https://cran.r-project.org/web/packages/FuzzyNumbers/index.html (если нужна именно арифметика), если таки системы нечеткого вывода, то https://cran.r-project.org/web/packages/frbs/index.html и https://cran.r-project.org/web/packages/anfis/index.html (последнее - довольно годная реализация ANFIS со множественными входами и выходами).

>Альфа-срезы я пока не осилил, дайте пейпер годный по ним.


https://cran.r-project.org/web/packages/FuzzyNumbers/vignettes/FuzzyNumbersTutorial.pdf даже с картинками. Но альфа-срезы не нужны же, они только в нечеткой арифметике используются, в системах нечеткого вывода для них нет задач.
955678
#470 #955660
Кто-то занимается вероятностным программированием? И как оное?
128 Кб, 730x446
#471 #955678
>>955645
Благодарю за помощь.

>Наиболее неудачная нейрофаззи-модель


То есть я не смогу её гонять на среднестатистическом нищепека (16 памяти) или она будет постоянно застревать в локальных минимумах? Если все плохо, то какую нейрофаззи сеть посоветуешь для реализации на плюсах для студента?
955702955703
579 Кб, 1178x507
#472 #955702
>>955678

>я не смогу её гонять на среднестатистическом нищепека (16 памяти)


Сможешь. Сейчас комплюктеры пободрее, чем в 1993 году. Просто она реально медленно работает, у меня в вышеупомянутом пакете для R - frbs, на одном и том же датасете разница в скорости между anfis и др. нейрофаззи моделями была раз в 50.

>какую нейрофаззи сеть посоветуешь для реализации на плюсах для студента?


Они все примерно одинаковы, суть-то одна - настройка свободных параметров нечеткой модели с помощью бэкпропагейшна или чего-то в этом роде. Не считая некоторых хитрых моделей типа DENFIS-а Касабова и FLEXNFIS-ов Рутковского а-ля пикрелейтед, http://gen.lib.rus.ec/book/index.php?md5=1AE4B0938189187AD7783F5F43F85D87
#473 #955703
>>955678
А, ну еще Пегат же, А. Пегат, "Нечёткое моделирование и управление" у него эта тема годно разобрана.
957026
#474 #955759
Сейчас на первом курсе втуза
Хотел бы вкатиться в МЛ
Планирую в первую очередь взяться за линалгебру/общую алгебру, затем матан. Некст - английский и с++ добить. Имею представление обо всём, о чем написал выше, но энивей углубиться нужно. Дальше по плану идёт теорвер/матстат
Далее уже браться за книжки по МЛ
По алгебре взял "Введение в алгебру" Кострикина, по матанализу "Математический анализ" Зорина, по теорверу/матстату "Теория вероятностей и математическая статистика. Базовый курс" Кибзуна, по плюсам - базовый курс Шилдта,
по английскому - "essential grammar in use" Рэймонда Мёрфи.
Анон, рейт эту всю хуйню и укажи на недостатки. Чего не хватает/что заменить етц
#475 #955761
>>955759
Кресты вообще не в тему, пистон учи. Линал/матан/теорвер да, пригодится. Учебник, лучше он или хуже, но он и в Африке учебник. Так что не парься, вкатывайся.
955787
#476 #955772
>>955759

>Анон, рейт эту всю хуйню и укажи на недостатки


Ты не осилишь. Инфа 146%.
#477 #955778
>>955759
от Кострикина охуеешь, особенно после первого тома
955787
#478 #955786
А под каким редактором и какой набор инструментов используя вы кодируете это машинное обучение?
956471
#479 #955787
>>955761
в шапке про плюсы написано же. Да и к тому же, это единственный яп, акромя школьного паскаля, с которым я знаком на уровне олимпиадных консольных задач.
Общая алгебра нужна?
>>955778
Имею знания по линалгебре с первого семестра, общая алгебра идёт атм. Соответственно некоторую базу имею, да и обратиться в случае чего есть к кому за помощью.
Энивей, анон, подскажи замену, если действительно не осилю. На русском языке, в английский на уровне технической литературы/документации пока не могу.
955789
#480 #955789
>>955787

>Общая алгебра нужна?


Нет. Линейная - на уровне манипуляций с векторами, матрицами и т.д.
955792
#481 #955792
>>955789
А по плюсам всё-таки что? Непригодны вообще?
955794955933
#482 #955794
>>955792
Для крутого разрабоччика МЛ-софта пригодны, тот же xgboost и MXNet на крестах сделаны. Для рядового слесаря-пользователя точно без надобности.
955796
#483 #955796
>>955794
Спасибо, анон
#484 #955933
>>955792
Свои слои для caffe пилить если только.
#485 #956471
>>955786
vim
tensorflow
AWS
#486 #956472
Что там насчет курсеры? Стоит проходить?
956486
#487 #956486
>>956472
можно, но книжки читать всёравно придётся
курсера ориентирована на массовое потребление поэтому курс оче разбавлен
лучше бишопа/макая (RIP) читни, если ещё не читнул
#488 #956542
Где-нибудь есть формула для примерного вычисления количества записей (datum) в learn set для сети на N нейронов на входном слое так, чтобы сеть реально обучилась и не уходила в переобучение? 500k записей на ~3500 нейронов мне, например, хватило идеально. Само собой все зависит от задачи, я знаю. Но хоть какие-то способы расчёта есть?
956549956687956729
#489 #956549
>>956542
да, эту формулу можно вывести простой регрессией нейроночкой
берёшь много пар чисел (#записей, #нейронов) и подгноняешь нейроночку к этому датасету
956554
#490 #956554
>>956549
для этого мне нужно много примеров сетей, которые заведомо работают
#491 #956610
>>951576
>>952014
>>952240
>>951854
Выбрал для себя Affinity propagation. Хоть алгоритм и медленный по сравнению со многими алгоритмами кластеризации(это также из-за моих кривых рук первака), но делает именно то, что мне нужно.
Спасибо всем, я довольно много гуглил и изучал этот вопрос, но именно здесь я получил наиболее дельные советы)
#492 #956658
Чёт мне кажется, что всё это хуйня ебаная. Дрочить 3 или 5 лет матан и прочую хуйню без какого-либо выхлопа и без каких-либо прикладных скилов, чтобы потом найти работу только в универе. Охуенная перспектива.
А без хорошего математического образования погроммитсам вообще бессмысленно вкатываться. Можно, конечно, изучить scikit за пару месяцев и уметь вызывать кнн или к минс, но только потом как интерпретировать полученные результаты?
И кому это нахуй надо? Только каким-нибудь совсем уж большим корпорациям, у которых офисы где-нибудь в Лондоне, Нью-Йорке или Сан-Франциско.
956660956876956884
279 Кб, 1280x904
#493 #956660
>>956658
Это инересно, во-первых; во-вторых, сингулярность. СИНГУЛЯРНОСТЬ
956771
#494 #956687
>>956542
Переобучение никак не зависит от размера датасета.
#496 #956771
>>956660
Далеко не всем в ML/Deep learning нужна математика в больших объемах. Есть фреймворки, где все нужные функции уже написаны. Ты вполне можешь использовать готовые примеры и строить годные модели, вернее ты обязан использовать готовое, т.к. придумыванием новых методов занимаются на теоретическом уровне в основном учёные. В нормальных местах, где серьёзно занимаются этой темой, отдельно существуют инженеры, которым не нужно куча лет математики, и исследователи
#497 #956876
>>956658
пoдростковый максимализм, или просто толстота зелёная?
сколько тебе лет?
957118
#498 #956879
>>955759
сразу читай бишопа, нахуй твою алгебру жидовскую
#499 #956884
>>956658

>Можно, конечно, изучить scikit за пару месяцев и уметь вызывать кнн или к минс, но только потом как интерпретировать полученные результаты?


Посмотреть эти ебаные слайды Ына по поводу high variance и high bias. И все. Занятие реально слесарское, разница только в том, что приходится знать как билдить caffe и приготовить датасет в скриптовом языке. Ну и платят раз в 10 больше, чем слесарю-сантехнику.
146 Кб, 534x700
#501 #957026
>>955703
Большое спасибо за Пегата. Уже прочел первую треть, заходит легко, как китайские комиксы про кошкодевочек.
#502 #957118
>>956876
он прав как бэ
143 Кб, 466x640
Кем вы видите себя через 5 лет? #503 #963365
Как вообще вы видите своё развитие (деградацию) в следующие 5 лет в области мл?
Вкатился, что-то изнутри всё не так радужно. Одна из больших проблем: не знаю как развиваться и что вообще считать развитием. Пробовал читать умные книжки из ОП-поста (и не только), всё как бы понятно, что с этим делать непонятно. Куда вообще пихать глубокие знания мл алгоритмов я же не на кафедре стэнфорда?
#504 #978623
>>936522 (OP)
Где можно почитать подробно, про сверточные нейронные сети?
#505 #993586
>>936522 (OP)
Анон. Тупой вопрос. Как заставить нейронку рисовать? Тупой ньюфаг в этой сфере, да. Запилил лишь самую базовую (банальный массив х на у с пересчетом нейронов и обучением).
Как нейронке потенциально скармливать что-то и как получать на выхоод что-то? Что юзать и что прикручивать? Куда копать?
Обновить тред
Двач.hk не отвечает.
Вы видите копию треда, сохраненную 24 мая 2017 года.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
« /pr/В начало тредаВеб-версияНастройки
/a//b//mu//s//vg/Все доски