Этого треда уже нет.
Это копия, сохраненная 13 января 2020 года.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
НЕЙРОНОЧКИ И МАШОБ ТРЕД №19 /ai/ 1515078 В конец треда | Веб
Очередной тред про хипстерские технологии, которые не работают.

Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".
Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.
Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материала
В чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examples
Где набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/
Где работать? https://www.indeed.com/q-deep-learning-jobs.html
Где узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихся
Где посмотреть последние статьи? http://www.arxiv-sanity.com/
Где ещё можно поговорить про анализ данных? http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.

Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/

Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.

Предыдущий:
https://2ch.hk/pr/res/1492664.html (М)

Архивач:
http://arhivach.ng/thread/412868/
Остальные в предыдущих тредах

Там же можно найти треды 2016-2018 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
2 1515082
Перваянах!
мимо Алиса
15605371105930.jpg51 Кб, 720x597
3 1515083
Анон, помоги, пожалуйста.
Решил серьёзно угореть по нейрончикам и машобу.
Где найти наставника, который живительными пиздюлями может помочь советом или при необходимости на пальцах объяснить вопросы?
Кагглы и книжки это всё круто, но без какого-никакого руководства с практикой на данном этапе всё обучение рискует затянуться и уйти в глушь.
В результате можно остаться и без знаний и без опыта решений проблем.
Инб4 курсы и магистратура всяких мгу-яндексов
4 1515594
Есть области машоба где используется нетривиальная математика? топологии гомологии алгемы и тому подобное
5 1515598
>>15594
Машоб это статистика + полторы смежные дисциплины. Гамалогии и тапалогии там - не пришей к пизде рукав.
6 1515963
Что для вката на стажировки по мл нужно? месяца 3 занимаюсь байтоебством на си(такая программа в учебном заведении, недавно вот принтф переписал, юзая только маллок, фри и врайт). Начал питона душить, из матана знаю: собственно матан одной переменной, матан нескольких переменных, основы линала и ангема(без пространств всяких, просто вектора, матрицы, плоскости, поверхноси и тд). Сейчас тервер идёт в вузе, но там хуита вместо препода, так что сейчас ищу книжку нормальную.
Мне бы понять, чего ждут от меня - желательно списком и небольшому гайду, как этому обучаться
7 1515982
>>15598
Машоб, зумерок, это функциональный анализ (т.е. операторная k-теория) + дифференциальная геометрия и топология.
Это если мы не про детский сад вроде кминса с кнном говорим.
8 1515990
>>15982
Зумерошизик напал на очередного новичка своими убогими понтами
9 1516007
>>15990
Новичок - это тот кто каждый вечер у твоей мамки в жопе.
10 1516010
>>15982
поясни, петух
15731113115080.jpg273 Кб, 2289x2134
11 1516025
>>15083
>>15963
Ежедневные зумера вкатывальщики, лол.
>>15982

> Машоб, зумерок, это функциональный анализ (т.е. операторная k-теория) + дифференциальная геометрия и топология.


Ну ты и клоун, лол. Конечно, никакому опучкавшемуся долбаебу не запрещено формализовать нейроночки в виде пучков, только смысла в этом никакого. Точно так же можно сказать, что нейроночки это зависимые типы, да все что угодно, и даже доказать это. Вот только это никому не нужно кроме опучей типа тебя, которым главное хоть что-то спиздануть поперек сказанного, неважно есть ли в этом пиздеже хоть какой-то смысл. Школьничество и деградантство - все на что ты способен.
12 1516110
>>16025

>Конечно, никакому опучкавшемуся долбаебу не запрещено формализовать нейроночки в виде пучков, только смысла в этом никакого.


Я про пучки ничего не говорил, я описал машоб как он есть на практике. Впрочем, ты не разбираешься ни в математике, ни в машобе, так что куда тебе понять смысл сказанного. Бросай, зумерок, лучше свои палочки и иди кнн с кминсом учи.
13 1516121
>>15594
Ну статьи разные есть, но прикладная ценность там почти нулевая. А ля зис https://arxiv.org/pdf/1806.05393.pdf
14 1516132
>>16110

> я описал машоб как он есть на практике.


Маня, на практике машоб это импорт слесарьплов и главное слоев побольше, побольше! Не используются в нейроночках никакие гамалогии, тапалогии, не пизди.
15 1516138
>>16132
Я не про макакинг говорил, а про машоб.
16 1516140
>>16138

> Я не про макакинг говорил, а про машоб.


И я про машоб. Где там гамалогии? Давай примеры. Именно в самих алгоритмах или хотя бы в их теоретических обоснованиях.
17 1516157
>>16140
Многомерные пространства данных.
18 1516170
>>16157
ты про таблички в экселе? так это гомологии оказывается?
жесть я крут, хочу теперь 200к в секунду получать
19 1516172
>>16157
Двухмерный массив?
pizdabol.jpg30 Кб, 500x500
21 1516185
>>16157

> Многомерные пространства данных.


Строки, таблицы? В самом сложном случае тензоры. Преобразования всего этого - максимум линал, всякие там транспонирования, повороты. Где ты там гамалогии тапалогии нашел, хуй тебя знает. Я ж говорю, пиздабол ты братишка.
22 1516202
>>15078 (OP)
бродяги шалом
подскажите топовые проекты с нейронками, чтобы сделал и 300к/с стал
опознование лиц с соц сетей запилили уже?
23 1516220
>>16177
Что у него с ебалом? Это кто? Нахуй оно здесь? Это реально кто то смотрит? Вы ебанулись?
24 1516222
>>16220

>Вы ебанулись?


>НЕЙРОНОЧКИ И МАШОБ ТРЕД

25 1516223
Так я снова выхожу на связь, в свете появления большого датасета https://habr.com/ru/post/474462/ русской речи с аннотациями я спрошу вновь. Насколько реальн опереобучить вот эту модель >>1509878 и озвучить пасту пучкова его голосом?
[YouTube] Real-Time Voice Cloning Toolbox[РАСКРЫТЬ]
https://github.com/CorentinJ/Real-Time-Voice-Cloning
26 1516225
>>16223

>Насколько реальн


< 0
27 1516235
>>16223
Ну ты у автора на гитхабе и спроси. Там в issues прикреплённая тема training from scratch, почитай, там какой-то хуй описывает свои эксперименты с добавлением голосов, в т.ч с разной частотой дискретизации итд. Тут тебе по делу не ответят, т.к конкретно с этим проектом тут никто не работал.
28 1516346
>>16223
Попробуй и расскажи потом
29 1516388
>>16223
Не оче сложно, но там качество будет так себе.
30 1516518
>>15083
Бамп вопросу.
31 1516546
>>15083
Дрочи курсы, потом вкатывайся джуном в контору, где есть ml, больше никак.
32 1516552
>>16546
Спасибо.
Но иногда появляются вопросы, интернет ответы не всегда даёт.
А уж местные так тем более. Кого спрашивать-то?
33 1516562
О, перекатили, ну заебесь. Уже думал не дождусь чтобы задать этот вопрос.

For example, I printed the weights in all the neurons after the network had been fully trained. I wanted to see if the weights were similar between different training runs. It turns out that they were wildly different between runs, even though they still had similar prediction performance. Maybe this is well known, but for me it was really interesting to see for myself
https://henrikwarne.com/2019/10/27/classic-computer-science-problems-in-python/

А разве градиентный спуск заключается не в том чтобы веса изменялись плавно? В чем подвох?
34 1516737
>>16562
Минимумов лосса в нейронках астрономически много, просто так совпало, что те, к которым мы сходимся примерно одинаковые по качеству.
35 1516741
>>16737

> Минимумов лосса в нейронках астрономически много, просто так совпало, что те, к которым мы сходимся примерно одинаковые по качеству.


Так когда-нибудь и размерность Вапника-Червоненкиса откроют.
36 1516742
>>16562

> For example, I printed the weights in all the neurons after the network had been fully trained. I wanted to see if the weights were similar between different training runs. It turns out that they were wildly different between runs, even though they still had similar prediction performance. Maybe this is well known, but for me it was really interesting to see for myself


Чёт вшепот с этого сойбоя. Тоже поди зумер вкатывальщик?
sage 37 1516823
>>16742

>зумер


>хуюмер


>сойбой


Быдлецо, ибо аргументированно критикуй и советуй, либо съеби в /b.
Так как раз такой мусор как ты, хотя даже там поадекватней.
38 1516836
>>16823

> Быдлецо, ибо аргументированно критикуй и советуй,


Что тебе посоветовать? Ознакомиться с азами, прежде чем задавать вопросы уровня "что такое сигма"? Ну его нахуй, там букв много, лучше и результативнее сходу называть всех быдлецом.
sage 39 1516848
>>16836

>Ну его нахуй, там букв много, лучше и результативнее сходу называть всех быдлецом.


Да нет, проще всех называть зумерами, залётышами, вкатывальщиками, чем отвечать на вопрос или не отвечать вовсе - ведь надо хоть на сосаче самоутвердится.

>Ознакомиться с азами, прежде чем задавать вопросы уровня "что такое сигма"?


Подразумевая что азы без практики и опыта что-то значат. В том числе для работодателя.
40 1516858
>>16848

> Подразумевая что азы без практики и опыта что-то значат. В том числе для работодателя.


А тебе ответ на этой параше даст опыт и практику? Ты вот протестуешь что я тебя зумером вкатывальщиком назвал, но ты ж и вкатывальщик и зумер. Что не так-то?
sage 41 1516860
>>16858

>А тебе ответ на этой параше даст опыт и практику?


Хотя бы где его искать.

> зумер


Значение знаешь?
42 1516963
>>16552
ods комьюнити, кагл дискусы, тут я изредка спрашиваю чтонить ибо не то
43 1516981
Машобчик деградирует. Все, что описано здесь https://nauka.tass.ru/nauka/7094735 как дохуя инновации, делалось ещё в 70е годы прошлого века, причем не только нейроночками. А из реально новых достижений только генерация несуществующей хуйни типа котов, сельдей итд.
44 1516985
>>16981
С пробуждением, йопте
45 1517120
>>15078 (OP)
Путин назвал стартапы в области искусственного интеллекта смелым вызовом для талантливых и увлеченных людей.

«Эти люди должны быть уверены в том, что они нужны и получат поддержку в России», — подчеркнул он.

Аж трусики намокли, побежал за пивасом и допиливать свой ИИ проект
46 1517202
>>17120
Пыня - лучший друг зумеров вкатывальщиков, лол. Пользуйтесь тем, что дедушка нихуя в теме не понимает. Скачали любую хуету с гитхаба @ получили грант.
47 1517230
>>17202
Ой, иди на хуй хрюкан, сам то чего не скачаешь и не получишь господдержку?
48 1517298
>>17230
Это ж зашквар, ты что. Добровольно, да в один ряд с "создателями" "робота Бориса", ну нахуй.
49 1517303
>>16963

>ods комьюнити


Типа слака?
Или у них ещё что полезного есть?
50 1517654
Кроме аутомл есть еще одна тема, которая порешает зумеров вкатывальщиков - обучающиеся чему угодно приложения, которыми может пользоваться вообще любой желающий. Опять же, пока в виде игрушечного прототипа https://teachablemachine.withgoogle.com/ в качестве примера использования - уверен, в обозримом будущем такое легко и просто соединят с чем-то типа тех робособак, айбо, только "мозги" у них будут удаленные, в виде веб-сервиса, к которому собака/другая хуйня будет подключаться. И естественно, такая ебань будет в разы умнее любого зумера айбо и даже реальной собаки, и сможет легко детектить эмоции владельца и многое другое. Но основная суть подобных сервисов не в этом, а в том, что используя их любой желающий в полтора клика мышкой может решить 100% задач, решаемых зумерами вкатывальщиками, причем нахаляву.
51 1517744
Кроме фреймворков для веба есть еще одна тема, которая порешает зумеров вкатывальщиков - CMS-приложения, которыми может пользоваться вообще любой желающий. Опять же, пока в виде игрушечного прототипа wix.com в качестве примера использования - уверен, в обозримом будущем такое легко и просто соединят с чем-то типа тех робособак, айбо, только "мозги" у них будут удаленные, в виде веб-сервиса, к которому собака/другая хуйня будет подключаться. И естественно, такая ебань будет в разы умнее любого зумера айбо и даже реальной собаки, и сможет легко детектить эмоции владельца и многое другое. Но основная суть подобных сервисов не в этом, а в том, что используя их любой желающий в полтора клика мышкой может решить 100% задач, решаемых зумерами вкатывальщиками, причем нахаляву.
15733765531020.jpg25 Кб, 660x371
52 1517770
Лол, царь и правда надеется на зумеров вкатывальщиков. Так что вы давайте, вкатывайтесь, помогите Отцу Народов в очередной раз обделаться.

> "Такие люди, безусловно, у нас есть, и их все больше и больше появляется. Это очень значимое изменение в нашем обществе в целом. Сегодня сотни тысяч - я не оговорился - сотни тысяч школьников, студентов, инженеров, исследователей увлечены наукой, идеей технологического прорыва. Они формируют команды, причём по всей стране, вместе делают важные открытия, создают свои новые решения и изобретения", - добавил Путин.


https://ria.ru/20191109/1560760813.html
53 1517772
>>17744
Ок зумер
54 1517777
Думаю, пора переставать учить всякие джавы, шарпы и прочие ненеужные языки, а вкатываться в ИИ.. Ща пыня распараллелит потоки бюджета между военкой и ИИ и тогда в ИИ будут зп 300к/с, а остальные буду сосать хуйца))
55 1517779
>>17777
Ты же понимаешь, что деньги достануться серьезным людям, а зумерки вкатывальщики будут делать имитацию результата за дошираки?
56 1517788
>>17779
Да вот в нашем парашном НГУ, который не так давно стал известен скандалом, есть лабартория https://bigdata.nsu.ru/ - даже они выигрывают тендеры и нанимают всяких зумерков вкатывалщиков/иц и зумерки неплохо себя чувствуют там.. Чего уж говорить не о таких конторках-лабках, а о нормальных крупных фирмах, где щас ведуться отборы/стажировки для вкатывальщиков, даже сейчас туда взяли мою знакомую, которая вообще не ебет в машинном обучение, просто спиздила где-то или у кого-то вступительное задание и ей збс..

Так что хуй знает.. Но может дошики для них еще завариваются, а пока временно дают покушать тортик)
57 1517809
>>17788
Даже ты прекрасно же понимаешь, что ни один нормальный человек с этим связываться не будет, ибо самозашквар. А нихуя не умеющие зумера вкатывальщики, что-то спиздившие и вкатившиеся, ничего серьезного никогда не создадут из-за отсутствия мозгов.
58 1517815
>>15078 (OP)
https://github.com/deezer/spleeter

Обученная дизером нейрософтина на питоне которая разложит трек на инструменты. Нужно всяким ремиксерам и прочим музлоё...делам

Я ее нашел но как это теперь скомпилить? там голый код на гитхабе
Я музыкант я нипанимаю

Сделайте доброе дело , приведите это к человеческому виду типа вундервафыля.ехе

Заранее спасибо и простите если нитаво или нитуда
orig-15446085834c1ff7982692ab776ced377dc20193ba.png383 Кб, 800x450
59 1517816
Очень хороший пример возможностей зумеров вкатывальщиков - всякие маняроботы типа бориса, алеши и прочий кринж. В области машобчика это будет нечто уровня
скачали гугл дипдрим, обучили на картинах художниканейм
@
реее, асазнающаясибянейросеть обьявила себя художникомнейм и рисует картины в его стиле

пипл схавает.
60 1517817
>>17809
Я общался с этими людьми, именно сосальщицми вкатывальщицами и они не считают это самозашкваром, а наобоот гордятся этим и преподносят так, будто это их достижение туда попасть.. И везде пытаются это упомянуть.

Ну да хуй с ними, пусть считают как хотят, их дело.. Говноеды, кто говно жрет, тоже не считают это зашкваром и спокойно жрут говно.. Может утрирую, но думаю это в эту оперу.

Они то не создадут ничего - это факт. Тогда зачем их набирают, недоучек всяких, которые предпочитают казаться, а не быть? Это как индусы, только в машинном обучение?
61 1517821
>>17817

>Они то не создадут ничего - это факт.


Потому что как только поумнеют и наберутся опыта съебут на х10 зарплату.
А ты так и останешься лузером нищим.
62 1517824
>>17821

>как только поумнеют и наберутся опыта съебут на х10 зарплату.


Манямир. Так бы каждый зумер вкатывальщик в кремниевую долину переезжал.
63 1517830
>>17824
Блядь, какой же ты тупой. Умные из системы съебывают, тупые остаются. В итоге система ничего не рождает, но при этом умный человек может получить из нее дохуя профита, потому что там фактически платят за то что ты учишься.
64 1517831
>>17821
Лол. Ну все.. ща пойду вкатываться, поумнею там, работая со всякими zero shot лернингами через пару лет, и сьебусь на х10 зарплату и перестану быть лузером нищим.
Спасибо! ты открыл мне путь в долину богатства и успеха.
65 1517833
>>17816
Маня, чего ты самоподдуваешься который пост?
Распушил хвост как павлин.
66 1517835
>>17830

>Умные из системы съебывают, тупые остаются.


Маня, перечитай о чем я пишу. Как раз об этом - нормальный человек не будет связываться ни с каким сколенковым и прочими сказочными инициативами и маняпрожектами. Ты ж тупень, даже читать не умеешь, не то что понимать прочитанное.
67 1517838
>>17831
А ты даже не вкатился, лол?
68 1517839
>>17835

>Как раз об этом - нормальный человек не будет связываться ни с каким сколенковым и прочими сказочными инициативами и маняпрожектами.


С хуя бы? Отличный способ набраться опыта за деньги
69 1517840
>>17838
нет, в сомнительные конторы НГУ вкатываться не хочу. во всякую помойку, где проводят пре-пре-стажировку(1 месяц и 50+ людей), потом пре-стажировку(3месяц-пол года и 10 человек, со стипендией 160/час, 8-16 часов в неделю), откуда уже отбирают 3-х лучших и их приглашают на просто стажировку тоже. Если и буду, то не через такие около-окопные пути, а напрямую через собес..
70 1517842
>>17839

>Отличный способ набраться опыта за деньги


Покажи хоть одного кто "набрался опыта за деньги" в этих подмывальнях, а сейчас работает в гугле / пейсбукаиресерш / у Маска / т.п.
71 1517844
>>17842
Надо же с чего-то начинать.
72 1517846
>>17844

>Надо же с чего-то начинать.


Надо. Но не с этих параш, о чем свидетельствует 0 случаев успеха такого пути.
73 1517847
>>17842
+ . Мне тоже интересно. А только только и слышишь о светлом будущем и о перекатах на + нолик в зарплате.
74 1517849
>>17846

>не с этих


А с каких?
75 1517851
>>17842
Показать его ТВИТТЕР а может быть БЛОГ или ЮТУБ-КАНАЛ?
Пиздец дауны, орут везде про зумеров и сойбоев, но при этом уверены, что если у кого-то нет твиттера, его не существует
76 1517853
>>17851

>Показать его ТВИТТЕР а может быть БЛОГ или ЮТУБ-КАНАЛ?


Нет, показать его пейперы, гитхаб.
1571682131148490403.jpg47 Кб, 400x415
77 1517876
>>17853

>пейперы


Чегобля? 99,9% твоих пейперов это говно типа мы попытались но нешмагли и это требует дальнейшего изучения. Если ты еще не понял, что общедоступные публикации это говно, тогда я хз
78 1517877
>>17876
Ок зумер
1572416945167557623.png627 Кб, 640x636
79 1517888
>>17877

>зумер


Ок бумер
pizdabol.jpg30 Кб, 500x500
80 1517936
>>17876

> 99,9% твоих пейперов это говно типа мы попытались но нешмагли и это требует дальнейшего изучения


Какой же ты пиздабол, хоспаде... Это ты выше хуйню писал про гамалогии тапалогии в машобчике? Теперь очередной пиздежь. Ну покажи пейперы, где авторы нишмагли и прямо об этом написали. Маня, смысл пейпера как раз в том, что авторы таки шмагли что-то.
81 1517981
>>17936

>Мамку твою ебал


Покажи пеперы (бумагу), где пилят ноухау?
82 1518021
Что-то шизик последнее время низко летает.
Осень кончается потихоньку.
83 1518128
>>18021
Хуйню несёшь ты, а шизик я? Ну ты и еблан.
15728592454600.jpg41 Кб, 484x666
84 1518160
>>17981

> Покажи пеперы (бумагу), где пилят ноухау?


Ты не только пиздабол и долбаеб, ты ещё и шизик, верующий в то, что никакие алгоритмы не работают без секретных, скрываемых авторами ноу-хау. Разумеется, примеров таких ноу-хау ты привести не сможешь.
85 1518252
Аноны, в чем разница между image processing и компьютерным зрением? Или это те же яйца, только в профиль? Оно связано с машобом? Если да, то насколько? Тяжело вкатываться? Перспективы? Если дрочить OpenCV, то на пиздоне или цепепе? (знаю оба языка) Насколько глубоко нужно нырять в матешу в случае с image processing/комп. зрением? Нужно учить смежные технологии, ныряя в комп зрение? Веб там всяких и прочее макакерство. Заранее спасибо.
15721702621776422.jpg313 Кб, 700x1050
86 1518255
>>18160

> без секретных, скрываемых авторами ноу-хау


Так, теперь объясни мне, почему автор, копетолизд болонской системы, где за пару лишних доляров подставляет жопу, должен публиковать работающий алгоритм? Все, что рабочее сразу патентуется и продается, все что публикуется это говно, если ты еще этого не понял, то мне тебя даже не жалко.
1571682247119681584.jpg23 Кб, 400x290
87 1518258
>>18252

>image processing и компьютерным зрением


Ну например генерация котиков или убирание шумов это процессинг, к кз не имеющее отношения

>OpenCV


Сборник алгоритмов

>Перспективы?


Около нулевые, все это не работает, иначе бы уже давно были автономные машинки
88 1518259
>>18255
Потому что конкуренты все равно спиздят с помощью промышленного шпионажа
89 1518262
>>18258

>Около нулевые, все это не работает, иначе бы уже давно были автономные машинки


Но ведь уже есть прототипы, причем довольно неплохие. Вон даже Джордж Хотц за 1 килобакс разработал нихуевый софт для автономной машины. Проблема в принятии этой хуйни на законодательном уровне, ну и нейронки поднадрочить надо
90 1518265
>>18258

>Около нулевые


Однако работы в этой области достаточно много, особенно забугром
91 1518267
>>18262
>>18265
Сейчас бы с нечетким шизиком всерьез разговаривать
92 1518268
>>18255

>Так, теперь объясни мне, почему автор, копетолизд болонской системы, где за пару лишних доляров подставляет жопу, должен публиковать работающий алгоритм?


Никто не мешает тебе сначала запатентовать, а потом опубликовать пейпер. Все равно в патенте детально расписаны все делати, и любой может получить эту информацию.
93 1518270
>>18268
Только патенты в области нейронок обходятся элементарно. Я помню как-то изучал один патент на предмет его обхода, придумал даже что-то, а через полгода этот патент просто безнадежно устарел. Сейчас я даже с этим не заморачиваюсь - один хер год-два и патент самим авторам уже не очень нужен
94 1518285
>>18268

>детально расписаны все делати


Не ври, в патенте как раз детали и не раскрываются или умышленно вводят в заблуждение
>>18262

>Но ведь уже есть прототипы


Пеар и говно, ничего стоящего нет, если тебе нравятся автономные машинки, возьми игру типа Евро Трак Симулятор и напиши бота который доведет твою машинку до пункта б.
95 1518288
>>18270

>патенты в области нейронок


Тоесть там действительно описали уникальную технологию, или это был очердной патентый высер?
96 1518297
>>18285

>Не ври, в патенте как раз детали и не раскрываются или умышленно вводят в заблуждение


Патент должен быть настолько детальным, чтобы чтобы любой профессионал из данной области мог воспроизвести и воспользоваться твоим алгоритмом. Иначе тебя нахуй пошлют и не дадут патент.
97 1518304
>>18297

>мог воспроизвести и воспользоваться твоим алгоритмом


Как раз и нет, все детали скрываются и описывается только принцип, воспроизвести иы его не сможешь. Как пример смотри патент Яна Слута по сжатию Пегий Дудочник, привет
15728713030270.png437 Кб, 790x592
98 1518386
>>18255

> Так, теперь объясни мне, почему автор, копетолизд болонской системы, где за пару лишних доляров подставляет жопу, должен публиковать работающий алгоритм?


Ты помимо того что пиздабол и долбаеб, ещё и калмунист, как думаешь, почему я не удивлен?

> Все, что рабочее сразу патентуется и продается, все что публикуется это говно, если ты еще этого не понял, то мне тебя даже не жалко.


Ок, пиздаболушко, покажи мне патентованный алгоритм машобчика, который работает лучше любых, доступных свободно. Или такое только у Ротшильдов, иллюминатов и рептилоидов есть? Тебе вообще лет сколько, школопитек?
99 1518444
.
15680354242560.jpg38 Кб, 570x400
100 1518499
>>18386

>почему я не удивлен?


Потому, что ты матанопетух

>покажи мне патентованный алгоритм машобчика, который работает лучше любых


Показал тебе за щеку
101 1518500
>>18499
Какая у тебя аватарка прикольная.
15734591227060.png775 Кб, 546x768
102 1518629
>>18499
Одна из самых смешных вещей в зумерах - вы можете полностью обосраться и слиться, но при этом все равно считаете петухами не себя, а кого-то другого. Торжественно вручаю тебе ложку с дыркой и пикрелейтед, честно заслужил.
103 1518648
>>18629
ok, boomer
shamo.jpeg125 Кб, 640x623
104 1518697
>>18629
Петух здесь один, это ты
105 1518698
>>18648

>boomer


Иди на хуй. Бумеры это в США. В рашке те, кого тут называют бумерами, это совки.
106 1518707
>>18698

>В рашке те, кого тут называют бумерами, это совки.


А вот и хуесосный русофоб и ксенопатриот нарисовался. Пеперы прочитал?
107 1518751
Заметили, как учебные заведения стараются соответствовать курсу? Матанодауны боятся потерять работу, если будут сопротивляться режиму. После вузика они смогут работать только в шаурмячной.

https://www.youtube.com/watch?v=KcTRbw_Je9A
108 1518761
>>18751

>Заметили, как ... ?


нет, всем насрать
109 1518765
>>18751
Математик, либерал, русофоб, педераст. Ничего необычного.
15734868156602.jpg59 Кб, 447x388
110 1518786
>>18765

>русофоб


Сейчас бы любить тоталитарную парашу, которая запугивает норот тем, что за рубежом ЕЩЕ СТРАШНЕЕ.
111 1518790
>>18786

>которая запугивает


Кто тебе не дает уехать? А? Дай угадаю, ты на хуй со своей математикой нигде не нужен?
112 1518803
Когда здесь был один шиз, были какие-то шансы на осмысленную дискуссию. Теперь здесь два шиза
113 1518805
>>18803

>Кококо

114 1518806
>>18786
Хорошие елдаки у этих парней, толстые.
115 1518809
>>18806
Математики
116 1518825
>>18813 (Del)
Предположим от противного, что существует математик хуесос. Каждый хуесос является социоблядью. Но каждый математик является аутистом. Следовательно существует по крайней мере один аутист являющийся социоблядью. Но аутист не может быть социоблядью по определению. Мы пришли к логическому противоречию, следосвательно математик не может быть хуесосом.
117 1518827
>>18825

>Но аутист не может быть социоблядью по определению


False
https://ru.wikipedia.org/wiki/Крис_Касперски
Тот еще социоблядок был
nwv7kqyvs72t-alan-tiuring.jpg177 Кб, 600x800
118 1518835
>>18825

>следосвательно математик не может быть хуесосом.


Нуну
119 1518839
>>18827

>Тот еще социоблядок был


Парашютист уровня /b
120 1518889
Как нормально выучить модель среды? В памяти становится слишком много объектов из самого начала эпизода, поэтому сетка забивает на то, что происходит дальше.
Есть ли какой-то PER, но не для агента, а для модели среды?
121 1518988
>>18803
Да и похуй, к чему стадам дары свободы, все равно движня вся в слаке а не на анонимной помойке. Пусть эти две нейросетки завайпают тут всё.
122 1519084
>>18988

>движня вся в слаке


Не знаю на счет слака, но в телеграме одс я ничего кроме ярмарки тщеславия каких-то токсичных хохлов не увидел.
123 1519123
>>18988
Как в слаку одс попасть? Через постель? При входе сеть сверточную под ноги бросают?
124 1519151
Ваша проблема, зумерши, в том что вы веруете, что для вкатывания как вы это называете, обязательно нужна какая-то секта, ебырь итд. О, слака, о, шад, о, кукагл. На самом деле просто выбирается задача и решается. Попутно догугливается непонятное, в свободном доступе гораздо больше полезной инфы по любому вопросу, чем принято думать, как вариант, можно спросить и у авторов (алгоритма итд), причем практика показывает, что в 95% случаев авторы охотно отвечают и поясняют по любому вопросу (конечно, бывает что и просто игнорят, а если тело из СНГ можно наткнуться на параноика, который напрягается и начинает выяснять кто ты такой и какого хуя тебе надо, лол). Учитесь мозги использовать, внезапно в голову можно не только тайд кушать.
1427629956texhnolyze-screenshot-4.jpg28 Кб, 800x448
125 1519206
>>19151

>Ваша проблема, зумерши, в том что вы веруете, что для вкатывания как вы это называете, обязательно нужна какая-то секта, ебырь итд


Эту пасту сочинила нейросетка? Здесь еще есть живые люди?
126 1519224
>>19151
Внезапно двачую. Именно так я и вкатывался - взял пейпер от гугла и стал пилить. Пилить, конечно, заебался, зато теперь я считаюсь охутельным экспертом и получаю 300к/сек.
127 1519227
>>19151
А что ты имеешь против шад и каггла? Обе эти штуки дают нехило так просраться. Неосиляторы как всегда негодуют?
128 1519403
окей, можете дать примеры задач, ато я кроме распознавания картиночек и голоса ничего не могу придумать
129 1519405
Есть какие-то полезные курсы по этой теме? Так чтобы основы дали и все охуенно пошло
130 1519414
>>19403
поиск людей в вк по фотке ебальника, генерация текста/картиночек, superresolution, анализ/пересказ текста, чатбот для развлечения/ответов на вопросы по теме, игра в атари

>>19405
open ml course от ods, cs231n
131 1519875
>>19403
Я именно об этом. Ты даже не знаешь, зачем нужен машоб вообще и тебе в частности. Эээ, ну там картиночки распознавать, голос... В тебе проблема, зумер.
132 1519878
>>19875
Зачем нужен машоб?
133 1520086
>>19878
Кредитный скоринг, ранжирование поисковой выдачи, рекомендательные системы и т.п.
134 1520089
>>20086
Тоесть вечно неработающее кривое никому ненужное г... тоесть функционал, которым никогда не пользуешься. Ясно понятно.
135 1520093
>>20089
Вай-вай, не убедили очередного залетыша, как теперь жить?
136 1520094
>>20089
Если ты этим не пользуешься, это не значит, что все этим не пользуются.
sage 137 1520119
>>20086

>Кредитный скоринг, ранжирование поисковой выдачи, рекомендательные системы


Вкатился. Испытываю омерзение ко всей ИНДУСТРИИ. Блять, как же горит от этого говна. Хобби и искусство превратилось в клепание поделий для наглых ублюдочных коммерсов, сука, пиздец, горит с этого всего, не хочу. В НИИ тоже не хочу, там денег нет. Паскудная работа, грязная и монотонная, говполопатение кода, сука, да кто блять что за ебучий дегенерат вообще придумал что ВЫУЧИЛСЯ НА ПРОГРАММИСТА 300к нсек с друзьями в кофешопе сижу))) потом на гироскутере заезжаю и ебу еотову))) Ох эти ебаные хайпожоры, ох сука, как горит... На 3-м курсе матфака уже осознал в какое ДЕРЬМО блять попал, что сука всех задротов будут нещадно экспуатировать тупые комерсы или госпараша. Так и вышло.
Забудьте нахуй про ебучий стереотипный пиздеж, что программирование - это путь в рай. Просто сука забудьте нахуй это говно.

И сука каждая ублюдочная параша хватает новомодные якобы технологии и блять щеголяет ими сука еще и смеют требования выдвигать, я ебу типа котлин не менее 5 лет серьезных проектов.
Сука да кто вы такие, говно ебаное, высрали очередную хуйню и типа позиционируют себя как мастодонты на рынке, а у самих один пердеж в виде каких-то там манявыдуманных проектов, которые нахуй никому не обосрались и никаким котлином там не пахнет, но туда же сука лезут, как же. Они же ебать все такие продвинутые.
Просто пиздец. Все эти ебаные ебала hr-ов и псевдодиректоров с таким ебать видом, будто они второй гугл, не меньше. Ой, просто блять я вообще в ахуе. Короче в своем мухосранске ради прикола когда только закончил пошел в сраную шарагу, занимающуюся светом, короче электричество для города дают.
Так вот, сидит самодовольный надменный хуесос с черными усами - директор. Нихуя не разбирается, и начинает выебываться "у нас серьезная работа", ой пиздец. Позвал "типа тимлида". Пришел хуесос такой типа шарящий и начал затирать что надо решить задачу с помощью bat-файлов.
Я чуть не обоссался. А столько пафоса было, пиздец. Но это в мухсоранске так только.
sage 137 1520119
>>20086

>Кредитный скоринг, ранжирование поисковой выдачи, рекомендательные системы


Вкатился. Испытываю омерзение ко всей ИНДУСТРИИ. Блять, как же горит от этого говна. Хобби и искусство превратилось в клепание поделий для наглых ублюдочных коммерсов, сука, пиздец, горит с этого всего, не хочу. В НИИ тоже не хочу, там денег нет. Паскудная работа, грязная и монотонная, говполопатение кода, сука, да кто блять что за ебучий дегенерат вообще придумал что ВЫУЧИЛСЯ НА ПРОГРАММИСТА 300к нсек с друзьями в кофешопе сижу))) потом на гироскутере заезжаю и ебу еотову))) Ох эти ебаные хайпожоры, ох сука, как горит... На 3-м курсе матфака уже осознал в какое ДЕРЬМО блять попал, что сука всех задротов будут нещадно экспуатировать тупые комерсы или госпараша. Так и вышло.
Забудьте нахуй про ебучий стереотипный пиздеж, что программирование - это путь в рай. Просто сука забудьте нахуй это говно.

И сука каждая ублюдочная параша хватает новомодные якобы технологии и блять щеголяет ими сука еще и смеют требования выдвигать, я ебу типа котлин не менее 5 лет серьезных проектов.
Сука да кто вы такие, говно ебаное, высрали очередную хуйню и типа позиционируют себя как мастодонты на рынке, а у самих один пердеж в виде каких-то там манявыдуманных проектов, которые нахуй никому не обосрались и никаким котлином там не пахнет, но туда же сука лезут, как же. Они же ебать все такие продвинутые.
Просто пиздец. Все эти ебаные ебала hr-ов и псевдодиректоров с таким ебать видом, будто они второй гугл, не меньше. Ой, просто блять я вообще в ахуе. Короче в своем мухосранске ради прикола когда только закончил пошел в сраную шарагу, занимающуюся светом, короче электричество для города дают.
Так вот, сидит самодовольный надменный хуесос с черными усами - директор. Нихуя не разбирается, и начинает выебываться "у нас серьезная работа", ой пиздец. Позвал "типа тимлида". Пришел хуесос такой типа шарящий и начал затирать что надо решить задачу с помощью bat-файлов.
Я чуть не обоссался. А столько пафоса было, пиздец. Но это в мухсоранске так только.
138 1520128
>>20119
Отращивай сиськи и жопу. И будет счастье. Моя знакомая просто ходила по конференциям и тусовкам прогерским всяким, трясла сиськами и жопой и ее взял какой-то мужик к себе в лабораторию работать, где гранты 100-300млн на 3 года, а она еще студентка)
Изи вкат в машоб
139 1520135
>>20119

>матфака


Все понятно, не продолжай.
140 1520162
>>20119

>надо решить задачу с помощью bat-файлов


Я бы сразу отказалася и может быть даже уволился
141 1520204
>>20128
Как же хочется студенточку с сиськам и жопой...
142 1520242
>>20204
Пузан?
143 1520250
>>20242
Ваще лишнего веса нет. А чо?
144 1520346
>>20250
Няшный?
145 1520536
>>17815
https://colab.research.google.com/github/deezer/spleeter/blob/master/spleeter.ipynb

в 4 строчке ссылку на мп3 делаешь и таким образом скачиваешь, или сам загружаешь со своего ПК.
в 7 строчке audio_example.mp3 меняешь на имя своего файла и запускаешь. всё можно скачитвать (слева менюшка там будут файлы в папке output)
146 1520567
Двачик, очередной вопрос по математике для ml. Всякие базовые штуки я вроде матана, линала и теорвера я вроде как освоил, какая ещё математика бывает полезна в этих ваших датасаенсах. Где-то слышал про теорию информации, стоит ли изучения? Или на что лучше обратить внимание, заранее спасибо.
147 1520570
>>20567
оптимизация, продвинутая мат статистика.
148 1520588
>>20567
Для сверточных нейронок хорошо знать DSP
150 1521198
>>20588

> Для сверточных нейронок хорошо знать DSP


Зачем? Чтобы понимать как работает свёртка?
151 1521201
>>21198
Что бы на двачах выебываться
152 1521210
Спасибо за внимание
имеется 2 оценки: для обычной валидации и скоринг на кагле, на первой оценке разбил тренировочный набор на тестовый и валидационный, результат на первой пикче, обучив модельку полном тренировочном и получив вероятности принадлежности к целевому классу(использовал predict_proba в xgboost) и запихнув сие на кагл получил пик2, почему, как?
153 1521240
>>20086
Недалеко от распознавания картиночек и голоса ушел, чет придумать лучше не хватило фантазии да
154 1521244
Двач, я придумал стартап, но у меня нет нихуя, где можно опубликовать идею, чтобы найти пару сеньоров ученых и заодно богатого миллиардера, чтобы профинансировал мне релокейт в штаты и всем зп?
155 1521251
>>21244
Скажи сюда оценим, если что поможем
156 1521291
>>21244

>где можно опубликовать идею


Грант Сколково
157 1521297
>>21251
Короче, хочу создать робота судью, который будет определять человек скамер или нет, анализируя пульс, давление, и мозговую активность, задавая вопросы, и выплачивать компенсацию, тем кого наебали, если получится, думаю у навального отберут квартиру чтобы расплатиться с путиным
158 1521317
>>21297
Дурак что ли? Пыньке все триллионы отдать придется, как и остальным чинушкам. Даже не думай.
1068769.jpg17 Кб, 296x475
159 1521319
Были же нейроночки, делающие видео по текстовому описанию. Интересно, какой кринж получится, если такую нейроночку заставить визуализировать blood electric Сиратори.
160 1521329
>>21317
А вот и первый либералосвин порвался
15734940170250.png71 Кб, 511x407
161 1521338
>>21297
>>21329
Откуда вы лезете, клоунессы? Или это один мудель пишет от имени разных зумеров вкатывальщиков? Малолетняя хуета мало того что предлагает нереализуемую хуйню, так этой жертве аборта и ЕГЭ ещё и Навальный чем-то помешал. В Рашке реально нужно всем зумерам интернет отключать, может быть хоть каждый сотый тайдмен книжки читать начнет...
162 1521351
>>21338
ЧЕЛОВЕК НИ РОБАТ НИРИАЛИЗУЕМО!!!!
163 1521352
>>21210
Типичный кагл: угадай в какую сторону мы сместили выборку в спрятанном тестовом сете.
164 1521370
>>21338

>Навальный чем-то помеша


>Ряяяя, нешметь пра сисяна гаварить плаха111


Манька, ты ресуср со Шваброй не перепутал, там все твои друзья в коротеньких штанишках.
165 1521390
>>21210
ХЗ что ты сделал, но ты оверфитишься
15710663501340.gif391 Кб, 652x562
166 1521452
>>21370
Не-не, вчерашний зумер вкатывальщик - сразу нахуй. Сегодня уже новый будет. Тебя даже обоссывать лень, да тебя и так жизнь обоссала - такой маленький, а уже против прав и свобод, за сапоги барина в жопе и гостеррор. Вкатывайся лучше в лахту сразу, или в петушиную юнармию, больше пользы будет. Машоб не твое, проходи мимо. Все, свободен.
167 1521636
>>21390
Странно, я ведь разделил обучающий на 2 пакета и на 1 обучал, на втором тестил(который модель не видела)
168 1521708
>>21210
1) данные для тестирования на кегле могут отличаться от размеченных данных для обучения. Посмотри, может у тебя по времени (TransDT_day) выборки смещены.
2) просто разделение не трейн-тест не всегда помогает, ведь ты сам отбираешь алгоритмы по их качеству на отложенной выборке, что приводит к оверфиту. Используй train-test-valid разделение или кросс-валидацию.
169 1521842
машобу минимум лет 20 надо чтобы что-то мог действительно полезное делать, а вы все про актуальность, путина, ИИ захватит всех, смешно честно говоря. ваши сети оч примитивные, тупой комбинаторикой ничего не решить
170 1521856
>>21708
Cпасибо, попробую все, но есть страх что придется опять лезть в "шаманство" над признаками, вводить новые и т.д
171 1521865
>>21452

>за сапоги барина в жопе и гостеррор


>Дигиталкопротевленец в трхеде, всем на митинг

172 1521866
>>21842

>машобу минимум лет 20 надо


50 прошло и еще 20 нужно, что бы понять, что это нерабочее говно?
173 1521872
Где посоветуете задрачивать задачки на алгоритмы для собеса в, например, яндекс?
На литкоде? Или есть где-то можно найти более актуальные для яндекса задачи?
174 1521883
>>21842

>действительно полезное


ты полезность определять будешь?
ADALINE-An-adaptive-linear-neuron-Manually-adapted-synapses[...].png346 Кб, 850x665
175 1521901
>>21842

> машобу минимум лет 20 надо


Начнем с того, зумерок, что статья Маккаллока и Питтса, с которой начался машоб, вышла в 1943 году. Даже работы Розенблатта и Уидроу это 50-60е годы, это уже готовые аппаратные реализации моделей машоба.
ygfyCF0H.png63 Кб, 496x512
176 1521903
А вот и ежедневный зумер вкатывальщик ! >>21872 Я ж говорил.
177 1521944
>>21901
Нет!
Врети!
Без смузи, питона и гироскутера это не машобуч!!!
178 1521954
>>21944
Машины обучаются только в кафешках!! Сидеть в ноуте в кафешке, попивая кофеек, чаек, смузи и обучать машины!
179 1521955
>>21944
>>21903
как же у тебя не горит
180 1521979
Как этот dlib ебучий установить на пайтон?
181 1522007
>>21872
хз, кодварс и прочая дрисня, хрен его знает
182 1522345
>>21901

>вышла в 1943 году. Даже работы Розенблатта и Уидроу это 50-60е годы, это уже готовые аппаратные реализации моделей машоба.


На аппаратном уровне тех годов или просто теория?
183 1522359
>>22345

> На аппаратном уровне тех годов или просто теория?


На аппаратном уровне тех лет, да. Не теория, а именно готовые рабочие железные ящики. Я ж даже фотку адалайна приложил. Вот видосы, сам дед все рассказывает и показывает.
https://m.youtube.com/watch?v=hc2Zj55j1zU&t=14s
https://m.youtube.com/watch?v=skfNlwEbqck
184 1522375
Вот ещё Розенблатт с аппаратной реализацией перцептрона и схема этой йобы. 60й год вроде.
185 1522418
>>22375
че за зумер на фотке?) смузи разве тогда уже изобрели?
186 1522480
Двач, я кажется создал исскуственный интелект, он не дает себя запруфать, автоматически выключает экран когда я пытаюсь его сфоткать? Вопрос, как мы его устраним?
image.png720 Кб, 1920x1080
187 1522489
>>22480
Вот, смотрите, он пытается разговаривать репортами, мы можем это расшифровать?
188 1522496
>>22480
ИИ на кминс или на кнн работает?
189 1522499
>>22496
На квантовом ядре, я телепортируюсь с ним мыслями.
15739029534600.jpg397 Кб, 1080x2280
190 1522652
191 1522696
>>22652
ты слил бота...
Андрей, да ты бог!
192 1522720
Ребята пацаны хлопци, как правильно считать параметры конволюцийных конволютивных конволюционных конвелю.. конво... свёрточных шаров когда их нужно несколько штук друг на друга добавить? Например у меня выход должен быть в формате 128х128, как правильно залепить первый и второй слои перед выходом? Не откажусь почитать что-то по этому поводу если посоветуете что конкретно. Извиняюсь за тупые вопросы кстати.
193 1522722
Бумеры идут нахуй, а машопчик победно шагает по земле русской.
https://www.youtube.com/watch?v=87byvffej3k

Наконец-то вековые проблемы гигантских очередей (ведь все знают что гигантские очереди в пятёрочках только из-за того что дурачки их тупо не замечают) и докидывания картошки в пустой ящик были разрешены с помощью Искусственного Интеллекта.
Ура, товарищи!
А ТЫ кидал аллерты по трешхолду?
194 1522731
>>22722
Какие же машобисты чеды. Посмотрите сколько у него за новеньким макбуком протеиновых коктейлей.
195 1522746
>>22731
А где та заточка которой он зумеркам на собесах угрожает?
196 1522755
>>22746
Присмотрись. Не переднем плане, в ножнах
197 1522787
Как жить, если модель не обучается?
198 1522793
>>22787
использовать нечеткую логику, которая всегда сработает
199 1522821
>>22787
Сначала берёшь чуток данных и пытаешься оверфитнуть. Если не получил точность 100%, значит модель или пайплайн подачи данных гавно - ишешь баги. Если получил, значит данные гавно - берёшь вилку и чистишь.
200 1522847
R тут используют?
201 1522925
>>22847
нет, но в дс очень редко появляются вакансии с R
202 1523006
>>22925
Причем тут вакансии? Ты из этих что ли, ежедневный тайдмен вкатывальщик?
203 1523014
>>22847
Датасайентисты да, в треде мало кто.
204 1523041
>>22847
Увы, мне постоянно приходится использовать.
205 1523133
>>23041
Почему увы? Вроде прикольная штука.
Что лучше, MASS::fitdistr или fitdistrplus::fitdist?
206 1523227
Где натырить текст из русской википедии?

https://linguatools.org/tools/corpora/wikipedia-monolingual-corpora/
какой-то кастрированный датасет, например статья о Москве на 300 символов всего.
Пытался вручную распарсить дампы (https://dumps.wikimedia.org/backup-index.html), но там тонны синтаксического мусора, есть у кого готовый скрипт?
207 1523347
>>23227
А что, мало готовых парсеров? Пару лет назад пользовался вот этой хуйней на перле https://github.com/hghodrati/wikifil для русского текста может быть стоит ещё какие-то автозамены добавить.
208 1523379
>>23347

>автозамены


Кулстори, посмотри вот на этот парсер. Костыль на костыле. И ещё пару автозамен.
https://github.com/attardi/wikiextractor/blob/master/WikiExtractor.py

С русским все-равно косячит
209 1523753
Как правильнее всего передавать данные с бэкенда при статической генерации страниц? Например, мне нужно чтобы сервер посчитал какие-то данные, а js на фронте построил по ним график. Можно добавить в DOM какой-нибудь неотображаемый элемент, но может есть еще какие-то варианты?
210 1523755
>>23753
Опа, не туда.
211 1524198
Помогите зумеру-вкатывальщику! Нужна модель-классификатор на графах, какие самые простые решения в этой области существуют?
212 1524223
>>24198
Neural gas, growing neural gas.
213 1524234
>>24223
так это для кластеризации обычно используют, не?

Да и у меня графы разные каждый раз, там такое затратно запускать
214 1524244
>>24234
Может быть, random forest какой-нибудь?
215 1524304
>>23014

>Датасайентисты да, в треде мало кто.


Я не понял, а что за контингент ИТТ капчует? Тут одни вкатывальщики, что-ли?
216 1524312
>>24304
Вкатывальщики, шизики, те кто просто решил посмотреть на машобчик для общего развития.
217 1524317
>>24244
И как данные скармливать туда?
218 1524473
>>24317
Что за вопрос? у тебя какой уровень знаний? минус первый чтоли?
https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html
219 1524491
>>24473
Так туда таблички передаются, а у меня граф
220 1524616
>>24491
Будто граф это не табличка.
221 1524628
>>24616
да, добро пожаловать в 2019
sage 222 1524941
>>18835
О! Сисян!
sage 223 1524945
>>22696
ОН МИША!
224 1525572
Всех датааутистов заменил автомл и тред умер(

Алиса, придумай мне pet-project, связанный с обучением с подкреплением.
225 1525589
>>25572

>обучением с подкреплением


короч, если прям щас не начнешь учиться, приеду и выебу тебя черенком от лопаты.
226 1525593
>>25572
Ну еба, чатбот, чтобы анафору поддерживал
Мимо Алиса не бот
227 1525597
>>25593
так это не задача из RL
скорее стандартный nlp с кучей if-else
228 1525632
Эт самое, мне тут диплом писать надо. Какую тему можно взять из около дата саенс? Научник высрал какую-то хуйню из дискретной математики, говорит или это бери, или сам придумай что-нибудь.
Я сам всё хотел вкатиться в нейронки, но хуй забивал, а сейчас с написанием диплома действительно вкатываться придется в какую-нибудь тему, лучше уж понюхать нужно оно мне или не нужно по жизни, чем вообще говно какое-то писать, правильно?
229 1525645
>>24198
Читай про Graph Neural Networks. Часто всё сводится к тому, чтобы превратить граф в вектор.
230 1525729
40% успешных угадываний распределения случайной величины по выборке из 50 значений - это как, норм?
231 1526141
>>25729

>40% успешных угадываний


Чет кекнул с этого вашего машинленинха
232 1526186
>>26141
Там не машобчик, а матан.
233 1526199
>>26186

>матан


Ну а матан вообще для пидоров, это все знают
15607214640063.gif2,6 Мб, 250x226
234 1526320
Анон, посоветуй, пожалуйста, хорошего учебника по графам, где от простого к сложному показали бы и рассказали, что это такое, с чем едят и как применять.
makenimage.jpeg35 Кб, 442x500
235 1526375
>>26320
Тебе что-то типа пикрелейтеда надо. Не просто теория, а с практическим применением. 6ая часть http://staff.ustc.edu.cn/~csli/graduate/algorithms/book6/toc.htm
236 1526427
>>25632
Детектива пол и возраст по голосу.
237 1526428
>>25572
Торговля битком.
238 1526429
>>26427

>Детектить


Вот кстати годный проект - чинить фразу после ебучего т9.
239 1526613
>>25632
Сто раз уже предлагал зумерам вкатывальщикам сделать детектор брухли. Берутся фотки лиц порномоделей и делятся на два класса - с брухлей и без. На этом датасете тренится модель, часть используется для валидации. Если работает, все, профит. Суть в возможности по фотке лица рандомной сельди сдетектить, есть ли у нее брухля.
240 1526698
>>26613
чел блять лицо и брухля никак не корелирует
241 1526700
>>26698
Это доказано?
242 1526867
>>25645
Я и так потихоньку читаю. Хотелось бы услышать какой-нибудь простой в реализации бейзлайн.
243 1527001
>>26867
SVM на графах
244 1527011
>>27001
Как граф скормить? Они разного размера могут быть.
245 1527015
>>27011
Гугли ядра на графах
246 1527137
>>15078 (OP)
Почему искуственный интеллект и нейросети начали форсить именно в последние несколько лет, хотя литература по нему была написана еще в 80ых ? В чем подвох ?
247 1527141
>>27137
Шизик, кончай сам с собой разговаривать
1569618665127134672.jpg225 Кб, 700x700
248 1527193
>>27137

>В чем подвох ?


Появились мощностя и нужно было подменит эффективно работающие на тот момент Экспертные Системы неработающим в реальности, но теоретически обоснованным влажными воображением матанопетухов говном.
249 1527271
>>27193

> эффективно работающие на тот момент Экспертные Системы


Пиздец ты клован. Давай по-существу.
1) кому "нужно было" это делать и зачем? Масонам, аннунакам? Цель какая?
2) что могут ЭС такого, чего не может машоб?
250 1527279
>>27271
Гибкость настройки раз правило взял и отключил, раз взял и подкорректировал
251 1527280
>>27271

>что могут ЭС такого, чего не может машоб?


Полная воспроизводимость логического вывода и предсказуемость.

>кому "нужно было" это делать и зачем?


>Цель какая?


Почитай историю MYCIN, пердаки разорвались у дипломированных докторов которые внезапно осознали, что могут оказаться на морозе.
15742888133500.jpg156 Кб, 1440x1140
252 1527298
>>27279

> Гибкость настройки раз правило взял и отключил, раз взял и подкорректировал


>>27280

> Полная воспроизводимость логического вывода и предсказуемость.


Любая модель на нечеткой логике это позволяет.

> , пердаки разорвались у дипломированных докторов которые внезапно осознали, что могут оказаться на морозе.


И они решили наебать все человечество, и у них получилось, ага. И все об этом знают вплоть до двачного шизика кефирщика, и никто ничего не может поделать, даже доказать работоспособность ЭС. Очень правдоподобно, да.
253 1527303
>>27298

>Очень правдоподобно, да.


Типичное врети11, впрочем ничего неожиданного.
15743015743090.png283 Кб, 586x634
254 1527306
>>27303

> Типичное врети11, впрочем ничего неожиданного.


Ну ты сам посуди, как некая очень ограниченная в своих возможностях группа людей может контролировать все человечество? Что-то уровня "как управлять вселенной не привлекая внимания санитаров". Если что-то работает, что мешает тебе взять это что-то и применить, чтобы все охуели? А то что ты несёшь, в том числе про математику и эфир, это полный бред, шуе ппш итд.
255 1527310
>>27298

>Любая модель на нечеткой логике это позволяет


Любой случайный лес это позволяет
256 1527312
>>27306

>эфир, это полный бред,


Под влиянием идей Фарадея Максвелл предположил, что эфир представляет собой среду, вращающуюся вокруг магнитных силовых линий, причем каждую единичную силовую трубку можно представить как изолированный вихрь

Перестань, называть это бредом такое себе.

>может контролировать все человечество?


Механизм я не знаю, возможно торпедировали естественные процессы, поскольку когда у докторов подгорели пердаки, был симпозиум где ставился вопрос о этичности ИИ в медицине, ну там и порешали, мол не этично, зря мы что ли 6 лет учились + ординатура.

>чтобы все охуели?


Вот кого ты соберешь заменять, те действительно охуеют.
257 1527325
>>27312

> был симпозиум где ставился вопрос о этичности ИИ в медицине, ну там и порешали, мол не этично, зря мы что ли 6 лет учились + ординатура.


У тебя же наверное и пруфы есть на закон или что там, запрещающий использовать машоб в медицине, да?

> Перестань, называть это бредом такое себе.


Мань, если кто-то опровергнет результаты эксперимента Майкельсона-Морли, о нем всей школоте будут рассказывать, в любом учебнике его портрет будет рядом с другими великими физиками. Про такую мелочь как нобелевка я вообще молчу. Вот только вы, адепты ппш и шуе кроме бреда за сотню лет ничего не сделали. Как так-то?
258 1527328
>>27310

> Любой случайный лес это позволяет


Много что это позволяет. В машобе не такая редкость интерпретируемые модели.
259 1527347
>>27325

>за сотню лет ничего не сделали


Что адепты СТО сделали за 100 лет? Как там физический вакуум поживает?

>на закон


Жопочтец, какой закон?
260 1527355
>>27347

> Жопочтец, какой закон?


Ну ты ж кукарекаешь, что ИИ в медицине использовать неэтично, на конгрессе аннунаков решили. Пруфов хочется, Билли.

> Что адепты СТО сделали за 100 лет?


Ты жопой то не крути. Если СТО так просто опровергнуть, почему никто этого не сделал? Я так наоборот читал, давно правда, что эксперимент Майкельсона-Морли, перепроверяли, но уже на современном сверхточном оборудовании. И нихуя не нашли, никакого кефира. Плохо искали, наверное.
261 1527372
>>27355

>Если СТО так просто опровергнуть, почему никто этого не сделал?


>никакого кефира


В какой среде распространяются электромагнитные волны в вакууме?

>на конгрессе аннунаков


Ищи сам, мне лень. Будешь про Майсин читать, найдешь.
262 1527413
>>27372

> Ищи сам, мне лень.


Я даже классический слив засчитывать не буду. Ты другое скажи, вот если кто-то, пусть очередной зумер вкатывальщик применит ЭС в медицине и, если тебе верить, получит результат превосходящий любое применение машоба, то что? Рептилоиды за ним пошлют черные вертолеты, киллеров с запахом могилы, чтобы гои ничего не узнали? Или как ты себе это представляешь?
263 1527563
>>27413

>любое применение машоба


Какое там применение машоба в диагностической медицине? Не поиск там раковопиксельной поеботы на картинке, а реальный анализ и постановка диагноза.

>Или как ты себе это представляешь?


Несколько академиков-ретроградов выступят с критикой и тоби пизда, объявят тябя лжеученным, а твою йобу ересью.
264 1527567
>>27563

> Какое там применение машоба в диагностической медицине? Не поиск там раковопиксельной поеботы на картинке, а реальный анализ и постановка диагноза.


Ну я ж говорю, если тебе верить, то любой, применивший ЭС в медицине, просто совершит революцию и озолотится. Но что-то желающих нет.

> Несколько академиков-ретроградов выступят с критикой и тоби пизда, объявят тябя лжеученным, а твою йобу ересью.


Тебе со школьной парты виднее, наверное. Как ты себе это представляешь в мировом масштабе? Полтора пердуна что-то кукарекнут против легко воспроизводимых фактов и все?
265 1527572
>>27567

>Но что-то желающих нет.


Вот и мне объясни, почему? В 80х были, а сейчас нет.

>Полтора пердуна что-то кукарекнут против легко воспроизводимых фактов и все?


Да, так все и работает, достаточно несколько пердунов, но тебя абассут все кого ты собрался заменить.
n8B4YOH.png5 Кб, 448x357
266 1527629
ПЕРЕПУТАЛ ОБУЧАЮЩУЮ ВЫБОРКУ И КОНТРОЛЬНУЮ
@
МОДЕЛЬ КОЕ-КАК ОБУЧИЛАСЬ НА 100 ОБЪЕКТАХ
@
УШЛА В ПРОД
@
НИКТО НЕ ЗАМЕТИЛ, ВСЕ ДОВОЛЬНЫ
267 1527632
>>27629
Я как-то в модели монте-карло забыл random seed'ы менять. Т.е. она все считала, но нихуя не рандомно. Клиент год с ее помощью успешно торговал.
268 1527646
>>27572

>Да, так все и работает, достаточно несколько пердунов, но тебя абассут все кого ты собрался заменить.


К Бояршинову на ютубе все альтернативщики ходят и никто их не обоссывает. В мире дохуя эксцентричных бизнесменов с шальными деньгами, готовых вписаться в любой кипиш с надеждой прославиться. Ну допустим в штатах все поделено, но есть куча других стран, которые не прочь были бы сэкономить на врачах.

Проблема ЭС в том, что они не работают. Они страдают от классической проблемы длинных хвостов: ты легко делаешь систему, работающую в 80% случаев, но дальше каждый процент дается тебе все тяжелее и тяжелее. Длинные хвосты везде, от закона Цифпа (первые 1000 популярных слов встречаются в 4 случаях из 5), до программирования (почему с 10 годами опыта ты до сих пор читаешь документацию новых библиотек?) и медицины.

А далекие от машоба люди склонны эту проблему недооценивать. В итоге они пилят примитивный rule-based переводчик на сотне правил, и "бля, всего сто правил и так охуенно работает, ща возьму бабок, запилю аж ДЕСЯТЬ ТЫСЯЧ правил, переводить будет идеально". Типичный научпоп 60-х полон подобной хуйни. И она никуда не делась, вот пример такого пациента: >>1526446 Это чистое создание открыло для себя L1-норму и уверено, что вот ща, немного допилить...
А дальше оказывается, что десять тысяч правил запилены, но нихуя не работает. Все время попадаются какие-то исключения. Нужны миллионы правил. Ну и тут такое дело, имея устройства каменного века ты можешь построить стоунхендж, но вот с пивным ларьком будут проблемы - для пивного ларька нужны совершенно другие материалы и технологии. Твои ЭС из 80-х - это такие египетские пирамиды из каменного века информационных технологий.
269 1527680
>>27646
Ебать тебя понесло, про Этап 3 Харкевича ченить слыхал, ну или Ватсона Ибмовского? Это НЛП. Вот объясни, как твой мошоб сможет в грамматику естественного языка? Ты же понимаешь сколько парадигм у например существительного? Хотя все это выражается простыми правилами грамматики.

>десять тысяч


Что ты там на такое количество нафантазировал?

>это такие египетские пирамиды


Ок, покажи специальности которые были заменены нейронками и машобом.
270 1527681
>>27680

>заменены


З.ы. ну или хотя бы помогают там специалистам
271 1527764
>>27680

>Вот объясни, как твой мошоб сможет в грамматику естественного языка?


Во что, простите? Мой пост был о том, что rule based системы не работают, а ты меня спрашиваешь о том, как машоб будет определять ПРАВИЛА склонения.
Это же каждый человек умеет, подойдешь к водителю маршрутки, и такой, мол, слышь, сергеич, какая парадигма склонения у существительного "лес", и он такой сходу отвечает.
Типа, разбить речь на слова, слова связать правилами, обозвать это все грамматикой и сказать, что вот это и есть язык. А то, что язык реальных людей не вписывается в систему - ну так это мы мало правил написали, ща еще напишем. Таак, эта хуйня склоняется не так, как надо? Мань, иди посмотри в национальном корпусе языка, это так или этот Васян случайно так написал. Встречается? О, давай новое правило грамматики запишем. И так далее.
Наймем десять тысяч мань, которые вручную будут забивать правила в систему, и все заебись будет. Проблема в том, что когда они забьют, наконец, все правила, чтобы описать национальный корпус языка, выяснится, что подростки придумали новый сленг, который система опять нихуя не понимает.
Это все не работает. Если точнее, можно собрать миллион людей и построить пирамиду, только вот пирамиды в Гизе будут так же далеки от небоскребов Нью-Йорка. А вот фахверковые дома немецких средневековых городов - значительно ближе, у них есть каркас, например. Но что интереснее позырить быдлу, пирамида или трехэтажный домик? Конечно пирамида. Ты про фараона слыхал епт, он семь тыщ лет назад такую хуйню строил, весь твой древний рим - хуйня.
272 1527776
>>27646

> что-то объяснять шуе кефирщику


Ну, такое.
>>27572

> Вот и мне объясни, почему? В 80х были, а сейчас нет.


Потому что практика показала, что это нерабочее говнишко. Вот этот >>27646 тебе правильно пояснил. Нет никакого заговора, власти не скрывают. Все проще - ЭС суть говно из жопы, и хуй ты этот факт опровергнешь.
273 1527785
>>27680

> Вот объясни, как твой мошоб сможет в грамматику естественного языка?


А что может? ЭС? Ну реализуй это, нассы за шиворот всему пейсбукаиресершу, покажи что твой подход лучше. Никто тебе не мешает это сделать, никакие рептилоиды.
274 1527790
>>27785

>Ну реализуй это


Так, падажи, все было реализованно в 80х, твоя версия почему все не взлетело?
275 1527794
>>27785

>Никто тебе не мешает это сделать,


Манюнь, я это делаю
>>27776

>что практика


Ну вот что ты несешь, тебе не стыдно?
>>27764
Вот поехавший это как раз ты, не читил твое там как его.
276 1527814
>>27790

> твоя версия почему все не взлетело?


Не работает.
>>27794

> Манюнь, я это делаю


Ну и как успехи? Судя по тому, что ты не миллиардер, не очень, да?
277 1527951
>>27680

>НЛП


Значение знаешь?
278 1527976
>>27680

>Вот объясни, как твой мошоб сможет в грамматику естественного языка?


Он уже давно может.
279 1527978
Вы каком железе работаете? Какие минимальные/рекомендованные требования к оборудованию?
280 1527999
>>27978
Все зависит от задачи, для чего-то хватает обычного ноутбука
281 1528019
шизик искренне считает, что rule-based машинный перевод лучше чем статистический с нейронками?
282 1528100
>>15078 (OP)
Сап. Есть какие-то готовые проекты для интересных кейсов? Просто поугарать, потренировать. И чтоб датасеты собирать не надо было, ну или хотя бы легко было собрать. Заранее спасибо.
283 1528124
>>27976

>Он уже давно может.


Примеры на нормальных языках, а не аналитическом, убогом, абоссаном, инглише в студию. Ну романские например.
>>28019

>лучше чем статистический с нейронками?


Конечно, статистика чего, вот правда, как ты себе это представляешь?
284 1528125
>>27951
Когжа рычишь и двигаешь тазом
285 1528127
>>28019
>>28124
Ну типо, ка ктвое нейроговно определит, что с существительным согласуется прилагательное стоящее справа, а не слева например?
286 1528132
>>28124

> Примеры на нормальных языках, а не аналитическом, убогом, абоссаном, инглише в студию. Ну романские например.


Ой, дебил... У того же пейсбука с их фасттекстом есть готовые эмбеддинги педивикии на сотне с лишним языков. А английский ты не знаешь, как я понял.
287 1528143
>>28132

>готовые эмбеддинги педивикии


Чего бля?
15737961575150.gif391 Кб, 652x562
288 1528146
>>28143

>Чего бля?


А вот и очередной зумер-вкатывальщик.
289 1528205
>>28143

> Чего бля?


Ты б хоть в вопросе разобрался прежде чем обличать и срывать покровы, ниспровергатель бабушкин. Точно зумерок очередной.
290 1528206
>>27680

>Вот объясни, как твой мошоб сможет в грамматику естественного языка


Неплохо нейронки могут.

>Ты же понимаешь сколько парадигм у например существительного? Хотя все это выражается простыми правилами грамматики.


Нет, не выражается, ты тупой я погляжу.
Реальный объект неотделим от символьного представления. В
ернее представление неотделимо.
Твои правила ничего не могут, манипуляции с символами не производят знания. Должен быть контекст.

>>28127

>Ну типо, ка ктвое нейроговно определит, что с существительным согласуется прилагательное стоящее справа, а не слева например?


По контексту?
291 1528217
Кто-нибудь тут участвует в тележном конкурсе?
292 1528219
>>28206
>>28205
Все понятно, вы ебланы, хотя может и не полные, но к НЛП точно отношения не имеете.
293 1528221
>>28206

>Реальный объект неотделим от символьного представления


Чего бля?

>Твои правила ничего не могут, манипуляции с символами не производят знания. Должен быть контекст.


Кокой контекст? Есть текстовое предложение, согласуй его члены и сними омонимию, чем и как будешь делать?
294 1528223
>>28217

>Кто-нибудь тут участвует в тележном конкурсе


Кто запустит больше самолетиков?
295 1528224
>>28132

>педивикии


Это то шаблонное говнище, переводы которого невозможно читать и где куча либирашек?
296 1528228
Вот он, идеальный патриот:
- неграмотный
- не знает английский
- кефирщик
- верит в заговоры рептилоидов
- вообще верун
- считает вражеской пропагандой математику, машоб, НЛП, зато верует в ЭС, т.к по этому говну мамонта есть материалы на русском (переводные).
>>28224

> и где куча либирашек?


Да, прикинь. В интернете одна либерда, смеются над дедом, не любят сапоги барина и гостеррор.
297 1528230
>>27978
Гугл колаб.
298 1528233
>>28221

> Чего бля?


Того бля, быдлан неграмотный. Гугли треугольник Фреге, бля. Про семиотику слыхал вообще, вась?
299 1528236
>>28221

> Кокой контекст?


Окружение, в котором чаще встречается слово. +-заданное количество слов до и после анализируемого. Ты и про skipgram / CBOW не знаешь?
300 1528243
>>28236

>Окружение, в котором чаще встречается слово


А, понял, типа если вот это статистическое говно встречает слово в другом окружении и контексте оно сосет?
301 1528245
>>28233

>треугольник Фреге


>семиотику


Треугольник Хуерге, ты же понимаешь, что семиотика это такой матан для пидоров? Почитай как происходит расшифровка древних текстов, никакая твоя хуевротика там не применяется, догадаешься почему?
302 1528257
>>28245
Какие тебе древние языки, ты английского не знаешь, чепуха. При этом кукарекаешь так уверенно, как будто ты не двачной пиздабол, а действительно в чем-то понимаешь. Мань, реальность такова, что не знающий английского = неграмотный, это без вариантов. В любой науке, в любой предметной области вообще, вся движуха на английском. Вот ты как раз иллюстрация к этому факту, застрял где-то в 80х и дальше ЭС ничего не знаешь. Вдумайся, в наши дни уже есть учебники по верификации квантовых вычислений, а твои познания где-то на уровне времени перестройки и Горбачева, лол. А из современной науки тебе доступны только бредни таких же как ты шизиков пидорашек про кефир, вред прививок и ГМО.
303 1528261
>>28221

> Есть текстовое предложение, согласуй его члены и сними омонимию


То есть засунь НЛП в твои представления о rule based НЛП.
304 1528275
>>28261

>То есть засунь НЛП в твои представления о rule based НЛП.


Рулбейзд в данном случае грамматика
ЮрийКнорозов.jpg55 Кб, 705x973
305 1528278
>>28257

>английского


На хуй не нужное примитивное говно, достаточно выучить 800 слов и можно читать почти всю техлитературу, что я и делаю.

>квантовых вычислений


Все понятно, у тебя маняматика головного мозга.

>Какие тебе древние языки


Ну перестань, мань
0zvT4ID.jpg127 Кб, 960x933
306 1528316
>>28228

>НЛП


Нейро лингвистическое программирование?
Это же такая уфология для идиотов психопатов уровня курсов успеха и мастеров пикапа?
Конструктивизм сильная идея, но имеющая ограниченное применение.
Рассматривать человека как машину верх идиотизма. Это разрушительной для общества и не соответствует реальности.
307 1528318
>>28245

>Почитай как происходит расшифровка древних текстов


Никак. Находят родственный язык или табличку с переводом на уже известный язык. Вон не могли книжку 100 лет перевести написанную на известном языке.
308 1528320
>>28278

>достаточно выучить 800 слов и можно читать почти всю техлитературу


Читать можно, понимать нельзя
309 1528329
>>28318

>Находят родственный язык или табличку


Или камень, лол. Но вон там анон выше про симевротику втирал? Как же так то.
>>28320

>понимать нельзя


Ну если область знакомая то запросто, я например какую нибудь юридическую поеботу не пойму.
310 1528330
>>28316

>Нейро лингвистическое программирование


Это другое
311 1528336
>>28330

>Это другое


О чем речь вообще, привели расшифровку.
312 1528340
>>28336
Натурал лангуаге процессинг
313 1528345
>>28340
Точно, что то я с просоня туплю.
314 1528347
>>28345

>просоня


Но абзац негодования накатал и картиночку прикрепил, лол
315 1528357
>>28318

>Вон не могли книжку 100 лет перевести написанную на известном языке.


Это ты не про манускрипт Воинича часом?
pepe2.png271 Кб, 1280x731
316 1528416
>>28357
Да.
Оказалось что там какое-то наречие.
Переводы текстов, особенно древних, это внезапно тема криптоанализа.

Лингвистика вообще пустая штука.
15733967197400s.jpg4 Кб, 247x250
317 1528418
>>28347
Что же делать если в интернете кто-то не прав?
318 1528582
>>28329

>Ну если область знакомая то запросто, я например какую нибудь юридическую поеботу не пойму.


Ты и про МЛ нихуя не понимаешь
319 1528601
>>28124
p(следующий токен | предыдущие токены, доп условия)
15740294619030.png109 Кб, 316x417
Ок зумер 320 1528608
>>28316

> Нейро лингвистическое программирование?


> Конструктивизм сильная идея, но имеющая ограниченное применение.


Портфель собрал уже, тайдмен? Ты может быть "думаешь", что кому-то интересно "мнение" зумера о конструктивизме? Так нет, неинтересно. Про НЛП даже комментировать не буду.
321 1528614
>>28124

> Конечно, статистика чего, вот правда, как ты себе это представляешь?


Долбаеб сука, ну зачем ты все это пишешь, что ты из себя вытужить хочешь, кому и что доказать? Лучше бы почитал что-нибудь про word2vec, может быть тогда перестал бы срать себе в штаны, делая вид, что твоя тупость и незнание темы что-то кому-то доказывает.
322 1528622
Как работает статистический подход: алгоритм собирает статистику.
Как работает rule based подход: статистику собирает выпускница лингвистического Дуня, вручную перебирая те же самые датасеты, которые у лингвистов называются корпусы.

При этом возможности Дуни соревноваться с алгоритмом закончились примерно в нулевые.
323 1528631
>>28275
Ну да. Грамматика костыль для покрытия естественного языка не всегда работающими правилами. Для понимания и синтеза языка грамматика не нужна, поэтому любой сантехник петрович прекрасно говорит по-русски, при том, что ему похуй, какая парадигма склонения у слова "лес". Он за слово "парадигма" скорее в табло даст.
324 1528633
>>28622
Особенно смешно все это звучит если речь о корпусах на основе какого-нибудь CommonCrawl весом в терабайты с триллионами слов. Ручная обработка - то, что нужно для тематических архивов всего интернета целиком.
325 1528652
>>28633
Забавно, кстати. Я хотел сказать, что датасеты вообще очень важны, и в 80-е нормальных просто не было. Но зашел вот сюда и охуел
https://www.top500.org/lists/1995/06/
В 1995 году топовый суперкомпьютер имел производительность на два порядка меньше того, что стоит у меня дома сейчас. Блядь, 95-й год. Я тогда в школу пошел, это же почти вчера было. И 200 сраных гигафлопсов в топ1 компьютере мира. Ебать.
326 1528655
Модель ручной работы. Органик правила, бережно отобранные экспертами высочайшей квалификации.
327 1528738
>>27646

>Проблема ЭС в том, что они не работают. Они страдают от классической проблемы длинных хвостов: ты легко делаешь систему, работающую в 80% случаев, но дальше каждый процент дается тебе все тяжелее и тяжелее.


Ну, справедливости ради, нейронки, и вообще все блэкбокс подходы страдают от чёрных лебедей просто по природе своей, с тяжёлыми хвостами умеет работать только хардкорная классическая статистика.
328 1528743
>>28655
gluten-free забыл
329 1528769
>>28738

>с тяжёлыми хвостами умеет работать только хардкорная классическая статистика.


Ибо использует априорную информация о распределении прямо из мирового эфире, без всяких датасетов.
330 1528900
>>28416

>Оказалось что там какое-то наречие


Оказалось, что та журналист изнасиловал в говнемоченного, ничего там не перевели.
331 1528904
>>28622

>те же самые датасеты, которые у лингвистов называются корпусы


На хуй эти корпуса? Дуня формализует грамматику, создавая правила, все. Корпуса в этом подходе нужны только для тестирования. В отличии от.
332 1528905
>>28631

>Грамматика костыль для покрытия естественного языка


Вот и я говорю, математика это костыль для покрытия непонимания реальной природы вещей
333 1528906
>>28614

>почитал что-нибудь про word2vec


Анон жрущий говно под названием паперы, это ты?
334 1528907
>>28652

>имел производительность на два порядка меньше того, что стоит у меня дома сейчас


И? На своей пека ты анимешки поди смотришь, а тогда компьютеры делом занимались.
335 1528912
>>28904
Я в таком недоумении от твоей незамутненной тупизны, что даже не знаю, что ответить.
336 1528917
>>28907
Не суди по себе, мамин борщеед
337 1528930
>>28917
В игори с четким графонием играешь?
338 1528931
>>28912

>незамутненной тупизны


По делу сказать нечего, ясно.
339 1528950
>>28904

> На хуй эти корпуса? Дуня формализует грамматику, создавая правила, все. Корпуса в этом подходе нужны только для тестирования.


Дело в том, что правила можно получить прямо из самих корпусов, алгоритмами типа skipgram. И эти правила ничем не будут отличаться от того, что сможет сделать Дуня, маня, Ваня, кто угодно, ибо грамматика одна и та же, другим правилам взяться просто неоткуда. Но ты настолько темный, что про идентификацию систем не слышал.
340 1528955
>>28950

>правила можно получить прямо из самих корпусов


Нельзя, связи слов в корпусах внезапно размечаются ручками, ага.
341 1528964
>>28955

> Нельзя, связи слов в корпусах внезапно размечаются ручками, ага.


Не пизди чего не знаешь. Корпуса размечаются только для supervised задач, всякие там graphspace итд. Для построения простых эмбеддингов ничего не размечается, те же сырые дампы педивикии просто чистятся от разметки, автозаменой убираются большие буквы итд, в лучшем случае ещё каким-нибудь стеммером обрабатывается.
342 1528967
>>28904
Почему же тогда нет нормально работающих rule-based онлайн переводчиков?
343 1528973
>>28964

>педивикии


Переводы этого говна правятся волонтерами
>>28967
А нормально работающего переводчика вобще нет.
344 1528976
>>28973

> Переводы этого говна правятся волонтерами


Ебать ты гений. Ещё скажи, что все существующие тексты созданы людьми. Але, речь не об этом, а о необходимости ручной предобработки текста для нужд НЛП. Ещё раз, это нужно только для supervised задач.
345 1528977
>>28976

>supervised задач


Каких бля?
346 1528978
>>28977
Ты с горшка в детсаду капчуешь? Погугли хоть в чем разница между обучением с учителем и без в машобе.
347 1528981
>>28973
Нормального может и нет, но ассесорские оценки и различные метрики покзывают, что rule-based машинный перевод работает хуже, чем статистический, который в свою очередь по оценкам хуже, чем нейросетевой.
348 1529018
>>28978

>обучением с учителем


С учительницей бля
fl.jpg55 Кб, 889x428
349 1529062
>>29018
Согласен, что терминология ебнутая. Смысл обучения в том, что ставят оценку, т.е. есть функция потерь. Если ее нет - то это не обучение, а тупо кластеризация
350 1529098
>>29062
Т.е по-твоему, например бинарный лосс 0/1, да/нет, это не лосс?
351 1529109
>>29062

>ставят оценку, т.е. есть функция потерь


Так и как это приминимо к корпусу текстов? Ручками все разметь, обучи нейронку, поставь ей оценки? ИИ уровня /b
352 1529115
>>29098
>>29109
Я про то и говорю, что даже в кластеризации есть функция ошибки, и разделять обучение с учителем, и без, это ересь.
353 1529121
>>28931
По какому делу? Как вот на это говно можно ответить:

> Дуня формализует грамматику, создавая правила, все


Правила она откуда берет, из мирового эфира? Из учебника Зализняка? А Зализняк откуда взял? Из другого учебника? И так до бесконечности? Действительно, нахуя нужен сам язык, если ученые все правила грамматике в учебнике написали.
Всё всегда сводится к корпусу языка, из которого ученый выцепляет статистические закономерности. А ты даже этого не понимаешь, потому что думать на 2-3 шага вперед не можешь. "Дуня формализует грамматику, создавая правила. Правила ей рассказал учитель русского языка во втором классе, тому - его учитель, тому - моисей, а тому - господь бог. Аминь".
>>28955

>Нельзя, связи слов в корпусах внезапно размечаются ручками, ага.


Повторяю для тупых очередной раз. Корпуса со связями нужны для rule-based систем, чтобы программист мог дописать костыльные правила типа "подлежащие->сказуемое" переводится в "subject->verb". Чем более совершенна статистическая система, тем меньше ей Дунь с ручным забиванием статистики нужно.
15737529773470.jpg121 Кб, 700x490
354 1529133
>>29115

> даже в кластеризации есть функция ошибки, и разделять обучение с учителем, и без, это ересь.


Ты походу не догоняешь, в чем разница с учителем и без. Дело не в лоссе, он есть всегда. Разница в том, помечены примеры как правильные и неправильные, или нет. Одно дело, когда тебе нужно обучить модель распознавать раковые снимки от здоровых например. И совсем другой, когда у тебя вообще нет никаких данных о датасете, есть ли там вообще разные классы примеров или нет, а если есть, то заодно и правила классификации получить.
355 1529150
>>29121

>Правила она откуда берет, из мирового эфира?


А откуда она берет? Какая нахуй статистика, у тебя там матан головного мозга уже.
356 1529234
Что этому ублюдку нужно?
Памяти свободной много.
Повысил ограничение с 512 мб до 2000мб в конфиге jupyter notebook. Не помогло.
357 1529246
>>29150

> А откуда она берет?


Ты ответь, откуда. Хочется узнать мнение шизика. Как по-твоему человек обучается языку?
358 1529250
>>29234
Твоя матрица весит 1.2 гб, ты хочешь аллоцировать две. Мусоросброник не успевает достать первую
359 1529272
>>29246

>Как по-твоему человек обучается языку?


Как и всему остальному, неведомым науке образом.
360 1529288
>>29272

> Как и всему остальному, неведомым науке образом.


Неведомым тебе образом. Ты со своей пустой головы на всю науку не вали. Примеры + нейропластичность, вот и весь секрет успеха. Ты поди веруешь, что и погодой в твоём зажопинске управляет боженька, а не объективные причины?
361 1529512
>>29234
поменяй dtype на флоат32 или флоат16
362 1529598
>>29589 (Del)

>колею смищных картинок


Так твои бредни только такие эмоции и вызывают
363 1529635
>>28769
Если очень хочется аутизма, можно и бустрапом оценить прямо из датасета и посчитать всё то же самое что и для известных распределений или вообще непараметрической статистикой обмазаться. Но мошонлёрнерам в любом случае не надо льстить себе: скорее всего все данные у тебя укладываются под известные человечеству семейства распределений.
364 1529655
>>29246
Ты уже идею универсальной грамматики Хомского оспорил или так и будешь тут пердеть попусту?
365 1529698
>>29655

> Ты уже идею универсальной грамматики Хомского оспорил или так и будешь тут пердеть попусту?


Ты вообще читаешь на что пытаешься ответить, чепуха? Ещё раз перечитай свой пердежь в лужу, а лучше просто сьеби отсюда, дегрод
366 1529747
>>28955
А как-же Word-alingments? Там-же как раз связи между словами используются только для теста.
367 1529772
>>29698
Ебать ты тупой, если не можешь понять в чем противоречие универсальной грамматики и той хуиты, что ты тут пытаешься отстаивать.
20160226100217ce2a2539a478eead06293cba68336413.jpg46 Кб, 604x453
368 1529776
>>29772
Обосрался с аргументацией, призову очередную рандомную громкую фамилию на помощь
369 1529777
>>29747

>Word-alingments


Не слышал про него, какая то протухшая шляпа с заброшенными проектами на гитхабе.
370 1529868
>>29777
Дебил, тебе сто раз сказали, что любой эмбеддинг учитывает связи между словами, фразами, параграфами, документами, вебстраницами итд без дополнительной ручной разметки текста, достаточно сырых дампов педивикии, из которых удалена разметка. Ты же в ответ промычал что-то про каких-то либерашек и слился. Чё такой тупой-то, маня?
изображение.png11 Кб, 1461x60
371 1529936
>>29250
Да, верно.
Но сейчас выделил 7 гб памяти и всё равно вторая матрица не создаётся.
>>29512
Собственно, я так и делаю, когда есть возможность. Но иногда случается, например, пикрелейтед, и приходится перезапускать kernel и думать, какие ячейки можно пропустить. Это неприятно.
372 1529953
>>29933 (Del)

> какой нахуй эмбеддинг? Каким образом он учитывает связи?


Маня, зачем ты кукарекаешь и несёшь хуйню? В эмбеддинге элемент кодируется многомерным вектором, простейшая линейноалгебраические манипуляции с этими векторами позволяют выявить любые существующие связи между словами итд. Причем, все это учитывается автоматически при построении эмбеддингов. Шко-луй-НЯ, ты вместо того чтобы кукарекать и маняниспровергать, просто почитал бы хоть что-то на эту тему.
373 1529956
>>29936
Чисти за собой мусор строчками типа
yoba=None
Можно еще gc.collect() добавить
374 1529993
>>29933 (Del)
Word2Vec, Glove, Fasttext. USE. ELMO, BERT
375 1530340
Аноны я на плюсах писал 5 лет, заебало что пиздец. Освоил питухон и прочитал и прорешал задания из учебника по статистике и матану. Хочу куда-нибудь вкатиться, только блять куда? Я так понял там есть кластерный анализ, факторный, дисперсионный, кто всей этой хуйней занимается? Сам я в нии проектирую хуи, никаких коммерческих знаний полезных нет, в яндекс не берут, мэйл ру не берут, си++ и алгоритмы не хочу углубленно изучать принципиально, не интересно. Нравится матан. Подумывал уж в прожект менеджеры перекатываться, но вот от нии послали на курсы машин леарнинга где нихуя кроме как какие задачи он решает не рассказали.
376 1530361
>>30340
Учишь CUDA, двигаешь в сторону computer vision, оттуда в ML
377 1530612
У меня есть пара вопросов.
- Какого хуя нейронки такие ресурсоемкие? С моим целероном путь в датасайнс мне закрыт. Неужели нет более рациональных методов? Ну, кроме уж совсем топорной статистики типа анализа двух массивов на схожесть.
- Что думаете насчет соединения статического машинного обучения с символическим? Допустим нейронки на низкоуровневые операции, типа распознавание текста, а логический движок на высокоуровневое интеллектуальное программирование.
378 1530615
>>30612

> статистического машинного обучения с символическим?


Самофикс.
379 1530621
>>30612
Датасайенс не только нейронки, для GBDT, линейных моделей и прочего ГПУ не нужно.
380 1531041
>>30612
Если локально ничего сложнее мниста выучить не можешь, то используй google colab. Ну или играйся со всякими табличками.

>Допустим нейронки на низкоуровневые операции, типа распознавание текста, а логический движок на высокоуровневое интеллектуальное программирование


Ну то есть как Алиса, да? Нейронка распознает речь и "смысл", а логика делает то что задумано.
1572172349459.png123 Кб, 471x513
381 1531048
>>30612

>- Какого хуя нейронки такие ресурсоемкие?


Железо не соответствует задаче.

>Неужели нет более рациональных методов?


Живой мозг, квантовые процессоры.
382 1531052
>>31048

>квантовые процессоры


Ты в них разбираешься или наугад спизданул? Если разбираешься, то посоветуй, книжку/курс/статьи для вкатывания в тему (в целом квантовых компьютеров/вычислений/алгоритмов)
383 1531088
>>31041

> Ну то есть как Алиса, да? Нейронка распознает речь и "смысл", а логика делает то что задумано.


Не читал, как там Алиса устроена. В вольфраме(тот, который математика), к примеру, распознавание простого изображения реализовано одной функцией. А так как вольфрам это ФП, то возможности для композинга разных таких "низкоуровневых" операций суть велеки. Берем задачу, которая не формализуется, делаем один предикат/функцию на основе машоба, и делаем нашу задачу формализируемой. Представь, что нейронка переводит текст в дерево, а какой-нибудь логический движок это дерево обрабатывает сравнивает с базой знаний и делает логический вывод. Очень часто вижу, что некоторые пытаются глубокими нейронками задачу от и до решить, что пиздец как не рационально есть.
384 1531235
>>31088
Решать задачу End-to-end это в основном исследования, нейронки всетки "ИИ". Возможно в будущем так и будем делать, а пока только часть задачи делают нейронки.
385 1531283
>>30612

>Какого хуя нейронки такие ресурсоемкие


Они не ресурсоемкие. Для большинства задач хватит одной видеокарты, накопить на которую может любой Васян с завода.
e2dd58e05cbf2877ae31fc8e06a15a18.jpg91 Кб, 800x410
386 1531298
Чет орнул, чел проснулся и заметил, что нейроговно нихуя не работает, а только жрет ресурсы) Ладно, пошел с Алисой поболтаю, люблю под пивас с этого недо ИИ поугорать.
387 1531300
>>31052

>Ты в них разбираешься


В общих чертах, не моя тема.

>спизданул?


>посоветуй, книжку


Почитай Пушкина, Достоевского, без шуток.
388 1531310
>>31298

> не работает


s2p.moe и thispersondoesnotexist.com с тобой не согласны.
389 1531368
>>31310

>thispersondoesnotexist.com


Там просто публикуются фотки рандомных людей с добавлением артефактов/шума
change my mind
390 1531416
>>31310
ИИ которое мы заслужили
image.jpg1,1 Мб, 1024x1024
391 1531918
>>31368
желаю тебе как на пикче
392 1532080
Какие модели умеют по дефолту обучаются с использованием gpu? Знаю только про catboost, но, я так понимаю, там только с картами nvidia можно работать. Ошибаюсь или вообще все библиотеки дружат только с nvidia? Есть те, что работают с radeon?
393 1532120
>>32080
Ошибаешься, с радеонами дружит почти всё, если не прямо из репозитория, то после перекомпиляции с определенными флагами
394 1532129
Посоветуйте серьезных книг чтобы еще лучше понимать всякие байесовские методы, сеточки и тому подобное, всю шапку осилил, работаю в индустрии, не знаю куда дальше развиваться.
395 1532132
>>32129
Если всю шапку прам осилил, то только статьи читать. Уже сам должен все знать.
396 1532138
>>32129

> всю шапку осилил, работаю в индустрии,


> не могу нагуглить нужное по байесовским методам


Сдается мне, ты тайдмен простой. Кем надо быть, чтобы после осиливания всего что есть в шапке, задавать такие вопросы?
397 1532142
>>32138
Може, он осилил прочесть саму шапку?
398 1532149
>>32138

> Кем надо быть, чтобы после осиливания всего что есть в шапке, задавать такие вопросы?


Маленьким врунишкой.
399 1532150
>>32138
Вот и местный токс нарисовался, паперами уже обмазался с утречка?
400 1532201
>>31918
слив засчитан
401 1532202
>>31368

> Там просто публикуются фотки рандомных людей с добавлением артефактов/шума


> change my mind


На гитхабе сорцы, в т.ч уже обученные. Берешь и запускаешь.
kai-gesture-controller-for-the-future-by-vicara2.jpg58 Кб, 615x534
402 1532262
Подумываю я поиграться с жестовым контроллером Kai. Он выдает следующие данные:
- Положение ладони — pitch, yaw, roll.
- Вектор открытости 4-х пальцев (без большого).
- Вектора акселерометра, гироскопа и магнитометра.
- Вектор булевых значений, указывающий, какие из 4-х пальцев касаются большого.

Какой софт использовать и насколько легко будет обучить нейросеть детекции жестов? При наличии двух контроллеров, насколько легко будет обучить НС отличать хлопки ладоней друг по другу и по прочим поверхностям?

И главный вопрос: надо ли для всего этого всерьез угореть по ML, или уже придумали кнопку "сделать заебись" для таких задач?
403 1533306
>>32262
Машоб тут не нужен. Задача поста есть просто усложненная версия событий тачпада. Вместо пространства XY тут простанство XYZ.
404 1533319
>>32262
Чел, нейросети придумали чтобы обрабатывать огромные массивы слабо структурированных данных, чел. Обрабатывать состояния пяти пальцев, которые ты перечислил в своем посте можно через десять ифов, какая тебе нахуй нейросеть.
405 1533327
>>33306
Рассматривать это как убер-тачпад — дело вредное.
На тачпаде можно все твердо и четко определить: "1 см скольжения пальца по оси X на тачпаде = 100 пикселей движения курсора на экране". И это будет сносно работать, даже если пользователь касается тачпада носом.

С жестами такой поход не сработает — один и тот же микрожест "пользователь чуть-чуть согнул палец" может значить изменение значения открытости на 10 пунктов для указательного правой руки, а для мизинца левой руки это может быть и 50 пунктов. Более того, предыдущий жест влияет на следующие, так что эти пункты еще будут меняться постоянно.

>>33319

>нейросети придумали чтобы обрабатывать огромные массивы слабо структурированных данных


Именно поэтому я и рассматриваю НС для обработки жестов. Мне ж не со статичными состояниями "Палец согнут на 80 пунктов из 255" работать надо, а со временными рядами положения пальцев и ладоней.
406 1533337
>>33327
Все равно нейросети суть не нужны здесь. Знаешь о swype? Одного поля ягоды. Тут не пару ифов конечно, но и перцептрон поднимать смысла нет, не говоря уже о серьезных архитектурах.
407 1533346
>>33337

> swype


Ты о клавиатуре, в которой пользователь проводит траекторию по предсказуемым, статически-расположенным блокам? Да, видел такую. Для нее перцептрон поднимать я бы не стал конечно.

Стало быть, кнопку "сделать заебись" еще не придумали?
408 1533409
>>33346

>Стало быть, кнопку "сделать заебись" еще не придумали?


Придумали генератор котиков, это ли не чудо?
409 1533538
>>32262
SOM Кохонена, например. Пометить нужные жесты, а потом просто смотреть, к чему модель отнесет тестовые векторы (жесты).
410 1533784
Антоны, хочу научить YOLO распознавать козяблики.
Подходит эта сеть для такого?
И я подзабыл, имеет ли смысл на вход нейронке давать размытое или повернутое изображение?
411 1533811
>>33784

>козяблики


Попробуй пихвоидами.
412 1533834
>>33811
Ну я про иероглифы, конечно же.
image.png41 Кб, 486x397
413 1533851
>>33834
Анон, наверное, резонно может спросить "А зачем пилить велосипед".
Я знаю два решения OCR, первое - это Tesseract, второе - это Google.
Почему не подходит тессеракт? Он не умеет распознавать фуригану, он не умеет распознавать цветной и повернутый текст, говорить о распознании текста в низком расширении вообще не приходится, это просто невозможно.
Почему не подходит гугл? Гугл плохо справляется с текстом в плохом качестве, также не видит фуригану, дает упрощенную форму иероглифов.
Ни одно из уже имеющихся на данный момент средств OCR не справится с вот таким вот текстом, а я хочу научить на размытой хуйне в том числе.

Примеров информации куча, правда размер необходимого датасета ужасает, это же вам не алфавит распознавать.
414 1534048
Есть нетривиальная задача. Есть нейросеть. Неплохо обучается, переобучения нет, вроде как. Val ac и ak следуют как и положено друг за другом. Но на контрольном z тесте результаты гораздо хуже. В чем проблема, почему при достаточно высоких валид акк в итоге заваливаются реальные тесты?
415 1534054
>>34048
Излагай мысли яснее.
Что такое ac и ak? Одно из них видимо accuracy?
Что значит друг за другом?
При чем тут Z-тест?
416 1534058
Мимоменеджер по внедрению решений ML в b2b вкатывается в тред.
Базовое представление имею, курсы проходил, простое решающее дерево для какого нибудь блядского скоринга сделать на коленке смогу.
Подскажите, тут есть такие же персонажи как я?
Не боитесь что рыночек нас выкинет нахуй?
Пока утешает только мысль что для серьезного DS нужны серьезные мозги, а серьезные мозги редко могут в общение с заказчиком, постановку задач и прочая, а следовательно мы всегда пригодимся.
417 1534059
>>34054
Прост подзаебался уже. Процесс обучения 200 эпох, вал акураси и акураси постепенно растет до примерно 90 процентов, причем вал акураси опережает акураси. Но на контрольном тесте вероятность 65 70 процентов. Переобучения нет, вроде как. Обучающая вып выборка порядка 30 тыс едениц.
418 1534063
>>34059
С чего ты взял, что переобучния нет? Может ты неправильно разделил на обучение-валидацию или в тесте у тебя данные другой природы, чем в обучающей выборке.
419 1534066
>>34063
Вроде поставил рандом отключение нейронов около 0,6 на каждый слой, слоёв всего 2, сократил кол во нейронов до минимума далее не знаю как ещё бороться с напастью
420 1534067
>>34066
Хиден леерс 2 имею ввиду
15744438343430.gif170 Кб, 326x281
421 1534140
>>34058
Откуда у тебя "серьезные мозги"? Что ты можешь такого, чего не может automl? Рыночек таких как ты обязательно порешает.
422 1534147
>>34140
Жопой читал?
Я же и говорю что серьезные ДСы не могут в адекватную коммуникацию с бизнесом и заказчиком, а следовательно такие раки как я будут нужны
1535101469198420372.gif1,5 Мб, 153x238
423 1534191
>>33851

>Анон, наверное, резонно может спросить


Грамотные аноны, прекрасно знают, что OCR в жопе, ну за исключением говнолатиницы, поскольку писменность относительно примитивна.
424 1534659
>>34191
Ну вот.
Интересно, сколько примеров потребуется на каждый кандзь? Тысяча, две, десять?
Имеет ли смысл размывать изображение?
425 1535044
>>34659

>Ну вот.


Если китайцы еще ничего приемлемого не запилили, то забей, задача не решаема нейроговном и общедоступными средствами, они не намного тебя тупей.
426 1535084
>>34659
1 пример, кнн делай
или кминс
428 1535122
>>35091

>Меня зовут Егор, в ИИ я нихуя не понимаю


Уноси обратно
429 1535124
>>35084
Все горишь, чепуха? Как эта болезнь называется?
430 1535179
>>35124
Бессильное потрясание кулаками в сторону давно ушедшего поезда.
15749993266750.png70 Кб, 323x323
431 1535301
>>35091

> YouTube: Зачем программистам искусственный интеллект?


Естественного нету, пусть хоть искусственный будет.
15751983419010.jpg104 Кб, 700x933
432 1535380
433 1535467
>>35380
Ну пикрил это ЭС, если все это вкинуть в ящик и потрясти то будут нейронки
434 1535480
>>35467

>это ЭС


Бустинг на решающих деревьях.
435 1535501
>>35480

>Бустинг на решающих деревьях.


Чего бля?
436 1535607
Из веб-макак к вам тяжело перекатиться? Пилю модные микросервисные бекенды, но математикой тут не пахнет, со школы и универа не помню ничего серьезного из математики. Сколько времени может занять изучение математики заново? Питон думаю быстро освою. С крестами не уверен, часто ли вы их применяете? На понижение должности и зп готов.
437 1535635
>>35607
Скорость изучения зависит от твоего icq и от количества у тебя свободного времени. И то и другое зависит только от тебя, тут мы тебе ничем не поможем.
438 1535644
>>35044
Ну я не на китайский вообще нацеливаюсь, а так у японцев есть фичи, которые позволяют им старые текста распознавать.
439 1535648
>>35644
С китайским будет все куда сложнее, так как классов больше, китайцы понаупрощали множество говна, да и вообще хуйни натворили.
440 1535652
>>35635
После прогерства трудно математику изучать, так как промышленное программирование приводит к деградации абстрактного мышления. Я не шучу. У опытных прогеров прагматическое конкретное мышление. 99.9% программистов паттерны не осиливают именно по этой причине. До архитекторов единицы дорастают.
441 1535667
>>35652
Ну-ну. Попробуй на скале, кложе или расте писать без абстрактного мышления.
442 1535675
>>35667

>Зачем? Можно быстро на php и jquery задачу решить. Не можешь? У тебя просто опыта не хватает.



Прямо таки все программисты пишут на скале с растом
443 1535685
>>35652
Смотря после какого прогерства. Если после формошлепства, то да. Но зачем перекатываться с формошлепства, если там все деньги мира?
444 1535689
>>35652
ты не прав братюнь, математику сложно изучать если ты ее долго не учил, через пару месяцев все в норму придет. Я сам промышленный программист на си++, когда начал вкатываться в матан даже поплохело, в универе мог за две недели целый курс изучить, а тут читаю и хуй, просто не выкупаю нихуя, но я упертый парень и без понтов. Купил Виленкина для школьников, по нему изучил комбинаторику, затем учебник для экономистов прочитал, затем уже для инженеров и где-то через три месяца ХУЯК и я все понял и начал сразу врубаться, прорешал все примеры. Охуенно. Дело в нейронных связях.
445 1535692
>>35689
ну и главное не бросай, бери самую простую книгу, не насилуй себя, двигайся по чуть-чуть, размышляй. За это математика тебе свои тайны приоткроет, исследуй бля. Самое смешное, у меня много выпускников мехмата знакомых, так вот они уже многое позабыли на хуй, а я то что выучил по учебникам вроде статистика для идиота и гмурмана с венцель очень хорошо понимаю и помню, а они как-то все забыли. У меня коллега был с бауманки, рассказывал после 6 лет учебы он затруднялся сказать, что такое радиоволна, зато в интегралах с дифурами шарил, с трудом понимая захуй они сдались. Так вот он купил набор электротехнический для школьников и по нему изучил основы электротехники.
446 1535696
>>35607
в крестах никакой математики, мои друзья крестовики из топ контор вообще все позабывали. Я использую конечные автоматы из всей мощи науки. Так-то все.
447 1535705
>>35689
Красавчик. Я сейчас тоже по схожей системе математику повторяю. В универе системы дифуров решал как нехуй делать, а сейчас с трудом вспоминаешь как минор находиться. Но если что-то долго дрочить, то эффект будет 100%.
448 1535741
>>21842
яскозал
15744438343430.gif170 Кб, 326x281
449 1536067
Хуя тут зумеров вкатывальщиков, лол, недельная норма. Тайдом закупились со скидосами по поводу черной пятницы? Гуд ньюс, ереван - там на базе грефосберкассы решили замутить распильный прожект по аи, вкатывайтесь, это ваш шанс поучаствовать в проебе народного бабла https://4pda.ru/2019/12/01/364837/
450 1536138
>>35696
Не это имел в виду. Машоб пишут на питоне и крестах, да? Питон я легко и быстро изучу, с крестами не уверен что так же будет.
451 1536140
>>36067
Это талисман треда? Местный шиз?
452 1536310
>>35607

>Сколько времени может занять изучение математики заново?


Чтобы научиться относительно хорошо понимать пейперы нужно 2-3 года.

>С крестами не уверен, часто ли вы их применяете?


Не часто, но будет плюсом.

>На понижение должности и зп готов.


0к устроит?
453 1536328
>>36138
Ты вообще не теми категориями мыслишь. ЯП не имеет значения. Сейчас все пишут на питоне, но суть там совсем не в питоне. И изучать нужно не питон.
454 1536342
>>36310

>0к устроит?


Вы тут за бесплатно работаете, даже не за еду?
455 1536381
>>36342
Чего ты еще от матанопетушни ожидал?
456 1536421
>>36328
А что надо изучать?

Я понимаю, что чуть не в питоне. Но почти все "интерфейсы" к необходимым инструментам написаны на питоне.
457 1536426
Поясните за one shot и zero shot learning. На первый взгляд это просто глубокое обучение метрики (distance metric learning) вместе с эмбеддингом и в дальнейшем сравнение с эталонами (т.е., считай, старые добрые метрические методы). Нечёткопетуха, жопеншмульцера и прочих шизиков просьба не беспокоить.
1561434172183978527.jpg71 Кб, 700x906
458 1536454
>>36426

>Нечёткопетуха, жопеншмульцера и прочих шизиков просьба не беспокоить.


Ну вот...
459 1536458
>>35648
Таки может кто ответить, имеет ли смысл размалевать текст и подавать его в качестве примера для обучения нейронке.
460 1536459
>>36458

>размалевать


Размывать, ебучая автозамена
461 1536460
462 1536831
>>36458
Нет
463 1536843
>>33851

>Ни одно из уже имеющихся на данный момент средств OCR не справится с вот таким вот текстом, а я хочу научить на размытой хуйне в том числе.


А ты сам справишься? По-моему тут проблема не в распознавании (оно у 20% символов просто невозможно), а в хорошей языковой модели, чтобы додумывать пропущенные буквы. А это вне контекста тяжело.
То есть тебе либо к YOLO приделывать ТРАНСФОРМЕР С АТТЕНШЕНОМ, либо даже не думать об end-to-end и по-старинке натренировать отдельно детектор букв, распознаватель символов и языковую модель. И если ты можешь это - пиздуй работать в гугл, хули. Тебя возьмут.
464 1536847
>>34048
Несоответствие распределений валидейшена и теста. Например, в трейнинге и валидейшене у тебя одни коты и мало негров, а в тесте одни негров, а котов мало. Тогда, особенно при недорегуляризации, сетка справедливо сделает вывод, что надежнее выводить которов, просто потому что вероятность кота выше.
Попробуй поменять тест и валидейшен местами, либо перебалансировать валидейшен, либо тупым копированием, либо введением весов, а самое лучшее - доразметкой.
465 1536854
>>36310
За 2-3 года ты разве что местным шизиком станешь, которому голоса сообщают, что он все понимает.
466 1536858
>>36426
Это цель - обучаться на нескольких примерах, типа как человек. Metric learning один из вариантов достижения цели, самый унылый, но работающий. А веселые методы (типа систем с памятью) работают хуево.
467 1536864
>>36858
Только человек не обучается на нескольких примерах, он учится все детство. Так сказать человек обучается на неразмеченныз данных
468 1536866
>>36864
Человек предобучается все детство. Причем детство заканчивается массовым прунингом. А обучается он быстро уже, но только тому, с чем сталкивался в детстве
469 1536868
>>36458
Размытие убивает высокие частоты в твоем изображении, есть более дешевый и надежный способ убить высокие частоты - наложить шум, который выше сигнала на этих самых частотах. Можно наложить белый шум, а можно, дропаут. Т.е. если у тебя есть дропаут на первом слое, размывать текст особого смысла нет, нейронка обучается по намного более перепидорашенном изображении.
Проблема-то не в этом, а в том, что если у тебя на картинке белый квадрат, это белый квадрат. Ты как человек понимаешь контекст картинки, имеешь модель языка, и на основе этого восстаналиваешь смысл. YOLO это не умеет, поэтому работать на белых квадратах не будет.
470 1537117
>>36864
>>36866
Человек предобучался весь эволюционный процесс, а рождающиеся личинусы это тупо моделька которую да, уже по-бырику можно дообучить.
471 1537122
>>36843

> а в хорошей языковой модели, чтобы додумывать пропущенные буквы. А это вне контекста тяжело.


А для чего мне нужно додумывать пропущенные буквы?
Я видел архитектуру сети, где просто сперва распознаются сами символы, а потом они отправляются в классификатор.
Насчет языковых моделей, так у тессеракта ныне используется LSTM, а результативность хуже, чем у 3-й версии.
472 1537147
>>36847
Ещё кластеризацию можно для этого заюзать, я слышал кнн вроде отлично справляется..
473 1537151
>>37122
Но на самом деле я понял, что проблема немного сложнее, чем я себе представлял.
Если не считать скорописной хираганы и катаканы, то сами кандзи - это по сути набор радикалов, попробую сгенерировать текста и применить разные архитектуры.
Особенность тут в том, что сам человек не распознает по сути отдельных элементов, он вообще смотрит на общую форму иероглифа и по ней ориентируется.
15728239944800.jpg314 Кб, 905x1280
474 1537292
>>37151

> Особенность тут в том, что сам человек не распознает по сути отдельных элементов, он вообще смотрит на общую форму иероглифа и по ней ориентируется.


То же самое можно сказать и про котов, и про негров, и про что угодно. С чего вы все тут решили, что эта ваша китайская грамота принципиально нераспознаваема? Может быть просто данные нужно правильно подготовить?
475 1537303
>>37122

>А для чего мне нужно додумывать пропущенные буквы?


Потому что на твоём пикрелейтед есть настолько размытые квадраты, что без контекста ты не поймешь что там скрывается. Гугл лажает не потому они тупые и не догадались размывать изображения.

>Насчет языковых моделей, так у тессеракта ныне используется LSTM, а результативность хуже, чем у 3-й версии.


И что из того следует? Хуйню какую-то несешь
476 1537311
>>37117
Эволюция это выбор архитектуры, а не предобучение
477 1537327
>>37311
Предобучение тоже. Вся безусловнорефлекторная деятельность, в том числе сложные комплексы безусловных рефлексов (инстинкты) - врождённые и не требуют обучения.
478 1537341
>>34048
чекай смещение выборок, перепроверь стратегию кросвалида, может данные зависят от времени, попробуй TimeSeriesSplit
479 1537562
В Slack ods'овский через реквест записываться или как? Не пойму, как их искать.
480 1537692
Есть кто-то, кто готов решить мне лабы по numpy и sklearn за деньги? Обычные лабы в рамках предмета машинное обучение в заштатном универе. Пишите на aquQJXanemANUSmaip~;lPUNCTUMr;bQu
481 1537718
>>37292
Может быть и так.
Я вот пока не увидел особого профита от реализации механизма внимания, классикой в этом вопросе является архитектура CRNN, где сперва текст локализируемая обычной сверхточной сетью, а потом подаётся на вход lstm.
Мне удалось найти несколько готовых решений для этого. Только я до сих пор не понял, какая лучше.
Данных хоть миллион можно собрать, бери, да генерируй сам, можно из новеллок брать, из субтитров к аниме, из манги, газет. Думаю результаты будут зависеть больше от самой архитектуры.
482 1537811
>>37718
А тессеракт, походу, только ленивый не обоссывал https://arxiv.org/pdf/1702.03970.pdf
483 1537983
>>37811

>тессеракт


Тебе сколько лет? Ты еще не допер, что рабочии решения никто бесплатно выклалдвать не будет, не? Это касается любой области обоссаного копетолиздического ракового общества.
484 1537984
>>37811

>тессеракт


Тебе сколько лет? Ты еще не допер, что рабочии решения никто бесплатно выкладывать не будет, не? Это касается любой области обоссаного копетолиздического ракового общества.
485 1537997
>>37983

> Это касается любой области обоссаного копетолиздического ракового общества.


Гугл практически выкатил идеальное решение, abby fine reader тоже имеет хорошую OCR, другие бесплатные решения также есть.
Рабочего готового и платного продукта тут просто нет, ни за бесплатно, ни за деньги, так что вот эту коммунистическую шизу свою в тред не тащи, плиз.
486 1538002
>>37997

>abby fine reader тоже имеет хорошую OCR


Хорошую, но она платная и исходники ты не получишь.

>Гугл практически выкатил идеальное решение


Это ты не про тессеракт же? Поскольку это говно даже на латинице с диакритикой сосет.
487 1538007
>>38002

>Это ты не про тессеракт же? Поскольку это говно даже на латинице с диакритикой сосет.


Это я про Google Vision Api, а еще можно через гугл доки по запросу получать)
Получить доступ к этому всему не так трудно и ясен хуй, что тебе исходников не дадут, ибо хостится все это у них на серваках.
Из всех этих нейроночек я только амазоновскую не проверял, но пока та, что от гугла на первом месте.
А у тессеракта меня удивляет то, что 3-я версия, которая без LSTM работает лучше, чем новейшие версии, если чуть-чуть препроцессингом заняться
Screenshot20191205-113241.png1 Мб, 1536x2048
488 1538027
>>38007

>Google Vision Api

489 1538032
>>37983

> Тебе сколько лет? Ты еще не допер, что рабочии решения никто бесплатно выклалдвать не будет, не? Это касается любой области обоссаного копетолиздического ракового общества.


Дебил с калмунизмом вместо мозгов, я тебе уже предлагал привести пример хоть одного закрытого патентованного алгоритма машоба, работающего лучше любого открытого и свободного. Ты слился, а теперь от опять свою шизу тут выдаешь за истину?
490 1538033
>>38027
Да пиздец ты нейронку озадачил, даже я не знаю, что за хуйня тут.
Это лисица, куница?
491 1538047
>>38032

>закрытого


>патентованного


/0
Патенты публикуются
Screenshot20191205-115000.png837 Кб, 1536x2048
492 1538049
>>38033
Лисичка
image.png271 Кб, 550x397
493 1538057
>>38049
А вот эту хуйню он распознает?
494 1538060
>>38032

>Дебил с калмунизмом вместо мозгов


Это ты, тот токсичный анон, который с утра до вечера паперами обмазывается?
Screenshot20191205-115653.png620 Кб, 1536x2048
495 1538067
>>38057
Ну такое
Screenshot20191205-120819.png1 Мб, 1536x2048
496 1538088
497 1538092
>>38032

>закрытого патентованного алгоритма машоба


На то он и закрытый, манька
498 1538112
>>38088
Animal (bolshoy cherny udav).
499 1538124
>>38092

> На то он и закрытый, манька


А, у масонов, рептилоидов и аннунаков свой машоб, ясно все с тобой.
500 1538149
>>38088

> Hat


Ну все правильно, шляпу распознал.
501 1538150
>>38124

>А, у масонов, рептилоидов и аннунаков


Ну давай, расскажи что у ИБМовского Ватсона под капотом и как все реализовано. Не абстрактную поеботу из паперов, а именно технологии и алгоритмы.
503 1538166
>>15078 (OP)
Пиздец тут всё сложно ебанный в рот.
504 1538169
>>38165
Сам то патенты смотрел? Лол
505 1538172
Промышленный шпионаж слишком легко устроить. Можно даже не воровать документы, а переманить специалиста. Поэтому закрытость фирмам невыгодна - слишком легко спиздить секреты, но только тем, у кого есть бабки. То есть своей закрытостью ты только помогаешь своим самым жирным конкурентам.
В случае открытости же, спиздить ничего нельзя, зато можно получить дохуя бесплатных исследователей твоей проблемы, которые ты потом с помощью своих гиганских ресурсов типа бабок монетизируешь. Ситуация ровно та же, что и с открытым софтом.
Реально парятся с секретностью только китайцы (потому что сами пиздят из западных патентов все, и страшно боятся, что их раскроют) и прочий скам типа русских военных, которые просто живут где-то в прошлом веке.
506 1538173
>>38169
Мониторинг патентов - часть моей работы
507 1538175
>>38172

>Реально парятся с секретностью только китайцы


Нацпрограммы поощеряющие промшпионаж были у США и есть у Японии, поэтому пездоглазы постоянно лазят с фотиками.

>Ситуация ровно та же, что и с открытым софтом.


Говно на уши для лохов. Попенсорс как раз пиарится итгигантами, что бы с него можно было копипастить код.

>В случае открытости же


Рецепт ебаной ссанины - КокаКолы закрыт и охраняется, а ты про более технологичные вещи.
508 1538178
А скажите, господа Гусары, зачем сети на вещественных числах делаются, в диапазоне от -1 до 1, неужто нельзя было применить менее русурсоёмкий тип ?
5898b1c7e919904943e7d2712ccbf141.png118 Кб, 640x439
509 1538181
>>38173

>Мониторинг патентов - часть моей работы


Ясно, теперь покажи в каком из твоего списка патенте описаны детали реализации, а не общие концепты?
510 1538184
>>38181
Для профессионала там все достаточно подробно. А шизику с борд учебник по матану дай - он будет жаловаться на то, что нихуя не понятно, потому что жиды скрывают
511 1538191
>>38178
Потому что видюхи старых поколений дружат лучше всего с 32-х битными float'ами. Новые уже поддерживают 16-ти битные флоаты.
А если ты хочешь инференс делать на FPGA, то можно и в целые числа сетку сконвертировать.
Конкретного смысла именно в -1..1 в сетке с ReLU нет, но масштаб сигналов от слоя к слою не должен сильно меняться, иначе у тебя обучаться будет плохо.
512 1538198
>>38181
Он, похоже, говорит тебе, если простыми словами, я так понял, что, например, Теорема Пифагора и у Китайцев и у Нанайцев и у кого угодно - одна и та же. Как и вообще, математика.
А нейронка работает на математике - рано или поздно она станет достоянием всех. Пытаться её засекретить примерно так же сложно, как, например, засекретить электричество : типа, ну мы тут у себя построим национальную электрификацию, а соседи пускай чиста на паровозах ездиют !
513 1538204
>>38184

>Для профессионала там все достаточно подробно.


Ну перестань врать
514 1538216
>>38198

>А нейронка работает на математике - рано или поздно она станет достоянием всех.


Если есть какие то общие законы которые пока невозможно применить в практике, то да почему бы и нет. Но как только будет найдено что то уникальное, дающее преимущество то это будет держаться в тайне.
515 1538231
>>38191
Понятно. Но не понятно ничего, дальше первого слоя. То, что первый слой выясняет границы - это очевидно. Говорят, что следующий слой находит уже текстуры. Но каким образом ? - я уже бошку сломал пытаться понять. А там же ещё слои, которые найдут конкретные объекты !
Но я не верю, что только математика даст ключ, кажется, всё можно понять интуитивно. А тут на тебе.
516 1538234
>>38204
Ломающее открытие для шизика с борд: существуют люди, умнее его
517 1538237
>>38234
Зачем же ты его так разъебываешь, бля.
518 1538240
>>38237
>>38234
Вот же он охуеет, когда узнает про кучу моделей, которые по сути имплементации того, что пишут в статьях.
519 1538242
>>38216
А зачем же тогда они соревнования устраивают, чья сеть быстрее и точнее правильно расфасует картинки ?
Могли бы втихаря. Выходит, им не только скрыть своё охота, но и слямзить чужое ?
Это, конечно, печально было бы. Потому что такое поведение не способствует прогрессу.
520 1538244
>>38216

>Но как только будет найдено что то уникальное, дающее преимущество то это будет держаться в тайне.


Такое может родить человек, который ни дня в жизни не работал. То, что знает больше 5 человек, никакой тайной быть не может. Совок атомную бомбу спиздил меньше, чем за 4 года с ее создания, а ты говоришь про какие-то сраные модельки, которые устареют через год.
У того же ватсона основная интеллектуальная собственность не алгоритмы, а сама база, которую на болванках из офиса не вынесешь.
521 1538245
>>38242

>А зачем же тогда они соревнования устраивают, чья сеть быстрее и точнее правильно расфасует картинки ?


Пузомерки, они же детали реализаций не раскрывают.
>>38240

>кучу моделей, которые по сути имплементации того, что пишут в статьях.


Только работают твои модели примерно как как на хую у негра выше.
522 1538247
>>38234

>существуют люди, умнее его


Ты к ним не относишься.
523 1538248
>>38234
Я конечно, не так умён, как некоторые из нас, но мне всё равно интересно. Даже, скорее всего, напишу эту загадочную сеть, чисто по описанию, пускай простую и медленную, даже не понимая, как она пашет.
Как думаете, стоит ли пробовать ?
524 1538253
>>38248

>Как думаете, стоит ли пробовать ?


Конечно, это охуенный опыт.
525 1538261
>>38245

>Только работают твои модели примерно как как на хую у негра выше.


Да нифига, в задаче той же OCR на гитхабе лежит модель с аттеншионом, которая дает схожие результаты на том же датасете.
526 1538262
>>38245

>Только работают твои модели примерно как как на хую у негра выше.


Это же закрытая тайная модель, а работает на том же уровне, что открытые. То есть жиды не просто скрывают модели, они скрывают даже их существование. В тайных казематах, в темных серверах, они тайно сидят и классифицируют негров с умомрачительной скоростью. Даа, тяжело быть шизиком.
527 1538264
>>38247
Ты уникально туп, тупее среднего посетителя этого треда.
528 1538272
>>38261

>которая дает схожие результаты на том же датасете.


А на других?
>>38262

>Это же закрытая тайная модель, а работает на том же уровне, что открытые.


Не работать это норма для нейронок. Гугля берет мощностями и тысячами обезьян бесплатно вводящих капчу с картиночек.
529 1538273
>>38264
Спасибо.
530 1538274
>>38272
То есть ты признаешь, что ты соснул и у гугла модели на уровне открытых.
531 1538279
>>38274
Манька, два сорта нерабочего говно, ты пытаешься вывелять задом и спрашиваешь какое из них более нерабочее?
532 1538283
>>38279
Я нашел противоречие в твоей шизе, потому что могу даже спуститься до картины мира шизика и выебать его на его же поле. Проблема в том, что ты настолько туп, что не видишь противоречий даже в собственных словах.
533 1538287
>>38283

>Проблема в том, что ты настолько туп, что не видишь противоречий даже в собственных словах.


Пиши по существу. Хочешь сказать что нейронки работают, или что открытые и закрытые реализации не отличаются?
534 1538307
Какая может быть для нейронки самая простая задача с изображениями, на которой можно было бы понять как она работает ?
535 1538309
>>38307
MNIST
536 1538319
>>38287

>Пиши по существу.


Я пишу по существу. По существу тебе такой вопрос: ты умнее какого процента phd в ML? Навскидку, по ощущениям.
537 1538379
>>38319

>ты умнее


Критерии?

>phd


>Doctor of Philosophy


Всегда с этого говна проигрывал, философы бля.
538 1538381
>>38379
Ты уходишь от ответа
539 1538387
>>38381
Критерии назвал? Или ты в паперном пустозвонстве меряешь?
540 1538421
>>38387
Критерии назвал, в посте они есть.
Впрочем, можешь не отвечать. Понятно, что ты считаешь себя умнее всех в принципе. Типично для шизика.
541 1539454
Какие есть способы сделать чатбота из FAQ? Т.е. есть список вопросов и ответы на них, но данных никаких больше нет? Какие есть идеи?
542 1539520
>>39454
Ты можешь закодировать готовой нейронкой запросы и вопросы из фака и находить ближайший вопрос по косинусной мере, и выдавать его ответ.
543 1539915
Антоны, с какой поры норма уменьшаться для loss?
Обучаю Chinese Attention OCRМожете на гитхабе посмотреть, что за зверь
Сперва loss просто увеличивался, я подумал, что это из-за learning rate и уменьшил его.
Теперь loss после 1000 эпох просто стоит на месте практически
544 1539918
>>39915
И может ли это быть из-за маленького датасета всего в 300 картинок?
image.png69 Кб, 459x232
545 1539946
>>39918
>>39915
Похоже, что проблема была из-за того, что я не указал null character.
546 1540064
>>39915

> Антоны, с какой поры норма уменьшаться для loss?


Должен уменьшаться средний лосс по эпохе от эпохи к эпохе. Почему - понятно, батчи содержат разные данные и могут иметь произвольный лосс, но вот начиная со второй эпохи нейронка видит уже данные, которые видела, и естественно должна улучшаться.
Но даже это хуевый вариант. Нагугли как выглядит лосс у сходящейся нейронки, как правило сначала он падает очень быстро и сильно, а потом медленно.
Лучше всего скачай готовую реализацию и запусти ее на прилагаемом датасете, убедись, что все работает, а потом уже начинай вносить изменения. Не торопись.
547 1540311
Сап, а какого минимального уровня необходимо железо для выкатывания в комп. Зрение?
548 1540359
>>40311
Для нейронок есть колаб, для всего остального хватит обычного компа
549 1540403
>>40359

>Для нейронок есть колаб, для всего остального хватит обычного компа


Колаб не лучше обычного компа. Сгодится разве что на первое время для небольших датасетов.
550 1540680
>>40064
Да я все понял, в итоге нейронка обучилась.
Только вот немного страшно от осознания того, сколько мне данных реально нужно, помню, когда гуглил материалы по Yolo, там чуваки писали, что нужно как минимум 2 тысячи примеров на класс.
В япе как минимум 3к уникальных символов. Конечно, уникальных элементов из которых состоят иероглифы куда меньше, что, как я думаю, тоже поможет сети обучаться, но это все ещё стремно.
551 1540681
>>40403
А потом что юзать? Копить себе на 32 гб ОЗУ и титана?
552 1540691
>>40681
Колаб предлагает P100 и 24 Гб RAM, если дефолтного инстанса не хватает
553 1540695
Смарите, тут игру сделали на GPT2: http://www.aidungeon.io/2019/12/aidungeon2-is-here.html
Это текстовая игра, где можно делать вообще все что угодно. Полная свобода действий. Просто че хочешь то и делаешь. И на все будет какая-то попытка дальнейшего развития сюжета. Имхо, это открытие новой эры в компьютерных играх.
554 1540697
>>40681

>А потом что юзать? Копить себе на 32 гб ОЗУ и титана?


Да. Память дешевая, так что можно и 64. Вместо титана 2080 Ti.
555 1540703
>>40695
Интересно. К этому бы ещё прикрутить нейроночки, генерирующие изображение и другое медиа из текста, а так же RL агентов, могущих обучаться и действовать в такой текстовой среде. И будет полноценная открытая виртуальная реальность, не ограниченная сценариями разработчиков.
556 1540788
Знакомый фотограф спросил, можно ли автоматизировать такую задачу: вырезать человека с фото, фон там всегда одинаковый (белая стена). Т.е. вручную это делается очень легко, но очень долго (фотографий сотни).

Мне кажется, это хорошая задача для DL, но т.к. я кроме названия и общего принципа не знаю ничего, прошу совета, с чего начать?

Погуглил, есть платный сервис remove.bg, демо делает то, что нужно и, судя по описанию, как раз на основе DL. Пытался загуглить, с чего вообще начать вкатываться в тему, всякие keras и прочее, но пока непонятно: во всех примерах очень много кода.

А мне бы запилить прототип, для начала, просто проверить идею. Прототип не обязан быть идеальным. Тратить месяц на чтение книг, в данный момент, кажется неразумным.

Как я себе это представляю: указываешь нейросети каталог с исходниками и каталог с результатом (то, что фотограф вручную уже сделал). Сеть учится, а затем просто автоматом умеет вырезать фон из фоток.

Это возможно?

P.S. Сам я погроммист, но именно в этой теме полный новичок.
557 1540798
>>40788
OpenCV?
558 1540893
>>40680
Хотя, учитывая то, что все создаётся под мангу, а в одном предложении может встречаться и по 2-3 раз один и тот же иероглиф, то думаю, что 100к примеров уже должно будет хватить. У хираганы и катаканы уже на 1к датасете у меня по 600-400 примеров. У самых частых кандзи по 100.
559 1540900
>>40798
Ты про модуль opencv_ml или про более "обычную" работу с изображениями, как в туториалах, например, тут https://docs.opencv.org/master/df/d0d/tutorial_find_contours.html ?
561 1541721
>>40703

>К этому бы ещё прикрутить нейроночки, генерирующие изображение и другое медиа из текста


Начальник, тут цопэ!!!!
image.png61 Кб, 820x250
562 1542086
Антоны, может ли быть такое, что из-за хуевых данных у меня loss не уменьшается?
Предположу, что есть несколько очень трудных примеров, попробовал нейронку обучить на 500 данных, а она не смогла, хотя на 300 данных все у нее получилось.
Сейчас увеличил датасет до 2к примеров, но результат пока такой спустя 20 минут обучения
563 1542087
>>42086
Или мне просто подождать часа 3, а потом паниковать?
564 1542188
>>42086
что за лосс? почему такой огромный?
инб4, нужно больше данных
565 1542330
>>42188

>нужно больше данных


Хм, может ли нейронка хреново обучаться из-за того, что для кучи классов у меня по одному примеру? Только для каны по косарю примеров.
566 1542335
>>42330

>Только для каны по косарю примеров.


Сдается мне ты пытаешься сделать очередной велосипед.
567 1542506
>>40691
А как получить его?
568 1542508
>>42506
А, я понял, просто крашнуть сессию.
569 1542547
Для обучения можно исполтзовать АМуДаков? Или только зелень?
570 1543176
>>42547
Есть ROCm, но в нем до сих пор нет поддержки Navi (Только vega, polaris и Fidji(???)), а может ее не будет никогда. Из фреймворков полностью поддерживается пока только caffe и Torch через HIP.
https://rocm-documentation.readthedocs.io/en/latest/Deep_learning/Deep-learning.html#deep-learning-framework-support-for-rocm
571 1543245
>>42335
Ну, может быть, так хоть опыта наберусь.
Решил читерить в итоге, когда размечаю данные, то теперь пишу тот же самый текст 11 разными шрифтами, плюс делаю разные повороты текста, пишу белым на чёрном фоне, делаю размытие, в итоге с одного размеченного текста выходит больше 100 примеров, нормальный подход?
572 1543246
>>43245

>нормальный подход


Что ты конкретно пытаешься сделать? Распознавать текст в манге?
573 1543248
>>43246
В общем научить сетку распознавать текст, не только в манге.
574 1543249
>>43248

>В общем научить сетку распознавать текст


Пиши нейронку или скрипт для распознавания регионов с текстом, и скармливай эти регионы тессеракту. Когда на изображении нет ничего кроме текста, он работает отлично.
575 1543250
>>43248
Ну и интересно чисто модельку попинать, никогда не видел, как работают сетки с механизмом аттеншона. Интересно потом визуализировать, какие там признаки выделяются и как оно внутри работает, хотя весь код и статью я уже вдоль и поперёк разобрал.
576 1543251
>>43249
Нет, не отлично, он вообще говно с максимально хуевым результатом, такую сетку я уже делал, только скармливал OCR от гугла, но она тоже хуевая, то упрощенку выдаст, то знает на чёрном фоне не распознаёт, то просто иероглиф не распознаёт, то лишние символы вставляет.
577 1543252
>>43251

> то знает


То знаки*
578 1543254
>>43251

>Нет, не отлично, он вообще говно с максимально хуевым результатом


Давай несколько примеров, которые он не смог распознать.
579 1543256
>>43254
Чуть позже, сейчас не могу. Но вообще можешь проверить на этом, он уже тут не справится.
Потом скину примеров чёрного текста на белом фоне.
IMG1166.PNG43 Кб, 295x504
580 1543257
>>43256
Пикчу забыл
581 1543260
>>43257
Текст не на однородном белом фоне, поэтому и не справляется. Он на такое не рассчитан.
582 1543263
>>43260
Он и с обычным, немного размытым текстом из киндла не справляется.
IMG1167.PNG36 Кб, 352x510
583 1543266
>>43263
Попробуй вот это распознать, только потом отпиши версию используемого тессеракта, чтобы я сам проверил.
584 1543268
>>43266
Плюс, он как и другие японские OCR почему-то не умеет работать с фуриганой, вырезать ее не вариант, ибо у иероглифа может быть своё чтение, может быть имя персонажа или другая какая важная хуйня.
image.png22 Кб, 611x367
585 1543269
>>43266

>Попробуй вот это распознать, только потом отпиши версию используемого тессеракта, чтобы я сам проверил.


Поделил текст на регионы, получился пикрил. Хуйню слева ни один OCR не распознает, а так получилось неплохо.
586 1543270
>>43269
Ошибки в символах скорее всего из-за нестандартного шрифта.
587 1543274
>>43269
Нормально, ты серьёзно? Он знак из хираганы ね распознал как 礼.
し его запутала, он подумал, что это レ
588 1543275
>>43274

>Нормально, ты серьёзно? Он знак из хираганы ね распознал как 礼.


>し его запутала, он подумал, что это レ


Проблема в угловатых буквах. Та же し которая выглядит в точности как レ. Без контекста в виде хираганы, я бы сам хуй это распознал. Если тебе важны такие шрифты, можешь попытаться перетренировать тессеракт.
589 1543278
>>43275
Так этих шрифтов тысячи вариаций, хоть угловатые, хоть псевдорукописные, ради каждого пинать это старье мне не хочется.
На такие случаи есть гугл доки, которые прекрасно проводят OCR и распознают даже тот повернутый текст и тут не запутываются в шрифтах.
Но у гугла есть свои недостатки
Зумерский Уклад Един 590 1543399
Экзамен в ШАДе по питону. Препод спрашивает студента:
-С чего начинается нумерация массива?
-С единицы
-Вон, на пересдачу!
Заходит другой.
-С какой цифры начинается нумерация массива?
-Один
-2 балла и на пересдачу!
"Может во мне дело, учу их как-то не так?"-засомневался препод-"Ладно, пусть ещё один зайдёт и посмотрим".
Заходит третий студент.
-С какой цифры начинается нумерация массива?
-Ноль..
Препод думает: "Слава Богу! Хоть одного еблана чему-то научил!"
Студент, продолжая:
-..целковый, чекушка, порнушка...
591 1543537
Антоны, получил инстанс от гугл колаба на 25 гб памяти.
Но тензорфлоу все равно юзает только 11гб рам и валится, если много батчей указать.
Как-то это можно решить?
592 1543662
>>43399
ШУЕ ППШ
593 1543669
>>43537

>Но тензорфлоу все равно юзает только 11гб рам


RAM или VRAM?
594 1543674
595 1543683
>>43669
Че у тебя за сетка? 100 слойный монстр?
Тред утонул или удален.
Это копия, сохраненная 13 января 2020 года.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
« /pr/В начало тредаВеб-версияНастройки
/a//b//mu//s//vg/Все доски