Это копия, сохраненная 13 января 2020 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".
Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.
Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материала
В чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examples
Где набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/
Где работать? https://www.indeed.com/q-deep-learning-jobs.html
Где узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихся
Где посмотреть последние статьи? http://www.arxiv-sanity.com/
Где ещё можно поговорить про анализ данных? http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущий:
https://2ch.hk/pr/res/1492664.html (М)
Архивач:
http://arhivach.ng/thread/412868/
Остальные в предыдущих тредах
Там же можно найти треды 2016-2018 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
мимо Алиса
Решил серьёзно угореть по нейрончикам и машобу.
Где найти наставника, который живительными пиздюлями может помочь советом или при необходимости на пальцах объяснить вопросы?
Кагглы и книжки это всё круто, но без какого-никакого руководства с практикой на данном этапе всё обучение рискует затянуться и уйти в глушь.
В результате можно остаться и без знаний и без опыта решений проблем.
Инб4 курсы и магистратура всяких мгу-яндексов
Машоб это статистика + полторы смежные дисциплины. Гамалогии и тапалогии там - не пришей к пизде рукав.
Мне бы понять, чего ждут от меня - желательно списком и небольшому гайду, как этому обучаться
Машоб, зумерок, это функциональный анализ (т.е. операторная k-теория) + дифференциальная геометрия и топология.
Это если мы не про детский сад вроде кминса с кнном говорим.
Новичок - это тот кто каждый вечер у твоей мамки в жопе.
поясни, петух
>>15963
Ежедневные зумера вкатывальщики, лол.
>>15982
> Машоб, зумерок, это функциональный анализ (т.е. операторная k-теория) + дифференциальная геометрия и топология.
Ну ты и клоун, лол. Конечно, никакому опучкавшемуся долбаебу не запрещено формализовать нейроночки в виде пучков, только смысла в этом никакого. Точно так же можно сказать, что нейроночки это зависимые типы, да все что угодно, и даже доказать это. Вот только это никому не нужно кроме опучей типа тебя, которым главное хоть что-то спиздануть поперек сказанного, неважно есть ли в этом пиздеже хоть какой-то смысл. Школьничество и деградантство - все на что ты способен.
>Конечно, никакому опучкавшемуся долбаебу не запрещено формализовать нейроночки в виде пучков, только смысла в этом никакого.
Я про пучки ничего не говорил, я описал машоб как он есть на практике. Впрочем, ты не разбираешься ни в математике, ни в машобе, так что куда тебе понять смысл сказанного. Бросай, зумерок, лучше свои палочки и иди кнн с кминсом учи.
Ну статьи разные есть, но прикладная ценность там почти нулевая. А ля зис https://arxiv.org/pdf/1806.05393.pdf
> я описал машоб как он есть на практике.
Маня, на практике машоб это импорт слесарьплов и главное слоев побольше, побольше! Не используются в нейроночках никакие гамалогии, тапалогии, не пизди.
> Я не про макакинг говорил, а про машоб.
И я про машоб. Где там гамалогии? Давай примеры. Именно в самих алгоритмах или хотя бы в их теоретических обоснованиях.
ты про таблички в экселе? так это гомологии оказывается?
жесть я крут, хочу теперь 200к в секунду получать
> Многомерные пространства данных.
Строки, таблицы? В самом сложном случае тензоры. Преобразования всего этого - максимум линал, всякие там транспонирования, повороты. Где ты там гамалогии тапалогии нашел, хуй тебя знает. Я ж говорю, пиздабол ты братишка.
бродяги шалом
подскажите топовые проекты с нейронками, чтобы сделал и 300к/с стал
опознование лиц с соц сетей запилили уже?
Что у него с ебалом? Это кто? Нахуй оно здесь? Это реально кто то смотрит? Вы ебанулись?
[YouTube] Real-Time Voice Cloning Toolbox[РАСКРЫТЬ]
https://github.com/CorentinJ/Real-Time-Voice-Cloning
Ну ты у автора на гитхабе и спроси. Там в issues прикреплённая тема training from scratch, почитай, там какой-то хуй описывает свои эксперименты с добавлением голосов, в т.ч с разной частотой дискретизации итд. Тут тебе по делу не ответят, т.к конкретно с этим проектом тут никто не работал.
Попробуй и расскажи потом
Не оче сложно, но там качество будет так себе.
Бамп вопросу.
Спасибо.
Но иногда появляются вопросы, интернет ответы не всегда даёт.
А уж местные так тем более. Кого спрашивать-то?
For example, I printed the weights in all the neurons after the network had been fully trained. I wanted to see if the weights were similar between different training runs. It turns out that they were wildly different between runs, even though they still had similar prediction performance. Maybe this is well known, but for me it was really interesting to see for myself
https://henrikwarne.com/2019/10/27/classic-computer-science-problems-in-python/
А разве градиентный спуск заключается не в том чтобы веса изменялись плавно? В чем подвох?
Минимумов лосса в нейронках астрономически много, просто так совпало, что те, к которым мы сходимся примерно одинаковые по качеству.
> Минимумов лосса в нейронках астрономически много, просто так совпало, что те, к которым мы сходимся примерно одинаковые по качеству.
Так когда-нибудь и размерность Вапника-Червоненкиса откроют.
> For example, I printed the weights in all the neurons after the network had been fully trained. I wanted to see if the weights were similar between different training runs. It turns out that they were wildly different between runs, even though they still had similar prediction performance. Maybe this is well known, but for me it was really interesting to see for myself
Чёт вшепот с этого сойбоя. Тоже поди зумер вкатывальщик?
>зумер
>хуюмер
>сойбой
Быдлецо, ибо аргументированно критикуй и советуй, либо съеби в /b.
Так как раз такой мусор как ты, хотя даже там поадекватней.
> Быдлецо, ибо аргументированно критикуй и советуй,
Что тебе посоветовать? Ознакомиться с азами, прежде чем задавать вопросы уровня "что такое сигма"? Ну его нахуй, там букв много, лучше и результативнее сходу называть всех быдлецом.
>Ну его нахуй, там букв много, лучше и результативнее сходу называть всех быдлецом.
Да нет, проще всех называть зумерами, залётышами, вкатывальщиками, чем отвечать на вопрос или не отвечать вовсе - ведь надо хоть на сосаче самоутвердится.
>Ознакомиться с азами, прежде чем задавать вопросы уровня "что такое сигма"?
Подразумевая что азы без практики и опыта что-то значат. В том числе для работодателя.
> Подразумевая что азы без практики и опыта что-то значат. В том числе для работодателя.
А тебе ответ на этой параше даст опыт и практику? Ты вот протестуешь что я тебя зумером вкатывальщиком назвал, но ты ж и вкатывальщик и зумер. Что не так-то?
>А тебе ответ на этой параше даст опыт и практику?
Хотя бы где его искать.
> зумер
Значение знаешь?
С пробуждением, йопте
Путин назвал стартапы в области искусственного интеллекта смелым вызовом для талантливых и увлеченных людей.
«Эти люди должны быть уверены в том, что они нужны и получат поддержку в России», — подчеркнул он.
Аж трусики намокли, побежал за пивасом и допиливать свой ИИ проект
Пыня - лучший друг зумеров вкатывальщиков, лол. Пользуйтесь тем, что дедушка нихуя в теме не понимает. Скачали любую хуету с гитхаба @ получили грант.
Это ж зашквар, ты что. Добровольно, да в один ряд с "создателями" "робота Бориса", ну нахуй.
> "Такие люди, безусловно, у нас есть, и их все больше и больше появляется. Это очень значимое изменение в нашем обществе в целом. Сегодня сотни тысяч - я не оговорился - сотни тысяч школьников, студентов, инженеров, исследователей увлечены наукой, идеей технологического прорыва. Они формируют команды, причём по всей стране, вместе делают важные открытия, создают свои новые решения и изобретения", - добавил Путин.
https://ria.ru/20191109/1560760813.html
Ок зумер
Ты же понимаешь, что деньги достануться серьезным людям, а зумерки вкатывальщики будут делать имитацию результата за дошираки?
Да вот в нашем парашном НГУ, который не так давно стал известен скандалом, есть лабартория https://bigdata.nsu.ru/ - даже они выигрывают тендеры и нанимают всяких зумерков вкатывалщиков/иц и зумерки неплохо себя чувствуют там.. Чего уж говорить не о таких конторках-лабках, а о нормальных крупных фирмах, где щас ведуться отборы/стажировки для вкатывальщиков, даже сейчас туда взяли мою знакомую, которая вообще не ебет в машинном обучение, просто спиздила где-то или у кого-то вступительное задание и ей збс..
Так что хуй знает.. Но может дошики для них еще завариваются, а пока временно дают покушать тортик)
Даже ты прекрасно же понимаешь, что ни один нормальный человек с этим связываться не будет, ибо самозашквар. А нихуя не умеющие зумера вкатывальщики, что-то спиздившие и вкатившиеся, ничего серьезного никогда не создадут из-за отсутствия мозгов.
https://github.com/deezer/spleeter
Обученная дизером нейрософтина на питоне которая разложит трек на инструменты. Нужно всяким ремиксерам и прочим музлоё...делам
Я ее нашел но как это теперь скомпилить? там голый код на гитхабе
Я музыкант я нипанимаю
Сделайте доброе дело , приведите это к человеческому виду типа вундервафыля.ехе
Заранее спасибо и простите если нитаво или нитуда
скачали гугл дипдрим, обучили на картинах художниканейм
@
реее, асазнающаясибянейросеть обьявила себя художникомнейм и рисует картины в его стиле
пипл схавает.
Я общался с этими людьми, именно сосальщицми вкатывальщицами и они не считают это самозашкваром, а наобоот гордятся этим и преподносят так, будто это их достижение туда попасть.. И везде пытаются это упомянуть.
Ну да хуй с ними, пусть считают как хотят, их дело.. Говноеды, кто говно жрет, тоже не считают это зашкваром и спокойно жрут говно.. Может утрирую, но думаю это в эту оперу.
Они то не создадут ничего - это факт. Тогда зачем их набирают, недоучек всяких, которые предпочитают казаться, а не быть? Это как индусы, только в машинном обучение?
>Они то не создадут ничего - это факт.
Потому что как только поумнеют и наберутся опыта съебут на х10 зарплату.
А ты так и останешься лузером нищим.
>как только поумнеют и наберутся опыта съебут на х10 зарплату.
Манямир. Так бы каждый зумер вкатывальщик в кремниевую долину переезжал.
Блядь, какой же ты тупой. Умные из системы съебывают, тупые остаются. В итоге система ничего не рождает, но при этом умный человек может получить из нее дохуя профита, потому что там фактически платят за то что ты учишься.
Лол. Ну все.. ща пойду вкатываться, поумнею там, работая со всякими zero shot лернингами через пару лет, и сьебусь на х10 зарплату и перестану быть лузером нищим.
Спасибо! ты открыл мне путь в долину богатства и успеха.
>Умные из системы съебывают, тупые остаются.
Маня, перечитай о чем я пишу. Как раз об этом - нормальный человек не будет связываться ни с каким сколенковым и прочими сказочными инициативами и маняпрожектами. Ты ж тупень, даже читать не умеешь, не то что понимать прочитанное.
>Как раз об этом - нормальный человек не будет связываться ни с каким сколенковым и прочими сказочными инициативами и маняпрожектами.
С хуя бы? Отличный способ набраться опыта за деньги
нет, в сомнительные конторы НГУ вкатываться не хочу. во всякую помойку, где проводят пре-пре-стажировку(1 месяц и 50+ людей), потом пре-стажировку(3месяц-пол года и 10 человек, со стипендией 160/час, 8-16 часов в неделю), откуда уже отбирают 3-х лучших и их приглашают на просто стажировку тоже. Если и буду, то не через такие около-окопные пути, а напрямую через собес..
>Отличный способ набраться опыта за деньги
Покажи хоть одного кто "набрался опыта за деньги" в этих подмывальнях, а сейчас работает в гугле / пейсбукаиресерш / у Маска / т.п.
>Надо же с чего-то начинать.
Надо. Но не с этих параш, о чем свидетельствует 0 случаев успеха такого пути.
+ . Мне тоже интересно. А только только и слышишь о светлом будущем и о перекатах на + нолик в зарплате.
Показать его ТВИТТЕР а может быть БЛОГ или ЮТУБ-КАНАЛ?
Пиздец дауны, орут везде про зумеров и сойбоев, но при этом уверены, что если у кого-то нет твиттера, его не существует
>пейперы
Чегобля? 99,9% твоих пейперов это говно типа мы попытались но нешмагли и это требует дальнейшего изучения. Если ты еще не понял, что общедоступные публикации это говно, тогда я хз
> 99,9% твоих пейперов это говно типа мы попытались но нешмагли и это требует дальнейшего изучения
Какой же ты пиздабол, хоспаде... Это ты выше хуйню писал про гамалогии тапалогии в машобчике? Теперь очередной пиздежь. Ну покажи пейперы, где авторы нишмагли и прямо об этом написали. Маня, смысл пейпера как раз в том, что авторы таки шмагли что-то.
Хуйню несёшь ты, а шизик я? Ну ты и еблан.
> Покажи пеперы (бумагу), где пилят ноухау?
Ты не только пиздабол и долбаеб, ты ещё и шизик, верующий в то, что никакие алгоритмы не работают без секретных, скрываемых авторами ноу-хау. Разумеется, примеров таких ноу-хау ты привести не сможешь.
> без секретных, скрываемых авторами ноу-хау
Так, теперь объясни мне, почему автор, копетолизд болонской системы, где за пару лишних доляров подставляет жопу, должен публиковать работающий алгоритм? Все, что рабочее сразу патентуется и продается, все что публикуется это говно, если ты еще этого не понял, то мне тебя даже не жалко.
>image processing и компьютерным зрением
Ну например генерация котиков или убирание шумов это процессинг, к кз не имеющее отношения
>OpenCV
Сборник алгоритмов
>Перспективы?
Около нулевые, все это не работает, иначе бы уже давно были автономные машинки
Потому что конкуренты все равно спиздят с помощью промышленного шпионажа
>Около нулевые, все это не работает, иначе бы уже давно были автономные машинки
Но ведь уже есть прототипы, причем довольно неплохие. Вон даже Джордж Хотц за 1 килобакс разработал нихуевый софт для автономной машины. Проблема в принятии этой хуйни на законодательном уровне, ну и нейронки поднадрочить надо
>Так, теперь объясни мне, почему автор, копетолизд болонской системы, где за пару лишних доляров подставляет жопу, должен публиковать работающий алгоритм?
Никто не мешает тебе сначала запатентовать, а потом опубликовать пейпер. Все равно в патенте детально расписаны все делати, и любой может получить эту информацию.
Только патенты в области нейронок обходятся элементарно. Я помню как-то изучал один патент на предмет его обхода, придумал даже что-то, а через полгода этот патент просто безнадежно устарел. Сейчас я даже с этим не заморачиваюсь - один хер год-два и патент самим авторам уже не очень нужен
>детально расписаны все делати
Не ври, в патенте как раз детали и не раскрываются или умышленно вводят в заблуждение
>>18262
>Но ведь уже есть прототипы
Пеар и говно, ничего стоящего нет, если тебе нравятся автономные машинки, возьми игру типа Евро Трак Симулятор и напиши бота который доведет твою машинку до пункта б.
>патенты в области нейронок
Тоесть там действительно описали уникальную технологию, или это был очердной патентый высер?
>Не ври, в патенте как раз детали и не раскрываются или умышленно вводят в заблуждение
Патент должен быть настолько детальным, чтобы чтобы любой профессионал из данной области мог воспроизвести и воспользоваться твоим алгоритмом. Иначе тебя нахуй пошлют и не дадут патент.
>мог воспроизвести и воспользоваться твоим алгоритмом
Как раз и нет, все детали скрываются и описывается только принцип, воспроизвести иы его не сможешь. Как пример смотри патент Яна Слута по сжатию Пегий Дудочник, привет
> Так, теперь объясни мне, почему автор, копетолизд болонской системы, где за пару лишних доляров подставляет жопу, должен публиковать работающий алгоритм?
Ты помимо того что пиздабол и долбаеб, ещё и калмунист, как думаешь, почему я не удивлен?
> Все, что рабочее сразу патентуется и продается, все что публикуется это говно, если ты еще этого не понял, то мне тебя даже не жалко.
Ок, пиздаболушко, покажи мне патентованный алгоритм машобчика, который работает лучше любых, доступных свободно. Или такое только у Ротшильдов, иллюминатов и рептилоидов есть? Тебе вообще лет сколько, школопитек?
>почему я не удивлен?
Потому, что ты матанопетух
>покажи мне патентованный алгоритм машобчика, который работает лучше любых
Показал тебе за щеку
Какая у тебя аватарка прикольная.
Одна из самых смешных вещей в зумерах - вы можете полностью обосраться и слиться, но при этом все равно считаете петухами не себя, а кого-то другого. Торжественно вручаю тебе ложку с дыркой и пикрелейтед, честно заслужил.
Петух здесь один, это ты
>В рашке те, кого тут называют бумерами, это совки.
А вот и хуесосный русофоб и ксенопатриот нарисовался. Пеперы прочитал?
https://www.youtube.com/watch?v=KcTRbw_Je9A
>русофоб
Сейчас бы любить тоталитарную парашу, которая запугивает норот тем, что за рубежом ЕЩЕ СТРАШНЕЕ.
>которая запугивает
Кто тебе не дает уехать? А? Дай угадаю, ты на хуй со своей математикой нигде не нужен?
Математики
Предположим от противного, что существует математик хуесос. Каждый хуесос является социоблядью. Но каждый математик является аутистом. Следовательно существует по крайней мере один аутист являющийся социоблядью. Но аутист не может быть социоблядью по определению. Мы пришли к логическому противоречию, следосвательно математик не может быть хуесосом.
>Но аутист не может быть социоблядью по определению
False
https://ru.wikipedia.org/wiki/Крис_Касперски
Тот еще социоблядок был
Есть ли какой-то PER, но не для агента, а для модели среды?
Да и похуй, к чему стадам дары свободы, все равно движня вся в слаке а не на анонимной помойке. Пусть эти две нейросетки завайпают тут всё.
>движня вся в слаке
Не знаю на счет слака, но в телеграме одс я ничего кроме ярмарки тщеславия каких-то токсичных хохлов не увидел.
Как в слаку одс попасть? Через постель? При входе сеть сверточную под ноги бросают?
>Ваша проблема, зумерши, в том что вы веруете, что для вкатывания как вы это называете, обязательно нужна какая-то секта, ебырь итд
Эту пасту сочинила нейросетка? Здесь еще есть живые люди?
Внезапно двачую. Именно так я и вкатывался - взял пейпер от гугла и стал пилить. Пилить, конечно, заебался, зато теперь я считаюсь охутельным экспертом и получаю 300к/сек.
А что ты имеешь против шад и каггла? Обе эти штуки дают нехило так просраться. Неосиляторы как всегда негодуют?
Я именно об этом. Ты даже не знаешь, зачем нужен машоб вообще и тебе в частности. Эээ, ну там картиночки распознавать, голос... В тебе проблема, зумер.
Кредитный скоринг, ранжирование поисковой выдачи, рекомендательные системы и т.п.
Тоесть вечно неработающее кривое никому ненужное г... тоесть функционал, которым никогда не пользуешься. Ясно понятно.
Вай-вай, не убедили очередного залетыша, как теперь жить?
Если ты этим не пользуешься, это не значит, что все этим не пользуются.
>Кредитный скоринг, ранжирование поисковой выдачи, рекомендательные системы
Вкатился. Испытываю омерзение ко всей ИНДУСТРИИ. Блять, как же горит от этого говна. Хобби и искусство превратилось в клепание поделий для наглых ублюдочных коммерсов, сука, пиздец, горит с этого всего, не хочу. В НИИ тоже не хочу, там денег нет. Паскудная работа, грязная и монотонная, говполопатение кода, сука, да кто блять что за ебучий дегенерат вообще придумал что ВЫУЧИЛСЯ НА ПРОГРАММИСТА 300к нсек с друзьями в кофешопе сижу))) потом на гироскутере заезжаю и ебу еотову))) Ох эти ебаные хайпожоры, ох сука, как горит... На 3-м курсе матфака уже осознал в какое ДЕРЬМО блять попал, что сука всех задротов будут нещадно экспуатировать тупые комерсы или госпараша. Так и вышло.
Забудьте нахуй про ебучий стереотипный пиздеж, что программирование - это путь в рай. Просто сука забудьте нахуй это говно.
И сука каждая ублюдочная параша хватает новомодные якобы технологии и блять щеголяет ими сука еще и смеют требования выдвигать, я ебу типа котлин не менее 5 лет серьезных проектов.
Сука да кто вы такие, говно ебаное, высрали очередную хуйню и типа позиционируют себя как мастодонты на рынке, а у самих один пердеж в виде каких-то там манявыдуманных проектов, которые нахуй никому не обосрались и никаким котлином там не пахнет, но туда же сука лезут, как же. Они же ебать все такие продвинутые.
Просто пиздец. Все эти ебаные ебала hr-ов и псевдодиректоров с таким ебать видом, будто они второй гугл, не меньше. Ой, просто блять я вообще в ахуе. Короче в своем мухосранске ради прикола когда только закончил пошел в сраную шарагу, занимающуюся светом, короче электричество для города дают.
Так вот, сидит самодовольный надменный хуесос с черными усами - директор. Нихуя не разбирается, и начинает выебываться "у нас серьезная работа", ой пиздец. Позвал "типа тимлида". Пришел хуесос такой типа шарящий и начал затирать что надо решить задачу с помощью bat-файлов.
Я чуть не обоссался. А столько пафоса было, пиздец. Но это в мухсоранске так только.
>Кредитный скоринг, ранжирование поисковой выдачи, рекомендательные системы
Вкатился. Испытываю омерзение ко всей ИНДУСТРИИ. Блять, как же горит от этого говна. Хобби и искусство превратилось в клепание поделий для наглых ублюдочных коммерсов, сука, пиздец, горит с этого всего, не хочу. В НИИ тоже не хочу, там денег нет. Паскудная работа, грязная и монотонная, говполопатение кода, сука, да кто блять что за ебучий дегенерат вообще придумал что ВЫУЧИЛСЯ НА ПРОГРАММИСТА 300к нсек с друзьями в кофешопе сижу))) потом на гироскутере заезжаю и ебу еотову))) Ох эти ебаные хайпожоры, ох сука, как горит... На 3-м курсе матфака уже осознал в какое ДЕРЬМО блять попал, что сука всех задротов будут нещадно экспуатировать тупые комерсы или госпараша. Так и вышло.
Забудьте нахуй про ебучий стереотипный пиздеж, что программирование - это путь в рай. Просто сука забудьте нахуй это говно.
И сука каждая ублюдочная параша хватает новомодные якобы технологии и блять щеголяет ими сука еще и смеют требования выдвигать, я ебу типа котлин не менее 5 лет серьезных проектов.
Сука да кто вы такие, говно ебаное, высрали очередную хуйню и типа позиционируют себя как мастодонты на рынке, а у самих один пердеж в виде каких-то там манявыдуманных проектов, которые нахуй никому не обосрались и никаким котлином там не пахнет, но туда же сука лезут, как же. Они же ебать все такие продвинутые.
Просто пиздец. Все эти ебаные ебала hr-ов и псевдодиректоров с таким ебать видом, будто они второй гугл, не меньше. Ой, просто блять я вообще в ахуе. Короче в своем мухосранске ради прикола когда только закончил пошел в сраную шарагу, занимающуюся светом, короче электричество для города дают.
Так вот, сидит самодовольный надменный хуесос с черными усами - директор. Нихуя не разбирается, и начинает выебываться "у нас серьезная работа", ой пиздец. Позвал "типа тимлида". Пришел хуесос такой типа шарящий и начал затирать что надо решить задачу с помощью bat-файлов.
Я чуть не обоссался. А столько пафоса было, пиздец. Но это в мухсоранске так только.
Отращивай сиськи и жопу. И будет счастье. Моя знакомая просто ходила по конференциям и тусовкам прогерским всяким, трясла сиськами и жопой и ее взял какой-то мужик к себе в лабораторию работать, где гранты 100-300млн на 3 года, а она еще студентка)
Изи вкат в машоб
Няшный?
https://colab.research.google.com/github/deezer/spleeter/blob/master/spleeter.ipynb
в 4 строчке ссылку на мп3 делаешь и таким образом скачиваешь, или сам загружаешь со своего ПК.
в 7 строчке audio_example.mp3 меняешь на имя своего файла и запускаешь. всё можно скачитвать (слева менюшка там будут файлы в папке output)
оптимизация, продвинутая мат статистика.
Что бы на двачах выебываться
имеется 2 оценки: для обычной валидации и скоринг на кагле, на первой оценке разбил тренировочный набор на тестовый и валидационный, результат на первой пикче, обучив модельку полном тренировочном и получив вероятности принадлежности к целевому классу(использовал predict_proba в xgboost) и запихнув сие на кагл получил пик2, почему, как?
Недалеко от распознавания картиночек и голоса ушел, чет придумать лучше не хватило фантазии да
Короче, хочу создать робота судью, который будет определять человек скамер или нет, анализируя пульс, давление, и мозговую активность, задавая вопросы, и выплачивать компенсацию, тем кого наебали, если получится, думаю у навального отберут квартиру чтобы расплатиться с путиным
Дурак что ли? Пыньке все триллионы отдать придется, как и остальным чинушкам. Даже не думай.
>>21329
Откуда вы лезете, клоунессы? Или это один мудель пишет от имени разных зумеров вкатывальщиков? Малолетняя хуета мало того что предлагает нереализуемую хуйню, так этой жертве аборта и ЕГЭ ещё и Навальный чем-то помешал. В Рашке реально нужно всем зумерам интернет отключать, может быть хоть каждый сотый тайдмен книжки читать начнет...
ЧЕЛОВЕК НИ РОБАТ НИРИАЛИЗУЕМО!!!!
Типичный кагл: угадай в какую сторону мы сместили выборку в спрятанном тестовом сете.
>Навальный чем-то помеша
>Ряяяя, нешметь пра сисяна гаварить плаха111
Манька, ты ресуср со Шваброй не перепутал, там все твои друзья в коротеньких штанишках.
Не-не, вчерашний зумер вкатывальщик - сразу нахуй. Сегодня уже новый будет. Тебя даже обоссывать лень, да тебя и так жизнь обоссала - такой маленький, а уже против прав и свобод, за сапоги барина в жопе и гостеррор. Вкатывайся лучше в лахту сразу, или в петушиную юнармию, больше пользы будет. Машоб не твое, проходи мимо. Все, свободен.
Странно, я ведь разделил обучающий на 2 пакета и на 1 обучал, на втором тестил(который модель не видела)
1) данные для тестирования на кегле могут отличаться от размеченных данных для обучения. Посмотри, может у тебя по времени (TransDT_day) выборки смещены.
2) просто разделение не трейн-тест не всегда помогает, ведь ты сам отбираешь алгоритмы по их качеству на отложенной выборке, что приводит к оверфиту. Используй train-test-valid разделение или кросс-валидацию.
Cпасибо, попробую все, но есть страх что придется опять лезть в "шаманство" над признаками, вводить новые и т.д
>машобу минимум лет 20 надо
50 прошло и еще 20 нужно, что бы понять, что это нерабочее говно?
На литкоде? Или есть где-то можно найти более актуальные для яндекса задачи?
> машобу минимум лет 20 надо
Начнем с того, зумерок, что статья Маккаллока и Питтса, с которой начался машоб, вышла в 1943 году. Даже работы Розенблатта и Уидроу это 50-60е годы, это уже готовые аппаратные реализации моделей машоба.
Машины обучаются только в кафешках!! Сидеть в ноуте в кафешке, попивая кофеек, чаек, смузи и обучать машины!
хз, кодварс и прочая дрисня, хрен его знает
>вышла в 1943 году. Даже работы Розенблатта и Уидроу это 50-60е годы, это уже готовые аппаратные реализации моделей машоба.
На аппаратном уровне тех годов или просто теория?
> На аппаратном уровне тех годов или просто теория?
На аппаратном уровне тех лет, да. Не теория, а именно готовые рабочие железные ящики. Я ж даже фотку адалайна приложил. Вот видосы, сам дед все рассказывает и показывает.
https://m.youtube.com/watch?v=hc2Zj55j1zU&t=14s
https://m.youtube.com/watch?v=skfNlwEbqck
че за зумер на фотке?) смузи разве тогда уже изобрели?
Вот, смотрите, он пытается разговаривать репортами, мы можем это расшифровать?
На квантовом ядре, я телепортируюсь с ним мыслями.
https://www.youtube.com/watch?v=87byvffej3k
Наконец-то вековые проблемы гигантских очередей (ведь все знают что гигантские очереди в пятёрочках только из-за того что дурачки их тупо не замечают) и докидывания картошки в пустой ящик были разрешены с помощью Искусственного Интеллекта.
Ура, товарищи!
А ТЫ кидал аллерты по трешхолду?
Какие же машобисты чеды. Посмотрите сколько у него за новеньким макбуком протеиновых коктейлей.
Присмотрись. Не переднем плане, в ножнах
использовать нечеткую логику, которая всегда сработает
Сначала берёшь чуток данных и пытаешься оверфитнуть. Если не получил точность 100%, значит модель или пайплайн подачи данных гавно - ишешь баги. Если получил, значит данные гавно - берёшь вилку и чистишь.
Причем тут вакансии? Ты из этих что ли, ежедневный тайдмен вкатывальщик?
https://linguatools.org/tools/corpora/wikipedia-monolingual-corpora/
какой-то кастрированный датасет, например статья о Москве на 300 символов всего.
Пытался вручную распарсить дампы (https://dumps.wikimedia.org/backup-index.html), но там тонны синтаксического мусора, есть у кого готовый скрипт?
А что, мало готовых парсеров? Пару лет назад пользовался вот этой хуйней на перле https://github.com/hghodrati/wikifil для русского текста может быть стоит ещё какие-то автозамены добавить.
>автозамены
Кулстори, посмотри вот на этот парсер. Костыль на костыле. И ещё пару автозамен.
https://github.com/attardi/wikiextractor/blob/master/WikiExtractor.py
С русским все-равно косячит
Опа, не туда.
так это для кластеризации обычно используют, не?
Да и у меня графы разные каждый раз, там такое затратно запускать
>Датасайентисты да, в треде мало кто.
Я не понял, а что за контингент ИТТ капчует? Тут одни вкатывальщики, что-ли?
Вкатывальщики, шизики, те кто просто решил посмотреть на машобчик для общего развития.
Что за вопрос? у тебя какой уровень знаний? минус первый чтоли?
https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html
да, добро пожаловать в 2019
О! Сисян!
ОН МИША!
Алиса, придумай мне pet-project, связанный с обучением с подкреплением.
>обучением с подкреплением
короч, если прям щас не начнешь учиться, приеду и выебу тебя черенком от лопаты.
Я сам всё хотел вкатиться в нейронки, но хуй забивал, а сейчас с написанием диплома действительно вкатываться придется в какую-нибудь тему, лучше уж понюхать нужно оно мне или не нужно по жизни, чем вообще говно какое-то писать, правильно?
Читай про Graph Neural Networks. Часто всё сводится к тому, чтобы превратить граф в вектор.
Тебе что-то типа пикрелейтеда надо. Не просто теория, а с практическим применением. 6ая часть http://staff.ustc.edu.cn/~csli/graduate/algorithms/book6/toc.htm
Торговля битком.
Сто раз уже предлагал зумерам вкатывальщикам сделать детектор брухли. Берутся фотки лиц порномоделей и делятся на два класса - с брухлей и без. На этом датасете тренится модель, часть используется для валидации. Если работает, все, профит. Суть в возможности по фотке лица рандомной сельди сдетектить, есть ли у нее брухля.
Это доказано?
Я и так потихоньку читаю. Хотелось бы услышать какой-нибудь простой в реализации бейзлайн.
Гугли ядра на графах
Почему искуственный интеллект и нейросети начали форсить именно в последние несколько лет, хотя литература по нему была написана еще в 80ых ? В чем подвох ?
Шизик, кончай сам с собой разговаривать
>В чем подвох ?
Появились мощностя и нужно было подменит эффективно работающие на тот момент Экспертные Системы неработающим в реальности, но теоретически обоснованным влажными воображением матанопетухов говном.
> эффективно работающие на тот момент Экспертные Системы
Пиздец ты клован. Давай по-существу.
1) кому "нужно было" это делать и зачем? Масонам, аннунакам? Цель какая?
2) что могут ЭС такого, чего не может машоб?
>что могут ЭС такого, чего не может машоб?
Полная воспроизводимость логического вывода и предсказуемость.
>кому "нужно было" это делать и зачем?
>Цель какая?
Почитай историю MYCIN, пердаки разорвались у дипломированных докторов которые внезапно осознали, что могут оказаться на морозе.
> Гибкость настройки раз правило взял и отключил, раз взял и подкорректировал
>>27280
> Полная воспроизводимость логического вывода и предсказуемость.
Любая модель на нечеткой логике это позволяет.
> , пердаки разорвались у дипломированных докторов которые внезапно осознали, что могут оказаться на морозе.
И они решили наебать все человечество, и у них получилось, ага. И все об этом знают вплоть до двачного шизика кефирщика, и никто ничего не может поделать, даже доказать работоспособность ЭС. Очень правдоподобно, да.
> Типичное врети11, впрочем ничего неожиданного.
Ну ты сам посуди, как некая очень ограниченная в своих возможностях группа людей может контролировать все человечество? Что-то уровня "как управлять вселенной не привлекая внимания санитаров". Если что-то работает, что мешает тебе взять это что-то и применить, чтобы все охуели? А то что ты несёшь, в том числе про математику и эфир, это полный бред, шуе ппш итд.
>эфир, это полный бред,
Под влиянием идей Фарадея Максвелл предположил, что эфир представляет собой среду, вращающуюся вокруг магнитных силовых линий, причем каждую единичную силовую трубку можно представить как изолированный вихрь
Перестань, называть это бредом такое себе.
>может контролировать все человечество?
Механизм я не знаю, возможно торпедировали естественные процессы, поскольку когда у докторов подгорели пердаки, был симпозиум где ставился вопрос о этичности ИИ в медицине, ну там и порешали, мол не этично, зря мы что ли 6 лет учились + ординатура.
>чтобы все охуели?
Вот кого ты соберешь заменять, те действительно охуеют.
> был симпозиум где ставился вопрос о этичности ИИ в медицине, ну там и порешали, мол не этично, зря мы что ли 6 лет учились + ординатура.
У тебя же наверное и пруфы есть на закон или что там, запрещающий использовать машоб в медицине, да?
> Перестань, называть это бредом такое себе.
Мань, если кто-то опровергнет результаты эксперимента Майкельсона-Морли, о нем всей школоте будут рассказывать, в любом учебнике его портрет будет рядом с другими великими физиками. Про такую мелочь как нобелевка я вообще молчу. Вот только вы, адепты ппш и шуе кроме бреда за сотню лет ничего не сделали. Как так-то?
> Любой случайный лес это позволяет
Много что это позволяет. В машобе не такая редкость интерпретируемые модели.
>за сотню лет ничего не сделали
Что адепты СТО сделали за 100 лет? Как там физический вакуум поживает?
>на закон
Жопочтец, какой закон?
> Жопочтец, какой закон?
Ну ты ж кукарекаешь, что ИИ в медицине использовать неэтично, на конгрессе аннунаков решили. Пруфов хочется, Билли.
> Что адепты СТО сделали за 100 лет?
Ты жопой то не крути. Если СТО так просто опровергнуть, почему никто этого не сделал? Я так наоборот читал, давно правда, что эксперимент Майкельсона-Морли, перепроверяли, но уже на современном сверхточном оборудовании. И нихуя не нашли, никакого кефира. Плохо искали, наверное.
>Если СТО так просто опровергнуть, почему никто этого не сделал?
>никакого кефира
В какой среде распространяются электромагнитные волны в вакууме?
>на конгрессе аннунаков
Ищи сам, мне лень. Будешь про Майсин читать, найдешь.
> Ищи сам, мне лень.
Я даже классический слив засчитывать не буду. Ты другое скажи, вот если кто-то, пусть очередной зумер вкатывальщик применит ЭС в медицине и, если тебе верить, получит результат превосходящий любое применение машоба, то что? Рептилоиды за ним пошлют черные вертолеты, киллеров с запахом могилы, чтобы гои ничего не узнали? Или как ты себе это представляешь?
>любое применение машоба
Какое там применение машоба в диагностической медицине? Не поиск там раковопиксельной поеботы на картинке, а реальный анализ и постановка диагноза.
>Или как ты себе это представляешь?
Несколько академиков-ретроградов выступят с критикой и тоби пизда, объявят тябя лжеученным, а твою йобу ересью.
> Какое там применение машоба в диагностической медицине? Не поиск там раковопиксельной поеботы на картинке, а реальный анализ и постановка диагноза.
Ну я ж говорю, если тебе верить, то любой, применивший ЭС в медицине, просто совершит революцию и озолотится. Но что-то желающих нет.
> Несколько академиков-ретроградов выступят с критикой и тоби пизда, объявят тябя лжеученным, а твою йобу ересью.
Тебе со школьной парты виднее, наверное. Как ты себе это представляешь в мировом масштабе? Полтора пердуна что-то кукарекнут против легко воспроизводимых фактов и все?
>Но что-то желающих нет.
Вот и мне объясни, почему? В 80х были, а сейчас нет.
>Полтора пердуна что-то кукарекнут против легко воспроизводимых фактов и все?
Да, так все и работает, достаточно несколько пердунов, но тебя абассут все кого ты собрался заменить.
@
МОДЕЛЬ КОЕ-КАК ОБУЧИЛАСЬ НА 100 ОБЪЕКТАХ
@
УШЛА В ПРОД
@
НИКТО НЕ ЗАМЕТИЛ, ВСЕ ДОВОЛЬНЫ
Я как-то в модели монте-карло забыл random seed'ы менять. Т.е. она все считала, но нихуя не рандомно. Клиент год с ее помощью успешно торговал.
>Да, так все и работает, достаточно несколько пердунов, но тебя абассут все кого ты собрался заменить.
К Бояршинову на ютубе все альтернативщики ходят и никто их не обоссывает. В мире дохуя эксцентричных бизнесменов с шальными деньгами, готовых вписаться в любой кипиш с надеждой прославиться. Ну допустим в штатах все поделено, но есть куча других стран, которые не прочь были бы сэкономить на врачах.
Проблема ЭС в том, что они не работают. Они страдают от классической проблемы длинных хвостов: ты легко делаешь систему, работающую в 80% случаев, но дальше каждый процент дается тебе все тяжелее и тяжелее. Длинные хвосты везде, от закона Цифпа (первые 1000 популярных слов встречаются в 4 случаях из 5), до программирования (почему с 10 годами опыта ты до сих пор читаешь документацию новых библиотек?) и медицины.
А далекие от машоба люди склонны эту проблему недооценивать. В итоге они пилят примитивный rule-based переводчик на сотне правил, и "бля, всего сто правил и так охуенно работает, ща возьму бабок, запилю аж ДЕСЯТЬ ТЫСЯЧ правил, переводить будет идеально". Типичный научпоп 60-х полон подобной хуйни. И она никуда не делась, вот пример такого пациента: >>1526446 Это чистое создание открыло для себя L1-норму и уверено, что вот ща, немного допилить...
А дальше оказывается, что десять тысяч правил запилены, но нихуя не работает. Все время попадаются какие-то исключения. Нужны миллионы правил. Ну и тут такое дело, имея устройства каменного века ты можешь построить стоунхендж, но вот с пивным ларьком будут проблемы - для пивного ларька нужны совершенно другие материалы и технологии. Твои ЭС из 80-х - это такие египетские пирамиды из каменного века информационных технологий.
Ебать тебя понесло, про Этап 3 Харкевича ченить слыхал, ну или Ватсона Ибмовского? Это НЛП. Вот объясни, как твой мошоб сможет в грамматику естественного языка? Ты же понимаешь сколько парадигм у например существительного? Хотя все это выражается простыми правилами грамматики.
>десять тысяч
Что ты там на такое количество нафантазировал?
>это такие египетские пирамиды
Ок, покажи специальности которые были заменены нейронками и машобом.
>Вот объясни, как твой мошоб сможет в грамматику естественного языка?
Во что, простите? Мой пост был о том, что rule based системы не работают, а ты меня спрашиваешь о том, как машоб будет определять ПРАВИЛА склонения.
Это же каждый человек умеет, подойдешь к водителю маршрутки, и такой, мол, слышь, сергеич, какая парадигма склонения у существительного "лес", и он такой сходу отвечает.
Типа, разбить речь на слова, слова связать правилами, обозвать это все грамматикой и сказать, что вот это и есть язык. А то, что язык реальных людей не вписывается в систему - ну так это мы мало правил написали, ща еще напишем. Таак, эта хуйня склоняется не так, как надо? Мань, иди посмотри в национальном корпусе языка, это так или этот Васян случайно так написал. Встречается? О, давай новое правило грамматики запишем. И так далее.
Наймем десять тысяч мань, которые вручную будут забивать правила в систему, и все заебись будет. Проблема в том, что когда они забьют, наконец, все правила, чтобы описать национальный корпус языка, выяснится, что подростки придумали новый сленг, который система опять нихуя не понимает.
Это все не работает. Если точнее, можно собрать миллион людей и построить пирамиду, только вот пирамиды в Гизе будут так же далеки от небоскребов Нью-Йорка. А вот фахверковые дома немецких средневековых городов - значительно ближе, у них есть каркас, например. Но что интереснее позырить быдлу, пирамида или трехэтажный домик? Конечно пирамида. Ты про фараона слыхал епт, он семь тыщ лет назад такую хуйню строил, весь твой древний рим - хуйня.
> что-то объяснять шуе кефирщику
Ну, такое.
>>27572
> Вот и мне объясни, почему? В 80х были, а сейчас нет.
Потому что практика показала, что это нерабочее говнишко. Вот этот >>27646 тебе правильно пояснил. Нет никакого заговора, власти не скрывают. Все проще - ЭС суть говно из жопы, и хуй ты этот факт опровергнешь.
> Вот объясни, как твой мошоб сможет в грамматику естественного языка?
А что может? ЭС? Ну реализуй это, нассы за шиворот всему пейсбукаиресершу, покажи что твой подход лучше. Никто тебе не мешает это сделать, никакие рептилоиды.
>Ну реализуй это
Так, падажи, все было реализованно в 80х, твоя версия почему все не взлетело?
Все зависит от задачи, для чего-то хватает обычного ноутбука
Сап. Есть какие-то готовые проекты для интересных кейсов? Просто поугарать, потренировать. И чтоб датасеты собирать не надо было, ну или хотя бы легко было собрать. Заранее спасибо.
Когжа рычишь и двигаешь тазом
> Примеры на нормальных языках, а не аналитическом, убогом, абоссаном, инглише в студию. Ну романские например.
Ой, дебил... У того же пейсбука с их фасттекстом есть готовые эмбеддинги педивикии на сотне с лишним языков. А английский ты не знаешь, как я понял.
> Чего бля?
Ты б хоть в вопросе разобрался прежде чем обличать и срывать покровы, ниспровергатель бабушкин. Точно зумерок очередной.
>Вот объясни, как твой мошоб сможет в грамматику естественного языка
Неплохо нейронки могут.
>Ты же понимаешь сколько парадигм у например существительного? Хотя все это выражается простыми правилами грамматики.
Нет, не выражается, ты тупой я погляжу.
Реальный объект неотделим от символьного представления. В
ернее представление неотделимо.
Твои правила ничего не могут, манипуляции с символами не производят знания. Должен быть контекст.
>>28127
>Ну типо, ка ктвое нейроговно определит, что с существительным согласуется прилагательное стоящее справа, а не слева например?
По контексту?
>Реальный объект неотделим от символьного представления
Чего бля?
>Твои правила ничего не могут, манипуляции с символами не производят знания. Должен быть контекст.
Кокой контекст? Есть текстовое предложение, согласуй его члены и сними омонимию, чем и как будешь делать?
>педивикии
Это то шаблонное говнище, переводы которого невозможно читать и где куча либирашек?
- неграмотный
- не знает английский
- кефирщик
- верит в заговоры рептилоидов
- вообще верун
- считает вражеской пропагандой математику, машоб, НЛП, зато верует в ЭС, т.к по этому говну мамонта есть материалы на русском (переводные).
>>28224
> и где куча либирашек?
Да, прикинь. В интернете одна либерда, смеются над дедом, не любят сапоги барина и гостеррор.
Гугл колаб.
> Чего бля?
Того бля, быдлан неграмотный. Гугли треугольник Фреге, бля. Про семиотику слыхал вообще, вась?
> Кокой контекст?
Окружение, в котором чаще встречается слово. +-заданное количество слов до и после анализируемого. Ты и про skipgram / CBOW не знаешь?
>Окружение, в котором чаще встречается слово
А, понял, типа если вот это статистическое говно встречает слово в другом окружении и контексте оно сосет?
>треугольник Фреге
>семиотику
Треугольник Хуерге, ты же понимаешь, что семиотика это такой матан для пидоров? Почитай как происходит расшифровка древних текстов, никакая твоя хуевротика там не применяется, догадаешься почему?
Какие тебе древние языки, ты английского не знаешь, чепуха. При этом кукарекаешь так уверенно, как будто ты не двачной пиздабол, а действительно в чем-то понимаешь. Мань, реальность такова, что не знающий английского = неграмотный, это без вариантов. В любой науке, в любой предметной области вообще, вся движуха на английском. Вот ты как раз иллюстрация к этому факту, застрял где-то в 80х и дальше ЭС ничего не знаешь. Вдумайся, в наши дни уже есть учебники по верификации квантовых вычислений, а твои познания где-то на уровне времени перестройки и Горбачева, лол. А из современной науки тебе доступны только бредни таких же как ты шизиков пидорашек про кефир, вред прививок и ГМО.
> Есть текстовое предложение, согласуй его члены и сними омонимию
То есть засунь НЛП в твои представления о rule based НЛП.
>То есть засунь НЛП в твои представления о rule based НЛП.
Рулбейзд в данном случае грамматика
>английского
На хуй не нужное примитивное говно, достаточно выучить 800 слов и можно читать почти всю техлитературу, что я и делаю.
>квантовых вычислений
Все понятно, у тебя маняматика головного мозга.
>Какие тебе древние языки
Ну перестань, мань
>НЛП
Нейро лингвистическое программирование?
Это же такая уфология для идиотов психопатов уровня курсов успеха и мастеров пикапа?
Конструктивизм сильная идея, но имеющая ограниченное применение.
Рассматривать человека как машину верх идиотизма. Это разрушительной для общества и не соответствует реальности.
>Почитай как происходит расшифровка древних текстов
Никак. Находят родственный язык или табличку с переводом на уже известный язык. Вон не могли книжку 100 лет перевести написанную на известном языке.
>достаточно выучить 800 слов и можно читать почти всю техлитературу
Читать можно, понимать нельзя
>Вон не могли книжку 100 лет перевести написанную на известном языке.
Это ты не про манускрипт Воинича часом?
Да.
Оказалось что там какое-то наречие.
Переводы текстов, особенно древних, это внезапно тема криптоанализа.
Лингвистика вообще пустая штука.
Что же делать если в интернете кто-то не прав?
>Ну если область знакомая то запросто, я например какую нибудь юридическую поеботу не пойму.
Ты и про МЛ нихуя не понимаешь
p(следующий токен | предыдущие токены, доп условия)
> Нейро лингвистическое программирование?
> Конструктивизм сильная идея, но имеющая ограниченное применение.
Портфель собрал уже, тайдмен? Ты может быть "думаешь", что кому-то интересно "мнение" зумера о конструктивизме? Так нет, неинтересно. Про НЛП даже комментировать не буду.
> Конечно, статистика чего, вот правда, как ты себе это представляешь?
Долбаеб сука, ну зачем ты все это пишешь, что ты из себя вытужить хочешь, кому и что доказать? Лучше бы почитал что-нибудь про word2vec, может быть тогда перестал бы срать себе в штаны, делая вид, что твоя тупость и незнание темы что-то кому-то доказывает.
Как работает rule based подход: статистику собирает выпускница лингвистического Дуня, вручную перебирая те же самые датасеты, которые у лингвистов называются корпусы.
При этом возможности Дуни соревноваться с алгоритмом закончились примерно в нулевые.
Ну да. Грамматика костыль для покрытия естественного языка не всегда работающими правилами. Для понимания и синтеза языка грамматика не нужна, поэтому любой сантехник петрович прекрасно говорит по-русски, при том, что ему похуй, какая парадигма склонения у слова "лес". Он за слово "парадигма" скорее в табло даст.
Особенно смешно все это звучит если речь о корпусах на основе какого-нибудь CommonCrawl весом в терабайты с триллионами слов. Ручная обработка - то, что нужно для тематических архивов всего интернета целиком.
Забавно, кстати. Я хотел сказать, что датасеты вообще очень важны, и в 80-е нормальных просто не было. Но зашел вот сюда и охуел
https://www.top500.org/lists/1995/06/
В 1995 году топовый суперкомпьютер имел производительность на два порядка меньше того, что стоит у меня дома сейчас. Блядь, 95-й год. Я тогда в школу пошел, это же почти вчера было. И 200 сраных гигафлопсов в топ1 компьютере мира. Ебать.
>Проблема ЭС в том, что они не работают. Они страдают от классической проблемы длинных хвостов: ты легко делаешь систему, работающую в 80% случаев, но дальше каждый процент дается тебе все тяжелее и тяжелее.
Ну, справедливости ради, нейронки, и вообще все блэкбокс подходы страдают от чёрных лебедей просто по природе своей, с тяжёлыми хвостами умеет работать только хардкорная классическая статистика.
gluten-free забыл
>с тяжёлыми хвостами умеет работать только хардкорная классическая статистика.
Ибо использует априорную информация о распределении прямо из мирового эфире, без всяких датасетов.
>Оказалось что там какое-то наречие
Оказалось, что та журналист изнасиловал в говнемоченного, ничего там не перевели.
>те же самые датасеты, которые у лингвистов называются корпусы
На хуй эти корпуса? Дуня формализует грамматику, создавая правила, все. Корпуса в этом подходе нужны только для тестирования. В отличии от.
>Грамматика костыль для покрытия естественного языка
Вот и я говорю, математика это костыль для покрытия непонимания реальной природы вещей
>имел производительность на два порядка меньше того, что стоит у меня дома сейчас
И? На своей пека ты анимешки поди смотришь, а тогда компьютеры делом занимались.
Я в таком недоумении от твоей незамутненной тупизны, что даже не знаю, что ответить.
В игори с четким графонием играешь?
> На хуй эти корпуса? Дуня формализует грамматику, создавая правила, все. Корпуса в этом подходе нужны только для тестирования.
Дело в том, что правила можно получить прямо из самих корпусов, алгоритмами типа skipgram. И эти правила ничем не будут отличаться от того, что сможет сделать Дуня, маня, Ваня, кто угодно, ибо грамматика одна и та же, другим правилам взяться просто неоткуда. Но ты настолько темный, что про идентификацию систем не слышал.
>правила можно получить прямо из самих корпусов
Нельзя, связи слов в корпусах внезапно размечаются ручками, ага.
> Нельзя, связи слов в корпусах внезапно размечаются ручками, ага.
Не пизди чего не знаешь. Корпуса размечаются только для supervised задач, всякие там graphspace итд. Для построения простых эмбеддингов ничего не размечается, те же сырые дампы педивикии просто чистятся от разметки, автозаменой убираются большие буквы итд, в лучшем случае ещё каким-нибудь стеммером обрабатывается.
> Переводы этого говна правятся волонтерами
Ебать ты гений. Ещё скажи, что все существующие тексты созданы людьми. Але, речь не об этом, а о необходимости ручной предобработки текста для нужд НЛП. Ещё раз, это нужно только для supervised задач.
Ты с горшка в детсаду капчуешь? Погугли хоть в чем разница между обучением с учителем и без в машобе.
Нормального может и нет, но ассесорские оценки и различные метрики покзывают, что rule-based машинный перевод работает хуже, чем статистический, который в свою очередь по оценкам хуже, чем нейросетевой.
Согласен, что терминология ебнутая. Смысл обучения в том, что ставят оценку, т.е. есть функция потерь. Если ее нет - то это не обучение, а тупо кластеризация
>ставят оценку, т.е. есть функция потерь
Так и как это приминимо к корпусу текстов? Ручками все разметь, обучи нейронку, поставь ей оценки? ИИ уровня /b
По какому делу? Как вот на это говно можно ответить:
> Дуня формализует грамматику, создавая правила, все
Правила она откуда берет, из мирового эфира? Из учебника Зализняка? А Зализняк откуда взял? Из другого учебника? И так до бесконечности? Действительно, нахуя нужен сам язык, если ученые все правила грамматике в учебнике написали.
Всё всегда сводится к корпусу языка, из которого ученый выцепляет статистические закономерности. А ты даже этого не понимаешь, потому что думать на 2-3 шага вперед не можешь. "Дуня формализует грамматику, создавая правила. Правила ей рассказал учитель русского языка во втором классе, тому - его учитель, тому - моисей, а тому - господь бог. Аминь".
>>28955
>Нельзя, связи слов в корпусах внезапно размечаются ручками, ага.
Повторяю для тупых очередной раз. Корпуса со связями нужны для rule-based систем, чтобы программист мог дописать костыльные правила типа "подлежащие->сказуемое" переводится в "subject->verb". Чем более совершенна статистическая система, тем меньше ей Дунь с ручным забиванием статистики нужно.
> даже в кластеризации есть функция ошибки, и разделять обучение с учителем, и без, это ересь.
Ты походу не догоняешь, в чем разница с учителем и без. Дело не в лоссе, он есть всегда. Разница в том, помечены примеры как правильные и неправильные, или нет. Одно дело, когда тебе нужно обучить модель распознавать раковые снимки от здоровых например. И совсем другой, когда у тебя вообще нет никаких данных о датасете, есть ли там вообще разные классы примеров или нет, а если есть, то заодно и правила классификации получить.
>Правила она откуда берет, из мирового эфира?
А откуда она берет? Какая нахуй статистика, у тебя там матан головного мозга уже.
Памяти свободной много.
Повысил ограничение с 512 мб до 2000мб в конфиге jupyter notebook. Не помогло.
> А откуда она берет?
Ты ответь, откуда. Хочется узнать мнение шизика. Как по-твоему человек обучается языку?
Твоя матрица весит 1.2 гб, ты хочешь аллоцировать две. Мусоросброник не успевает достать первую
> Как и всему остальному, неведомым науке образом.
Неведомым тебе образом. Ты со своей пустой головы на всю науку не вали. Примеры + нейропластичность, вот и весь секрет успеха. Ты поди веруешь, что и погодой в твоём зажопинске управляет боженька, а не объективные причины?
Если очень хочется аутизма, можно и бустрапом оценить прямо из датасета и посчитать всё то же самое что и для известных распределений или вообще непараметрической статистикой обмазаться. Но мошонлёрнерам в любом случае не надо льстить себе: скорее всего все данные у тебя укладываются под известные человечеству семейства распределений.
Ты уже идею универсальной грамматики Хомского оспорил или так и будешь тут пердеть попусту?
> Ты уже идею универсальной грамматики Хомского оспорил или так и будешь тут пердеть попусту?
Ты вообще читаешь на что пытаешься ответить, чепуха? Ещё раз перечитай свой пердежь в лужу, а лучше просто сьеби отсюда, дегрод
А как-же Word-alingments? Там-же как раз связи между словами используются только для теста.
Ебать ты тупой, если не можешь понять в чем противоречие универсальной грамматики и той хуиты, что ты тут пытаешься отстаивать.
Обосрался с аргументацией, призову очередную рандомную громкую фамилию на помощь
>Word-alingments
Не слышал про него, какая то протухшая шляпа с заброшенными проектами на гитхабе.
Дебил, тебе сто раз сказали, что любой эмбеддинг учитывает связи между словами, фразами, параграфами, документами, вебстраницами итд без дополнительной ручной разметки текста, достаточно сырых дампов педивикии, из которых удалена разметка. Ты же в ответ промычал что-то про каких-то либерашек и слился. Чё такой тупой-то, маня?
> какой нахуй эмбеддинг? Каким образом он учитывает связи?
Маня, зачем ты кукарекаешь и несёшь хуйню? В эмбеддинге элемент кодируется многомерным вектором, простейшая линейноалгебраические манипуляции с этими векторами позволяют выявить любые существующие связи между словами итд. Причем, все это учитывается автоматически при построении эмбеддингов. Шко-луй-НЯ, ты вместо того чтобы кукарекать и маняниспровергать, просто почитал бы хоть что-то на эту тему.
Word2Vec, Glove, Fasttext. USE. ELMO, BERT
Учишь CUDA, двигаешь в сторону computer vision, оттуда в ML
- Какого хуя нейронки такие ресурсоемкие? С моим целероном путь в датасайнс мне закрыт. Неужели нет более рациональных методов? Ну, кроме уж совсем топорной статистики типа анализа двух массивов на схожесть.
- Что думаете насчет соединения статического машинного обучения с символическим? Допустим нейронки на низкоуровневые операции, типа распознавание текста, а логический движок на высокоуровневое интеллектуальное программирование.
Датасайенс не только нейронки, для GBDT, линейных моделей и прочего ГПУ не нужно.
Если локально ничего сложнее мниста выучить не можешь, то используй google colab. Ну или играйся со всякими табличками.
>Допустим нейронки на низкоуровневые операции, типа распознавание текста, а логический движок на высокоуровневое интеллектуальное программирование
Ну то есть как Алиса, да? Нейронка распознает речь и "смысл", а логика делает то что задумано.
>- Какого хуя нейронки такие ресурсоемкие?
Железо не соответствует задаче.
>Неужели нет более рациональных методов?
Живой мозг, квантовые процессоры.
>квантовые процессоры
Ты в них разбираешься или наугад спизданул? Если разбираешься, то посоветуй, книжку/курс/статьи для вкатывания в тему (в целом квантовых компьютеров/вычислений/алгоритмов)
> Ну то есть как Алиса, да? Нейронка распознает речь и "смысл", а логика делает то что задумано.
Не читал, как там Алиса устроена. В вольфраме(тот, который математика), к примеру, распознавание простого изображения реализовано одной функцией. А так как вольфрам это ФП, то возможности для композинга разных таких "низкоуровневых" операций суть велеки. Берем задачу, которая не формализуется, делаем один предикат/функцию на основе машоба, и делаем нашу задачу формализируемой. Представь, что нейронка переводит текст в дерево, а какой-нибудь логический движок это дерево обрабатывает сравнивает с базой знаний и делает логический вывод. Очень часто вижу, что некоторые пытаются глубокими нейронками задачу от и до решить, что пиздец как не рационально есть.
Решать задачу End-to-end это в основном исследования, нейронки всетки "ИИ". Возможно в будущем так и будем делать, а пока только часть задачи делают нейронки.
>Какого хуя нейронки такие ресурсоемкие
Они не ресурсоемкие. Для большинства задач хватит одной видеокарты, накопить на которую может любой Васян с завода.
>Ты в них разбираешься
В общих чертах, не моя тема.
>спизданул?
>посоветуй, книжку
Почитай Пушкина, Достоевского, без шуток.
>thispersondoesnotexist.com
Там просто публикуются фотки рандомных людей с добавлением артефактов/шума
change my mind
ИИ которое мы заслужили
Ошибаешься, с радеонами дружит почти всё, если не прямо из репозитория, то после перекомпиляции с определенными флагами
Если всю шапку прам осилил, то только статьи читать. Уже сам должен все знать.
> всю шапку осилил, работаю в индустрии,
> не могу нагуглить нужное по байесовским методам
Сдается мне, ты тайдмен простой. Кем надо быть, чтобы после осиливания всего что есть в шапке, задавать такие вопросы?
Може, он осилил прочесть саму шапку?
> Кем надо быть, чтобы после осиливания всего что есть в шапке, задавать такие вопросы?
Маленьким врунишкой.
Вот и местный токс нарисовался, паперами уже обмазался с утречка?
слив засчитан
> Там просто публикуются фотки рандомных людей с добавлением артефактов/шума
> change my mind
На гитхабе сорцы, в т.ч уже обученные. Берешь и запускаешь.
- Положение ладони — pitch, yaw, roll.
- Вектор открытости 4-х пальцев (без большого).
- Вектора акселерометра, гироскопа и магнитометра.
- Вектор булевых значений, указывающий, какие из 4-х пальцев касаются большого.
Какой софт использовать и насколько легко будет обучить нейросеть детекции жестов? При наличии двух контроллеров, насколько легко будет обучить НС отличать хлопки ладоней друг по другу и по прочим поверхностям?
И главный вопрос: надо ли для всего этого всерьез угореть по ML, или уже придумали кнопку "сделать заебись" для таких задач?
Машоб тут не нужен. Задача поста есть просто усложненная версия событий тачпада. Вместо пространства XY тут простанство XYZ.
Чел, нейросети придумали чтобы обрабатывать огромные массивы слабо структурированных данных, чел. Обрабатывать состояния пяти пальцев, которые ты перечислил в своем посте можно через десять ифов, какая тебе нахуй нейросеть.
Рассматривать это как убер-тачпад — дело вредное.
На тачпаде можно все твердо и четко определить: "1 см скольжения пальца по оси X на тачпаде = 100 пикселей движения курсора на экране". И это будет сносно работать, даже если пользователь касается тачпада носом.
С жестами такой поход не сработает — один и тот же микрожест "пользователь чуть-чуть согнул палец" может значить изменение значения открытости на 10 пунктов для указательного правой руки, а для мизинца левой руки это может быть и 50 пунктов. Более того, предыдущий жест влияет на следующие, так что эти пункты еще будут меняться постоянно.
>>33319
>нейросети придумали чтобы обрабатывать огромные массивы слабо структурированных данных
Именно поэтому я и рассматриваю НС для обработки жестов. Мне ж не со статичными состояниями "Палец согнут на 80 пунктов из 255" работать надо, а со временными рядами положения пальцев и ладоней.
Все равно нейросети суть не нужны здесь. Знаешь о swype? Одного поля ягоды. Тут не пару ифов конечно, но и перцептрон поднимать смысла нет, не говоря уже о серьезных архитектурах.
> swype
Ты о клавиатуре, в которой пользователь проводит траекторию по предсказуемым, статически-расположенным блокам? Да, видел такую. Для нее перцептрон поднимать я бы не стал конечно.
Стало быть, кнопку "сделать заебись" еще не придумали?
>Стало быть, кнопку "сделать заебись" еще не придумали?
Придумали генератор котиков, это ли не чудо?
SOM Кохонена, например. Пометить нужные жесты, а потом просто смотреть, к чему модель отнесет тестовые векторы (жесты).
Подходит эта сеть для такого?
И я подзабыл, имеет ли смысл на вход нейронке давать размытое или повернутое изображение?
Анон, наверное, резонно может спросить "А зачем пилить велосипед".
Я знаю два решения OCR, первое - это Tesseract, второе - это Google.
Почему не подходит тессеракт? Он не умеет распознавать фуригану, он не умеет распознавать цветной и повернутый текст, говорить о распознании текста в низком расширении вообще не приходится, это просто невозможно.
Почему не подходит гугл? Гугл плохо справляется с текстом в плохом качестве, также не видит фуригану, дает упрощенную форму иероглифов.
Ни одно из уже имеющихся на данный момент средств OCR не справится с вот таким вот текстом, а я хочу научить на размытой хуйне в том числе.
Примеров информации куча, правда размер необходимого датасета ужасает, это же вам не алфавит распознавать.
Излагай мысли яснее.
Что такое ac и ak? Одно из них видимо accuracy?
Что значит друг за другом?
При чем тут Z-тест?
Базовое представление имею, курсы проходил, простое решающее дерево для какого нибудь блядского скоринга сделать на коленке смогу.
Подскажите, тут есть такие же персонажи как я?
Не боитесь что рыночек нас выкинет нахуй?
Пока утешает только мысль что для серьезного DS нужны серьезные мозги, а серьезные мозги редко могут в общение с заказчиком, постановку задач и прочая, а следовательно мы всегда пригодимся.
Прост подзаебался уже. Процесс обучения 200 эпох, вал акураси и акураси постепенно растет до примерно 90 процентов, причем вал акураси опережает акураси. Но на контрольном тесте вероятность 65 70 процентов. Переобучения нет, вроде как. Обучающая вып выборка порядка 30 тыс едениц.
С чего ты взял, что переобучния нет? Может ты неправильно разделил на обучение-валидацию или в тесте у тебя данные другой природы, чем в обучающей выборке.
Вроде поставил рандом отключение нейронов около 0,6 на каждый слой, слоёв всего 2, сократил кол во нейронов до минимума далее не знаю как ещё бороться с напастью
Хиден леерс 2 имею ввиду
Откуда у тебя "серьезные мозги"? Что ты можешь такого, чего не может automl? Рыночек таких как ты обязательно порешает.
Жопой читал?
Я же и говорю что серьезные ДСы не могут в адекватную коммуникацию с бизнесом и заказчиком, а следовательно такие раки как я будут нужны
>Анон, наверное, резонно может спросить
Грамотные аноны, прекрасно знают, что OCR в жопе, ну за исключением говнолатиницы, поскольку писменность относительно примитивна.
Ну вот.
Интересно, сколько примеров потребуется на каждый кандзь? Тысяча, две, десять?
Имеет ли смысл размывать изображение?
>Ну вот.
Если китайцы еще ничего приемлемого не запилили, то забей, задача не решаема нейроговном и общедоступными средствами, они не намного тебя тупей.
Бессильное потрясание кулаками в сторону давно ушедшего поезда.
> YouTube: Зачем программистам искусственный интеллект?
Естественного нету, пусть хоть искусственный будет.
Скорость изучения зависит от твоего icq и от количества у тебя свободного времени. И то и другое зависит только от тебя, тут мы тебе ничем не поможем.
Ну я не на китайский вообще нацеливаюсь, а так у японцев есть фичи, которые позволяют им старые текста распознавать.
С китайским будет все куда сложнее, так как классов больше, китайцы понаупрощали множество говна, да и вообще хуйни натворили.
После прогерства трудно математику изучать, так как промышленное программирование приводит к деградации абстрактного мышления. Я не шучу. У опытных прогеров прагматическое конкретное мышление. 99.9% программистов паттерны не осиливают именно по этой причине. До архитекторов единицы дорастают.
>Зачем? Можно быстро на php и jquery задачу решить. Не можешь? У тебя просто опыта не хватает.
Прямо таки все программисты пишут на скале с растом
Смотря после какого прогерства. Если после формошлепства, то да. Но зачем перекатываться с формошлепства, если там все деньги мира?
ты не прав братюнь, математику сложно изучать если ты ее долго не учил, через пару месяцев все в норму придет. Я сам промышленный программист на си++, когда начал вкатываться в матан даже поплохело, в универе мог за две недели целый курс изучить, а тут читаю и хуй, просто не выкупаю нихуя, но я упертый парень и без понтов. Купил Виленкина для школьников, по нему изучил комбинаторику, затем учебник для экономистов прочитал, затем уже для инженеров и где-то через три месяца ХУЯК и я все понял и начал сразу врубаться, прорешал все примеры. Охуенно. Дело в нейронных связях.
ну и главное не бросай, бери самую простую книгу, не насилуй себя, двигайся по чуть-чуть, размышляй. За это математика тебе свои тайны приоткроет, исследуй бля. Самое смешное, у меня много выпускников мехмата знакомых, так вот они уже многое позабыли на хуй, а я то что выучил по учебникам вроде статистика для идиота и гмурмана с венцель очень хорошо понимаю и помню, а они как-то все забыли. У меня коллега был с бауманки, рассказывал после 6 лет учебы он затруднялся сказать, что такое радиоволна, зато в интегралах с дифурами шарил, с трудом понимая захуй они сдались. Так вот он купил набор электротехнический для школьников и по нему изучил основы электротехники.
в крестах никакой математики, мои друзья крестовики из топ контор вообще все позабывали. Я использую конечные автоматы из всей мощи науки. Так-то все.
Красавчик. Я сейчас тоже по схожей системе математику повторяю. В универе системы дифуров решал как нехуй делать, а сейчас с трудом вспоминаешь как минор находиться. Но если что-то долго дрочить, то эффект будет 100%.
яскозал
Не это имел в виду. Машоб пишут на питоне и крестах, да? Питон я легко и быстро изучу, с крестами не уверен что так же будет.
Это талисман треда? Местный шиз?
>Сколько времени может занять изучение математики заново?
Чтобы научиться относительно хорошо понимать пейперы нужно 2-3 года.
>С крестами не уверен, часто ли вы их применяете?
Не часто, но будет плюсом.
>На понижение должности и зп готов.
0к устроит?
Ты вообще не теми категориями мыслишь. ЯП не имеет значения. Сейчас все пишут на питоне, но суть там совсем не в питоне. И изучать нужно не питон.
Чего ты еще от матанопетушни ожидал?
А что надо изучать?
Я понимаю, что чуть не в питоне. Но почти все "интерфейсы" к необходимым инструментам написаны на питоне.
Таки может кто ответить, имеет ли смысл размалевать текст и подавать его в качестве примера для обучения нейронке.
Да
Нет
>Ни одно из уже имеющихся на данный момент средств OCR не справится с вот таким вот текстом, а я хочу научить на размытой хуйне в том числе.
А ты сам справишься? По-моему тут проблема не в распознавании (оно у 20% символов просто невозможно), а в хорошей языковой модели, чтобы додумывать пропущенные буквы. А это вне контекста тяжело.
То есть тебе либо к YOLO приделывать ТРАНСФОРМЕР С АТТЕНШЕНОМ, либо даже не думать об end-to-end и по-старинке натренировать отдельно детектор букв, распознаватель символов и языковую модель. И если ты можешь это - пиздуй работать в гугл, хули. Тебя возьмут.
Несоответствие распределений валидейшена и теста. Например, в трейнинге и валидейшене у тебя одни коты и мало негров, а в тесте одни негров, а котов мало. Тогда, особенно при недорегуляризации, сетка справедливо сделает вывод, что надежнее выводить которов, просто потому что вероятность кота выше.
Попробуй поменять тест и валидейшен местами, либо перебалансировать валидейшен, либо тупым копированием, либо введением весов, а самое лучшее - доразметкой.
За 2-3 года ты разве что местным шизиком станешь, которому голоса сообщают, что он все понимает.
Это цель - обучаться на нескольких примерах, типа как человек. Metric learning один из вариантов достижения цели, самый унылый, но работающий. А веселые методы (типа систем с памятью) работают хуево.
Только человек не обучается на нескольких примерах, он учится все детство. Так сказать человек обучается на неразмеченныз данных
Человек предобучается все детство. Причем детство заканчивается массовым прунингом. А обучается он быстро уже, но только тому, с чем сталкивался в детстве
Размытие убивает высокие частоты в твоем изображении, есть более дешевый и надежный способ убить высокие частоты - наложить шум, который выше сигнала на этих самых частотах. Можно наложить белый шум, а можно, дропаут. Т.е. если у тебя есть дропаут на первом слое, размывать текст особого смысла нет, нейронка обучается по намного более перепидорашенном изображении.
Проблема-то не в этом, а в том, что если у тебя на картинке белый квадрат, это белый квадрат. Ты как человек понимаешь контекст картинки, имеешь модель языка, и на основе этого восстаналиваешь смысл. YOLO это не умеет, поэтому работать на белых квадратах не будет.
> а в хорошей языковой модели, чтобы додумывать пропущенные буквы. А это вне контекста тяжело.
А для чего мне нужно додумывать пропущенные буквы?
Я видел архитектуру сети, где просто сперва распознаются сами символы, а потом они отправляются в классификатор.
Насчет языковых моделей, так у тессеракта ныне используется LSTM, а результативность хуже, чем у 3-й версии.
Ещё кластеризацию можно для этого заюзать, я слышал кнн вроде отлично справляется..
Но на самом деле я понял, что проблема немного сложнее, чем я себе представлял.
Если не считать скорописной хираганы и катаканы, то сами кандзи - это по сути набор радикалов, попробую сгенерировать текста и применить разные архитектуры.
Особенность тут в том, что сам человек не распознает по сути отдельных элементов, он вообще смотрит на общую форму иероглифа и по ней ориентируется.
> Особенность тут в том, что сам человек не распознает по сути отдельных элементов, он вообще смотрит на общую форму иероглифа и по ней ориентируется.
То же самое можно сказать и про котов, и про негров, и про что угодно. С чего вы все тут решили, что эта ваша китайская грамота принципиально нераспознаваема? Может быть просто данные нужно правильно подготовить?
>А для чего мне нужно додумывать пропущенные буквы?
Потому что на твоём пикрелейтед есть настолько размытые квадраты, что без контекста ты не поймешь что там скрывается. Гугл лажает не потому они тупые и не догадались размывать изображения.
>Насчет языковых моделей, так у тессеракта ныне используется LSTM, а результативность хуже, чем у 3-й версии.
И что из того следует? Хуйню какую-то несешь
Предобучение тоже. Вся безусловнорефлекторная деятельность, в том числе сложные комплексы безусловных рефлексов (инстинкты) - врождённые и не требуют обучения.
чекай смещение выборок, перепроверь стратегию кросвалида, может данные зависят от времени, попробуй TimeSeriesSplit
Может быть и так.
Я вот пока не увидел особого профита от реализации механизма внимания, классикой в этом вопросе является архитектура CRNN, где сперва текст локализируемая обычной сверхточной сетью, а потом подаётся на вход lstm.
Мне удалось найти несколько готовых решений для этого. Только я до сих пор не понял, какая лучше.
Данных хоть миллион можно собрать, бери, да генерируй сам, можно из новеллок брать, из субтитров к аниме, из манги, газет. Думаю результаты будут зависеть больше от самой архитектуры.
>тессеракт
Тебе сколько лет? Ты еще не допер, что рабочии решения никто бесплатно выклалдвать не будет, не? Это касается любой области обоссаного копетолиздического ракового общества.
>тессеракт
Тебе сколько лет? Ты еще не допер, что рабочии решения никто бесплатно выкладывать не будет, не? Это касается любой области обоссаного копетолиздического ракового общества.
> Это касается любой области обоссаного копетолиздического ракового общества.
Гугл практически выкатил идеальное решение, abby fine reader тоже имеет хорошую OCR, другие бесплатные решения также есть.
Рабочего готового и платного продукта тут просто нет, ни за бесплатно, ни за деньги, так что вот эту коммунистическую шизу свою в тред не тащи, плиз.
>abby fine reader тоже имеет хорошую OCR
Хорошую, но она платная и исходники ты не получишь.
>Гугл практически выкатил идеальное решение
Это ты не про тессеракт же? Поскольку это говно даже на латинице с диакритикой сосет.
>Это ты не про тессеракт же? Поскольку это говно даже на латинице с диакритикой сосет.
Это я про Google Vision Api, а еще можно через гугл доки по запросу получать)
Получить доступ к этому всему не так трудно и ясен хуй, что тебе исходников не дадут, ибо хостится все это у них на серваках.
Из всех этих нейроночек я только амазоновскую не проверял, но пока та, что от гугла на первом месте.
А у тессеракта меня удивляет то, что 3-я версия, которая без LSTM работает лучше, чем новейшие версии, если чуть-чуть препроцессингом заняться
> Тебе сколько лет? Ты еще не допер, что рабочии решения никто бесплатно выклалдвать не будет, не? Это касается любой области обоссаного копетолиздического ракового общества.
Дебил с калмунизмом вместо мозгов, я тебе уже предлагал привести пример хоть одного закрытого патентованного алгоритма машоба, работающего лучше любого открытого и свободного. Ты слился, а теперь от опять свою шизу тут выдаешь за истину?
>Дебил с калмунизмом вместо мозгов
Это ты, тот токсичный анон, который с утра до вечера паперами обмазывается?
Ну такое
Animal (bolshoy cherny udav).
> На то он и закрытый, манька
А, у масонов, рептилоидов и аннунаков свой машоб, ясно все с тобой.
>А, у масонов, рептилоидов и аннунаков
Ну давай, расскажи что у ИБМовского Ватсона под капотом и как все реализовано. Не абстрактную поеботу из паперов, а именно технологии и алгоритмы.
Пиздец тут всё сложно ебанный в рот.
В случае открытости же, спиздить ничего нельзя, зато можно получить дохуя бесплатных исследователей твоей проблемы, которые ты потом с помощью своих гиганских ресурсов типа бабок монетизируешь. Ситуация ровно та же, что и с открытым софтом.
Реально парятся с секретностью только китайцы (потому что сами пиздят из западных патентов все, и страшно боятся, что их раскроют) и прочий скам типа русских военных, которые просто живут где-то в прошлом веке.
>Реально парятся с секретностью только китайцы
Нацпрограммы поощеряющие промшпионаж были у США и есть у Японии, поэтому пездоглазы постоянно лазят с фотиками.
>Ситуация ровно та же, что и с открытым софтом.
Говно на уши для лохов. Попенсорс как раз пиарится итгигантами, что бы с него можно было копипастить код.
>В случае открытости же
Рецепт ебаной ссанины - КокаКолы закрыт и охраняется, а ты про более технологичные вещи.
>Мониторинг патентов - часть моей работы
Ясно, теперь покажи в каком из твоего списка патенте описаны детали реализации, а не общие концепты?
Для профессионала там все достаточно подробно. А шизику с борд учебник по матану дай - он будет жаловаться на то, что нихуя не понятно, потому что жиды скрывают
Потому что видюхи старых поколений дружат лучше всего с 32-х битными float'ами. Новые уже поддерживают 16-ти битные флоаты.
А если ты хочешь инференс делать на FPGA, то можно и в целые числа сетку сконвертировать.
Конкретного смысла именно в -1..1 в сетке с ReLU нет, но масштаб сигналов от слоя к слою не должен сильно меняться, иначе у тебя обучаться будет плохо.
Он, похоже, говорит тебе, если простыми словами, я так понял, что, например, Теорема Пифагора и у Китайцев и у Нанайцев и у кого угодно - одна и та же. Как и вообще, математика.
А нейронка работает на математике - рано или поздно она станет достоянием всех. Пытаться её засекретить примерно так же сложно, как, например, засекретить электричество : типа, ну мы тут у себя построим национальную электрификацию, а соседи пускай чиста на паровозах ездиют !
>А нейронка работает на математике - рано или поздно она станет достоянием всех.
Если есть какие то общие законы которые пока невозможно применить в практике, то да почему бы и нет. Но как только будет найдено что то уникальное, дающее преимущество то это будет держаться в тайне.
Понятно. Но не понятно ничего, дальше первого слоя. То, что первый слой выясняет границы - это очевидно. Говорят, что следующий слой находит уже текстуры. Но каким образом ? - я уже бошку сломал пытаться понять. А там же ещё слои, которые найдут конкретные объекты !
Но я не верю, что только математика даст ключ, кажется, всё можно понять интуитивно. А тут на тебе.
А зачем же тогда они соревнования устраивают, чья сеть быстрее и точнее правильно расфасует картинки ?
Могли бы втихаря. Выходит, им не только скрыть своё охота, но и слямзить чужое ?
Это, конечно, печально было бы. Потому что такое поведение не способствует прогрессу.
>Но как только будет найдено что то уникальное, дающее преимущество то это будет держаться в тайне.
Такое может родить человек, который ни дня в жизни не работал. То, что знает больше 5 человек, никакой тайной быть не может. Совок атомную бомбу спиздил меньше, чем за 4 года с ее создания, а ты говоришь про какие-то сраные модельки, которые устареют через год.
У того же ватсона основная интеллектуальная собственность не алгоритмы, а сама база, которую на болванках из офиса не вынесешь.
>А зачем же тогда они соревнования устраивают, чья сеть быстрее и точнее правильно расфасует картинки ?
Пузомерки, они же детали реализаций не раскрывают.
>>38240
>кучу моделей, которые по сути имплементации того, что пишут в статьях.
Только работают твои модели примерно как как на хую у негра выше.
Я конечно, не так умён, как некоторые из нас, но мне всё равно интересно. Даже, скорее всего, напишу эту загадочную сеть, чисто по описанию, пускай простую и медленную, даже не понимая, как она пашет.
Как думаете, стоит ли пробовать ?
>Только работают твои модели примерно как как на хую у негра выше.
Да нифига, в задаче той же OCR на гитхабе лежит модель с аттеншионом, которая дает схожие результаты на том же датасете.
>Только работают твои модели примерно как как на хую у негра выше.
Это же закрытая тайная модель, а работает на том же уровне, что открытые. То есть жиды не просто скрывают модели, они скрывают даже их существование. В тайных казематах, в темных серверах, они тайно сидят и классифицируют негров с умомрачительной скоростью. Даа, тяжело быть шизиком.
Спасибо.
Манька, два сорта нерабочего говно, ты пытаешься вывелять задом и спрашиваешь какое из них более нерабочее?
Я нашел противоречие в твоей шизе, потому что могу даже спуститься до картины мира шизика и выебать его на его же поле. Проблема в том, что ты настолько туп, что не видишь противоречий даже в собственных словах.
>Проблема в том, что ты настолько туп, что не видишь противоречий даже в собственных словах.
Пиши по существу. Хочешь сказать что нейронки работают, или что открытые и закрытые реализации не отличаются?
MNIST
>Пиши по существу.
Я пишу по существу. По существу тебе такой вопрос: ты умнее какого процента phd в ML? Навскидку, по ощущениям.
Критерии назвал, в посте они есть.
Впрочем, можешь не отвечать. Понятно, что ты считаешь себя умнее всех в принципе. Типично для шизика.
Ты можешь закодировать готовой нейронкой запросы и вопросы из фака и находить ближайший вопрос по косинусной мере, и выдавать его ответ.
Обучаю Chinese Attention OCRМожете на гитхабе посмотреть, что за зверь
Сперва loss просто увеличивался, я подумал, что это из-за learning rate и уменьшил его.
Теперь loss после 1000 эпох просто стоит на месте практически
> Антоны, с какой поры норма уменьшаться для loss?
Должен уменьшаться средний лосс по эпохе от эпохи к эпохе. Почему - понятно, батчи содержат разные данные и могут иметь произвольный лосс, но вот начиная со второй эпохи нейронка видит уже данные, которые видела, и естественно должна улучшаться.
Но даже это хуевый вариант. Нагугли как выглядит лосс у сходящейся нейронки, как правило сначала он падает очень быстро и сильно, а потом медленно.
Лучше всего скачай готовую реализацию и запусти ее на прилагаемом датасете, убедись, что все работает, а потом уже начинай вносить изменения. Не торопись.
>Для нейронок есть колаб, для всего остального хватит обычного компа
Колаб не лучше обычного компа. Сгодится разве что на первое время для небольших датасетов.
Да я все понял, в итоге нейронка обучилась.
Только вот немного страшно от осознания того, сколько мне данных реально нужно, помню, когда гуглил материалы по Yolo, там чуваки писали, что нужно как минимум 2 тысячи примеров на класс.
В япе как минимум 3к уникальных символов. Конечно, уникальных элементов из которых состоят иероглифы куда меньше, что, как я думаю, тоже поможет сети обучаться, но это все ещё стремно.
Это текстовая игра, где можно делать вообще все что угодно. Полная свобода действий. Просто че хочешь то и делаешь. И на все будет какая-то попытка дальнейшего развития сюжета. Имхо, это открытие новой эры в компьютерных играх.
>А потом что юзать? Копить себе на 32 гб ОЗУ и титана?
Да. Память дешевая, так что можно и 64. Вместо титана 2080 Ti.
Интересно. К этому бы ещё прикрутить нейроночки, генерирующие изображение и другое медиа из текста, а так же RL агентов, могущих обучаться и действовать в такой текстовой среде. И будет полноценная открытая виртуальная реальность, не ограниченная сценариями разработчиков.
Мне кажется, это хорошая задача для DL, но т.к. я кроме названия и общего принципа не знаю ничего, прошу совета, с чего начать?
Погуглил, есть платный сервис remove.bg, демо делает то, что нужно и, судя по описанию, как раз на основе DL. Пытался загуглить, с чего вообще начать вкатываться в тему, всякие keras и прочее, но пока непонятно: во всех примерах очень много кода.
А мне бы запилить прототип, для начала, просто проверить идею. Прототип не обязан быть идеальным. Тратить месяц на чтение книг, в данный момент, кажется неразумным.
Как я себе это представляю: указываешь нейросети каталог с исходниками и каталог с результатом (то, что фотограф вручную уже сделал). Сеть учится, а затем просто автоматом умеет вырезать фон из фоток.
Это возможно?
P.S. Сам я погроммист, но именно в этой теме полный новичок.
Хотя, учитывая то, что все создаётся под мангу, а в одном предложении может встречаться и по 2-3 раз один и тот же иероглиф, то думаю, что 100к примеров уже должно будет хватить. У хираганы и катаканы уже на 1к датасете у меня по 600-400 примеров. У самых частых кандзи по 100.
Ты про модуль opencv_ml или про более "обычную" работу с изображениями, как в туториалах, например, тут https://docs.opencv.org/master/df/d0d/tutorial_find_contours.html ?
>К этому бы ещё прикрутить нейроночки, генерирующие изображение и другое медиа из текста
Начальник, тут цопэ!!!!
Предположу, что есть несколько очень трудных примеров, попробовал нейронку обучить на 500 данных, а она не смогла, хотя на 300 данных все у нее получилось.
Сейчас увеличил датасет до 2к примеров, но результат пока такой спустя 20 минут обучения
Или мне просто подождать часа 3, а потом паниковать?
>нужно больше данных
Хм, может ли нейронка хреново обучаться из-за того, что для кучи классов у меня по одному примеру? Только для каны по косарю примеров.
А, я понял, просто крашнуть сессию.
Есть ROCm, но в нем до сих пор нет поддержки Navi (Только vega, polaris и Fidji(???)), а может ее не будет никогда. Из фреймворков полностью поддерживается пока только caffe и Torch через HIP.
https://rocm-documentation.readthedocs.io/en/latest/Deep_learning/Deep-learning.html#deep-learning-framework-support-for-rocm
Ну, может быть, так хоть опыта наберусь.
Решил читерить в итоге, когда размечаю данные, то теперь пишу тот же самый текст 11 разными шрифтами, плюс делаю разные повороты текста, пишу белым на чёрном фоне, делаю размытие, в итоге с одного размеченного текста выходит больше 100 примеров, нормальный подход?
>В общем научить сетку распознавать текст
Пиши нейронку или скрипт для распознавания регионов с текстом, и скармливай эти регионы тессеракту. Когда на изображении нет ничего кроме текста, он работает отлично.
Ну и интересно чисто модельку попинать, никогда не видел, как работают сетки с механизмом аттеншона. Интересно потом визуализировать, какие там признаки выделяются и как оно внутри работает, хотя весь код и статью я уже вдоль и поперёк разобрал.
Нет, не отлично, он вообще говно с максимально хуевым результатом, такую сетку я уже делал, только скармливал OCR от гугла, но она тоже хуевая, то упрощенку выдаст, то знает на чёрном фоне не распознаёт, то просто иероглиф не распознаёт, то лишние символы вставляет.
>Нет, не отлично, он вообще говно с максимально хуевым результатом
Давай несколько примеров, которые он не смог распознать.
Чуть позже, сейчас не могу. Но вообще можешь проверить на этом, он уже тут не справится.
Потом скину примеров чёрного текста на белом фоне.
Текст не на однородном белом фоне, поэтому и не справляется. Он на такое не рассчитан.
Попробуй вот это распознать, только потом отпиши версию используемого тессеракта, чтобы я сам проверил.
Плюс, он как и другие японские OCR почему-то не умеет работать с фуриганой, вырезать ее не вариант, ибо у иероглифа может быть своё чтение, может быть имя персонажа или другая какая важная хуйня.
>Попробуй вот это распознать, только потом отпиши версию используемого тессеракта, чтобы я сам проверил.
Поделил текст на регионы, получился пикрил. Хуйню слева ни один OCR не распознает, а так получилось неплохо.
Ошибки в символах скорее всего из-за нестандартного шрифта.
Нормально, ты серьёзно? Он знак из хираганы ね распознал как 礼.
し его запутала, он подумал, что это レ
>Нормально, ты серьёзно? Он знак из хираганы ね распознал как 礼.
>し его запутала, он подумал, что это レ
Проблема в угловатых буквах. Та же し которая выглядит в точности как レ. Без контекста в виде хираганы, я бы сам хуй это распознал. Если тебе важны такие шрифты, можешь попытаться перетренировать тессеракт.
Так этих шрифтов тысячи вариаций, хоть угловатые, хоть псевдорукописные, ради каждого пинать это старье мне не хочется.
На такие случаи есть гугл доки, которые прекрасно проводят OCR и распознают даже тот повернутый текст и тут не запутываются в шрифтах.
Но у гугла есть свои недостатки
-С чего начинается нумерация массива?
-С единицы
-Вон, на пересдачу!
Заходит другой.
-С какой цифры начинается нумерация массива?
-Один
-2 балла и на пересдачу!
"Может во мне дело, учу их как-то не так?"-засомневался препод-"Ладно, пусть ещё один зайдёт и посмотрим".
Заходит третий студент.
-С какой цифры начинается нумерация массива?
-Ноль..
Препод думает: "Слава Богу! Хоть одного еблана чему-то научил!"
Студент, продолжая:
-..целковый, чекушка, порнушка...
Но тензорфлоу все равно юзает только 11гб рам и валится, если много батчей указать.
Как-то это можно решить?
ШУЕ ППШ
RAM
Че у тебя за сетка? 100 слойный монстр?
Это копия, сохраненная 13 января 2020 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.