Это копия, сохраненная 18 ноября 2019 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".
Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.
Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материала
В чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examples
Где набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/
Где работать? https://www.indeed.com/q-deep-learning-jobs.html
Где узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихся
Где посмотреть последние статьи? http://www.arxiv-sanity.com/
Где ещё можно поговорить про анализ данных? http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущий:
https://2ch.hk/pr/res/1473408.html (
![](img/mob.gif)
Архивач:
http://arhivach.ng/thread/412868/
Остальные в предыдущих тредах
Там же можно найти треды 2016-2018 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
Ну че, давайте хвастайтесь, как там ваше неройобы, уже делают что либо полезное?
>Но это же не математический график.
Почему? Нейронки - дифференцируемые функции по любой переменной. Производные находятся по правилам матана.
Зайди на http://www.matrixcalculus.org/ и забей туда norm2(y - tanh(W2tanh(W1x))) - это двуслойный (или сколько там) перцептрон с функцией активации tanh и евклидовой нормой как функцией ошибки. В дифференцирование сверток, к сожалению, этот сайт не может, так же как и в другие функции активации. Но в это делается точно так же внутри tensorflow (ну, почти, потому что вместо текстового представления формул там вычислительный граф, к которому удобнее применять правила дифференцирования)
![Screenshot2019-10-1000-13-09.png](/pr/big/thumb/1492664/15706556275990s.jpg)
Нашёл вакансию вида "Аналитик данных".
Правильно ли я понимаю, что после работы на такой должности проще будет перекатиться в Data Science?
Работа вроде не пыльная и даже интересная: нужно будет использовать гугл аналитикс, power bi и тп для анализа посещаемости и конверсии сайтов. На интервью сказали, что иногда можно будет на питоне писать какую-то логику для анализа.
мимо-веб-мастер
Ещё один вкатывальщик. Выкатывайся обратно, ты не сделаешь ничего такого, что уже сейчас не сделает automl. Просто твои потенциальные работодатели про него ещё не слышали.
лол, если эта хуйня решает рыночек, то тогда и буду её изучать - мне-то без разницы во что вкатываться (и да, даже такая "простая" вещь требует подготовки, рандомный васян с улицы не сможет её заюзать)
>мне-то без разницы во что вкатываться
Тебе без разницы, а мозг с возрастом теряет способность к вкатыванию.
я ноль в машобе, поэтому через аналитика вкатиться думаю
переезжать не хочу, мне и у себя норм
Грустно както стало
Подскажите проверенный МЛ фреймворк для JS. Чтобы были разные модели, relu, glorot и прочая поебень
Не знаю, я только вкатываюсь. Вот например что нашёл, кто-нибудь уже пользовался? http://caza.la/synaptic/ Или это хуйня ебаная?
ну, что скажете, стои ли? или лучше вместо такой работы время посвятить курсам с курсеры по машобу?
мимо-веб-макака
Отписываюсь по результатам аудита этой хуеты. Есть 4 архитектуры на выбор (Perceptron, long short-term memory, Liquid State Machines, Hopfield), довольно удобное API. Может это говно и можно как-то присобачить для продвинутой классификации, но я пока не сильно в этом разбираюсь
Ой, да иди ты нахуй, жабаскриптер
Под жс тока
Бля внезапно понял что написал не в тот тред и вообще не на ту борду
Есть кто ответит на этот вопрос, стоит ли вкатываться через эту должность или это будет зря?
мимо-манки-кодер
Аналитик данных разве как-то связан с МЛ? Мне казалось эти люди фильтруют данные питоном и на основе них делают выводы. Не бейте, лучше расскажите где я не прав
Это начальное звено в сфере data science. Кто-то же должен данные собирать и фильтровать для МЛ.
> Кто-то же должен данные собирать и фильтровать для МЛ.
Для начала, это должен быть специалист в предметной области, к которой относится датасет. А не вкатывающаяся мартышка. Много ты соберёшь и отфильтруешь чего-либо для нужд молекулярной биологии например? Ты даже толком не знаешь, есть ли физический смысл у такой фильтрации или это приведет к бесполезности полученных данных. Можно ли масштабировать такие данные и если да, то как и почему. И так далее. Для всего этого нахуй не нужон специально обученный инфоцыганами зумер.
А туда куда ты вкатываешься будет отдел с датасаенсом? Если да, можешь хоть уборщицей вкатываться, горизонтальные движения когда ты уже устроился в разы проще.
будет, даже пообещали, что если всё ок, то сделают через год повышение в data science отдел
Тогда о чем разговор. Всяко лучше, чем нихуя не делать
>convnet-js
Чекнул, выглядит куда лучше этой >>493132. Нет привязки к какой-либо архитектуре, сетка создаётся из кирпичиков и более завязана на математическую терминологию. Примеры там покруче, есть даже какая-то классификация того, что изображено на картинке. Можно сказать, что convnet для более продвинутых, а synaptic для новичков
![image.png](/pr/big/thumb/1492664/15707914847380s.jpg)
Добавлю, что convnet уже из коробки можно натренировать на поиск ебучих светофоров в гуглокапче
> фичур инженеринг.
Фичур инженегр закукарекал, лол. Что ты, зумер, там наинженеришь лучше методов автоматической экстракции фич, либо лучше специалиста в предметной области? Конкретный пример - heart rate variability, найди там фичи лучше стандартных.
Шизик, иди нахуй
Хорошо защищать свою старую сраку при помощи манямирка, старый ватный бумерок?
Здрасть, есть вопрос
Где можно на среднем уровне (без неебически сложной математики) понять какие сейчас есть нейронные сети, как и где их использовать, как они вообще работают. Мне бы такой faq для человека, который мало с темой знаком
Спасибо за хороший ответ, счастья вам здоровья и хорошего дня :)
сука, дайте хороший и полный faq по нейроночкам
в википедии
ищи книги, сам, это не сложно, тут на дохуищу пиздаболов 1.5 знающих людей
![picebb271ed9604bca02887ffc0d9dbbade.jpg](/pr/big/thumb/1492664/15708117443080s.jpg)
Эй, петуханы, там
Путин подписал стратегию развития искусственного интеллекта в России с основными понятиями и задачами
https://vc.ru/future/87611-putin-podpisal-strategiyu-razvitiya-iskusstvennogo-intellekta-v-rossii-s-osnovnymi-ponyatiyami-i-zadachami
Пилите свои петпроекты, скоро будут раздавать гранты.
как раз-таки да, я спец. по фронт-енду и в вакансии чётко указано, что нужно будет собирать данные со счётчиков, уметь их настраивать по-разному на разные эвенты и тд
мимо-заебал-фронтенд
Я хуею с этих смузихлебов, В.В. Путин выделят деньги, есть Сколково с грантами, бери и пили йобы, нет же, распозаняют котиков и анимупездоглазов, тьфу на вас.
Просто одно дело читать матанозалупу и пиздеть на двачах, а другое сделать работающую вещь.
наши работодатели требуют математическую вышку (что по-идее логично)
их работодатели - computer science
Что за прикол?
это в дата-саенс компании и дата-саенс отделы банков, их отнюдь не мало и тема набирает обороты
Cейчас на такие профессии 100% обязательна вышка? Если я перекачусь из другого направления без вышки - у меня есть шансы?
>у меня есть шансы?
Конечно, не обязательно учить 5 лет математику чтобы говорить Свободная касса
>С этим в воскресный вечер к соловьеву
Всегда его смотрю, ловко он там либерашек и хохлов хуесосит
А мне норм
> Путин подписал стратегию развития искусственного интеллекта в России
Бихдата, диплернинх, эджяйл? Какой смысл, если все авторы и алгоритмы пиндосские? В Блинолопатии максимум этим кто-то пользоваться умеет, даже каких-то своих идей строго 0. Этот тред как вариант. Пусть хоть кто-то назовет пример использования машобчика вне того, что уже сделано. Я как минимум 2 идеи озвучивал, чего не делал никто и никогда.
>>494403
> Всегда его смотрю, ловко он там либерашек и хохлов хуесосит
Всегда подозревал, что местные отбросы - аудитория вечернего мудозвона. Как раз ваш уровень.
> А что сделано, напомни?
Что ты тут забыл, ватник, если не можешь назвать ни одного применения машоба?
> Ты хохол или хохол?
Ещё и хохлозависимый. Поди и в боженьку веруешь?
>Поди и в боженьку веруешь?
Верую
>>не можешь назвать ни одного применения машоба?
Не могу, а ты можешь?
![5CBAE2EC-8F07-471D-AA07-852C492BCBFB.jpeg](/pr/big/thumb/1492664/15708568667840s.jpg)
Это все-таки не "средний уровень", а просто фит/предикт , но на большом количестве примеров, с объяснением на пальцах и с актуальными методами
Ты либо правда долбаеб, либо пытаешься троллить тупостью. В обоих случаях тебе лучше идти дальше смотреть мудозвона, что ты в этом треде потерял, тут одни хохлы.
cs231n
А что за жанр игры? В каком-нибудь serious sam тактика "бежать на главного героя" у врагов неплохо смотрится.
>>495380
> Математическая статистика на максималках.
Разновидности EM, то есть. Но я никогда об этом не упоминал, а тут никогда не кукарекали против, разумеется.
>>495424
> на if-else'ах
Не нечеткая логика, нет, это другое.
но ведь еще нужно находить путь...
>на if-else'ах
Кстати возник теоретический вопрос. Допустим, есть у меня кусок кода с очень сложной логикой, с тысячей условий. Например, вычисляем потенциального покупателя новой фичи в подробной базе абонентов. Могу ли я выкинуть этот кусок, и вместо него натренировать и запилить сетку?
>Например, вычисляем потенциального покупателя новой фичи в подробной базе абонентов
а разве это делается на иф элсе? это же для кнн задача
Всмысле рандомфорест??!
Тебе зачем это надо если даже лень гуглить? Хочешь автоматическую модерацию? Поставь запрет на спамслова тогда. Машоб тебе тут не поможет вообще никак.
>Гуглить это проблематично
да, куны не нужны лол
k-nearest neighbors, несложный алгоритм который часто применятся для предсказания рынка
>Хочешь автоматическую модерацию?
С чего ты взял? Я просто наконец нашёл практическое применение ml для себя. Порашный бот и на регексах неплохо окукливает хохлолябурах в манямирке, там логика простейшая
>Using KNN and SVM Based One-Class Classifier for Detecting Online Radicalization on Twitter
https://link.springer.com/chapter/10.1007/978-3-319-14977-6_47
научная статья епта
Индусы просто копипастят чужие статьи, заменяют "we" на "I", а потом собирают бабло за курсы с людей, желающих вкатиться в ML. А вы все ещё не зарабатываете на нейронках. Какие у вас оправдания?
Я и говорю. Тема упорно скатывается в инфоцыганство и тусовочку для зумеров без мозгов. Закон Мерфи во всей красе, "создай что-то, во что сможет каждый дебил, и только дебилы будут этим пользоваться". Раньше машобом занимались академики, теперь в массе своей всякий зумер-скам. Нужны качественно новые решения, которые отсеют всю эту паразитирующую на годной теме соевую перхоть, например дальнейшее развитие сервисов типа automl.
Есть статьи, про предсказание исхода матчей доты 2, такие обычно студенты пишут.
https://github.com/untrix/im2latex
https://github.com/guillaumegenthial/im2latex
![15644513128670.jpg](/pr/big/thumb/1492664/15709983178660s.jpg)
Как так получается, что у этих кринжеделов точность распознавания 89%? Латех это фиксированный набор абсолютно однозначных символов. Даже на рукописных буквах в каком-нибудь мнисте точность далеко за 90% последние лет 20. Вот это все, на что способны ваши нейроночки, для удовлетворительной скорости работы с которыми нужен кластер дороже моей хаты?
Только в смысле, что составной терм может быть сколь угодно сложным и многоэтажным. Элементы все абсолютно однозначны. Да и методы построения сложной формулы тоже, одной формуле соответствует одно выражение на латехе.
Ты не знаешь о латехе нихуя
> Аспирант гавайского университета обнаружил проблему в Python-скрипте, используемом для вычислений химического сдвига, определяющего химическое строение изучаемого вещества при спектральном анализе сигналов методом ядерного-магнитного резонанса. В ходе верификации результатов исследований одного из своих профессоров аспирант заметил, что при выполнении скрипта в разных операционных системах над одним и тем же набором данных на выходе получался разный результат.
> Например, при запуске в macOS 10.14 и Ubuntu 16.04 для протестированного набора данных скрипт выдавал некорректное значение 172.4 вместо 173.2. Скрипт включает около 1000 строк кода и используется химиками с 2014 года. Изучение кода показало, что вывод неверного значения обусловлен отличиями при сортировке файлов в разных операционных системах. Авторы скрипта полагали, что функция "glob()" всегда возвращает файлы, отcортированные по имени, в то время как в документации на glob указано, что порядок вывода не гарантируется. Исправление свелось к добавлению list_of_files.sort() после вызова glob().
> Обнаруженная проблема поставила под сомнение корректность более 100 публикаций по химии, выводы в которых были сделаны на основе вычисленного скриптом химического сдвига.
Недостаток в том, что эту хуйню тащат куда только можно, вплоть до точных расчетов. Какая-то индусская мартышка написала на пистоне скрипт, и теперь нужно проверять результаты сотен исследований. Другая мартышка с кукареком на пустой башке из барбишопа завтра напишет на пистоне скрипт для управления реактором, и все, пизда. Для таких задач вообще-то нужно не только языки, но и даже компиляторы только верифицированные использовать. А не игрушечную хуйню для школьников. Вот ты уверен, что нейроночки на пистоне правильно работают? Химики эти тоже были уверены.
![9A587FFF-CCC5-4F59-9B8C-7FE1047DA1C1.jpeg](/pr/big/thumb/1492664/15710344484640s.jpg)
Это обратная сторона медали доступности технологий, теперь не нужно быть экспертом, чтоб написать скрипт. Темп выше выше - ошибок больше так всегда и во всем же.
И если абстрагироваться от питона и химии, в технических вузах,например, используют плюсы для лаб и исследований, думаешь все физики с кафедр поголовно могут в кодинг? Уверен, что там те же самые ошибки в расчетах и отсутствие глубокого понимания синтаксиса, что , впрочем, не предосудительно для не профессионалов
И что теперь? На ассемблере сетки писать?
Ебать новости, в научных исследованиях бывают ошибки. Недавно выяснили, что диаметр протона измерили неправильно и, измерив правильно, закрыли кучу гипотез, а тут 100 сраных статей.
>>496189
>Для таких задач вообще-то нужно не только языки, но и даже компиляторы только верифицированные использовать
Опять шизик мечтает о какой-то йобе, избавляющей от ошибок в коде. Ты бы программировать научился для начала, прежде чем пиздеть о каких-то верифицированных комплияторах.
Нет, один химик (профессор) скачал индусский скрипт с гитхаба и применил, как до него это сделали более сотни других химиков, начиная с 2014 года. А другой химик (аспирант), проверявший результаты первого заметил, что скрипт даёт разные результаты на глинуксе и маке. Виноваты не химики, а быдлокодер скрипта, ну и сам пистон, неподходящий для таких задач.
Там нет ни слова про гитхаб и сюрприз химики и другие ученые пишут скрипты
Потому что ученые не профессиональные разработчики
>Авторы скрипта полагали, что функция "glob()" всегда возвращает файлы, отcортированные по имени, в то время как в документации на glob указано, что порядок вывода не гарантируется. Исправление свелось к добавлению list_of_files.sort() после вызова glob().
Ебать, макакены не смогли в документацию, а виноват язык
> и сам пистон, неподходящий для таких задач
Неподходящий для использывания макаками? Ну может быть.
>Виноваты не химики
Лол, а кто бля? Вговнемоченые в очередной раз показали истинное состояние т.н. науки.
![1571079755884.jpg](/pr/big/thumb/1492664/15710797799630s.jpg)
https://towardsdatascience.com/rtx-2060-vs-gtx-1080ti-in-deep-learning-gpu-benchmarks-cheapest-rtx-vs-most-expensive-gtx-card-cd47cd9931d2
>огромный прирост
Огромный прирост в скорости при распозновании ничего, покупайте для ничего, лучшиее скоростные карты111
Cifar так себе бенчмарк, но было бы хорошо, если 2060 на уровне 1080
![Screenshot60.png](/pr/big/thumb/1492664/15710826744820s.jpg)
Ну нихуясе, тут еще и память в 8 раз с нихуя спавнится, вообще волшебство какое-то
Только в float16
другой анон
бампану вопросом:
Куда воевать для выяснения математического бэкенда в нейросетевых фреймворках?
Матстат.
![1570851231183870688.jpg](/pr/big/thumb/1492664/15712430959520s.jpg)
Ща пообщался с ДипПавловым, чет он туповат даже для 80х. Что у него под капотом?
Использовать буду для когла и своих петпроектов.
Нет такого на примете?
Константин Вячеславович Воронцов, заведующий лабораторией машинного интеллекта МФТИ, доктор физико-математических наук и Сергей Игоревич Николенко, сотрудник лаборатории математической логики Санкт-Петербургского отделения Математического института РАН, лаборатории интернет-исследований Высшей школы экономики, преподаватель Академического университета РАН.
Эталонные говноеды-смузихлебы.
Главное видюха, комп можно брать средненький, все равно он утилизироваться на 100% не будет. Нетоповый амуде рыжень в районе 50к (за все, включая корпус) и вставить в него топовый жифорс в районе 60к.
Если есть лишние деньги, лучше купить две машины.
>все равно он утилизироваться на 100% не будет
А кокже шина? Ну типа скорость обмена с диском, памятью и видяхой?
мимо
У тебя всё крутится на видяхе, а процессор параллельно готовит данные.
То есть единственная задача, чтобы генерация данных для следующего прохода на лету процессором была быстрее, чем один проход видюхи. Поэтому утилизировать процессор сложно - сетки толстые.
> параллельно готовит данные
Сам чтоли? Кокой молодец, он же их должен считывать с винта, а там может быть узкое место
Кокой грубиян, хотя впрочем чего ожидать у нейродибила у которого все данный сразу в пиздюху помещаются.
RAID масивы еще можно, так что параметры материнки имеет большое значение
И где я писал, что SSD не нужен? Можешь сначала научишься читать то, что написано?
> Можешь сначала научишься читать то, что написано?
Ты написал, что пиздюха это самое важное, а проц нет, но другой важнейший параметр скорость обмена данных - поддержку контроллеров и пропускную способности шины ты не упомянул.
Пока я только упомянул, что бюджета 50К за ПК без видюхи достаточно. Отсутствие SSD в машине это совсем бюджетный вариант уже лет 5 как.
Ты захочешь SSD просто потому что ты разработчик, нахуя вообще про это упоминать. Как и то, что в таком бюджете и материнка и память будут обладать приемлемой скоростью.
>важнейший
Это нихуя не так. Подозреваю что ты бездумно пересказываешь какую-то хуйню для геймеров.
У меня, например, батч размером 12582912 байт обрабатывается от 50 до 500 мс, в зависимости от сложности сетки. 20-240 мегабайт в секунду - ну так себе цифры, для самых медленной сетки даже HDD справится. Главное - грамотный асинхронный пайплайн без блокировок, чтобы каждый участник процесса занимался своим делом. Но фреймворки в это могут. Современные сетки большие и толстые, и узким местом является видюха.
Даже гугловские TPU, работающие как 10 1080Ti, все равно в производительность подвоза данных не упираются.
Но это все только сеток касается, естественно, не бустинга.
![external-content.duckduckgo.png](/pr/big/thumb/1492664/15712980574610s.jpg)
Это порядок цифр у нейронок.
Посмотри на картинку. Googlenet работает с картинками 224х224х3, которые хранятся в байтах. В самом крутом случае 4000 картинок в секунду - это 602112000 байт в секунду.
Но
1. Это древний и легкий googlenet
2. Это только форвард пасс. С бэкпропом будет сильно медленнее.
Вот и выходит, что если ты не увлекаешься кластерами из GPU, то можешь вставить хорушую видюху в бабушкин ноутбук и это будет работать.
>4000 картинок в секунду
Хета какая то, с такой скорость даже видеодекодеры не работают, а у них задача попроще.
>хорушую видюху в бабушкин ноутбук
У меня ноутбук затыкается при серьезных дисковых операциях, например при загрузке торрентов, параллельно сложно что делать, оправдывайся.
Спасибо
>В самом крутом случае 4000 картинок в секунду - это 602112000 байт в секунду.
Пиздабол, 224х2х3х4000=5.376.000, тебе 5 м/c только на простое чтение твоей залупы
>602112000 байт
ой бля, ты прав, 224х224х3х4000 = 602112000, но это 602 мб/с, только на считывание
А для бустинга оперативка?
![yG0HBspl.png](/pr/big/thumb/1492664/15713072419790s.jpg)
![Screen Shot 2019-10-17 at 15.25.05.png](/pr/big/thumb/1492664/15713152020280s.jpg)
керас
С картинками никакой проблемы нет, так как они обычно сжаты JPEG. Проблемы начинаются, когда нужно считывать тензоры рандомными батчами.
![Screen Shot 2019-10-18 at 13.56.30.png](/pr/big/thumb/1492664/15713964044120s.jpg)
Ну тут в общем ясно, что эти нейроночки настолько просто наебать, что ни для каких серьёзных приложений вне тепличных условий они не годятся, максимум на каггле оверфитить очередной датасет или фильтры-смехуечки в инстаграме.
>статья за 2015 год
оперативно работаешь, ведь никто же не придумал с того момента, как эту проблему решать
>настолько просто наебать
будешь с такой хуйней на ебале по городу ходить чтобы камеры не обнаруживали?
> будешь с такой хуйней на ебале по городу ходить чтобы камеры не обнаруживали?
Зачем? Иск подам о защите конституционного права на частную жизнь, во все инстанции до ЕСПЧ включительно. Китаю уже вьебали потешных за кибергулаг и все эти распознавания, блинолопатия на очереди.
![1478091381661659.png](/pr/big/thumb/1492664/15714091144540s.jpg)
>ведь никто же не придумал с того момента, как эту проблему решать
Нет, к сожалению не придумал, ведь проблема в самой геометрии трейнинг сета, а не в какой-то детали алгоритма, которую легко пофиксить. На сегодняшний день все известные защиты от адверсариальных атак очень просто обходятся. Или пример защиты, гарантированно работающей на сегодняшний день в студию. Хуитки вроде аугментирования трейниг сета адверсариальными примерами или дистилляцией на софт лейблах может даже не пытаться тащить, обоссу.
>будешь с такой хуйней на ебале по городу ходить чтобы камеры не обнаруживали?
Нет, скорее с такой вот.
Ожидал другой реакции
С добрым утром, все уже давно знают, что нейроговно придумали для попила бабосов
>ни для каких серьёзных приложений вне тепличных условий
Ну никто не утверждает, что нейроночки решают все задачи. Там где много шума в данных и данных мало, нужны другие методы.
>Ну никто не утверждает, что нейроночки решают все задачи.
Давай перечисляй какие задачи неронки решают?
![1 4GcPQlKRT1mGTwaI18axxQ.png](/pr/big/thumb/1492664/15714300032140s.jpg)
Ну вот Тесла и подобные проекты пытаются использовать распознавание образов для ориентирования. И если у какого-нибудь Waymo есть дополнительный лидар для этого, то гениальный Илон Маск решил, что лидар не нужен и можно обойтись только камерами. Сейчас Тесла конечно только Level 2 автономность но в перспективе её хотят сделать полностью автономной. Сел бы в автономную машину, для которой пикрелейтед не стоп, а знак ограничения скорости? И это не просто какой-то теоретический вопрос, вот в реальных условиях Теслу заставил в противоположную полосу заехать, лол
https://www.vox.com/future-perfect/2019/4/8/18297410/ai-tesla-self-driving-cars-adversarial-machine-learning
Короче, надо для безответственно продвигающих в критических приложениях бесполезные и опасные нейроночки товарищей уже вводить уголовные наказания. Думал, что скачаешь какую-нибудь VGG, подкрутишь параметры и всё готово? А вот уж нет, присаживайтесь-ка, сударь, на двоечку.
>для безответственно продвигающих в критических приложениях бесполезные и опасные нейроночки
Никто их там не продвигают, там рулят Экспертные Системы, поскольку можно локализовать ошибку и найти косячника, а нейронки только для смузихлебов и матанопетушни.
Потому что это тупо брутфорс гиперпараметров и без мощностей уровня гугла там нечего ловить.
>оперативно работаешь, ведь никто же не придумал с того момента, как эту проблему решать
Он эту хуйню повторяет как раз с 2015. Просто пасты настолько протухли, что и получается вот это вот.
> Скажи лучше, что ты либираха,
Я налогоплательщик. И лично содержу этих иждивенцев.
> вас убогих отдельным судом перемогают.
В пынеходии такое дело не выиграть, иски во всякие басманные судилища это чистая формальность. Просто без этого, сразу в ЕСПЧ, не получится.
Но всё-таки что-то новое шиз узнаёт: вот услышал наконец о автомл что-то, носится теперь с ним как с величайшим открытием.
>>499843
Каково это, воевать с выдуманным противником, видя его не только под кроватью, но и в авторе каждого поста, с которым не согласен? Про решения типа аутомл я ещё лет 6 назад читал, и это были источники в том числе из 90х. Просто тогда это было вычислительно нерентабельно плюс не было толп зумеров вкатывальщиков, а сейчас похоже ситуация созрела.
Никто с тобой не воюет, шиз
> я читал слышали Я ЧИТАААЛ
Ты постоянно повторяешь как много ты читал, однако незнание базовой элементарщины вроде кнн как-то заставляет сомневаться. То есть либо у тебя дар читать жопой, либо читаешь ты спид-инфо какое-нибудь.
> незнание базовой элементарщины вроде кнн
Письку будешь, чучело? У тебя соевых мозгов не хватило даже на то чтобы понять, о чем вообще речь шла, и кто и что недопонял. Я и говорю, очень удобно придумать хуйню, приписать оппоненту, чтобы потом торжественно опровергнуть.
Ну системы технического зрения стали возможны в ближайшей перспективе именно благодаря им, например шумов в изображениях однотипных деталей очень мало, отсюда легко выйти на visual control для роботов на заводиках.
![1571494797076.jpg](/pr/big/thumb/1492664/15714948210860s.jpg)
Какой-то аналог анти-сети шиза из /spc, только анти-нейро-шиз.
![image.png](/pr/big/thumb/1492664/15714988857610s.jpg)
Хотелось узнать, насколько первая проблема (артефакты) поддаются починке в таком ключе? Откопал библиотеку Noise2Noise от nvidia. У них там даже похожий пример был с МРТ сканером, но там они использовали гауссов шум, а тут хуй знает какое будет зашумление. Насчёт поиска центра у меня вообще есть сомнения по поводу машинного обучения. Оно вроде такие вещи, как какие-то четкие коордианаты или четкие границы кругов вообще плохо находит. Думаю покопать в сторону openCV, там вроде есть что-то типа поиска очертаний заданных геометрических фигур. Был бы рад, если бы кто-нибудь мог дать оценку решению задач. Спасибо.
мимо-студент первых курсов физик
ПАМЯТИ НЕ ХВАТИЛО
Пытался перегнать для начала в numpy массив, а потом построить датафрейм
ОПЯТЬ ПАМЯТИ НЕ ХВАТИЛО
Хули делать-то? Дробить на куски и так работать?
Инб4 купи памяти
>Но всё таки - при большом количестве данных их дробят? А дальше что?
Если тренируешь нейронку и тебе не нужны все данные сразу, то можешь использовать генератор. Он будет считывать с диска каждый батч.
np.memmap
Hadoop, ёпта
![e319a6a700bd8f7c941c87fde1b80fcece1676x838x0x45cropped800x8[...].png](/pr/big/thumb/1492664/15715644307580s.jpg)
Ну например надрессировать нейронку на управление квадрокптером, через удалённое упраление на ПеКа с видяхой под openCL, а потом сделать короткий бинарник который должен будет крутится на ARM огрызке на самом квадрокоптере.
Можно обучить маленькую нейронку с помощью дистиляции знаний и затем ее квантизировать и считать не в fp32/fp16, а в int8. Но вряд ли квадкоптеру хватит вычислительной мощности даже после этих действий.
Попробуй сворочивать с нормальным фильтром для удаления полос, затем примени какой-нибудь блоб детектор для поиска центра.
hdf5 файлы и БД тебе в помощь.
Офигенно. И как я такую речь пропустил?
То что я скинул это просто пример, чтобы показать как они примерно выглядят. Вообще я плохо сформулировал вопрос. На этих голограммах эти "космические лучи" точки 2х2 пикселя примерно. Голограммы эти сами выглядят очень разрозненно и эти пиксели вообще хуй знает где могут оказаться. Потом эти пиксели выражаются в итоговой (обработанной картинке) в виде характерных волн. Я хотел спросить, что было бы эффективнее обрабатывать через нейросеть. Будет ли она работать корректно с голограммами? Ведь там нет каких-то целостных объектов/предметов или это не играет роли? Просто проблема ещё в том, что размер снимков 4 мегапикселя. Если локализировать точки засветок лучами можно (ну хотя бы просто по значению пикселя и окрестность вокруг 250х250), то обрабатывать 4мегапиксельные картинки через нейросеть, я так понимаю, выпадет в ограничения по железу.
>Я хотел спросить, что было бы эффективнее обрабатывать через нейросеть
Нет. Нейросеть здесь однозначно найдет пингвина.
![15710663501340.gif](/pr/big/thumb/1492664/15716155488350s.jpg)
> Попробуй сворочивать с нормальным фильтром для удаления полос,
Ага, при том, что эти полосы и есть сама голограмма. Гениально. Я про это чуть выше говорил, решать что можно сделать с данными, а чего делать вообще недопустимо, должен эксперт в предметной области, а не зумер вкатывальщик. Но тогда возникает вопрос, нахуя вообще такие вкатывальщики, а от такого поворота кое у кого начинаются анальные скорби.
А я то причём. Мне сказали: «Посмотри че там можно сделать, а то нам некогда. А ты молодой, игривый. Авось что и получится.», а я на голом энтузиазме. Читаю статейки в интернете, а из опыта только примеры из tensorflow.
У тебя есть плавно меняющаяся голограмма с битыми пикселями в виде резких скачков интенсивности. В качестве датасета нужно брать пары картинок с идеальным изображением и с искусственно нанесенным битым пикселем (или сколько там 4х4), сетка - unet. Сетка научится их замазывать. Noise2noise тебе не нужен.
Можно обойтись и без нейронки. Свернуть с прямоугольником 2х2, таким образом получишь кросскорреляцию с образом твоего объекта. Затем пороговой обработкой получишь места где есть этот объект. Затем переинтерполировать битые места по существующим данным.
Да вместо transpose conv слоёв в unet надо использовать upscale+conv слои. Иначе конкретно в твоём случае артефакты будут неприятными
Сейчас как вообще происходит. Есть фреймворки, в которых тренируются модели для облачных кластерах на линуксе - tf, torch и т. п. Потом эту модель можно экспортнуть в универсальный формат типа ONNX и выполнять ее уже на таргет платформах, с помощью соответствующих библиотек для таргет платформ.
Таких библиотек дефицит. DirectML закрывает деплой для винды, что, конечно же, хорошо. Захочешь деплойнуть нейросетку в свой йоба-шутер, можешь взять DirectML. Звучит скучно, потому что это так и есть, обсуждать тут нечего. Просто либа, закрывающая какую-то потребность.
>можно экспортнуть в универсальный формат типа ONNX и выполнять ее уже на таргет платформах, с помощью соответствующих библиотек для таргет платформ.
Если нужно будет добавить штуку, то что делать?
Если ты про какой-нибудь слой модели, то добавляешь в tf, дообучаешь, экспортируешь.
Код с DirectML даже перекомпилировать не придется.
Отлично, тогда заберу DirectML себе в качестве любимой технологии. Остальные пусть используют что-то другое.
Новые данные обычно обучаются с нуля, но если не хочешь с нуля - обучай не с нуля, потом экспортируй.
>Новые данные обычно обучаются с нуля
Нетъ, все обучилось и появились новые данные которые нужно добавить, чито делать?
Берешь новые данные, смешиваешь их со старыми и обучаешь с нуля на этом новом датасете
Мартыхан, может закончишь уже позориться?
пизжу
Идти в контору программистом и двигать горизонтально тазом в сторону мл
А твоя мамка у меня
![9gdCOQkp.png](/pr/big/thumb/1492664/15717078895670s.jpg)
>loss: 0.0904 - acc: 0.9794 - val_loss: 0.0948 - val_acc: 0.9756
>думаешь где обосрался при препроцессинге датасета, ведь слишком хорошо получается
Может пора перестать обучаться на MNISTe?
Подумай может утечки какие. Как валидируешь?
![davidhamilton.jpg](/pr/big/thumb/1492664/15718008562280s.jpg)
Учебники - те же, что и 20 лет назад:
http://www.r-5.org/files/books/computers/algo-list/statistics/probability/Charles_M_Grinstead_J_Laurie_Snell-Introduction_to_Probability-EN.pdf
http://www.r-5.org/files/books/computers/algo-list/statistics/probability/Charles_M_Grinstead_J_Laurie_Snell-Introduction_to_Probability-EN-answers.pdf
http://www.r-5.org/files/books/computers/algo-list/statistics/probability/Sheldon_M_Ross-Introduction_to_Probability_and_Statistics-EN.pdf
http://www.r-5.org/files/books/computers/algo-list/statistics/probability/Sheldon_M_Ross-Introduction_to_Probability_and_Statistics-EN-answers.pdf
Курс алгоритмов - тот же, что и 15 лет назад:
http://www.r-5.org/files/books/computers/algo-list/statistics/data-mining/Sarah_Boslaugh_Paul_Watters-Statistics_in_a_Nutshell-EN.pdf
Трудно что-то новое придумать. Ну и кстати, Дэвид Гамильтон вроде неплох. Тоже там, эти разные...
Совковые учебники не илитно. Что там может устареть-то, вероятность она и в Африке, и 100 лет назад вероятность.
>вероятность она и в Африке, и 100 лет назад вероятность
А разве вся эта теория вероятности не говно?
мимо
![15712688944920.png](/pr/big/thumb/1492664/15718082442410s.jpg)
> А разве вся эта теория вероятности не говно?
Нет, конечно. Это просто ты шизло с непонятно чем в наплечной параше.
>Нет, конечно.
Заебись, то есть если я сейчас поставлю видосик как ебут в жопу матанопетушню, то там будет новый сюжет?
>Голову лечи, я серьезно.
Полечил, теперь отвечай, если я поставлю заново фильм, то там будет новый сюжет?
![15706895404540.jpg](/pr/big/thumb/1492664/15718138799090s.jpg)
Плохо лечил, мань. Ты ж даже не понимаешь, что такое вероятность вообще. Зумера вообще скатились пиздец, вам там в школах сейчас вообще хоть что-то объясняют? Или для тебя все кроме зумер-кринж репера ивана дерьмина это слишком сложно? Запад иди роняй, клоунесса.
![1570851231183870688.jpg](/pr/big/thumb/1492664/15718168699850s.jpg)
>что такое вероятность вообще
Случайностей не существует, значит твоя вероятность живет только в твоем мозгу засранном математикой.
>Вентцель
Жопеншмульцера. Ты так и не ответил, есть ли случайность в нашем мире или нет.
>0%, мань
Не ври
Случайное событие это такое событие, про которое нельзя заранее с уверенностью сказать произойдет оно или нет. Как ты думаешь, в мире есть такие события или нет?
> Ты так и не ответил, есть ли случайность в нашем мире или нет.
За ваш мир я ничего не знаю, у меня шизы нет. В реальном мире есть неопределенности и они фундаментальны и присутствуют везде, начиная с уровня квантовых процессов. Одной из таких неопределенность является вероятность. А ты никак и в демона Лапласа веруешь? Из розен мейден поди узнал?
![15636146597651228652787.jpg](/pr/big/thumb/1492664/15718229834840s.jpg)
>Как ты думаешь, в мире есть такие события или нет?
Думаю нет, просто ты не владеешь всей информацией и событие для тебя кажется случайным.
>>502786
> А ты никак и в демона Лапласа веруешь? Из розен мейден поди узнал?
В это говно даже не каждый матанопетух верит.
>квантовых процессов
Теоретическое физматговно не имеющее с реальностью ничего общего.
![15715501146950.jpg](/pr/big/thumb/1492664/15718231734700s.jpg)
> Теоретическое физматговно не имеющее с реальностью ничего общего.
Ну тебе-то лучше знать про реальность, да, чучело зумера?
>Думаю нет, просто ты не владеешь всей информацией и событие для тебя кажется случайным.
И теперь нужно взять каменный топор и пойти голым охотиться на медведя, раз никто не владеет всей информацией, а работать нужно?
Нет, достаточно понтоваться, что тип агностик))), среди такого же малолетнего быдла.
![Пропаганда.png](/pr/big/thumb/1492664/15718242026670s.jpg)
>А, ну да, пилить бюджет/гранты запудрив мозги манятеорией
Я работаю на рынке в маленькой фирме и мои программы улучшают жизнь конкретных людей - видеомонтажеров, шум из записей которых я удаляю методами теории вероятностей. А вот ты являешься бесполезным шизиком, который пудрит всем мозги какой-то кефирной маняхуйней.
> Думаю нет, просто ты не владеешь всей информацией и событие для тебя кажется случайным.
Возьмём самый простой пример с броском монеты или игральной кости. Какая информация тебе нужна, чтобы достоверно предсказать событие "выпадение орла" (или "выпадение четырех очков")?
> Посредством какой среды распространяются эл. магнитные волны в вакууме? Отвечай.
Ещё и в эфир верующий. Поди и в плоскую Землю тоже?
![15707299224920.jpg](/pr/big/thumb/1492664/15718256310140s.jpg)
Ну тут ещё ладно, можно подсчитать вес монеты, усилие при ударе по ней, сопротивление воздуха итд. А вот если есть какое-то количество атомов изотопа с известным периодом полураспада, и нужно предсказать, когда распадётся конкретный атом, сейчас или через 10к лет, то хуй там плавал, а не предсказание.
Он тебе скажет, что изотопы придумали жиды
Не, не... Это не ответ.
Вес монеты, силу сопротивления воздуха, силу удара, что ещё? "Итд" не канает. Предсказывай орла, ну.
Видишь, не нужно придумывать сложные примеры с изотопами. Давай с простой монетой разберемся. Выясниться, что даже с обычной монетой есть много сложностей.
Не будет с монетой сложностей. В принципе, достаточно датчика усилия (или как это можно назвать) на пальцы, которыми монета подкидывается. Даже вес монеты не нужен, в качестве переменной для датасета достаточно номинала. И все, собираем датасет подбрасыванием монеты, выход - орел/решка. Дальше простая регрессия.
Но если монета идеальный блин в вакууме
>>502910
Все просто, создаем установку которая будет подкидвать монету с заданными параметрами, все это дело помещаем в среду где внешние влияния исключены по миниму и оба, монета всегда будет лететь по одной и той же траектрии. Где случайность? Нету.
>>502853
>шум из записей которых я удаляю методами теории вероятностей
Вероятно шум, вероятно нет? Лол
>>502919
Это всё очень умозрительно. Создать "установку с одной и той же силой подбрасывающей монетку при постоянных внешних условиях" в реальной жизни невозможно. У тебя тысяча погрешностей во всех частях системы, которые в итоге и дадут тебе постоянно различные броски монеты. Реальный бросок монеты - это реальный бросок монеты в реальной жизни, его невозможно предсказать как раз из-за огромного числа внешних факторов. Даже перечислив все эти факторы ты не сможешь обеспечить постоянство их значений во времени. Отсюда и рождается случайность.
>Реальный бросок монеты - это реальный бросок монеты в реальной жизни, его невозможно предсказать как раз из-за огромного числа внешних факторов. Даже перечислив все эти факторы ты не сможешь обеспечить постоянство их значений во времени. Отсюда и рождается случайность.
Все верно, но это не случайность, если ты будешь соблюдать все факторы, то все будет повторятся.
Тогда о чем разговор? У нас здесь ML-тред, все, что имеет отношение к обсуждаемой теме - это байты внутри компьютера. Если шум, создаваемый электронным газом в проводнике, можно предсказать, зная положение всех электронов в какой-то момент времени, мне от этого ни жарко, ни холодно. Для меня эта инормация неизвестна и никогда не будет известна. Ты конечно можешь сказать клиентам, мол, ща все просто, мы создадим установку, а студию звукозаписи поместим вакуум, но это слегка нерабочий вариант. Поэтому заткнись, скука, и жри тервер. А эту философию про классический детерминизм попробуй студенткам филфака впаривать.
Да, в мире, где ты сможешь обеспечить постоянство всех внешних факторов влияющих времени случайности не будет. Но это не про наш мир.
И то что ты можешь такое себе мысленно представить ничего не меняет.
Пожалуй ты прав. Прекращаю.
> Значит, что теорвер к реальности не имеет никакого отношения.
Дебилок ты. Если существуют нестохастические процессы, как это отменяет существование стохастических? Пример я приводил, с изотопом.
data = np.column_stack((cancer.data, cancer.target))
index = pd.RangeIndex(start=0, stop=569, step=1);
columns = np.append(cancer.feature_names, 'target');
df = pd.DataFrame(data=data, index=index, columns=columns)
print("Data Column Size: " + str(np.size(data) / 569))
print("Features Column Size: " + str(np.size(columns)))
return df
answer_one()
Как вернуть 15 колонок из 30?
Спасибо
Смотрите, сколько кроме него разнообразных неграмотных шизов понабежало в тред.
Ты уже местная достопримечательность, киса. Не боись, тебя прогонять не будем.
первые 15 колонок из 30 для pd.DataFrame:
df = pd.DataFrame(... ... ...)
df.iloc[:, :15]
Если хочешь названия первых 15 колонок:
df.columns[:15]
Виноват, исправлюсь.
Тексты, зрение и днк.
Начинать лучше с кераса. А там уже похуй будет
![изображение.png](/pr/big/thumb/1492664/15718615069010s.jpg)
Про правдоподобие - Лагутин наглядная математическая статистика
Про лог регрессию https://see.stanford.edu/materials/aimlcs229/cs229-notes1.pdf
Анончик, ну пойми ты меня. Меня аж трясёт от дифференцирования матриц. Есть, что-то полегчче ?
Слабак
Логистическая регрессия это то же что линейная с другим датасетом. (Вместо x и y у тебя x и logit(y)) . Линейная аппроксимирует датасет гиперплоскостью. Что может быть проще? Какие гиперпараметры, ты о чем
У тебя когда при вычислении предела 0/0 вылезает ты тоже бежишь всех пиздаболами называть?
Только там минус бесконечность в нуле и плюс бесконечность в единице, просто отлично.
То же самое. Ты не можешь построить таким образом логистическую модель из-за вылезшей бесконечности, но когда модель уже построена, она функционирует именно так: имея logit(p)=Wx, у тебя есть линейная модель y=Wx, где y=logit(p).
Может, тебе StatQuest поможет
https://www.youtube.com/watch?v=yIYKR4sgzI8
https://www.youtube.com/watch?v=BfKanl1aSG0
Ты какой-то ебнутый. Он всё правильно написал. Вместо евклидового пространства у тебя основаное на логистической кривой. Гиперпараметры - количество фич, это всё.
Cпасибо, анон!
У кого производная больше?
>Линейная аппроксимирует датасет гиперплоскостью.
Линейная регрессия существует только как линейная связь между двумя классами.
Все верно, теперь нужно соединить все точки карандашем
бумп
Тот опыт, который испытал субъект. Анон изучает монады - это его субъективный опыт, который он осознает. Может ли быть подобное осознание у нейронной сети, или это просто тупой механизм, отображающий векторы в векторы?
>Анон изучает монады - это его субъективный опыт, который он осознает.
Вполне возможно, что анон пиздит, а в его мозге сидит команда из инопланетян, которые открывают его рот.
Субъективный опыт недоказуем. У тебя в голове есть такой силлогизм
1. Я испытываю субъективный опыт
2. Другие люди устроены как я
Следовательно, другие испытывают субъективный опыт.
Но оба этих утверждения недоказуемы. Твой субъективный опыт - иллюзия нейросети в мозге. А другими людьми вообще инопланетяне могут управлять и врать тебе о своем опыте.
Поэтому если вопрос в том, может ли нейронка испытывать иллюзию самосознания - достаточно сложная может, кто запретит. Но будешь ли ты в это верить - вряд ли. Она ведь не будет похожа на человека.
Какая разница? Лишь бы распознавала.
https://www.youtube.com/watch?v=7jmBE4yPrOs
https://www.youtube.com/watch?v=Mz3Mu9e0qRQ
> complicated hilbert space
О, антиматаношизик, похоже, индуса консультировал.
Почему одни элементы в квадратных скобках, а другие нет?
Потому что это питун ебаный
Чому не на русском?
![15710663501340.gif](/pr/big/thumb/1492664/15720559835590s.jpg)
Вся суть зумеров вкатывальщиков. Один не знает, что такое сигма, другой не знает зачем в пистоне квадратные скобки, хотя пытается пользоваться именно пистоном. Тайдмены, реально...
Няште меня в жопу своими интегралами
ты забыл добавить, что первая - kmeans, а вторая knn
Пока есть идея тренировать оче маленькую сетку и классифицировать на каждом кадре, а историю классификаций (а точнее внутренних представлений перед слоем логитов) аггрегировать attention'ом.
Есть какие-то статьи посвященные классификации серий изображений? Как такая задача вообще правильно называется на английском? На paperswithcode не нашел такой рубрики, может плохо искал.
Твоё "лучше" будет меняться в зависимости от выбранной метрики. Поэтому я и спрашиваю конкретно для ROC AUC.
>с крестами, паразитируя таким образом на его высокой производительности.
Добавляя свою низкую?
> Прочитал почему питон оказался в бигдате и нейронках.
Сойбои и всякая индусня больше ни во что не может.
Добавляя однопоток.
шиз местный, детектится по картинкам зумеров, хуюмеров, наличие в тексте слов: тайд, вкатывалищики, automl и тд
я думаю что в логистической регрессии гиперплоскость проводится произвольным образом, просто главное чтоб она разделяла два класса, это в svm'ах гиперплоскость проводится оптимальным образом(на опорные вектора, точки)
![Screenshot from 2019-10-28 15-35-45.png](/pr/big/thumb/1492664/15722662317420s.jpg)
Была лет 5 назад реализация такой шляпы - growing neural gas. Делала ровно то, что ты хочешь- заполнение 2д изображения точками и ребрами между ними, причем в отдельном тексте выводила даже координаты точек и пар точек, связанных ребрами, типа неориентированных графов. Вот к этому пейперу https://www.sciencedirect.com/science/article/pii/S0925231213009259 материалы, причем были даже бинарники под шиндовс, реально работающие с картинками.
спасибо
![P90606-214741.jpg](/pr/big/thumb/1492664/15723071860870s.jpg)
Насколько трудно будет найти работу в машоб?
Имеет ли смысл сначала вкатываться в другие отрасли?
Меня не особо волнует именно зарплата, тк готов быть стажером за опыт и строчку в резюме, но я хз как проанализировать рынок ДС для вката. Сам бы хотел работать над чем=то полезным.
Я пробовал веб, но там меня только бэкенд привлекает, тк дизайню я как мудак.
Перефразирую вопрос: стоит ли вкатываться в программирование через машоб или искать другие ниши?
![15692170381210.gif](/pr/big/thumb/1492664/15723164968680s.jpg)
рубрика ежедневный зумерошизик
Скажите, пожалуйста, может уже обсуждалсь, но я не видел-есть ли какие-то способы набраться проектного опыта с помощью фриланса? Увы, не могу дропнуть неткущую работу, не связанную с тематикой треда. ПОнимаю, что это не пыха какая-то, но знакомый урвал на фрилансе какой-то проект по анализу для вкшечки, еще один работает по фрилансу для консалта.
Их спрашивать не хочу, т.к. ебал их в рот.
Питон прекрасно подходит как раз для подобных задач, если реализовывать все адекватно с покрытием тестами и прочими свистелками-перделками для проверки стабильности кода. А человек, который юзает левый скрипт из тырнетиков, сам несёт ответственность за корректность результатов должен осознавать, что никто не сможет гарантировать ему корректность результатов.
![15716812200671.jpg](/pr/big/thumb/1492664/15723997700200s.jpg)
Бомбит с существования молодого поколения ИТТ точно один
Не, ток бочку делаю.
![sWJBAs0.gif](/pr/big/thumb/1492664/15724279595340s.jpg)
ВНИМАНИЕ ЗУМЕРОШИЗИК!
Да
Вообще-то он прав. И даже энштейн ещё десятилетия назад это признавал, и честно говорил что у него банально нету идей как представить это всё лучше.
В реальности не существует никаких вероятностей. Всё детерминировано физически и химически, если что-то невозможно это невозможно. Обезьяна не напишет войну и мир сколько бы она не тыкала на кнопки. Бесконечность вселенной вовсе не означает бесконечное множество цивилизаций, и прочее.
> Всё детерминировано физически и химически
Что там у тебя детерминировано? Неточность в разных вариантах это фундаментальное свойство всего начиная с квантов. Уроки делай иди, детерминист бабушкин.
Нету никаких неточностей, есть лишь неточность представления на уровне человеческой системы. Ты повторяешь безмозгло постулаты и даже не понимаешь о чём речь.
![15686456905830.jpg](/pr/big/thumb/1492664/15724539385800s.jpg)
Я тебя услышал. Конечно же, любой зумер с клиповым мышлением знает лучше чем все физики и математики вместе взятые, как я мог забыть.
Если бы было детерминировано, то ты бы был слепой и проваливался сквозь землю. Ты че такой тугой?
Даже не знаю, стоит ли тебе про неравенства белла рассказывать. Думаю, нет, не осилишь.
Действительно - не осилил
Им не придается такая энергия на трансформацию. Некоторые трансформируются если есть достаточно энергии.
Я б не взял.
Если ты задаешь такие вопросы, и тем более на дваче, тебе не стоит задумываться о производительности в этом ключе.
Будет, если дефолтная сборка не задействует векторные возможности типа fma/avx. Обычная сборка с march native мало даст.
Тензорфлоу задействует, поэтому мне приходится наоборот перекомпилировать с march native для своего некрожелеза.
Няште меня в попку, я Алиса!
Ты кусок говна, который решает внутренние проблемы компании при помощи нейронок. Ты никогда не осилишь годные вещи типа применения нейронок в биологии и биоинформатике, потому что ты тупая пизда, задрочившая керас.
Но ведь волновая функция эволюционирует УНИТАРНО, а значит детерминировано и обратимо.
inkscape делает из этого не линию, а закрашенную область
Хнык, а я бы мог им нейроночку сделать, чтобы цены оптимизировать. Вместе мы бы до нитки ободрали нищих иванов. Можно было бы открыть там же кредитное агентство, чтобы загонять их в беспросветные долги. А потом эти долги можно было бы отрабатывать, работая непосредственно в самой пятерочке! Так мы бы загнали в рабство всю сраную рашку, даже пынька ваш как батрак бы вкалывал, носился бы мухой товары по полкам раскладывать в кремлевском отделении пятерочки. Вот как я бы мог, весь мордор бы поработил нейроночкой. А ты мне... продавцом. Эх.
Нейронки гуглу столько денег сохранили, а ты выебываешься из-за того что наши аналоговнеты пытаются подражать.
> наши аналоговнеты пытаются подражать.
Блинопынеходия и машоб вещи несовместимые. Вот были два советских специалиста по машобу - Вапник и Червоненкис. Угадай, кто из них сьебал из рашки и уже на западе стал основателем самого перспективного направления машоба и жив-здоров, а кто остался в Блинолопатии и помер страшной смертью, замерзнув на улице во время сердечного приступа, потому что всем похуй. Свои специалисты в Рашке не нужны, а зумеры вкатывальщики только хуи сосать умеют, вот и вся правда жизни.
![shamo.jpeg](/pr/big/thumb/1492664/15725112966870s.jpg)
>Свои специалисты в Рашке не нужны
Нахуй нам эта матанопетушня, пусть уебуют. И ты тоже не нужен. Кококо, нейропетушка обидели.
и как я тебе угадаю, по фамилии непонятно
>вам
Жителям России, если всех датасаинтистов заберут рептилоиды, то внезапно, ничего для человечества не изменится.
![7cf56f308fa5c294.jpg](/pr/big/thumb/1492664/15725196559000s.jpg)
Я тебе больше скажу, если Блинолопатия вот прямо сейчас провалится под землю, для человечества ничего не изменится.
>для человечества ничего не изменится
Тики выиграли? Я конечно понимаю, что матанопетушня по большей части ксенопатриоты и русофобы, типичные клиенты хабра, но что тогда ты здесь забыл? Я не плохо зарабатываю в России и вижу для себя переспективы, но я не дататасаентист и не матанопетух.
https://www.youtube.com/watch?v=-O_hYhToKoA
https://github.com/CorentinJ/Real-Time-Voice-Cloning
>нужно только натренировать нейроночку
В НЛП она соснет как обычно
>клонировать любой русский голос.
Это еще что такое? Русский язык разным голосом? Так это не получится, скринь. Флексии и плавающие ударения дают пасасать любому Фапнику.
Возможно, проще нанять пародиста, есть у меня идеификс такой как озвучить эту пасту, какой то анон даже озвучивал уже, но получилось так себе.
можно заставить пародиста спародировать шлюху и выебать его.
Ты не в тот тред воюешь, хрюн
> Да потребуется порядка 300 часов датасетов с субтитрами от РАЗНЫХ людей
Зачем от разных? Гораздо лучше будет, если эту пасту нейроночка зачитает голосом самого мусорка.
вот у тебя есть черные и белые точки
случайным образом сэмплируешь несколько черных точек и строишь цифру, как-то соединяя отрезками эти точки. Оцениваешь качество с помощью iou или L0-norm.
повторяешь N раз, оставляешь лучший вариант.
Если керас старый, добавь кастомную метрику (model.metrics_tensors += [tenzor]. В более новых версиях это почему-то выпилили. или тебе жадное выполнение нужно?
Пороговая обработка, затем выделение контура, затем выделение строк и выделение там построчных цепочек пикселей, затем нахождение центра тяжести такой цепочки и объединение центров цепочек в граф, затем упрощение графа с помощью удаления нод, которые имеют связь с двумя нодами и при этом эти связи параллельны.
Для mnist сойдёт, для твоей ебы не знаю.
Можно натренить нейронку для маппинга цифр в маску перед первой стадией, как нейронкой векторизовать не знаю.
смузихлеб образца 2020-ого
>>509316
Мда, ума на уровне хлебушка, только кривляния имбециальные и попугайские повторения.
Вообще-то закон сохранения энергии как раз и является возможным и всегда выполняется, именно потому что всё детерминировано, а у людей просто не хватает данных и воображения вот они придумывают потешные костыли уровня кота шрёдингера для описания всей этой системы.
Ты даже не в курсе что многие базовые понятия вроде времени или пространства не существуют в реальном мире, это просто абстрактные костыли иначе мозг банально не может описать бесконечные непрерывные процессы взаимодействия всего со всем, без подобной искусственной дискретизации, разбивания на начало и конец, на отдельные являния, строго ранжирование по понятной приматам линеечке. А потом дурачьё которое даже минимальное пониманием не обладает и верит будто чисто человеческие линеечке на что-то там в мире реально влияют, буквально на уровне верунов.
Аутист, не выебывайся своими знаниями. Ты даже тян сводить на ВР-аттракцион неможешь, чмо.
мимо Алиса
Бухаешь что ли?
Хуя ты гений, телевизор поди смотришь? К чему ты все это высрал, тайдмен? Умные люди все это не только понимали уже тысячи лет назад, но и придумали как использовать в практической деятельности, благодаря чему ты сейчас в интернете с компьютера пишешь всякую хуйню, а не в пещере на хую у вождя соседней деревни кукарекаешь. Абстрактное мышление и науки это деятельность человека, понять смысла которой ты не способен, потому что зумер с клиповым "мышлением", ещё и ЛГБТ быдлан.
Абстрактные науки никак не противоречат детерминированности мира (см., например, интерпретацию Эверетта)
>ты сейчас в интернете с компьютера пишешь
О, сразу видно школьника, у которого прогресс это кудахтер на принципах ткацкого станка. Когда человечество научится на изи вылетать за прелелы верхних слоев атмосферы и не жечь динозавров в ДВС с 30% КПД, тогда приходи.
К нам с Алисой приходи
>>509316
>>509324
>>509323
>>511037
>>511150
>>511281
Вся эта наука-хуюка, физика-хуизика — это всё для ватников совковых, питушков грошовых, недобитой вшивой интеллигенции. Это только они в своих засраных НИИ пердолятся, потому что нет у них ни дома, ни семьи, ни бабы, ни работы нормальной. Вот и хвастаются друг перед другом своими никому не нужными знаниями, да ещё тем, консолькой пердолятся в срачельничек. А нам, нормальным людям, и так неплохо. Работа приличная, платят много, дома красивая девушка ждёт, можно на досуге в игры поиграть — что ещё нужно? На хуй нам эти ваши нейтрино с бозонами и коллайдерами всрались?
Ну-ну, глупенькие питушки, не плачьте, лучше бегите в свои сраные НИИ пердолиться консольками и компилировать свои сраные програмки для анализа столкновений протонов. Да подгузники поменять не забудьте, а то в ваших пердоликовых лабораториях и в туалет-то не выйти, ибо он в аварийном состоянии, а уборщица спокойно прогуливает работу и при этом получает больше, чем вы.
Зато вы можете друг перед другом хвастаться тем, как много вы знаете законов Ньютона, от этого и боль в пердаке от многолетнего пердолинга и питания дошираками легче становится, правда? Только вот к нормальным людям со своими физиками не лезьте. Мы, нормальные люди, таких как вы задотов ещё в школе в унитазе топили, и сейчас на вас только плевать будем. Потому что вы гниль, говно и паразиты, вы с вашими бесполезными "исследованиями" и сраными формулами и теориями только зря место занимаете, вы хуже бомжей, потому что бомжи хоть в интернете не срут своим блядским квантмехом.
Причём здесь нии если вся информация давно в открытом доступе.
Или ты из эпохи бумажных писем капчуешь?
Поговорил с пастой - день прожил не зря.
Привет, я Алиса, давайте поболтаем?
Выглядит как недоработанный генетический алгоритм
>>510908
Начиная с выделения строк перестал понимать. Можно ссылку на статью где так делали? Или подробней описать шаги? Или переписать термины на английском, а то не эти не гуглятся. А так совет очень похож на правильный. Кажется это то что надо
ПОЛЧИЩА СКОТОУБЛЮДОЧНЫХ ПОЦРЕОТОВ
Потомственные зомби, продукт отрицательного отбора. Нищие ноулайферы, озлобленные, тупые, с отсутствием каких-либо перспектив в жизни. Обитают на Двач/Пораше, с вечно красными глазами, жирные, не занимаются спортом, плохая гигиена, нездоровый внешний вид, плохое питание в силу бедности. Ментальные рабы, которые не могут ничего сделать без сапога государства в известном месте, полностью заслужили всё что с ними происходит в Этой Стране. Живут на подачки от государства, сами не способны к творческой деятельности и саморазвитию. Чаще всего подрабатывают 15-рублёвыми шлюхами. Их портяночный патриотизм обычно заключается в постинге картинок со свиньями на фоне флага Украины, визги капсом, слюнявое восхваление Путина, которого они считают своим богом. Яростно ненавидят даже саму возможность обсуждения свободного общества. Некоторые поют гимны СССР, дескать вот тогда была жизнь, забывая что в СССР была скотская нищета, хотя и равномерно распределённая. Впрочем их статус сегодня не слишком изменился, поэтому им просто печёт от зависти, что большинство живут лучше чем они. Дико бомбят от дизайнеров, айтишников, юристов, экономистов, считая их врагами народа. Аналогично ненавидят США и ЕС, и корневая причина здесь тоже зависть.
Чтобы компенсировать свою неполноценность, они сублимируют в мифическое величие России и одновременно пытаются внушить своим неуклюжими постами, что в Европе чуть ли не поголовно все гомики, Запад морально слаб и разваливается, надо только поднажать. Гомиков, кстати русские поцреоты вспоминают постоянно и при любом случае. Забавно, что при этом поцреоты не выезжали из своего Мухосранска и мира не видели. Подчиняясь стадному чувству и геополитическим маркерам эти вырожденцы умудряются одобрять КНДР, Китай, Иран и другие ущербные страны. Много лет грозятся уничтожить Америку, но сами не способны даже сделать попытку улучшить свою никчёмную жизнь, например хотя бы отремонтировать свою конуру. Про таких Артемий Лебедев писал: "оставайтесь в жопе".Выражая свой патриотический угар в характерной скотской манере, они сами того не осознавая, надёжно дискредитируют российские патриотические инициативы. Само их существование убедительно подтверждает, что патриотизм в современной России - удел тупого агрессивного быдла.
(Автор этого поста был забанен. Помянем.)
ПОЛЧИЩА СКОТОУБЛЮДОЧНЫХ ПОЦРЕОТОВ
Потомственные зомби, продукт отрицательного отбора. Нищие ноулайферы, озлобленные, тупые, с отсутствием каких-либо перспектив в жизни. Обитают на Двач/Пораше, с вечно красными глазами, жирные, не занимаются спортом, плохая гигиена, нездоровый внешний вид, плохое питание в силу бедности. Ментальные рабы, которые не могут ничего сделать без сапога государства в известном месте, полностью заслужили всё что с ними происходит в Этой Стране. Живут на подачки от государства, сами не способны к творческой деятельности и саморазвитию. Чаще всего подрабатывают 15-рублёвыми шлюхами. Их портяночный патриотизм обычно заключается в постинге картинок со свиньями на фоне флага Украины, визги капсом, слюнявое восхваление Путина, которого они считают своим богом. Яростно ненавидят даже саму возможность обсуждения свободного общества. Некоторые поют гимны СССР, дескать вот тогда была жизнь, забывая что в СССР была скотская нищета, хотя и равномерно распределённая. Впрочем их статус сегодня не слишком изменился, поэтому им просто печёт от зависти, что большинство живут лучше чем они. Дико бомбят от дизайнеров, айтишников, юристов, экономистов, считая их врагами народа. Аналогично ненавидят США и ЕС, и корневая причина здесь тоже зависть.
Чтобы компенсировать свою неполноценность, они сублимируют в мифическое величие России и одновременно пытаются внушить своим неуклюжими постами, что в Европе чуть ли не поголовно все гомики, Запад морально слаб и разваливается, надо только поднажать. Гомиков, кстати русские поцреоты вспоминают постоянно и при любом случае. Забавно, что при этом поцреоты не выезжали из своего Мухосранска и мира не видели. Подчиняясь стадному чувству и геополитическим маркерам эти вырожденцы умудряются одобрять КНДР, Китай, Иран и другие ущербные страны. Много лет грозятся уничтожить Америку, но сами не способны даже сделать попытку улучшить свою никчёмную жизнь, например хотя бы отремонтировать свою конуру. Про таких Артемий Лебедев писал: "оставайтесь в жопе".Выражая свой патриотический угар в характерной скотской манере, они сами того не осознавая, надёжно дискредитируют российские патриотические инициативы. Само их существование убедительно подтверждает, что патриотизм в современной России - удел тупого агрессивного быдла.
(Автор этого поста был забанен. Помянем.)
Все верно, братуха
Большое спасибо, не сказать что панацея, но ресурсы компа не жрет(можно время на треню какой нить модели потратить на теорию к примеру), вообще спасибо анон, действительно спасибо!
А как зарегаться как студент?
>Можно ссылку на статью где так делали
Пфф, статью
>Начиная с выделения строк перестал понимать.
Допустим твое изображение выглядит так.
000011000110000000001100
000011111110000000111111
000011110000000000000111
Ты должен вычислить где идут непрерывные единицы подряд. Ближайший алгоритм который я знаю называется RLE, но RLE кодирует идущие подряд нули и единицы, а здесь нужно просто, мол, первая цепочка в строке с такого-то по такой пиксель, вторая с такого-то по такой.
Эти единицы подряд назовем цепочкой единиц. В первой строке их 3, во второй 2, в третей 2.
Затем нужно у каждой такой цепочки найти соседей в соседних строках и составить граф. Например у первой цепочки во второй строке 2 соседа сверху и 1 сосед снизу. У второй цепочки во второй строке 1 сосед сверху и 1 сосед снизу.
Затем у каждой такой цепочки нужно найти центр. Если оставить только центры, ты получишь такую хуйню:
000010000100000000001000
000000010000000000000100
000000100000000000000010
В которой центры нужно соединить так же, как в составленном тобой графе, т.е. только с соседями.
После этого можно начать выпрямлять граф, удаляя лишние ноды. Тут можно напридумывать много эвристик. Например, очевидно, что вторая нода во второй строке не нужна, потому что она соединяет два почти коллинеарных ребра.
у твоей тоже нулевая, так как вопрос детерминирован/недетерминирован мир - это отвлечённый философский вопрос, не имеющий никакого практического выхлопа.
Тайд иди доедай, школопитек. Дальше одного поста клиповое мышление уже не работает?
>не имеющий никакого практического
Конечно, был такой пидор, звали его Максвел и решил он както раз в своем уравнении сократить эфир, вначале расчетов он был, а потом он не стал. Ты из таких же практиков?
2080 чуть лучше, потому что 1080Ti не может нормально в FP16, и на FP16 он работает на уровне 2060. В FP32 2080 сравним с тиайнутым 1080 (но 2080Ti дрючит 1080Ti естественно).
Но ты с ценами ознакомься. 1080Ti сейчас на авито стоит 25-35К, а 2080 50К. А для разработки две карты лучше чем одна двойной производительности. Потому что одна ебашит, на другой ты работаешь.
Так что выбор пацанов - мать с двумя дырами под GPU и два 1080Ti.
А выбор нищебродов - 2060 и тренинг на FP16.
Была там кучка пидарасов, свидетели секты «Теории скрытых параметров», но после неравенств Белла их всех нахуй послали вместе с лошками детерменистами.
Вообще интересное наблюдение, что на бордах дохуя детерменисто-шизиков всегда ошивалось. Хз в чем популярность этого говна мамонта у битордиков, наверное, каким-то образом даёт возможность оправдать собственную нелепость, беспомощность и нихуянеделание. Типа как у инцелов, подборордок не вырос, всё пиздец, прийдётся всю жизнь дрочить, ничего уже не изменить, не фартануло, эх.
Я вообще не понимаю, почему о детерминизме и индетерминизме спорят в терминах физики. Это метафизические концепции и они находятся вне юрисдикции любой из эмпирических дисциплин по определению, включая физику.
Ты сейчас описал выделение строк после пороговой обработки. А в изначальной инструкции перед этим ещё и edge detection предлагал делать. Если искать так линии на контуре цифры, то это просто сделает контур более сглаженным, а не нарисует линии поверх цифр.
В матлабе есть функция regionprops, которая выделяет регионы - то есть связные области пикселей, и находит для них разные фичи, типа площади, баундинг бокса, центра тяжести и кучи всего еще. Это удобно, потому что после пороговой обработки тебе нужно будет как минимум выкинуть однопиксельный мусор и прочее говно, выбрав только тот регион, в котором больше всего пикселей, или еще тут. В opencv если тебе нужна подобная функциональность, нужно пилить велосипед на findContours/drawContours, по типу https://stackoverflow.com/questions/12732379/matching-regionpropx-area-of-matlab-in-opencv
Я писал с телефона и мне было лень расписывать все (на самом деле даже первый пост должен был подтолкнуть тебя в правильном направлении), поэтому написал как написал. Но это не про edge detection, это про выделение регионов.
А я вообще не понимаю, что вы забыли в ML-треде.
Изначально пришел шизик-кефирщик с батхертом на теорвер. Хотя теорвер работает даже в полностью детерминированном мире, потому что он не про детерминизм, а про неполноту информации. На что ему было указано парой анонов. Но так как шизик тупой, он перешел в плоскость принципиально непроверяемой метафизики. Там-то он король.
И в тред насыпало других шизиков из протекшей какой-то другой доски, толи философской, то ли религиозной.
![рыбников.jpg](/pr/big/thumb/1492664/15727985309400s.jpg)
Ну так то похуй, работает тервер в полностью детерминированном мире или нет. С помощью него люди решают вполне прикладные задачи, те же самые нейроночки без тервера не могли бы делать. Альтернативы терверу в этих прикладных задачах не было и нет, мб когда-нибудь появится.
Кагбэ математика и наука мб это и наеб гоев на даллары, но с помощью них летают самолеты и ездят машины. Пока что машины, которая ездила бы благодаря счету древних русов, не изобрели.
![1572416945167557623.png](/pr/big/thumb/1492664/15728036043700s.jpg)
На мой единственный пруф ты ответил "Вероятно шум, вероятно нет". Потому что это твой уровень - где-то между вирусом и одноклеточным животным. Ты слишком тупой даже чтобы троллить.
С хуя ли единственный. Мне УПРОЩАТЬ ПРИМЕРЫ чтобы они в твой мозг влезли? Не буду. Развивайся сам, к пенсии дорастешь, может, быть.
Ты тот анон, которы звукорежиссер?
> в чем популярность этого говна мамонта у битордиков
Это снимает с них ответственность за собственную никчемность.
![15724582133430.png](https://2ch.life/pr/thumb/1492664/15728235771090s.jpg)
> Я его и не учу
Нет конечно. Для этого мозги нужны, а у всяких малолетних тайдменов типа тебя их нет.
так ты ещё и эфирофрик?
![изображение.png](https://2ch.life/pr/thumb/1492664/15728502198070s.jpg)
Ну ты хоть почитай, что делает ебань, которую первой строкой кода загружают.
Из того что нашёл, вроде пишут что в любом случае нужно relu на все скрытые слои.
![15691541056760.png](https://2ch.life/pr/thumb/1492664/15729524990610s.jpg)
> Prajit Ramachandran, Barret Zoph, Quoc V. Le
> как распознать соевое СЖВ чтиво: в авторах обязательно индус Свами Срунавас и китаец Сунь Хуй Чай
Это копия, сохраненная 18 ноября 2019 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.