Двач.hk не отвечает.
Вы видите копию треда, сохраненную 26 мая 2020 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Вы видите копию треда, сохраненную 26 мая 2020 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Очередной тред про хипстерские технологии, которые не работают.
Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".
Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.
Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материала
В чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examples
Где набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/
Где работать? https://www.indeed.com/q-deep-learning-jobs.html
Где узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихся
Где посмотреть последние статьи? http://www.arxiv-sanity.com/
Где ещё можно поговорить про анализ данных? http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущий:
https://2ch.hk/pr/res/1578978.html (
М)
Архивач:
http://arhivach.ng/thread/412868/
Остальные в предыдущих тредах
Там же можно найти треды 2016-2018 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".
Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.
Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материала
В чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examples
Где набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/
Где работать? https://www.indeed.com/q-deep-learning-jobs.html
Где узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихся
Где посмотреть последние статьи? http://www.arxiv-sanity.com/
Где ещё можно поговорить про анализ данных? http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущий:
https://2ch.hk/pr/res/1578978.html (
М)Архивач:
http://arhivach.ng/thread/412868/
Остальные в предыдущих тредах
Там же можно найти треды 2016-2018 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
187 Кб, 1080x608Надо ли к каждому скрытому слою применять функцию активации и дропаут?
>>15012
Делай как хочешь. Релу во все поля обычно нормально работает.
Делай как хочешь. Релу во все поля обычно нормально работает.
170 Кб, 326x281>>14936 (OP)
что такое модель для tensorflow если своими словами?
что такое модель для tensorflow если своими словами?
>>15466
почему не функция?
почему не функция?
>In machine learning, a model is a function with learnable parameters that maps an input to an output.
>>15479
Ты просил своими словами - я написал своими словами. Функция лучше подходит, но не похуй ли
Ты просил своими словами - я написал своими словами. Функция лучше подходит, но не похуй ли
>>15372
Множество, которое изменяется под воздействием минимизации ошибки.
Множество, которое изменяется под воздействием минимизации ошибки.
>>15766
Да я мимо проходил, не разбираюсь в этом хипстерском говне.
https://colah.github.io/posts/2014-03-NN-Manifolds-Topology/
Да я мимо проходил, не разбираюсь в этом хипстерском говне.
https://colah.github.io/posts/2014-03-NN-Manifolds-Topology/
>>15766
Тогда формула. Функция подразумевала бы тождественность моделей при совпадении домена и кодомена, чего в случае tf нет, у тебя могут быть разные модели, выдающие одно и то же при одних и тех же входных данных. Но если тебя это ебет, то это не я баран, а ты аутист ебаный, который вместо понимания решил заниматься стандартным для аутистов буквоедством.
>конечно не похуй
Тогда формула. Функция подразумевала бы тождественность моделей при совпадении домена и кодомена, чего в случае tf нет, у тебя могут быть разные модели, выдающие одно и то же при одних и тех же входных данных. Но если тебя это ебет, то это не я баран, а ты аутист ебаный, который вместо понимания решил заниматься стандартным для аутистов буквоедством.
>>15769
я про летнюю школу
я про летнюю школу
Зумерошизик скоро повеситься https://news.rambler.ru/education/43736940-shkolnikov-v-rossii-zastavyat-izuchat-iskusstvennyy-intellekt/
>>16359
А причем тут школа? Они там вообще уже запутались что для чего? Школа для фундаментальных знаний, для проф обучения ПТУ, для науки ВУЗы.
>выпускники школ в России сегодня совершенно не интересны рынку труда.
>«В стране крайне низок процент выпускников школ, прошедших профессиональное обучение, имеющих некую профессию и готовых начать трудовую жизнь»
А причем тут школа? Они там вообще уже запутались что для чего? Школа для фундаментальных знаний, для проф обучения ПТУ, для науки ВУЗы.
>>16484
Какая разница, подо что в тилибон тыкать? Рассказывала марьванна про теорему Виета, теперь будет про перцептрон. Будто что-то изменится.
Какая разница, подо что в тилибон тыкать? Рассказывала марьванна про теорему Виета, теперь будет про перцептрон. Будто что-то изменится.
>>16167
Что поставить на Win7, чтобы взять и начать вникать?
Что хочу научиться делать - обучить нейроночку игре в крестики-нолики, потом в игры с russianAiCup 2015-16, потом в свою пошаговую стратегию
Keras+TensorFlow+Jupyter Notebook пойдет?
Что поставить на Win7, чтобы взять и начать вникать?
Что хочу научиться делать - обучить нейроночку игре в крестики-нолики, потом в игры с russianAiCup 2015-16, потом в свою пошаговую стратегию
Keras+TensorFlow+Jupyter Notebook пойдет?
>>16657
Скачать книжку барто и саттона, просмотреть practical rl и/или berkeley cs285, пролистать spinningup.openai.com/. Естественно, после изучения основ тф/кераса.
там 3 ифа решают игру, выбери посложнее что-нибудь
codewizards не сможешь, с гонками хз. Имхо, легче всего должна зайти madcars с mini ai cup
что за стратегия, если не секрет?
>Что поставить на Win7, чтобы взять и начать вникать?
Скачать книжку барто и саттона, просмотреть practical rl и/или berkeley cs285, пролистать spinningup.openai.com/. Естественно, после изучения основ тф/кераса.
>обучить нейроночку игре в крестики-нолики
там 3 ифа решают игру, выбери посложнее что-нибудь
>потом в игры с russianAiCup 2015-16
codewizards не сможешь, с гонками хз. Имхо, легче всего должна зайти madcars с mini ai cup
>потом в свою пошаговую стратегию
что за стратегия, если не секрет?
>>16698
Это все хорошо, но мне НИНУЖНО, вопрос больше про практическую часть. Заведется ли все это на Win7 в принципе.
Да и пофиг, для хеллоу ворлда, не? Не с шахмат же начинать.
Почему? На хабре есть примерное описание.
Секрет, ну допустим что-то похожее на Neverwinter Nights.
>Скачать книжку барто и саттона, просмотреть practical rl и/или berkeley cs285, пролистать spinningup.openai.com/. Естественно, после изучения основ тф/кераса.
Это все хорошо, но мне НИНУЖНО, вопрос больше про практическую часть. Заведется ли все это на Win7 в принципе.
>там 3 ифа решают игру
Да и пофиг, для хеллоу ворлда, не? Не с шахмат же начинать.
>codewizards не сможешь
Почему? На хабре есть примерное описание.
>что за стратегия, если не секрет?
Секрет, ну допустим что-то похожее на Neverwinter Nights.
25 Кб, 584x120CV адепты других доменов не могут придумать?
че за наебалово я вас спрашиваю!!!
че за наебалово я вас спрашиваю!!!
>>16704
должно завестись, в крайнем случае всегда есть докер
Там что-то близкое к рандому уже неплохо работать будет. Какой-нибудь connect four с кегла лучше взять, имхо.
700 место, DDPG в POMDP без памяти/рекуррентных сетей, всратый формат наблюдений. Если тебя такое устраивает, то удачи.
>Заведется ли все это на Win7 в принципе
должно завестись, в крайнем случае всегда есть докер
>Да и пофиг, для хеллоу ворлда, не?
Там что-то близкое к рандому уже неплохо работать будет. Какой-нибудь connect four с кегла лучше взять, имхо.
>Почему? На хабре есть примерное описание.
700 место, DDPG в POMDP без памяти/рекуррентных сетей, всратый формат наблюдений. Если тебя такое устраивает, то удачи.
Можно ли самостоятельно за конечное время меньше, чем за год? получить знания и навыки, с помощью которых можно было бы что-нибудь заработать здесь https://www.upwork.com/freelance-jobs/machine-learning/? Предполагается, что математику я знаю.
>>17418
Задачки на кагле.
Задачки на кагле.
>>17259
Пока соснул, у меня процессор два ядра без AVX, тензорфлоу не встал. Хотя я собирался gpu пользоваться, может завтра найду решение.
Пока соснул, у меня процессор два ядра без AVX, тензорфлоу не встал. Хотя я собирался gpu пользоваться, может завтра найду решение.
>>17599
Решение либо собрать tensorflow самому (на древнем железе собираться будет часов 10, не меньше), либо устанавливать древнюю версию без avx, то ли 1.0.9, то ли 1.0.4 ЕМНИП
Для обучения керасу сойдет, на сам тф не трать время, у него все апи перепидорасилось
Решение либо собрать tensorflow самому (на древнем железе собираться будет часов 10, не меньше), либо устанавливать древнюю версию без avx, то ли 1.0.9, то ли 1.0.4 ЕМНИП
Для обучения керасу сойдет, на сам тф не трать время, у него все апи перепидорасилось
>>17606
Попробую тут у васяна скачать, вроде есть 2.0 на SSE2.
https://github.com/fo40225/tensorflow-windows-wheel
Понятно, спасибо. Но ему же какой то бекенд все равно нужен вроде?
Попробую тут у васяна скачать, вроде есть 2.0 на SSE2.
https://github.com/fo40225/tensorflow-windows-wheel
>Для обучения керасу сойдет
Понятно, спасибо. Но ему же какой то бекенд все равно нужен вроде?
>>17606
А, т.е. ты имел в виду что любой tf ставить.
А, т.е. ты имел в виду что любой tf ставить.
>>17608
Ну да, бинарник под винду возможно кто-то уже собрал вместе с майнером биткоинов
Тф да, у версии кераса есть минимально требуемая версия тф, но в целом керас более консистентен и стабилен, поэтому даже на древней версии можно сидеть учиться без проблем.
Потом научишься и у мамки денег на новую пеку попросишь, благо будешь уже не просто лодырем, а ML-инжинером, на зависть зумерошизикам
Ну да, бинарник под винду возможно кто-то уже собрал вместе с майнером биткоинов
Тф да, у версии кераса есть минимально требуемая версия тф, но в целом керас более консистентен и стабилен, поэтому даже на древней версии можно сидеть учиться без проблем.
Потом научишься и у мамки денег на новую пеку попросишь, благо будешь уже не просто лодырем, а ML-инжинером, на зависть зумерошизикам
>>17418
Выковыривай из этой помойки student assignments. Т.е. готовые домашки студентам. Они простые и устроены так, что любая манька разберется. Сделав так пару десятков домашек, считай, что универский курс по ML освоил. Правда зарабатывать ты будешь $3 в час в лучшем случае, потому что студенты больше ста баксов платить не будут, а ебаться с каждым заданием ты будешь дня по три, не меньше.
В общем, листаешь задания, отбираешь их. Если хоть примерно понимаешь, о чем речь, восполняешь пробелы информации. Пока восполняешь, задание с 90% соскочит, но с 10% можешь отписать автору. Дальше с горящей жопой жулика делаешь его неделю, получаешь сто баксов.
Если сделать не можешь - закрываешь заказ и вежливо сливаешься до тех пор, пока тебе перечислили деньги, тогда негативый отзыв тебе не поставят. Дальше при определенном везении через год такого ебланства ты будешь знать об ML больше, чем какой-нибудь московский корпоративный хуесос.
Путь сильно спорный, но рабочий.
Выковыривай из этой помойки student assignments. Т.е. готовые домашки студентам. Они простые и устроены так, что любая манька разберется. Сделав так пару десятков домашек, считай, что универский курс по ML освоил. Правда зарабатывать ты будешь $3 в час в лучшем случае, потому что студенты больше ста баксов платить не будут, а ебаться с каждым заданием ты будешь дня по три, не меньше.
В общем, листаешь задания, отбираешь их. Если хоть примерно понимаешь, о чем речь, восполняешь пробелы информации. Пока восполняешь, задание с 90% соскочит, но с 10% можешь отписать автору. Дальше с горящей жопой жулика делаешь его неделю, получаешь сто баксов.
Если сделать не можешь - закрываешь заказ и вежливо сливаешься до тех пор, пока тебе перечислили деньги, тогда негативый отзыв тебе не поставят. Дальше при определенном везении через год такого ебланства ты будешь знать об ML больше, чем какой-нибудь московский корпоративный хуесос.
Путь сильно спорный, но рабочий.
>>17624
Спасибо за ответ. А где получить начальные знания чтоб вообще приступить к этой теме? Онлайн курсы подойдут для этого?
Спасибо за ответ. А где получить начальные знания чтоб вообще приступить к этой теме? Онлайн курсы подойдут для этого?
>>17685
для кого интересно шапку вообще писали
для кого интересно шапку вообще писали
>>14936 (OP)
Есть датасет с отзывами, нужно из этих документов-отзывов вытащить темы, потом на основе отношения документа к темам дать ответ.
Пока вопрос стоит как вытащить темы с помощью нейронок, ответ будет из набора готовых ответов.
Я могу сделать через классический Topic Modeling с помощью ARTM, но точность меня явно не устраивает, хотя модель настроил нормально.
Через векторы по FastText я тоже пробовал, но держать такую большую модель в памяти желания особо нет.
Какое направление в нейронках гуглить? Это задача Text classification ведь, правильно я понимаю?
Topic modeling, как я понял, обычно относят к классическим вероятностным алгоритмам (ARTM, LDA, PLSA).
Нашел одну научную работу, которая подходит под мои цели: https://www.aclweb.org/anthology/N18-1145.pdf , но прежде чем кидаться имплементировать их модель я решил у анонов проконсультироваться.
Есть датасет с отзывами, нужно из этих документов-отзывов вытащить темы, потом на основе отношения документа к темам дать ответ.
Пока вопрос стоит как вытащить темы с помощью нейронок, ответ будет из набора готовых ответов.
Я могу сделать через классический Topic Modeling с помощью ARTM, но точность меня явно не устраивает, хотя модель настроил нормально.
Через векторы по FastText я тоже пробовал, но держать такую большую модель в памяти желания особо нет.
Какое направление в нейронках гуглить? Это задача Text classification ведь, правильно я понимаю?
Topic modeling, как я понял, обычно относят к классическим вероятностным алгоритмам (ARTM, LDA, PLSA).
Нашел одну научную работу, которая подходит под мои цели: https://www.aclweb.org/anthology/N18-1145.pdf , но прежде чем кидаться имплементировать их модель я решил у анонов проконсультироваться.
>>18058
Тогда BERT советовать, как я понимаю, бесполезно.
Не знаю тут специализирующихся на NLP не-шизиков.
>но держать такую большую модель в памяти желания особо нет.
Тогда BERT советовать, как я понимаю, бесполезно.
Не знаю тут специализирующихся на NLP не-шизиков.
>>18123
Но в целом я в верном направлении рассуждаю, что задача "определения темы документа/коллекции", относится к задаче Text classification и нужно копать в этом направлении?
Но в целом я в верном направлении рассуждаю, что задача "определения темы документа/коллекции", относится к задаче Text classification и нужно копать в этом направлении?
>>18180
Классификация подразумевает что
1. У тебя supervised алгоритм. То есть ты заранее знаешь, какие у тебя будут лейблы, в твоем случае топики. Topic modelling - это unsupervised algorithm по извлечению топиков из датасета.
2. Что тема в каждом тексте скорее всего одна (потому что говоря classification мы скорее всего говорим о multi-class classification, а не multi-output classification, т.е. на картинке либо кот, либо негр, а кот с негром выдаст не P=1 для кота и P=1 для негра, а P=0.5 для кота и P=0.5 для негра, что методологически неверно)
На практике это проявляется в том, что если у тебя на конце нейронки softmax, который
The softmax function squashes all values of a vector into a range of [0,1] summing together to 1. Which is exactly what we want in a single-label classification. But for our multi-label case, we would like our resulting class probabilities to be able to express that an image of a car belongs to class car with 90% probability and to class accident with 30% probability etc.
Классификация подразумевает что
1. У тебя supervised алгоритм. То есть ты заранее знаешь, какие у тебя будут лейблы, в твоем случае топики. Topic modelling - это unsupervised algorithm по извлечению топиков из датасета.
2. Что тема в каждом тексте скорее всего одна (потому что говоря classification мы скорее всего говорим о multi-class classification, а не multi-output classification, т.е. на картинке либо кот, либо негр, а кот с негром выдаст не P=1 для кота и P=1 для негра, а P=0.5 для кота и P=0.5 для негра, что методологически неверно)
На практике это проявляется в том, что если у тебя на конце нейронки softmax, который
The softmax function squashes all values of a vector into a range of [0,1] summing together to 1. Which is exactly what we want in a single-label classification. But for our multi-label case, we would like our resulting class probabilities to be able to express that an image of a car belongs to class car with 90% probability and to class accident with 30% probability etc.
Можно ли грубо сказать, что в некотором роде нейронка напоминает дерево принятия решений?
>>18290
Может ли в задаче классификации сигмоида применяться ко всем слоям? Или к последнему слою надо что-то иное типа софтмакса применять если классов много?
Может ли в задаче классификации сигмоида применяться ко всем слоям? Или к последнему слою надо что-то иное типа софтмакса применять если классов много?
>>18293
Можешь что угодно делать, лишь бы функция потерь была и градиенты считались. Сигмоиду на последний слой обычно лепят, если классификация мультилейбловая. Для мультиклассовой есть софтмакс, зачем ещё что-то выдумывать?
Можешь что угодно делать, лишь бы функция потерь была и градиенты считались. Сигмоиду на последний слой обычно лепят, если классификация мультилейбловая. Для мультиклассовой есть софтмакс, зачем ещё что-то выдумывать?
Занимаюсь в инициативном порядке нейросетками в гос. конторе поднаторел в этом деле и решил перекатиться в коммерцию ( прогаю на питоне)
Вопрос такой, что вообще необходимо знать, чтобы джуном взяли? Из теории, например? Или какие библиотеки?
По джаве или питону, например, все просто - зашёл в ютуб, вбил собеседование джава и куча видосов.
Подскажите что-нибудь подобное, чтобы подробно было описано, а то все что не найду конкретики никакой
Вопрос такой, что вообще необходимо знать, чтобы джуном взяли? Из теории, например? Или какие библиотеки?
По джаве или питону, например, все просто - зашёл в ютуб, вбил собеседование джава и куча видосов.
Подскажите что-нибудь подобное, чтобы подробно было описано, а то все что не найду конкретики никакой
>>14936 (OP)
Двэч, призываю анонов-тензорфлоу экспертов.
Пытаюсь понять как зафигачить правильный пайплайн для обучения ТФ и Керас моделей, чтобы загрузка ГПУ была побольше, обучение шло побыстрее, всё скейлилось и тд. В чём профит tfrecord? Пробовал с ними и без них, результаты такие: если делаешь через fit_generator то работает медленно, потому что питон не может многопоточно запихивать данные в модель и никакого prefetch нету, если делаешь через tf dataset API работает быстро, загрузка ГПУ 95-97%, вне зависимости от того, джпеги я читаю, или tfrecords. Более того, я думал, что tfrecords -- структурированный формат, наподобии .npy, но реально это просто сериализованные в стринг данные, т.е записать картинку как тензор и потом прочитать без обработки нельзя, нужно писать как бинарную строку и потом опять декодировать со всеми вытекающими. Это оно почему так сделано? Чтобы переносимость между платформами была, тип чтобы везде работало? В бинарном виде такого нельзя добиться?
Тханкс за ответы.
Двэч, призываю анонов-тензорфлоу экспертов.
Пытаюсь понять как зафигачить правильный пайплайн для обучения ТФ и Керас моделей, чтобы загрузка ГПУ была побольше, обучение шло побыстрее, всё скейлилось и тд. В чём профит tfrecord? Пробовал с ними и без них, результаты такие: если делаешь через fit_generator то работает медленно, потому что питон не может многопоточно запихивать данные в модель и никакого prefetch нету, если делаешь через tf dataset API работает быстро, загрузка ГПУ 95-97%, вне зависимости от того, джпеги я читаю, или tfrecords. Более того, я думал, что tfrecords -- структурированный формат, наподобии .npy, но реально это просто сериализованные в стринг данные, т.е записать картинку как тензор и потом прочитать без обработки нельзя, нужно писать как бинарную строку и потом опять декодировать со всеми вытекающими. Это оно почему так сделано? Чтобы переносимость между платформами была, тип чтобы везде работало? В бинарном виде такого нельзя добиться?
Тханкс за ответы.
>>18293
Сигмоида имеет насыщение, которое убивает градиенты в ноль. Если между точкой твоего графа и выходом (т.е. точкой входа бэкпропагейшена) 3 сигмоиды без skip коннекшенов, обучаться будет вечность. Поэтому их нужно применять грамотно, с умом, иначе они убьют тебе весь gradient flow
>>18350
По дефолту да
Сигмоида имеет насыщение, которое убивает градиенты в ноль. Если между точкой твоего графа и выходом (т.е. точкой входа бэкпропагейшена) 3 сигмоиды без skip коннекшенов, обучаться будет вечность. Поэтому их нужно применять грамотно, с умом, иначе они убьют тебе весь gradient flow
>>18350
По дефолту да
>>18484
Да в общем-то я тебе все написал. Гугли vanishing gradients problem, можешь еще пейпер по swish почитать, разобрать как lstm устроена - почему там сигмоиды есть, но их можно стекать
Да в общем-то я тебе все написал. Гугли vanishing gradients problem, можешь еще пейпер по swish почитать, разобрать как lstm устроена - почему там сигмоиды есть, но их можно стекать
>>18488
Спасибо.
Спасибо.
>>18480
В обучении на йоба-кластерах с пересылкой данных между кластерами
Говнище короче оверинжинернутое, как и сам tf
Не, это protobuf, это сериализованные бинарные данные
Во-первых, укажи use_multiprocessing=True и настрой его
https://stackoverflow.com/questions/55531427/how-to-define-max-queue-size-workers-and-use-multiprocessing-in-keras-fit-gener
Но. Процессы питона живут в разных адресных пространствах, поэтому дохуя оверхеда тратится на упаковку и распаковку данных между ними. В частности, велика вероятность, что каждый воркер будет держать у себя по копии гигабайтного датасета, а еще все это дело будет полчаса запускаться, пока эти гигабайтные датасеты будут копироваться между воркерами.
Поэтому открой для себя numpy memmap. В инициализации воркера ты создаешь np.memmap, отображая датасет из файла в память, и так как все воркеры будут смотреть на один и тот же файл, ОС это увидит и объединит память.
Вообще numpy memmap сильно недооценен. Когда ты его используешь, датасет у тебя просто лежит на диске, питон считает его просто numpy массивом, а менеджментом памяти занимается ОС. Это позволяет заниматься машобом датасетов в десятки гигабайт даже на машине с 8 ГБ памяти.
>В чём профит tfrecord
В обучении на йоба-кластерах с пересылкой данных между кластерами
Говнище короче оверинжинернутое, как и сам tf
>но реально это просто сериализованные в стринг данные
Не, это protobuf, это сериализованные бинарные данные
>если делаешь через fit_generator то работает медленно, потому что питон не может многопоточно запихивать данные в модель и никакого prefetch нету
Во-первых, укажи use_multiprocessing=True и настрой его
https://stackoverflow.com/questions/55531427/how-to-define-max-queue-size-workers-and-use-multiprocessing-in-keras-fit-gener
Но. Процессы питона живут в разных адресных пространствах, поэтому дохуя оверхеда тратится на упаковку и распаковку данных между ними. В частности, велика вероятность, что каждый воркер будет держать у себя по копии гигабайтного датасета, а еще все это дело будет полчаса запускаться, пока эти гигабайтные датасеты будут копироваться между воркерами.
Поэтому открой для себя numpy memmap. В инициализации воркера ты создаешь np.memmap, отображая датасет из файла в память, и так как все воркеры будут смотреть на один и тот же файл, ОС это увидит и объединит память.
Вообще numpy memmap сильно недооценен. Когда ты его используешь, датасет у тебя просто лежит на диске, питон считает его просто numpy массивом, а менеджментом памяти занимается ОС. Это позволяет заниматься машобом датасетов в десятки гигабайт даже на машине с 8 ГБ памяти.
>>18506
Думал об этом, но к чему ган применять? Чтобы было какое-то практическое применение.
Думал об этом, но к чему ган применять? Чтобы было какое-то практическое применение.
>>15766
братиш, тогда сьеби не трать время зря, не мешай "баранам" опщаца.
Думает, что кто будет цепляться за хамло, да еще и проверяльщика/нюфага.Да в твоих маняфантазиях приходит такой гейрой к нормальным спецам и начинает хуйню спрашивать азовую. Сразу трусы на голову наденут и под шконарь палками загонят.
братиш, тогда сьеби не трать время зря, не мешай "баранам" опщаца.
Думает, что кто будет цепляться за хамло, да еще и проверяльщика/нюфага.Да в твоих маняфантазиях приходит такой гейрой к нормальным спецам и начинает хуйню спрашивать азовую. Сразу трусы на голову наденут и под шконарь палками загонят.
>>18508
генерация лиц людей, text-to-image, image-to-image, super resolution, photo inpainting
генерация лиц людей, text-to-image, image-to-image, super resolution, photo inpainting
>>18522
Спасибо тебе!
Спасибо тебе!
>>18496
Спасибо, анон, стало намного понятнее, конечно некрасиво это выглядит, костыльно как-то, хотелось бы чтобы tensorflow всё от начала до конца делал.
Спасибо, анон, стало намного понятнее, конечно некрасиво это выглядит, костыльно как-то, хотелось бы чтобы tensorflow всё от начала до конца делал.
93 Кб, 1233x1001>>17617
Весь вечер провозился, с третьей попытки все поставил.
Получился такой винегрет
CUDA+cudnn 9.2
python 3.6.4
tensorflow-gpu 1.10.0
keras 2.2.4
jupyterlab 2.0.0
numpy 1.14.5, scikit-learn 0.22.2
Не пойму как заставить эту дрянь считать только на GPU, все равно лезет на мои драгоценные два ядра, которые я не хочу перегревать лишний раз.
Весь вечер провозился, с третьей попытки все поставил.
Получился такой винегрет
CUDA+cudnn 9.2
python 3.6.4
tensorflow-gpu 1.10.0
keras 2.2.4
jupyterlab 2.0.0
numpy 1.14.5, scikit-learn 0.22.2
Не пойму как заставить эту дрянь считать только на GPU, все равно лезет на мои драгоценные два ядра, которые я не хочу перегревать лишний раз.
>>18557
CPU готовит данные для видюхи в любом случае, но саму нейронку он обсчитывать не будет.
Если у тебя на MNIST ядра сильно греются, это потому что видюха быстро отрабатывает, а CPU не успевает, на реальной задаче (картинке хотя бы 200х200х3, а не 27х27х1) CPU будет простаивать большую часть времени
CPU готовит данные для видюхи в любом случае, но саму нейронку он обсчитывать не будет.
Если у тебя на MNIST ядра сильно греются, это потому что видюха быстро отрабатывает, а CPU не успевает, на реальной задаче (картинке хотя бы 200х200х3, а не 27х27х1) CPU будет простаивать большую часть времени
>>18561
Об этом я не подумал. Думал он просто распределил нагрузку на гпу и оба ядра цпу. Выглядит слишком горячим, с 40 до 60 градусов. У меня в играх так не всегда. Завтра проверю по времени обучения если гпу отключить. В целом первый день считаю успешным.
Об этом я не подумал. Думал он просто распределил нагрузку на гпу и оба ядра цпу. Выглядит слишком горячим, с 40 до 60 градусов. У меня в играх так не всегда. Завтра проверю по времени обучения если гпу отключить. В целом первый день считаю успешным.
>>18569
Батчсайз увеличь до 10000 (или какой там максимум у датасета), тогда GPU захлебнется, а CPU будет хуи пинать
Батчсайз увеличь до 10000 (или какой там максимум у датасета), тогда GPU захлебнется, а CPU будет хуи пинать
>>18569
Можешь во время выполнения чекать гпушку с помощью nvidia-smi
Можешь во время выполнения чекать гпушку с помощью nvidia-smi
35 Кб, 690x661Антоны, есть у кого-нибудь какие-нибудь соображения, почему обучение идет вот так вот?
>>18480
Как минимум для охуенного сжатия файлов.
> Это оно почему так сделано? Чтобы переносимость между платформами была, тип чтобы везде работало? В бинарном виде такого нельзя добиться?
Как минимум для охуенного сжатия файлов.
>>18561
Буквально в среду выяснил, что у некоторых операций в tensorflow 1.15 нет cuda-ядра (конкретно embedding_lookup_sparse).
>но саму нейронку он обсчитывать не будет
Буквально в среду выяснил, что у некоторых операций в tensorflow 1.15 нет cuda-ядра (конкретно embedding_lookup_sparse).
23 Кб, 306x565>>18784
Я знаю, что такое learning rate) Как видишь, одноцикловая политика применяется.
Разобрался, тащемта, проблема была в том, как я подаю данные в модель, разбил один tfrecord файл на 32, теперь DatasetDataProvider перетасовывает источники данных вместе с обычным батч шаффлингом, и нет больше таких скачков.
Алсо, посоны, я все думаю, чего я сижу на старой InceptionV3 модели, как минимум в слиме есть Inception ResNet v2, у которого результаты лучше.
Но есть ли другие CNN, которые на данный момент выдают лучшие результаты и не жрут очень много памяти при обучении?
Я знаю, что такое learning rate) Как видишь, одноцикловая политика применяется.
Разобрался, тащемта, проблема была в том, как я подаю данные в модель, разбил один tfrecord файл на 32, теперь DatasetDataProvider перетасовывает источники данных вместе с обычным батч шаффлингом, и нет больше таких скачков.
Алсо, посоны, я все думаю, чего я сижу на старой InceptionV3 модели, как минимум в слиме есть Inception ResNet v2, у которого результаты лучше.
Но есть ли другие CNN, которые на данный момент выдают лучшие результаты и не жрут очень много памяти при обучении?
239 Кб, 1666x1330>>18925
А я тебе говорил, что ты не мешаешь нихуя. Правда способ которым ты мешаешь какой-то странный.
EfficientNetB5
EfficientNetB0
>Разобрался, тащемта, проблема была в том, как я подаю данные в модель
А я тебе говорил, что ты не мешаешь нихуя. Правда способ которым ты мешаешь какой-то странный.
>Но есть ли другие CNN, которые на данный момент выдают лучшие результаты
EfficientNetB5
> и не жрут очень много памяти при обучении?
EfficientNetB0
>>18959
Да, ты изначально был прав, Анон, от твоего ответа я и отталкивался.
Издержки либы, она хоть и устарела, но я уже привык.
Окей, тогда доработаю датасет до тех пор, пока нынешняя модель не будет выдавать хороший результат и уже потом перепишу.
> А я тебе говорил, что ты не мешаешь нихуя. Правда способ которым ты мешаешь какой-то странный.
Да, ты изначально был прав, Анон, от твоего ответа я и отталкивался.
> Правда способ которым ты мешаешь какой-то странный.
Издержки либы, она хоть и устарела, но я уже привык.
> EfficientNetB5
Окей, тогда доработаю датасет до тех пор, пока нынешняя модель не будет выдавать хороший результат и уже потом перепишу.
Допустим есть датафрейм с данными, которые потом будут переданы в нейросеть.
Что делать с значениями NaN в столбце? Столюец - тестовый, просто заполнить средним или 0 не канает.
Просто дропнуть?
Что делать с значениями NaN в столбце? Столюец - тестовый, просто заполнить средним или 0 не канает.
Просто дропнуть?
>>19392
Заполнить средним/медианой или каким-то значением вне диапозона или выбросить весь столбец. В принципе деревья решений могут работать с нанами.
Заполнить средним/медианой или каким-то значением вне диапозона или выбросить весь столбец. В принципе деревья решений могут работать с нанами.
>>19392
Что это значит? В тренировочных данных его нет или все заполнено? И то и то не будет работать, в тренировочных данных тогда тоже нужно добавить NaN.
Как вариант добавь еще одну ось, типа is_stolbec_nan, и заполняй его 1, если в столбце stolbec NaN. Тогда есть шанс, что нейронка выцепит что к чему.
>Столюец - тестовый
Что это значит? В тренировочных данных его нет или все заполнено? И то и то не будет работать, в тренировочных данных тогда тоже нужно добавить NaN.
Как вариант добавь еще одну ось, типа is_stolbec_nan, и заполняй его 1, если в столбце stolbec NaN. Тогда есть шанс, что нейронка выцепит что к чему.
>>19392
можешь попробывать псевдо лейблинг, это когда ты пропущенные значения предсказываешь другой моделью(обычным бустом) а потом заполняешь пропуски предсказаниями
можешь попробывать псевдо лейблинг, это когда ты пропущенные значения предсказываешь другой моделью(обычным бустом) а потом заполняешь пропуски предсказаниями
>>19514
Окей, попробую.
>>19543
Это значит, что в столбце указывается город. Для большей части строк он есть, для меньшей отсутствует. Причём, там где есть, данные не очищены - где-то просто город, где-то город и щтат, где-то город и страна, где-то город и индекс, в одном месте вообще просто континент указан.
>>19603
Yo dawg, I heard you like model, I also heard you like predictions... so we put a model into model so you can predict while you predict.
Спасибо, посмотрю.
Окей, попробую.
>>19543
>Что это значит?
Это значит, что в столбце указывается город. Для большей части строк он есть, для меньшей отсутствует. Причём, там где есть, данные не очищены - где-то просто город, где-то город и щтат, где-то город и страна, где-то город и индекс, в одном месте вообще просто континент указан.
>>19603
Yo dawg, I heard you like model, I also heard you like predictions... so we put a model into model so you can predict while you predict.
Спасибо, посмотрю.
Сяп аноны, пытаюсь классифицировать данные и возник такой вопрос. Кароч, я, как полагается, все категориальные данные перевёл в количественным с помощью one-hot-encoding, а потом понял, что колонка, где лежали классы, на основе которых нужно было обучать данные, тоже разбилась на несколько колонок. Соответственно тут возникает вопрос - так и должно быть? Результат от входных параметров может быть получен в виде нескольких колонок? Если нет, то как тогда правильно делать в этом случаи? Слышал, что есть ещё кодирование данных, но оно вносит ранжирования, которого среди моих классов нет.
>>20008
Это вопрос техники. Возможно, во фреймворке, с которым ты работаешь, предполагается, что на вход методы fit() модели ты передашь просто вектор ответов, тогда не надо - так работает sklearn. А может, предполагается, что передаётся уже двоичная матрица one-hot, и тогда надо - так работает keras. Короче, читай документацию, что там ожидается.
Это вопрос техники. Возможно, во фреймворке, с которым ты работаешь, предполагается, что на вход методы fit() модели ты передашь просто вектор ответов, тогда не надо - так работает sklearn. А может, предполагается, что передаётся уже двоичная матрица one-hot, и тогда надо - так работает keras. Короче, читай документацию, что там ожидается.
63 Кб, 210x210Анон, подскажи, пожалуйста.
Есть одна задача по NLP. В принципе, я представляю, как её решать, вопрос в другом. Решил я посмотреть уже готовые решения, и вот один товарищ https://www.kaggle.com/gunesevitan/nlp-with-disaster-tweets-eda-cleaning-and-bert в пункте 4.2 очистку текста проводит, фактически, вручную. Это так и должно быть? Есть же техники лемматизации и стемминга для подобных целей. Или я чего-то не понимаю?
Есть одна задача по NLP. В принципе, я представляю, как её решать, вопрос в другом. Решил я посмотреть уже готовые решения, и вот один товарищ https://www.kaggle.com/gunesevitan/nlp-with-disaster-tweets-eda-cleaning-and-bert в пункте 4.2 очистку текста проводит, фактически, вручную. Это так и должно быть? Есть же техники лемматизации и стемминга для подобных целей. Или я чего-то не понимаю?
>>20314
как ты автоматически собрался разбивать "GOPDebate" на"GOP Debate" и "USAgov" на "USA government" ?
Ну и он в комментах пишет "I started NLP last month so I haven't done much research about those text processing libraries"
как ты автоматически собрался разбивать "GOPDebate" на"GOP Debate" и "USAgov" на "USA government" ?
Ну и он в комментах пишет "I started NLP last month so I haven't done much research about those text processing libraries"
Хочу попробовать чего. Ваш тензорфлоу под питон и это меня поражает, можно сказать я в осадок выпал.
Мне в самом деле стоит использовать питон? Это точно не говно ебаное?
Если я хочу поэкспериментировать - эта штука позволяет добавлять свои функции активации, и позволяет ли соединять нейроны произвольным образом, с обратными связями, связями через несколько слоёв, не полную связь слоя со слоем и всё в таком роде? Или просто сложный конструктор, где можно собирать блоки из деталей и учить это с графиками?
Пока не слишком разобрался что оно умеет, тыкаю методом тыка пример с грузовиками/самолётами/кошечками пытаясь какие-то принципы выбора структуры сетей выработать. Очень нравится, как ребёнку.
Это норма, что при попытке использования gpu половина моделей вылетает с ошибками cudnn, но на процессоре всё работает? Или нужно переставлять?
Этой штуке действительно нужно по 20к примеров, и обучить по 500 примерам чему-то вразумительно невозможно?
Мне в самом деле стоит использовать питон? Это точно не говно ебаное?
Если я хочу поэкспериментировать - эта штука позволяет добавлять свои функции активации, и позволяет ли соединять нейроны произвольным образом, с обратными связями, связями через несколько слоёв, не полную связь слоя со слоем и всё в таком роде? Или просто сложный конструктор, где можно собирать блоки из деталей и учить это с графиками?
Пока не слишком разобрался что оно умеет, тыкаю методом тыка пример с грузовиками/самолётами/кошечками пытаясь какие-то принципы выбора структуры сетей выработать. Очень нравится, как ребёнку.
Это норма, что при попытке использования gpu половина моделей вылетает с ошибками cudnn, но на процессоре всё работает? Или нужно переставлять?
Этой штуке действительно нужно по 20к примеров, и обучить по 500 примерам чему-то вразумительно невозможно?
>>20502
Какая штука, которую ты скрыл под спойлером? Писать научись сначала, чтобы читающий не ебал мозг с твоим художественным форматированием
>Если я хочу поэкспериментировать - эта штука
Какая штука, которую ты скрыл под спойлером? Писать научись сначала, чтобы читающий не ебал мозг с твоим художественным форматированием
>>20502
Нет, юзай плюсы, потом расскажешь как оно там.
Тебе нужен pytorch.
Нет.
В зависимости от задачи и данных естественно. Погугли.
> Мне в самом деле стоит использовать питон? Это точно не говно ебаное?
Нет, юзай плюсы, потом расскажешь как оно там.
> Если я хочу поэкспериментировать - эта штука позволяет добавлять свои функции активации
Тебе нужен pytorch.
> Это норма, что при попытке использования gpu половина моделей вылетает с ошибками cudnn
Нет.
> Этой штуке действительно нужно по 20к примеров, и обучить по 500 примерам чему-то вразумительно невозможно?
В зависимости от задачи и данных естественно. Погугли.
Антоны, у меня вылетает ошибка
ValueError: Negative dimension size caused by subtracting 3 from 1 for 'AttentionOcr_v1/conv_tower_fn/INCE/InceptionV3/Mixed_7a/Branch_0/Conv2d_1a_3x3/Conv2D' (op: 'Conv2D') with input shapes: [64,1,42,192], [3,3,192,320].
С чем это может быть связано? Пытаюсь использовать самый глубокий слой, может у меня просто слишком маленькие картинки? На других слоях работает, на любом слое Mixed_7 вылетает подобная ошибка
ValueError: Negative dimension size caused by subtracting 3 from 1 for 'AttentionOcr_v1/conv_tower_fn/INCE/InceptionV3/Mixed_7a/Branch_0/Conv2d_1a_3x3/Conv2D' (op: 'Conv2D') with input shapes: [64,1,42,192], [3,3,192,320].
С чем это может быть связано? Пытаюсь использовать самый глубокий слой, может у меня просто слишком маленькие картинки? На других слоях работает, на любом слое Mixed_7 вылетает подобная ошибка
>>20582
Да, слишком маленькие картинки.
На входе картинка 1x42, он пытается применить к ней фильтр 3x3 с пэддингом valid и вылетает.
Да, слишком маленькие картинки.
На входе картинка 1x42, он пытается применить к ней фильтр 3x3 с пэддингом valid и вылетает.
>>20331
Очевидно, что чем больше данных, тем меньше их можно чистить, моделька все равно разберется.
Ну и к тому же это соревнование на кеггле, где тысячные значения метрики решают. Там можно и терабайты поразбирать (например, брать самые частые слова в корпусе, которых нет в твоём словаре, а ля "USAgov")
Очевидно, что чем больше данных, тем меньше их можно чистить, моделька все равно разберется.
Ну и к тому же это соревнование на кеггле, где тысячные значения метрики решают. Там можно и терабайты поразбирать (например, брать самые частые слова в корпусе, которых нет в твоём словаре, а ля "USAgov")
>>14936 (OP)
Аноны, есть приложуха на питоне которая считывает видеопоток с IP камеры и определяет лица. Хотелось бы сделать так, чтобы в режиме реального времени она могла определять принадлежит ли лица того/тех людей которых сейчас снимают мне(или какой-то определённой группе лиц), и если нет, то выдавало бы какое-то сообщение. Я совсем не представляю как поступиться ко второй части , возможно аноны знают какое-то готовое решение, или могут на правильный путь?
Аноны, есть приложуха на питоне которая считывает видеопоток с IP камеры и определяет лица. Хотелось бы сделать так, чтобы в режиме реального времени она могла определять принадлежит ли лица того/тех людей которых сейчас снимают мне(или какой-то определённой группе лиц), и если нет, то выдавало бы какое-то сообщение. Я совсем не представляю как поступиться ко второй части , возможно аноны знают какое-то готовое решение, или могут на правильный путь?
>>20968
Спасибо
Спасибо
>>20692
Хм, а вообще более глубокие фильтры могут сильно влиять на итоговую точность в моем случае?
Авторы пейпера по схожей сети говорили
starts to drop as the depth increases. This trend holds for all three models. We believe the reason for this is that character recognition does not benefit from the high-level features that are needed for image classification. Also, the spatial resolution of the image features used as input for attention decreases after every max pooling operation, which limits the precision of the attention mask on a particular character. We don’t see any dependency between accuracy and the theoretical receptive field of the neurons in the last convolutional layer, but the effective field of view can be much smaller.
Но они работали на FSNS датасете, у меня же датасет с иероглифами, задача немного сложнее.
Вообще, со временем мне задача объединения сетей и использования CNN таким образом перестает казаться разумной, в мире существует множество шрифтов, почему бы не обучить CNN в качестве классификатора.
Хм, а вообще более глубокие фильтры могут сильно влиять на итоговую точность в моем случае?
Авторы пейпера по схожей сети говорили
> We see that the accuracy improves for a while, and then
starts to drop as the depth increases. This trend holds for all three models. We believe the reason for this is that character recognition does not benefit from the high-level features that are needed for image classification. Also, the spatial resolution of the image features used as input for attention decreases after every max pooling operation, which limits the precision of the attention mask on a particular character. We don’t see any dependency between accuracy and the theoretical receptive field of the neurons in the last convolutional layer, but the effective field of view can be much smaller.
Но они работали на FSNS датасете, у меня же датасет с иероглифами, задача немного сложнее.
Вообще, со временем мне задача объединения сетей и использования CNN таким образом перестает казаться разумной, в мире существует множество шрифтов, почему бы не обучить CNN в качестве классификатора.
>>20985
Блять, таки проебал разметку.
Блять, таки проебал разметку.
>>162101
Благодарю
>>20965
Boxplot ака ящик с усами.
Boxplot ака ящик с усами.
>>21166
найди такую же по содержательности статью не на хабре
найди такую же по содержательности статью не на хабре
>>20944
https://pypi.org/project/face-recognition/
Вот тебе без хабра и без теории, просто бери 3 юзкейз и пользуйся.
>>14936 (OP)
Аноны, наверное платина, но всё таки: у меня есть дохерища логов из разных систем. Есть целевая переменная для каждого файла, которая обозначает произошло определённое событие в этом лог файле, или нет. Правильно ли я понимаю, что наилучшим решением будет парсить логи обычным способом (регулярками например) и выковыривать из них какие-то ключевые слова или нграммы? В такой задаче мне вряд ли помогут эмбединги, диплёрнинг и всё такое, правильно?
https://pypi.org/project/face-recognition/
Вот тебе без хабра и без теории, просто бери 3 юзкейз и пользуйся.
>>14936 (OP)
Аноны, наверное платина, но всё таки: у меня есть дохерища логов из разных систем. Есть целевая переменная для каждого файла, которая обозначает произошло определённое событие в этом лог файле, или нет. Правильно ли я понимаю, что наилучшим решением будет парсить логи обычным способом (регулярками например) и выковыривать из них какие-то ключевые слова или нграммы? В такой задаче мне вряд ли помогут эмбединги, диплёрнинг и всё такое, правильно?
>>20940
Поэтому собственно блядский кагл и с его "топами" и не нужен. Превратили все ебучий спорт, где ты вместо того, чтобы набрать побольше данных, вилкой чистишь их датасет.
>Ну и к тому же это соревнование на кеггле, где тысячные значения метрики решают
Поэтому собственно блядский кагл и с его "топами" и не нужен. Превратили все ебучий спорт, где ты вместо того, чтобы набрать побольше данных, вилкой чистишь их датасет.
>>21343
Обученная нейронка на старых логах определит к какому классу относятся новые логи: с ошибками или без.
Обученная нейронка на старых логах определит к какому классу относятся новые логи: с ошибками или без.
>>21364
Спасибо, буду использовать для этой задачи машинное обучение!
А если серьёзно то вопрос заключается в том, в каком виде мне подавать логи в нейронку? Bag of words, TF IDF, прогнать через каждое слово fasttext и усреднить? Все эти варианты выглядят бессмысленными для логов. Можно конечно попробовать построить LSTM и запихивать туда по одному слову, но у неё столько таймстепс будет, что я офигею это дело обучать.
Спасибо, буду использовать для этой задачи машинное обучение!
А если серьёзно то вопрос заключается в том, в каком виде мне подавать логи в нейронку? Bag of words, TF IDF, прогнать через каждое слово fasttext и усреднить? Все эти варианты выглядят бессмысленными для логов. Можно конечно попробовать построить LSTM и запихивать туда по одному слову, но у неё столько таймстепс будет, что я офигею это дело обучать.
>>21343
Да.
> Правильно ли я понимаю, что наилучшим решением будет парсить логи обычным способом (регулярками например)
Да.
>>20502
Юзаешь питон, чтобы поэкспериментировать и обучить модель, экспортишь результат в тензорфлоу лайт, дальше уже запускай чем хочешь, можно на мобилке, можно на плюсах.
Всё позволяет.
Очень долго будешь тыкать, очень непродуктивно. Лучше почитай какие уже существующие архитектуры бывают, посмотри какие из них прямо в Керасе сразу заимплеменчены, когда нормально разберёшься с готовыми архитектурами начинай думать про свои какие-то улучшения (я ещё не дошёл до этого этапа, мои кривые руки делают только хуже обычно).
Точно не норма, переставляй, ищи косяки.
Гугли в сторону трансфер лёрнинг, у меня получалось обучать (дообучать) и меньшим количеством примеров. Это кстати одна из причин, по которой лучше пользоваться предобученными архитектурами, для них сразу есть набор весов, обученных на каком-нибудь imagenet например, самостоятельно на imagenet без ГПУ ты ооочень долго будешь обучаться.
>>18647
Вот не поверил сразу в это утверждение, подумал как это тензорфлоу может магически справляться со сжатием данных лучше, чем специализированные алгоритмы. Взял папку с некоторым количеством jpg файлов, 255 мб. Перегнал её в tfrecords -> 205 мб. Зафигачил её в 7z -> 177 мб. Мораль сей басни такова, что действительно сжимает, но назвать сжатие
охуенным скорее всего нельзя.
> Мне в самом деле стоит использовать питон? Это точно не говно ебаное?
Юзаешь питон, чтобы поэкспериментировать и обучить модель, экспортишь результат в тензорфлоу лайт, дальше уже запускай чем хочешь, можно на мобилке, можно на плюсах.
> Если я хочу поэкспериментировать - эта штука позволяет ...
Всё позволяет.
> Пока не слишком разобрался что оно умеет, тыкаю методом тыка
Очень долго будешь тыкать, очень непродуктивно. Лучше почитай какие уже существующие архитектуры бывают, посмотри какие из них прямо в Керасе сразу заимплеменчены, когда нормально разберёшься с готовыми архитектурами начинай думать про свои какие-то улучшения (я ещё не дошёл до этого этапа, мои кривые руки делают только хуже обычно).
> Это норма, что при попытке использования gpu половина моделей вылетает с ошибками
Точно не норма, переставляй, ищи косяки.
> Этой штуке действительно нужно по 20к примеров, и обучить по 500 примерам чему-то вразумительно невозможно?
Гугли в сторону трансфер лёрнинг, у меня получалось обучать (дообучать) и меньшим количеством примеров. Это кстати одна из причин, по которой лучше пользоваться предобученными архитектурами, для них сразу есть набор весов, обученных на каком-нибудь imagenet например, самостоятельно на imagenet без ГПУ ты ооочень долго будешь обучаться.
>>18647
Вот не поверил сразу в это утверждение, подумал как это тензорфлоу может магически справляться со сжатием данных лучше, чем специализированные алгоритмы. Взял папку с некоторым количеством jpg файлов, 255 мб. Перегнал её в tfrecords -> 205 мб. Зафигачил её в 7z -> 177 мб. Мораль сей басни такова, что действительно сжимает, но назвать сжатие
охуенным скорее всего нельзя.
>>21422
Ну и чисто для полноты сравнения, zip тоже показывает примерно 205 мб.
Ну и чисто для полноты сравнения, zip тоже показывает примерно 205 мб.
Собираю новую машину, стоит ли переплачивать за 2060супер или стоит взять 1660супер. сборка в бюджетная относительно, стоит ли переплачивать 14к за RTX?
>>21449
Сейчас бы насиловать свою машину, когда есть удаленные и даже бесплатные варианты.
Сейчас бы насиловать свою машину, когда есть удаленные и даже бесплатные варианты.
>>21343
Спасибо анон
Спасибо анон
>>20985
Конечно. У тебя же есть пулинг-слои, которые понижают пространственное разрешение в два раза с ростом глубины. Классификатору на это дело насрать, а вот если ты передаешь сырые фичи с нужного слоя, там все будет гораздо сложнее.
Намного проще, если ты передашь информацию с того слоя, где пространственной информации достаточно. А RNN уже разберется с остальным. По идее в этом месте можно добавлять новые слои, но уже без последующих пулингов, тогда возможно точность будет расти дальше. Но не сильно и не много.
>Хм, а вообще более глубокие фильтры могут сильно влиять на итоговую точность в моем случае?
Конечно. У тебя же есть пулинг-слои, которые понижают пространственное разрешение в два раза с ростом глубины. Классификатору на это дело насрать, а вот если ты передаешь сырые фичи с нужного слоя, там все будет гораздо сложнее.
Намного проще, если ты передашь информацию с того слоя, где пространственной информации достаточно. А RNN уже разберется с остальным. По идее в этом месте можно добавлять новые слои, но уже без последующих пулингов, тогда возможно точность будет расти дальше. Но не сильно и не много.
>>21457
Криво написал как-то.
Короче, для максимальной точности нужно правильное разрешение (и размер receptive field), не меньше, не больше. Если хочешь повысить точность, нужно стремиться к этому разрешению, и добавлять новые слои, не увеличивая пулинг
Криво написал как-то.
Короче, для максимальной точности нужно правильное разрешение (и размер receptive field), не меньше, не больше. Если хочешь повысить точность, нужно стремиться к этому разрешению, и добавлять новые слои, не увеличивая пулинг
>>20507
кто платит дата саентологу, тот его и танцует
кто платит дата саентологу, тот его и танцует
22 Кб, 1024x598>>21449
https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/
1660 для дипленинга отпадают, потому что у них 6 гб памяти. Это очень мало, многие модели будут обучаться, если им совсем урезать батчсайз. Для инференса на сервере поставить они норм.
2060 конечно заебись, но они оверпрайснуты из-за хайпа, поэтому если тебе не нужны расчеты в fp16, лучше смотреть на старую добрую 10xx серию.
30% прибавки по перформансу вообще ничего не значат, все равно модель ставить обучать на ночь. Имеет смысл задумываться об апгрейде, когда карта быстрее раза в два-три.
tldr если есть деньги на 2060, бери материнку с двумя слотами под GPU и ставь туда два 1070Ti с 11 гб памяти.
Если денег нет, бери один 1070ti.
https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/
1660 для дипленинга отпадают, потому что у них 6 гб памяти. Это очень мало, многие модели будут обучаться, если им совсем урезать батчсайз. Для инференса на сервере поставить они норм.
2060 конечно заебись, но они оверпрайснуты из-за хайпа, поэтому если тебе не нужны расчеты в fp16, лучше смотреть на старую добрую 10xx серию.
30% прибавки по перформансу вообще ничего не значат, все равно модель ставить обучать на ночь. Имеет смысл задумываться об апгрейде, когда карта быстрее раза в два-три.
tldr если есть деньги на 2060, бери материнку с двумя слотами под GPU и ставь туда два 1070Ti с 11 гб памяти.
Если денег нет, бери один 1070ti.
>>21554
Почему на пикрелейтед 10х0 настолько быстро работают с word RNN?
Почему на пикрелейтед 10х0 настолько быстро работают с word RNN?
106 Кб, 1823x724>>21487
Пикрил.
Ещё можешь взять гугл клауд
> Колаб же не сравнится даже с 1060?
Пикрил.
Ещё можешь взять гугл клауд
> Several GPU types available
> NVIDIA Tesla K80, P100, P4, T4, and V100 GPUs are available today, depending on your compute or visualization needs.
>>21562
Странно, мне казалось я видел 2 версии, с 8 и 11.
Но в любом случае, по текущим ценам 1070ti получается самый выгодный. Хотя если 1080ti за 20к найдешь, типа https://www.avito.ru/moskva/tovary_dlya_kompyutera/videokarta_zotac_gtx_1080_ti_extreme_11gb_1881670765 можно рассмотреть
Бля, надо апдейтиться короче
Странно, мне казалось я видел 2 версии, с 8 и 11.
Но в любом случае, по текущим ценам 1070ti получается самый выгодный. Хотя если 1080ti за 20к найдешь, типа https://www.avito.ru/moskva/tovary_dlya_kompyutera/videokarta_zotac_gtx_1080_ti_extreme_11gb_1881670765 можно рассмотреть
Бля, надо апдейтиться короче
19 Кб, 682x348>>21571
чел зачем тебе тратится на видеокарту когда колаб тебе бесплатно блять теслу п100 даёт, это мега мега йоба карта
чел зачем тебе тратится на видеокарту когда колаб тебе бесплатно блять теслу п100 даёт, это мега мега йоба карта
>>21616
Чел, зачем тебе тратиться на еду, в ночлежках бесплатно кормят
Чел, зачем тебе тратиться на еду, в ночлежках бесплатно кормят
Хелп, interpolate(method='cubic') юзает же вот эту штуку?
https://ru.wikipedia.org/wiki/Кубический_сплайн
https://ru.wikipedia.org/wiki/Кубический_сплайн
Аноны, за месяц нужно запилить нейросеть на питоне, подскажите литературу, желательно, чтобы по проще подавалась инфа. Лучше на русском, хотя и англ подойдет. Нейросеть если что по классификации кредитов.
>>14936 (OP)
Так получилось, что я хотел в науку (фундаментальную математику), но работаю в энтерпрайзе и думаю о том, что у меня нет самореализации. Насколько связано реальное создание нейронок с математикой? Можно ли зарабатывать нейронками и чувствовать, что занимаешься именно математикой, а не прикладным говном? Душа хочет красивых знаний, а продакшена я наелся.
Так получилось, что я хотел в науку (фундаментальную математику), но работаю в энтерпрайзе и думаю о том, что у меня нет самореализации. Насколько связано реальное создание нейронок с математикой? Можно ли зарабатывать нейронками и чувствовать, что занимаешься именно математикой, а не прикладным говном? Душа хочет красивых знаний, а продакшена я наелся.
>>21696
Там же просто какой-то ебучий калькулюс. Даже про идеалы алгебраических многообразий и эллиптические кривые, кривые Эдвардса, многообразия Веронезе ничего нет. Пацаны, стоит ли вкатываться в ваше говно за самореализацией?
Там же просто какой-то ебучий калькулюс. Даже про идеалы алгебраических многообразий и эллиптические кривые, кривые Эдвардса, многообразия Веронезе ничего нет. Пацаны, стоит ли вкатываться в ваше говно за самореализацией?
Вот я изучаю такой многообразия с глубоким внутренним миром, а поделиться этим знанием не с кем. В энтерпрайзе душно, в нейронках, походу, хипторы, уверенные в том, что калькулюс это и есть математика.
>>21696
Основа - матстат. Если копнуть внутрь - линал.
Основа - матстат. Если копнуть внутрь - линал.
Путен, депортируй либерах принудительно на запад
>>21747
Нет, я патриот.
Нет, я патриот.
![cover[1].jpg](https://2ch.hk//pr/src/1614936/15832269443950.jpg)
>>21920
Да, на кеггле ты можешь запускать нотебуки на их железе.
Да, на кеггле ты можешь запускать нотебуки на их железе.
>>21565
Там же вроде только т80? Как выбрать v100?
Там же вроде только т80? Как выбрать v100?
>>20510
Действительно. Спасибо, посмотрю его попозже, надо в тензор всё-таки вникнуть для начала, чтобы понимать код его примеров - потом полезу в торч и сравню производительность, вдруг он в два раза хуже работает.
Хм, переставил те же версии куды, тензора, cudnn и теперь нормально работает. Странная фигня.
>>21422
Как знать. Конкретной задачи то нет, да и я более-менее знал про имеющиеся. Да и всего часов десять потыкал, не так уж и много.
Книжку начал читать, хотя бы просто чтобы имеющиеся в тензоре типы слоёв узнать, а то на сайте довольно скудное описание.
Логика то понятна, свёрточные слои уже научилось выделять какие-то полезные признаки и достаточно лишь верхушку сети переучить, так как скорее всего те полезные признаки более-менее универсальные.
>>21565
Посмотрел, а в чём суть, если обычная видеокарта той же производительности (по крайне мере с 32-битными флоатами) в два-три раза дешевле?
Видно только, производительность 64-битных отличается более чем в десять раз (которая невероятно сильно проседает на видеокарточках). Производительность половинной точности указана только для вычислительных карт - она проседает так же как и двойная точность по сравнению с теслами что ли?
>Тебе нужен pytorch
Действительно. Спасибо, посмотрю его попозже, надо в тензор всё-таки вникнуть для начала, чтобы понимать код его примеров - потом полезу в торч и сравню производительность, вдруг он в два раза хуже работает.
Хм, переставил те же версии куды, тензора, cudnn и теперь нормально работает. Странная фигня.
>>21422
>очень непродуктивно
Как знать. Конкретной задачи то нет, да и я более-менее знал про имеющиеся. Да и всего часов десять потыкал, не так уж и много.
Книжку начал читать, хотя бы просто чтобы имеющиеся в тензоре типы слоёв узнать, а то на сайте довольно скудное описание.
>лучше пользоваться предобученными архитектурами
Логика то понятна, свёрточные слои уже научилось выделять какие-то полезные признаки и достаточно лишь верхушку сети переучить, так как скорее всего те полезные признаки более-менее универсальные.
>>21565
>NVIDIA Tesla
Посмотрел, а в чём суть, если обычная видеокарта той же производительности (по крайне мере с 32-битными флоатами) в два-три раза дешевле?
Видно только, производительность 64-битных отличается более чем в десять раз (которая невероятно сильно проседает на видеокарточках). Производительность половинной точности указана только для вычислительных карт - она проседает так же как и двойная точность по сравнению с теслами что ли?
>>21920
Смотря какую цель ты преследуешь, если просто немного подкачаться, то можешь, если хочешь сражаться за призовые места то маловероятно.
>>21935
kernel-only это чаще всего сабмишен кернел онли, а обучаться нужно на своём железе, чистых кернел онли, где вообще даже данные не дают отдельно я что-то не припомню (но я не особо часто слежу).
>>21951
Гугловый колаб в пользовательском соглашении пишет, что использовать можно только чтобы шарить ноутбуки с другими датасаентистами, немного что-то считать в обучающих целях и всё такое. На практике это значит что они могут раз примерно в 3-4 часа ложить твоё ядро. Если они заподозрят что ты майнишь крипту, положат сразу. Такого, чтобы можно было на ночь колаб оставить, а утром просто проснуться и посмотреть результат у меня ни разу не получалось.
>>22221
Если учишь тензорфлоу то не не сказал бы что так уж нужен. Лучше сначала почитай статей, посмотри сравнения что с какой скоростью работает и для каких задач подходит и потом во что-то одно поинты кидай. Учить сразу и то, и другое смысла не очень много как мне кажется.
Основная суть в том, что нвидиа хочет больше золота. Официально консумерские ГПУ типо 1080 и 2080 запрещено использовать в датацентрах, только дорогие теслы. При желании можно найти кучу хостингов, которые сдадут 1080 в аренду, но вообще по лицензии так нельзя.
Я слышал мнение что это потому, что у Теслы пассивное охлаждение и она лучше приспособлена для длительных нагрузок, но считаю что это бред, потому что на обычных видяхах люди неделями гоняют нейронки и майнят и тоже всё прекрасно работает.
На некоторых задачах тесла действительно решает, но для диплёрнинга обычные видяхи лучше.
Смотря какую цель ты преследуешь, если просто немного подкачаться, то можешь, если хочешь сражаться за призовые места то маловероятно.
>>21935
kernel-only это чаще всего сабмишен кернел онли, а обучаться нужно на своём железе, чистых кернел онли, где вообще даже данные не дают отдельно я что-то не припомню (но я не особо часто слежу).
>>21951
Гугловый колаб в пользовательском соглашении пишет, что использовать можно только чтобы шарить ноутбуки с другими датасаентистами, немного что-то считать в обучающих целях и всё такое. На практике это значит что они могут раз примерно в 3-4 часа ложить твоё ядро. Если они заподозрят что ты майнишь крипту, положат сразу. Такого, чтобы можно было на ночь колаб оставить, а утром просто проснуться и посмотреть результат у меня ни разу не получалось.
>>22221
>Тебе нужен pytorch
Если учишь тензорфлоу то не не сказал бы что так уж нужен. Лучше сначала почитай статей, посмотри сравнения что с какой скоростью работает и для каких задач подходит и потом во что-то одно поинты кидай. Учить сразу и то, и другое смысла не очень много как мне кажется.
>Посмотрел, а в чём суть, если обычная видеокарта той же производительности (по крайне мере с 32-битными флоатами) в два-три раза дешевле?
Основная суть в том, что нвидиа хочет больше золота. Официально консумерские ГПУ типо 1080 и 2080 запрещено использовать в датацентрах, только дорогие теслы. При желании можно найти кучу хостингов, которые сдадут 1080 в аренду, но вообще по лицензии так нельзя.
Я слышал мнение что это потому, что у Теслы пассивное охлаждение и она лучше приспособлена для длительных нагрузок, но считаю что это бред, потому что на обычных видяхах люди неделями гоняют нейронки и майнят и тоже всё прекрасно работает.
На некоторых задачах тесла действительно решает, но для диплёрнинга обычные видяхи лучше.
>>22306
Наоборот же, обычные дискретки для бытовых задач (игори, фотожоб и тд), а теслы для диплернинга специально.
Если человек хочет разбираться как и что работает, чтобы всё было прозрачно, то ему нужен pytorch очевидно.
Бронзу, серебро можно взять, запуская нотебуки на кэггле. Почему нет
> но для диплёрнинга обычные видяхи лучше
Наоборот же, обычные дискретки для бытовых задач (игори, фотожоб и тд), а теслы для диплернинга специально.
> Если учишь тензорфлоу то не не сказал бы что так уж нужен
Если человек хочет разбираться как и что работает, чтобы всё было прозрачно, то ему нужен pytorch очевидно.
> если хочешь сражаться за призовые места то маловероятно
Бронзу, серебро можно взять, запуская нотебуки на кэггле. Почему нет
>>22389
https://lambdalabs.com/blog/2080-ti-deep-learning-benchmarks/
Вот тебе первое сравнение из гугла, тесла в100 всего в 2 раза быстрее, чем ртх2080 (даже не в 2, а меньше), при этом стоит в 7.5 раз дороже. Специально для диплёрнинга сделали ТПУ, а теслы были ещё до хайпа и до нейронок на ГПУ. На теслах хорошо решались и решаются другие вычислительные задачи. Если не веришь бенчмарку из гугла, зайди напрмер на vast.ai (это сайт, который ГПУ в аренду сдаёт), там есть DLscore, что является примерной оценкой производительности карточки на задачах диплёрнинга, и посмотри какая карточка сколько показывает и сколько стоит, офигеешь от разницы.
Мне это не очевидно, на тензорфлоу тоже можно прекрасно разбираться что и как работает и всё тоже в некотором роде прозрачно. Навязывать людям фреймворки, пользуясь выдуманными аргументами это так себе затея, начал человек с тензорфлоу, пусть себе работает с ним, прекрасно с ним и разбираться можно и кастомный лосс писать, никаких проблем.
Чисто теоретически можно градиенты посчитать на листике в клеточку, зафигачить сабмишен в виме и взять голд, почему нет?
Чисто практически я хз, может ты и прав, может ты и не прав, но в любом случае кэггл ноутбуки это более напряжно, чем собственное железо под рукой. Сейчас на каггле довольно жёсткая конкуренция, много сильных спецов. Я думаю что к моменту, когда человек по скилам становится готов занимать призовые места, он уже трудоустроен так, что о ноутбуках и аренде серверов особо не парится.
> Наоборот же, обычные дискретки для бытовых задач
https://lambdalabs.com/blog/2080-ti-deep-learning-benchmarks/
Вот тебе первое сравнение из гугла, тесла в100 всего в 2 раза быстрее, чем ртх2080 (даже не в 2, а меньше), при этом стоит в 7.5 раз дороже. Специально для диплёрнинга сделали ТПУ, а теслы были ещё до хайпа и до нейронок на ГПУ. На теслах хорошо решались и решаются другие вычислительные задачи. Если не веришь бенчмарку из гугла, зайди напрмер на vast.ai (это сайт, который ГПУ в аренду сдаёт), там есть DLscore, что является примерной оценкой производительности карточки на задачах диплёрнинга, и посмотри какая карточка сколько показывает и сколько стоит, офигеешь от разницы.
> ему нужен pytorch очевидно
Мне это не очевидно, на тензорфлоу тоже можно прекрасно разбираться что и как работает и всё тоже в некотором роде прозрачно. Навязывать людям фреймворки, пользуясь выдуманными аргументами это так себе затея, начал человек с тензорфлоу, пусть себе работает с ним, прекрасно с ним и разбираться можно и кастомный лосс писать, никаких проблем.
> Бронзу, серебро можно взять, запуская нотебуки на кэггле.
Чисто теоретически можно градиенты посчитать на листике в клеточку, зафигачить сабмишен в виме и взять голд, почему нет?
Чисто практически я хз, может ты и прав, может ты и не прав, но в любом случае кэггл ноутбуки это более напряжно, чем собственное железо под рукой. Сейчас на каггле довольно жёсткая конкуренция, много сильных спецов. Я думаю что к моменту, когда человек по скилам становится готов занимать призовые места, он уже трудоустроен так, что о ноутбуках и аренде серверов особо не парится.
>>22524
В кэггловские нотебуки легко подгружать датасет с контеста. Супер профит, не нужно засирать комп гигабайтами данных
В кэггловские нотебуки легко подгружать датасет с контеста. Супер профит, не нужно засирать комп гигабайтами данных
Что блядь с тредом случилось, где шизики, откуда здесь нормальное обсуждение, вы там охуели что ли
>>22306
Я потыкал вычислительный шейдер и opencl (прихотливую куду запускать не умею).
1660ti проседает почти в 50 раз на fp64, по сравнению с fp32, хотя должна всего в 32 (если верить этому сайту для домохозяек). Ускорение на fp16 в два раза.
Если я правильно понял, на паскалях и ранее fp16 имею такую же производительность, как и fp32. А на тьюрингах они прикрутили х2 ускорение для fp16. fp64 в ауте во всех случаях.
На теслах вроде как нет проблем с fp64, и если поверить числам с сайта нвидии, то там якобы fp16 имеет скорость x8 по сравнению с fp32.
Да, кроме этого, в самом тупом тесте по перемножению матриц скорость только 300 гигафлопс в секунду (считал, что перемножение двух матриц 4х4 = 64 флопса). Простое C=AxB в цикле. И если извлечь корень из каждой компоненты матрицы - время выполнения никак не меняется, походу оно в доступ к памяти упирается.
С другой стороны, если не обращаться к глобальной памяти, а забрать из него матрицы и в цикле перемножать их друг на друга возводя в громадные степени, а потом один раз записать результат, то оно достигает почти 7 терафлопс в секунду, что выше теоретической производительности с сайта нвидии. Что любопытно, такое в состоянии сделать только вычислительный шейдер, аналогичный opencl код работает почти в два раза дольше, хотя все размеры локальных групп такие же и всё остальное такое же - такая же проблема была в 2013 на древней карточке, думал они пофиксят со временем и это из-за необкатанности opencl, но ничего не поменялось - даже усугубилось.
Хрен его знает, как оценивать производительность в общем, нейронки же как раз про доступ к глобальному массиву, и за 50 кб локальной памяти они в любом случае выйдут.
Надо попробовать что-то простое переписать вручную - посмотреть можно ли обогнать тензорфлоу, если написать код с учётом ограничений на локальную память.
>Основная суть в том, что нвидиа хочет больше золота.
Я потыкал вычислительный шейдер и opencl (прихотливую куду запускать не умею).
1660ti проседает почти в 50 раз на fp64, по сравнению с fp32, хотя должна всего в 32 (если верить этому сайту для домохозяек). Ускорение на fp16 в два раза.
Если я правильно понял, на паскалях и ранее fp16 имею такую же производительность, как и fp32. А на тьюрингах они прикрутили х2 ускорение для fp16. fp64 в ауте во всех случаях.
На теслах вроде как нет проблем с fp64, и если поверить числам с сайта нвидии, то там якобы fp16 имеет скорость x8 по сравнению с fp32.
Да, кроме этого, в самом тупом тесте по перемножению матриц скорость только 300 гигафлопс в секунду (считал, что перемножение двух матриц 4х4 = 64 флопса). Простое C=AxB в цикле. И если извлечь корень из каждой компоненты матрицы - время выполнения никак не меняется, походу оно в доступ к памяти упирается.
С другой стороны, если не обращаться к глобальной памяти, а забрать из него матрицы и в цикле перемножать их друг на друга возводя в громадные степени, а потом один раз записать результат, то оно достигает почти 7 терафлопс в секунду, что выше теоретической производительности с сайта нвидии. Что любопытно, такое в состоянии сделать только вычислительный шейдер, аналогичный opencl код работает почти в два раза дольше, хотя все размеры локальных групп такие же и всё остальное такое же - такая же проблема была в 2013 на древней карточке, думал они пофиксят со временем и это из-за необкатанности opencl, но ничего не поменялось - даже усугубилось.
Хрен его знает, как оценивать производительность в общем, нейронки же как раз про доступ к глобальному массиву, и за 50 кб локальной памяти они в любом случае выйдут.
Надо попробовать что-то простое переписать вручную - посмотреть можно ли обогнать тензорфлоу, если написать код с учётом ограничений на локальную память.
>>22635
На твоей картинке видно, насколько 1080 Ti сосет на fp16, падает на два порядка. По сути fp16 оно может только эмулировать, отсюда и проблемы. С другой вместо 26 терафлопс 2080 Ti на fp16 ты можешь купить 2 1080 Ti и получить те же 26 терафлопс на fp32. Учитывая огромное количество сбывающих подешевке ставшими убыточными карт майнеров, 10xx серия еще как минимум год будет самой конкурентной.
Главное преимущество тесл - это стабильный результат. Консьюмерские видюхи иногда ошибаются - бит не тот устанавливают, и т. п. Для гейминга это нормально, а для научных расчетов нвидия ничего не гарантирует. Дипленинг в этом плане не ядерные взрывы считать, при тренировке специально все замусоривается.
Нвидия специально нерфит opencl, чтобы разрабы не могли поддерживать кроссплатформенный код и поднасрать AMD. Из-за этого нам в одном проекте приходится держать 2 одинаковых кода - под cuda для нвидиевских карточек, и под opencl для amd и intel. Разница между opencl и cuda на одном железе - в 2-3 раза. Правда эпл пообещала opencl убить в пользу metal, поэтому все еще грустнее.
Нейронки - это ехал GEMM через GEMM, почти все считается через умножение матриц, которое, в свою очередь, выполняется через активное использование shared memory https://www.quantstart.com/articles/Matrix-Matrix-Multiplication-on-the-GPU-with-Nvidia-CUDA/ , матрицы делятся на блоки, которые помещаются на одном CUDA-ядре, затем все мерджится. Быстрее cudnn ты все равно не сделаешь, и все фреймворки в конечном счете вызывают cudnn.
Соответственно оценивать производительность несложно, берешь любую классическую сетку типа ResNet и вычисляешь время либо forward либо forward+backward проходов, желательно с максимально толстым батчасайзом, чтобы учесть еще и то, что карточка на 12 гб лучше, чем на 6.
Если не хочешь учитывать размер памяти, сравниваешь на одном bs.
Собственно здесь чел это сделал https://lambdalabs.com/blog/2080-ti-deep-learning-benchmarks/
Кончай херней страдать, tf вызывает cudnn, и очень самонадеянно думать, что ты родишь код быстрее инженеров nvidia.
>Если я правильно понял, на паскалях и ранее fp16 имею такую же производительность, как и fp32.
На твоей картинке видно, насколько 1080 Ti сосет на fp16, падает на два порядка. По сути fp16 оно может только эмулировать, отсюда и проблемы. С другой вместо 26 терафлопс 2080 Ti на fp16 ты можешь купить 2 1080 Ti и получить те же 26 терафлопс на fp32. Учитывая огромное количество сбывающих подешевке ставшими убыточными карт майнеров, 10xx серия еще как минимум год будет самой конкурентной.
>На теслах вроде как нет проблем с fp64, и если поверить числам с сайта нвидии, то там якобы fp16 имеет скорость x8 по сравнению с fp32.
Главное преимущество тесл - это стабильный результат. Консьюмерские видюхи иногда ошибаются - бит не тот устанавливают, и т. п. Для гейминга это нормально, а для научных расчетов нвидия ничего не гарантирует. Дипленинг в этом плане не ядерные взрывы считать, при тренировке специально все замусоривается.
> аналогичный opencl код работает почти в два раза дольше
Нвидия специально нерфит opencl, чтобы разрабы не могли поддерживать кроссплатформенный код и поднасрать AMD. Из-за этого нам в одном проекте приходится держать 2 одинаковых кода - под cuda для нвидиевских карточек, и под opencl для amd и intel. Разница между opencl и cuda на одном железе - в 2-3 раза. Правда эпл пообещала opencl убить в пользу metal, поэтому все еще грустнее.
>Хрен его знает, как оценивать производительность в общем
Нейронки - это ехал GEMM через GEMM, почти все считается через умножение матриц, которое, в свою очередь, выполняется через активное использование shared memory https://www.quantstart.com/articles/Matrix-Matrix-Multiplication-on-the-GPU-with-Nvidia-CUDA/ , матрицы делятся на блоки, которые помещаются на одном CUDA-ядре, затем все мерджится. Быстрее cudnn ты все равно не сделаешь, и все фреймворки в конечном счете вызывают cudnn.
Соответственно оценивать производительность несложно, берешь любую классическую сетку типа ResNet и вычисляешь время либо forward либо forward+backward проходов, желательно с максимально толстым батчасайзом, чтобы учесть еще и то, что карточка на 12 гб лучше, чем на 6.
Если не хочешь учитывать размер памяти, сравниваешь на одном bs.
Собственно здесь чел это сделал https://lambdalabs.com/blog/2080-ti-deep-learning-benchmarks/
>Надо попробовать что-то простое переписать вручную - посмотреть можно ли обогнать тензорфлоу, если написать код с учётом ограничений на локальную память.
Кончай херней страдать, tf вызывает cudnn, и очень самонадеянно думать, что ты родишь код быстрее инженеров nvidia.
>>22635
На твоей картинке видно, насколько 1080 Ti сосет на fp16, падает на два порядка. По сути fp16 оно может только эмулировать, отсюда и проблемы. С другой вместо 26 терафлопс 2080 Ti на fp16 ты можешь купить 2 1080 Ti и получить те же 26 терафлопс на fp32. Учитывая огромное количество сбывающих подешевке ставшими убыточными карт майнеров, 10xx серия еще как минимум год будет самой конкурентной.
Главное преимущество тесл - это стабильный результат. Консьюмерские видюхи иногда ошибаются - бит не тот устанавливают, и т. п. Для гейминга это нормально, а для научных расчетов нвидия ничего не гарантирует. Дипленинг в этом плане не ядерные взрывы считать, при тренировке специально все замусоривается.
Нвидия специально нерфит opencl, чтобы разрабы не могли поддерживать кроссплатформенный код и поднасрать AMD. Из-за этого нам в одном проекте приходится держать 2 одинаковых кода - под cuda для нвидиевских карточек, и под opencl для amd и intel. Разница между opencl и cuda на одном железе - в 2-3 раза. Правда эпл пообещала opencl убить в пользу metal, поэтому все еще грустнее.
Нейронки - это ехал GEMM через GEMM, почти все считается через умножение матриц, которое, в свою очередь, выполняется через активное использование shared memory https://www.quantstart.com/articles/Matrix-Matrix-Multiplication-on-the-GPU-with-Nvidia-CUDA/ , матрицы делятся на блоки, которые помещаются на одном CUDA-ядре, затем все мерджится. Быстрее cudnn ты все равно не сделаешь, и все фреймворки в конечном счете вызывают cudnn.
Соответственно оценивать производительность несложно, берешь любую классическую сетку типа ResNet и вычисляешь время либо forward либо forward+backward проходов, желательно с максимально толстым батчасайзом, чтобы учесть еще и то, что карточка на 12 гб лучше, чем на 6.
Если не хочешь учитывать размер памяти, сравниваешь на одном bs.
Собственно здесь чел это сделал https://lambdalabs.com/blog/2080-ti-deep-learning-benchmarks/
Кончай херней страдать, tf вызывает cudnn, и очень самонадеянно думать, что ты родишь код быстрее инженеров nvidia.
>Если я правильно понял, на паскалях и ранее fp16 имею такую же производительность, как и fp32.
На твоей картинке видно, насколько 1080 Ti сосет на fp16, падает на два порядка. По сути fp16 оно может только эмулировать, отсюда и проблемы. С другой вместо 26 терафлопс 2080 Ti на fp16 ты можешь купить 2 1080 Ti и получить те же 26 терафлопс на fp32. Учитывая огромное количество сбывающих подешевке ставшими убыточными карт майнеров, 10xx серия еще как минимум год будет самой конкурентной.
>На теслах вроде как нет проблем с fp64, и если поверить числам с сайта нвидии, то там якобы fp16 имеет скорость x8 по сравнению с fp32.
Главное преимущество тесл - это стабильный результат. Консьюмерские видюхи иногда ошибаются - бит не тот устанавливают, и т. п. Для гейминга это нормально, а для научных расчетов нвидия ничего не гарантирует. Дипленинг в этом плане не ядерные взрывы считать, при тренировке специально все замусоривается.
> аналогичный opencl код работает почти в два раза дольше
Нвидия специально нерфит opencl, чтобы разрабы не могли поддерживать кроссплатформенный код и поднасрать AMD. Из-за этого нам в одном проекте приходится держать 2 одинаковых кода - под cuda для нвидиевских карточек, и под opencl для amd и intel. Разница между opencl и cuda на одном железе - в 2-3 раза. Правда эпл пообещала opencl убить в пользу metal, поэтому все еще грустнее.
>Хрен его знает, как оценивать производительность в общем
Нейронки - это ехал GEMM через GEMM, почти все считается через умножение матриц, которое, в свою очередь, выполняется через активное использование shared memory https://www.quantstart.com/articles/Matrix-Matrix-Multiplication-on-the-GPU-with-Nvidia-CUDA/ , матрицы делятся на блоки, которые помещаются на одном CUDA-ядре, затем все мерджится. Быстрее cudnn ты все равно не сделаешь, и все фреймворки в конечном счете вызывают cudnn.
Соответственно оценивать производительность несложно, берешь любую классическую сетку типа ResNet и вычисляешь время либо forward либо forward+backward проходов, желательно с максимально толстым батчасайзом, чтобы учесть еще и то, что карточка на 12 гб лучше, чем на 6.
Если не хочешь учитывать размер памяти, сравниваешь на одном bs.
Собственно здесь чел это сделал https://lambdalabs.com/blog/2080-ti-deep-learning-benchmarks/
>Надо попробовать что-то простое переписать вручную - посмотреть можно ли обогнать тензорфлоу, если написать код с учётом ограничений на локальную память.
Кончай херней страдать, tf вызывает cudnn, и очень самонадеянно думать, что ты родишь код быстрее инженеров nvidia.
>>21457
Окей, можно попробовать переписать сеть без лишних пулингов.
Но думаю более эффективно будет перейти от Inception к другой, более эффективной архитектуре EfficientNetB5. Осталось ее только имплементировать, единственную реализую я видел под keras-tpu, ну да ладно, не думаю, что это будет проблемой.
> По идее в этом месте можно добавлять новые слои, но уже без последующих пулингов, тогда возможно точность будет расти дальше. Но не сильно и не много.
Окей, можно попробовать переписать сеть без лишних пулингов.
Но думаю более эффективно будет перейти от Inception к другой, более эффективной архитектуре EfficientNetB5. Осталось ее только имплементировать, единственную реализую я видел под keras-tpu, ну да ладно, не думаю, что это будет проблемой.
А есть какой-то чит-лист с мейнстримовыми вопросами на собесах на позицию джуна/мидла DS/ML?
>>22657
Такая цифра смысла не имеет же.
Во-первых, можешь показать пример? Я запускал симуляцию на тысячи частиц и считал хеши часами. Они один в один совпадали с результатом на процессоре. Из сложных операций были скалярные произведения, корни, быстрые инверсные корни и деления.
Во-вторых, разве это критично для машинного обучения?
Ну это вообще. Разве оно не так работает, что есть какое-то особое низкоуровневое nvidia-api, так что оно даже не может узнать использует его opencl или ещё что?
А какой смысл имеет тогда цифры с сайта нвидии, где написано х8 для fp16?
Это вроде бы всего часа на два кодинга. Стоят два часа того, чтобы потом я мог с чистой душой верить в производительность cudnn?
Я не хочу быстрее, я хочу сравнить. Взять линейную сеть, написать код в лоб без оптимизаций и посмотреть насколько быстрее её обучает тензор. Если там будет х1.3 и оно не скейлится от размера, то можно считать что скорость такая же и они просто оптимизировали мелочь. А если там будет х8 всё увеличивающийся отрыв, то значит они что-то принципиально другое придумали.
Просто немного обидно, что теоретическая производительность карточек почти в 100 раз выше процессорной, а в действительности ускорение даже в 10 раз получить почти невозможно.
>сосет на fp16, падает на два порядка
Такая цифра смысла не имеет же.
>Консьюмерские видюхи иногда ошибаются - бит не тот устанавливают
Во-первых, можешь показать пример? Я запускал симуляцию на тысячи частиц и считал хеши часами. Они один в один совпадали с результатом на процессоре. Из сложных операций были скалярные произведения, корни, быстрые инверсные корни и деления.
Во-вторых, разве это критично для машинного обучения?
>opencl и cuda на одном железе - в 2-3 раза
>Нвидия специально нерфит opencl
Ну это вообще. Разве оно не так работает, что есть какое-то особое низкоуровневое nvidia-api, так что оно даже не может узнать использует его opencl или ещё что?
>Собственно здесь чел это сделал
А какой смысл имеет тогда цифры с сайта нвидии, где написано х8 для fp16?
>Кончай херней страдать, tf вызывает cudnn, и очень самонадеянно думать
Это вроде бы всего часа на два кодинга. Стоят два часа того, чтобы потом я мог с чистой душой верить в производительность cudnn?
Я не хочу быстрее, я хочу сравнить. Взять линейную сеть, написать код в лоб без оптимизаций и посмотреть насколько быстрее её обучает тензор. Если там будет х1.3 и оно не скейлится от размера, то можно считать что скорость такая же и они просто оптимизировали мелочь. А если там будет х8 всё увеличивающийся отрыв, то значит они что-то принципиально другое придумали.
Просто немного обидно, что теоретическая производительность карточек почти в 100 раз выше процессорной, а в действительности ускорение даже в 10 раз получить почти невозможно.
>>22947
Душнее статистики только теория множеств и конечные автоматы. Весь сок - в алгебраической геометрии
Душнее статистики только теория множеств и конечные автоматы. Весь сок - в алгебраической геометрии
>>22989
Вы оба душные дауны, которые зачем-то пришли в ML-тред рассказывать о душности стастики. Создайте себе тред и дрочите там друг другу
Вы оба душные дауны, которые зачем-то пришли в ML-тред рассказывать о душности стастики. Создайте себе тред и дрочите там друг другу
>>22983
Почему, вполне реальная цифра: о fp16 на 1080Ti лучше забыть и оно годится только протестить инференс.
Сутками надо считать. А потом еще две недели проверять на процессоре.
Не критично, я об этом прямо написал. Для машинного обучения достаточно геймерских карт
Компилятор opencl работает хуже и nvidia не будет тратить деньги на его оптимизацию
Nvidia нужно продавать 20xx
Чтобы верить в производительность cudnn, тебе нужно взять cudnn и сделать например GEMM пары матриц 4096х4096, у которых известно число флопсов. Производительность должна быть близка к пиковой
У тебя код какой-то совсем хуевый, тебе нужно поучиться писать под видюхи. Я получал пиковые терафлопсы на своем коде. Выжимать скорость из x86 лично мне сложнее - чуть пукнешь и у тебя cache miss и производительность падает в 2 раза. Видюхи в этом плане как-то попроще.
>Такая цифра смысла не имеет же.
Почему, вполне реальная цифра: о fp16 на 1080Ti лучше забыть и оно годится только протестить инференс.
>Я запускал симуляцию на тысячи частиц и считал хеши часами. Они один в один совпадали с результатом на процессоре.
Сутками надо считать. А потом еще две недели проверять на процессоре.
>Во-вторых, разве это критично для машинного обучения?
Не критично, я об этом прямо написал. Для машинного обучения достаточно геймерских карт
>Ну это вообще. Разве оно не так работает, что есть какое-то особое низкоуровневое nvidia-api, так что оно даже не может узнать использует его opencl или ещё что?
Компилятор opencl работает хуже и nvidia не будет тратить деньги на его оптимизацию
>А какой смысл имеет тогда цифры с сайта нвидии, где написано х8 для fp16?
Nvidia нужно продавать 20xx
>Это вроде бы всего часа на два кодинга. Стоят два часа того, чтобы потом я мог с чистой душой верить в производительность cudnn?
Чтобы верить в производительность cudnn, тебе нужно взять cudnn и сделать например GEMM пары матриц 4096х4096, у которых известно число флопсов. Производительность должна быть близка к пиковой
>Просто немного обидно, что теоретическая производительность карточек почти в 100 раз выше процессорной, а в действительности ускорение даже в 10 раз получить почти невозможно.
У тебя код какой-то совсем хуевый, тебе нужно поучиться писать под видюхи. Я получал пиковые терафлопсы на своем коде. Выжимать скорость из x86 лично мне сложнее - чуть пукнешь и у тебя cache miss и производительность падает в 2 раза. Видюхи в этом плане как-то попроще.
>>22992
Угу, я только день осилил. Мне не было это нужно, но было любопытно. Ошибку не нашёл.
Может быть там ошибки только при денормализованных числах каких-нибудь происходят, которые никому не нужны, и тебе лишь не повезло?
Я про тензорфлоу вообще-то, лол.
Поучиться энивей надо, но я не могу найти работу где нужны видеокарты, а дома в рамках хобби довольно-таки посредственные задачи получаются - я их изначально придумываю зная какие смогу ускорить в 100 раз, не считая что они все из пальца высосаны.
>А потом еще две недели проверять на процессоре.
Угу, я только день осилил. Мне не было это нужно, но было любопытно. Ошибку не нашёл.
Может быть там ошибки только при денормализованных числах каких-нибудь происходят, которые никому не нужны, и тебе лишь не повезло?
>У тебя код какой-то совсем хуевый
Я про тензорфлоу вообще-то, лол.
Поучиться энивей надо, но я не могу найти работу где нужны видеокарты, а дома в рамках хобби довольно-таки посредственные задачи получаются - я их изначально придумываю зная какие смогу ускорить в 100 раз, не считая что они все из пальца высосаны.
>>22998
Дело не в том, что мышление это боль, а то, что вот эти пункты
- Математика, за которую платят
- Математика, которая внутренне красива
это разные области математики. Статистика, графы, множества и конечные автоматы это говно.
Дело не в том, что мышление это боль, а то, что вот эти пункты
- Математика, за которую платят
- Математика, которая внутренне красива
это разные области математики. Статистика, графы, множества и конечные автоматы это говно.
>>23005
Давай ты назовешь эти области, которые внутренне красивы, и если они применяются в теории струн, я тебя обоссу
Давай ты назовешь эти области, которые внутренне красивы, и если они применяются в теории струн, я тебя обоссу
>>22998
Какое же говнище, для швабропиларах наверное как раз
Какое же говнище, для швабропиларах наверное как раз
>>23015
Алгебраическая геометрия применяется не только в теории струн, но еще в криптографии, и благодаря ней ты можешь совершать платежи из дома
Алгебраическая геометрия применяется не только в теории струн, но еще в криптографии, и благодаря ней ты можешь совершать платежи из дома
Платон считал математику высшей формой прекрасного. Быдло отвергает красоту и выбирает то, что "в жизни пригодится" из-за того, что социальный строй сделан так, чтобы люди въебывали ради выживания и не имели времени на то, чтобы думать и заниматься тем, чем хотят.
Посмотрите на любую книгу по матстату в нейронных сетях. Видите эти уродливые многомерные суммы и громоздкие индексы, от которых исходит неприятный запах? Разве в этом есть красота? Алгебраическая геометрия даже проще. В ней поверхности описываются системами полиномов, а полином - это простой объект, проводить с ним вычисления и диффиренцирвоать - сплошное удовольствие.
Жизнь когда-нибудь закончится, а свободного времени из-за работы мало. Вы хотите потратить жизнь на улучшение чужого бизнеса, на написание говнокода, а не на красоту? Вы хотите потратить жизнь на говно?
Самое важно в жизни — заниматься тем, что тебе больше всего интересно и с чем ты справляешься, а не идти учиться на какую-то профессию, потому что с ней легче будет найти работу или потому что кто-то так сказал. Ведь работать 40 лет на работе, которая тебе не интересна, — это катастрофа.
>>23065
Платон говорил о маняматике своего времени, а не об это говнище что она представляет сейчас. Да и много чего этот педераст говорил.
>Платон считал математику высшей формой прекрасного
Платон говорил о маняматике своего времени, а не об это говнище что она представляет сейчас. Да и много чего этот педераст говорил.
>>23086
Ну то есть нейронки переоценены и на самом деле их можно заменить людьми, заодно больше рабочих мест будет.
Ну то есть нейронки переоценены и на самом деле их можно заменить людьми, заодно больше рабочих мест будет.
>>23000
Чувак, юзай гугл колаб и не парься, на процессоре ты месяц будешь считать то, что колаб тебе посчитает за день-два
Чувак, юзай гугл колаб и не парься, на процессоре ты месяц будешь считать то, что колаб тебе посчитает за день-два
>>23092
Нейронка может работать круглосуточно, не требует рабочего места, условий труда, инфраструктуры.
Нейронка может работать круглосуточно, не требует рабочего места, условий труда, инфраструктуры.
>>23173
Я бы не сказал, человеку нужен компьютер, человеку нужно есть, скорее-всего в офисе он будет пользоваться электрочайником, принтером, микроволновкой, плюс нужно считать энергопотребление на производство еды для человека, ее доставку, человеку также нужно освещение.
Все это в итоге будет жрать столько же света, сколько и нейронка, если не больше.
Я бы не сказал, человеку нужен компьютер, человеку нужно есть, скорее-всего в офисе он будет пользоваться электрочайником, принтером, микроволновкой, плюс нужно считать энергопотребление на производство еды для человека, ее доставку, человеку также нужно освещение.
Все это в итоге будет жрать столько же света, сколько и нейронка, если не больше.
>>23468
Да, файлы можешь загружать куда-нибудь или сохранять себе на гугл диск.
Да, файлы можешь загружать куда-нибудь или сохранять себе на гугл диск.
>>23208
Даже по чистым ваттам человек сосет. Человек потребляет 100 Вт, при этом работает максимум 16 часов в сутки. То есть 150 Вт на рыло. Пека с современной картой потребляет где-то 350 Вт. То есть, чтобы обогнать человека, нужно всего лишь в 2 раза быстрее выдавать результаты инференса. Но топовые карты работают сильно быстрее даже на сетках типа BERT, не говоря уже о сетях из 2016.
Единственное, что дорого по потреблению энергии - это обучение, но его энергетический вклад размазывается на количество инстансов. Человека нужно учить каждый раз заново.
Даже по чистым ваттам человек сосет. Человек потребляет 100 Вт, при этом работает максимум 16 часов в сутки. То есть 150 Вт на рыло. Пека с современной картой потребляет где-то 350 Вт. То есть, чтобы обогнать человека, нужно всего лишь в 2 раза быстрее выдавать результаты инференса. Но топовые карты работают сильно быстрее даже на сетках типа BERT, не говоря уже о сетях из 2016.
Единственное, что дорого по потреблению энергии - это обучение, но его энергетический вклад размазывается на количество инстансов. Человека нужно учить каждый раз заново.
>>23072
Вот это пример измышлений, которыми так любят пичкать людей. На самом деле не существует работы, которой тебе будет интересно заниматься 40 лет. Поэтому надо идти туда, где больше заработаешь.
> Самое важно в жизни — заниматься тем, что тебе больше всего интересно и с чем ты справляешься, а не идти учиться на какую-то профессию, потому что с ней легче будет найти работу или потому что кто-то так сказал. Ведь работать 40 лет на работе, которая тебе не интересна, — это катастрофа.
Вот это пример измышлений, которыми так любят пичкать людей. На самом деле не существует работы, которой тебе будет интересно заниматься 40 лет. Поэтому надо идти туда, где больше заработаешь.
>>23496
Можешь посчитать, сколько стоят колясочки и содержание человеческой личинки в первые 6 лет.
Выйдет куча миллионов
Можешь посчитать, сколько стоят колясочки и содержание человеческой личинки в первые 6 лет.
Выйдет куча миллионов
>>23517
Можешь посчитать, сколько стоят исследование и разработка архитектур процессоров...
Ты просто нанимаешь человека, так же как и покупаешь карточку. За столько, за сколько оно покупается/нанимается. О том, сколько было затрачено миллионов на разработку человека и карточке тебе вообще не интересно ничего знать.
Можешь посчитать, сколько стоят исследование и разработка архитектур процессоров...
Ты просто нанимаешь человека, так же как и покупаешь карточку. За столько, за сколько оно покупается/нанимается. О том, сколько было затрачено миллионов на разработку человека и карточке тебе вообще не интересно ничего знать.
17 Кб, 831x183>>23517
А ещё у человека может быть плохое настроение, и он будет на одних и тех же данных выдавать разные результаты. Можешь посмотреть ситуацию из "думай медленно - решай быстро" - если не ошибаюсь, даже когда их прямо спрашивали, судьи говорили что "не-не-не, мы всё всегда объективно оцениваем" и перерыв никакого влияния не оказывает. Такая же ситуация в других примерах из книги, дичь невероятная.
Нейронка такому не подвержена.
А ещё у человека может быть плохое настроение, и он будет на одних и тех же данных выдавать разные результаты. Можешь посмотреть ситуацию из "думай медленно - решай быстро" - если не ошибаюсь, даже когда их прямо спрашивали, судьи говорили что "не-не-не, мы всё всегда объективно оцениваем" и перерыв никакого влияния не оказывает. Такая же ситуация в других примерах из книги, дичь невероятная.
Нейронка такому не подвержена.
>>23524
Архитектура одна на миллионы экземляров процессоров, человек же уникален.
>Можешь посчитать, сколько стоят исследование и разработка архитектур процессоров...
Архитектура одна на миллионы экземляров процессоров, человек же уникален.
>>23524
Человеку тоже нужен компьютер) Да, оборудование у него дешевле будет.
>Можешь посчитать, сколько стоят исследование и разработка архитектур процессоров...
Человеку тоже нужен компьютер) Да, оборудование у него дешевле будет.
>>23515
Ты так скозал? Ну и ковыряй говнокод всю жизнь, пока кто-то работает с кэлеровыми многообразиями
>На самом деле не существует работы, которой тебе будет интересно заниматься 40 лет.
Ты так скозал? Ну и ковыряй говнокод всю жизнь, пока кто-то работает с кэлеровыми многообразиями
>>23657
Говнокодером твой софт могут юзать миллионы, а с математикой скорее всего ты родишь какой-то невнятный высер, которым никто не воспользуется
Говнокодером твой софт могут юзать миллионы, а с математикой скорее всего ты родишь какой-то невнятный высер, которым никто не воспользуется
>>23525
Я не понимаю, что тут удивительного. Голодный и усталый человек склонен к более суровым решением, это ожидаемо.
Я не понимаю, что тут удивительного. Голодный и усталый человек склонен к более суровым решением, это ожидаемо.
>>23873
Предполагается, что человек много лет работающий в этой сфере вырабатывает хоть какую-то непредвзятость и объективность (причём не просто где-то, а в сравнительно важных решениях), или хотя бы сам начинает отдавать себе отчёт в таком эффекте. Не знаю что там в конце, но 65% в начале и 35% в среднем (это около 10% в конце, если равномерно снижается?) - это перебор. Ладно бы было 65/50 хотя бы. Если предположить, что врачи так же работают, то не очень радостная картина получается.
Предполагается, что человек много лет работающий в этой сфере вырабатывает хоть какую-то непредвзятость и объективность (причём не просто где-то, а в сравнительно важных решениях), или хотя бы сам начинает отдавать себе отчёт в таком эффекте. Не знаю что там в конце, но 65% в начале и 35% в среднем (это около 10% в конце, если равномерно снижается?) - это перебор. Ладно бы было 65/50 хотя бы. Если предположить, что врачи так же работают, то не очень радостная картина получается.
>>24031
В важных решениях всегда есть консилиумы и дублирование функций, то, что на зеков всем похуй - совершенно не удивительно.
В важных решениях всегда есть консилиумы и дублирование функций, то, что на зеков всем похуй - совершенно не удивительно.
>>23793
Похоже на то, что ты один из несчастных лузеров в этой стране, которые отчаянно пытаются найти себя в жизни. Видимо, миллионы юзеров это единственное, что у тебя есть в жизни. Вот только все эти миллионы юзеров не скрасят твое печальное существование в жизни, в которой тебя никто не любит. Из-за работы ты даже пожить для себя не можешь. Возьмешь год отпуска, и эйчарки уже будут воротить нос от тебя.
Похоже на то, что ты один из несчастных лузеров в этой стране, которые отчаянно пытаются найти себя в жизни. Видимо, миллионы юзеров это единственное, что у тебя есть в жизни. Вот только все эти миллионы юзеров не скрасят твое печальное существование в жизни, в которой тебя никто не любит. Из-за работы ты даже пожить для себя не можешь. Возьмешь год отпуска, и эйчарки уже будут воротить нос от тебя.
![17-S1xIW4a4[1].jpg](https://2ch.hk//pr/src/1614936/15834253814290.jpg)
d
>>24175
Ну что ты начинаешь..
Ну что ты начинаешь..
Знакомая шлюхенция вкатилась в машоб, просто зная поверхностно математику, умело кидая пыль в глаза, что она умная + постоянно обтягивающие платья и шлюшье поведение )) Пока учится, работает 10 часов в неделю = платят 10к, как закончит будут 40-50к, мб больше (не Масква, у нас 25к ср. запралата.. или 30к, где-то так) )) А вы дальше сидите зубрите свою матешу сутками и вьебывайте, для того, чтобы просто вкатиться)) Достаточно просто жопой и сиськами трясти на каждой конференции, посвященной машинному обучению, пока тебя не заметят и не предложат работу )
>>25142
С чего мы должны тебе верить? Это похоже на батхерт неудачника, завидующего более умной и успешной женщине просто по причине того, что она женщина
С чего мы должны тебе верить? Это похоже на батхерт неудачника, завидующего более умной и успешной женщине просто по причине того, что она женщина
>>25143
Да не, я вообще не из машоба)) Просто зашел почитать/сравнить, как вы вкатываетесь и как вкатывается знакомая шлюхенция(точнее уже вкатилась) и вкинуть это сюда. Но на самом деле это так, хотите верьте, хотите нет)
Типо она ходила на каждую конференцию машинного обучения и занала теорию по матеше, чисто в кругах общалась математических, поэтому могла поддержать разговор.. Одевается как шлюха, ведет так же, ходит в зальчик для этого.. Ну ее заметил какой-то куколд и предложил ей работу и еще поездки в финляндюи на халяву )) (Хз мб кто-то таким же путем захочет пойти.. вдруг тут есть телочки, только у них должны быть сиськи и жопа и мало жира, а то не заметят)
Ну да ладно.. Типо понятно что бабам легко вкатиться в любое место, используя свой пирожок, но самое потешное, что я ей сказал, что мол ее заметили только из-за жопы и сисек.. на что получил лютый баттхерт, что ее заметили прежде всего из-за УМА! Оценили только лишь ее УМ! И вообще она топ машинный обучатель и много чего может...
Я попросил при мне обучить машину, она сказала что там на джюпитере 3 часа ее машина будет (хз как это на вашем языке, но я понял что типо компилировваться или загружаться) ..
Вот такая кул стори))
Да не, я вообще не из машоба)) Просто зашел почитать/сравнить, как вы вкатываетесь и как вкатывается знакомая шлюхенция(точнее уже вкатилась) и вкинуть это сюда. Но на самом деле это так, хотите верьте, хотите нет)
Типо она ходила на каждую конференцию машинного обучения и занала теорию по матеше, чисто в кругах общалась математических, поэтому могла поддержать разговор.. Одевается как шлюха, ведет так же, ходит в зальчик для этого.. Ну ее заметил какой-то куколд и предложил ей работу и еще поездки в финляндюи на халяву )) (Хз мб кто-то таким же путем захочет пойти.. вдруг тут есть телочки, только у них должны быть сиськи и жопа и мало жира, а то не заметят)
Ну да ладно.. Типо понятно что бабам легко вкатиться в любое место, используя свой пирожок, но самое потешное, что я ей сказал, что мол ее заметили только из-за жопы и сисек.. на что получил лютый баттхерт, что ее заметили прежде всего из-за УМА! Оценили только лишь ее УМ! И вообще она топ машинный обучатель и много чего может...
Я попросил при мне обучить машину, она сказала что там на джюпитере 3 часа ее машина будет (хз как это на вашем языке, но я понял что типо компилировваться или загружаться) ..
Вот такая кул стори))
>>25148
Очень странно, поскольку среди математиков зашкаливающий процент пидоров.
>Ну ее заметил какой-то куколд
Очень странно, поскольку среди математиков зашкаливающий процент пидоров.
>>25148
Тогда откуда у тебя уровень экспертизы, позволяющий оценить ее ум? Ты же как последнее быдло оцениваешь человека, по тому, как он одевается. Фу таким быть.
>Да не, я вообще не из машоба
Тогда откуда у тебя уровень экспертизы, позволяющий оценить ее ум? Ты же как последнее быдло оцениваешь человека, по тому, как он одевается. Фу таким быть.
>>25151
Ну хз) Умный человек будет фотать полуголое тело и подписывать "Математически" в инстаграме? и вообще все свои достижения выставлять на показ? Сейчас правда после вката перестала.
Или быть может умный человек учиться на одни пятерки не своим трудом, а чужим? просто подлизывая всем и прося сделать за нее.. А потом всем говорить, что она САМА всего достигла и добилась..Да, типо заставлять других делать за тебя, даже если ты баба это круто, но это не ум)) Просто повезло с телом, вот и пользуется им..
Я лично с ней знаком уже года 3, общался часто с ней и да.. она не тупая, но и не настолько умная, какой она себя представляет и мнит..
Или может быть умный человек будет орать на весь кабинет, что она девственница и гордится этим?
Ну хз) Умный человек будет фотать полуголое тело и подписывать "Математически" в инстаграме? и вообще все свои достижения выставлять на показ? Сейчас правда после вката перестала.
Или быть может умный человек учиться на одни пятерки не своим трудом, а чужим? просто подлизывая всем и прося сделать за нее.. А потом всем говорить, что она САМА всего достигла и добилась..Да, типо заставлять других делать за тебя, даже если ты баба это круто, но это не ум)) Просто повезло с телом, вот и пользуется им..
Я лично с ней знаком уже года 3, общался часто с ней и да.. она не тупая, но и не настолько умная, какой она себя представляет и мнит..
Или может быть умный человек будет орать на весь кабинет, что она девственница и гордится этим?
>>25163
Только лично мне она рассказывала давно, что ее школьный парень трахал и она нецелка ) (Я просто топ подружка для девчат, мне они доверяют тайны.. зря )))))) )
Только лично мне она рассказывала давно, что ее школьный парень трахал и она нецелка ) (Я просто топ подружка для девчат, мне они доверяют тайны.. зря )))))) )
>>25160
Конечно. Даже если человек от природы скромный, но умный, он будет перебарывать свою скромность, потому что это ключ к успеху в информационном мире. Скромные на длинной дистанции проигрывают. Если же умный человек сам по себе нарциссичен, в чем проблема вообще - я имею в виду для него. Полно умных людей является неприятным говном, но тупыми от этого они не становятся.
Вообще такие стереотипы думают обычно туповатые лузеры, которые, естественно, считают себя гениальными, но их удел быть штатными шизиками на анонимных бордах. И это я не про тебя (потому что на тебя мне похуй), но тут в треде есть несколько таких.
То есть все претензии в том, что нужно, подобно тебе, засунуть язык в жопу и не высовываться. У тебя ментальность крепостного крестьянина, которому барин может пиздюлей выписать за лишние слова. Воспитывается она в дурной совковой школе. Умные люди это перерастают, глупые нет.
Вообще же для тянок в ML действительно есть определенная скидка к их уму, но это фича, а не баг. Во-первых, банально приятнее работается, когда в отделе у тебя не одни носители сосисек, особенно когда тянка достаточно умна, чтобы понимать, насколько умнее ее ты. Во-вторых, разного рода тестирование и прочую рутину тянки делают лучше. Тупого самца для таких дел нанимать страшнее, потому что он либо своими неудовлетворенными амбициями всех заебет, либо начнет капчевать сутками вместо работы от депрессии, что он весь такой умный, а его никто не принимает.
>Умный человек будет фотать полуголое тело и подписывать "Математически" в инстаграме? и вообще все свои достижения выставлять на показ?
Конечно. Даже если человек от природы скромный, но умный, он будет перебарывать свою скромность, потому что это ключ к успеху в информационном мире. Скромные на длинной дистанции проигрывают. Если же умный человек сам по себе нарциссичен, в чем проблема вообще - я имею в виду для него. Полно умных людей является неприятным говном, но тупыми от этого они не становятся.
Вообще такие стереотипы думают обычно туповатые лузеры, которые, естественно, считают себя гениальными, но их удел быть штатными шизиками на анонимных бордах. И это я не про тебя (потому что на тебя мне похуй), но тут в треде есть несколько таких.
>Я лично с ней знаком уже года 3, общался часто с ней и да.. она не тупая, но и не настолько умная, какой она себя представляет и мнит..
То есть все претензии в том, что нужно, подобно тебе, засунуть язык в жопу и не высовываться. У тебя ментальность крепостного крестьянина, которому барин может пиздюлей выписать за лишние слова. Воспитывается она в дурной совковой школе. Умные люди это перерастают, глупые нет.
Вообще же для тянок в ML действительно есть определенная скидка к их уму, но это фича, а не баг. Во-первых, банально приятнее работается, когда в отделе у тебя не одни носители сосисек, особенно когда тянка достаточно умна, чтобы понимать, насколько умнее ее ты. Во-вторых, разного рода тестирование и прочую рутину тянки делают лучше. Тупого самца для таких дел нанимать страшнее, потому что он либо своими неудовлетворенными амбициями всех заебет, либо начнет капчевать сутками вместо работы от депрессии, что он весь такой умный, а его никто не принимает.
>>25247
Какая же жизель. Такое вообще сильно заметно окружающим людям, когда ты этот самый тупой самец?
>Тупого самца для таких дел нанимать страшнее, потому что он либо своими неудовлетворенными амбициями всех заебет, либо начнет капчевать сутками вместо работы от депрессии, что он весь такой умный, а его никто не принимает.
Какая же жизель. Такое вообще сильно заметно окружающим людям, когда ты этот самый тупой самец?
Ну вы же все понимаете, каких прорывов в машобчике можно ожидать от зумеров тайдменов, не могущих даже в Гугл и малолетних профурсеток типа таких:
>>25142
>>25148
>>25160
В Блинолопатии машобчик вообще существует только милостью доброго американского барина, позволяющего пастись у этой темы всяким папуасам. Достаточно ввести эмбарго на такие технологии, и пизда рулю. Даже коровавирусные кетайсы не смогут анально угнетать своих уйгуров всякими социальными рейтингами.
>>25142
>>25148
>>25160
В Блинолопатии машобчик вообще существует только милостью доброго американского барина, позволяющего пастись у этой темы всяким папуасам. Достаточно ввести эмбарго на такие технологии, и пизда рулю. Даже коровавирусные кетайсы не смогут анально угнетать своих уйгуров всякими социальными рейтингами.
>>25268
Здесь поподробней пжлст, подпендоха, объясни что изменится? Исчезнет говнореклама и всратые котики?
>Достаточно ввести эмбарго на такие технологии, и пизда рулю.
Здесь поподробней пжлст, подпендоха, объясни что изменится? Исчезнет говнореклама и всратые котики?
Всё, зумерки-вкатывальщики. Халява кончилась: попугаи кеа знакомы с азами теории вероятности
https://nplus1.ru/news/2020/03/04/parrotstatistics
Теперь демпингуют рыночек - будут работать за кормушку корма.
https://nplus1.ru/news/2020/03/04/parrotstatistics
Теперь демпингуют рыночек - будут работать за кормушку корма.
>>25268
А вот и главный лузер треда приперся. Нихуя про тянку не знает, но уже готовы выводы - он самый умный, остальные тупые
А вот и главный лузер треда приперся. Нихуя про тянку не знает, но уже готовы выводы - он самый умный, остальные тупые
>>25280
Так для нейронок не нужно знать азы тервера. Умеет ли этот попугай стакать слои?
Так для нейронок не нужно знать азы тервера. Умеет ли этот попугай стакать слои?
>>25291
Знаешь одну селёдку = знаешь всех. Там кроме массогабаритных характеристик и паспортных данных разница стремится к нулю.
По сравнению с местными зумерами вкатывальщиками и всяким плоскоземельным шизлом я вообще гений так-то.
> Нихуя про тянку не знает, но уже готовы выводы -
Знаешь одну селёдку = знаешь всех. Там кроме массогабаритных характеристик и паспортных данных разница стремится к нулю.
> он самый умный, остальные тупые
По сравнению с местными зумерами вкатывальщиками и всяким плоскоземельным шизлом я вообще гений так-то.
91 Кб, 703x1080>>25142
допустим
но только вряд ли это сильно отличается от любого вката через конференции и работу/стажировку студентом, мальчиком надо казаться серьезным и перспективным, девочкой милой и перспективной
допустим
но только вряд ли это сильно отличается от любого вката через конференции и работу/стажировку студентом, мальчиком надо казаться серьезным и перспективным, девочкой милой и перспективной
489 Кб, 500x386>>25879
Ну и где тысячи этих "перспективных" зумеров? В чем перспективность, где результаты хоть какие-то? В Яндексе научились стандартно установленный адблок обходить, ебать достижение, снимаю шляпу и апплодирую стоя.
Ну и где тысячи этих "перспективных" зумеров? В чем перспективность, где результаты хоть какие-то? В Яндексе научились стандартно установленный адблок обходить, ебать достижение, снимаю шляпу и апплодирую стоя.
>>25863
И сколько вас таких непризнанных шизогениев на бордах? Кроме самоподдува у тебя нихуя нет, при чем механизм самоподдува очень примитивный, в стиле "группа Х - тупые, потому что они тупые". Был бы ты чуть умнее, тебе бы хватило ума это отрефлексировать.
>я вообще гений так-то
И сколько вас таких непризнанных шизогениев на бордах? Кроме самоподдува у тебя нихуя нет, при чем механизм самоподдува очень примитивный, в стиле "группа Х - тупые, потому что они тупые". Был бы ты чуть умнее, тебе бы хватило ума это отрефлексировать.
>>25975
Есть )
Это не так. На самом деле:
- это не самоподдув
- "группа Х тупые, потому что это доказуемый факт".
> Кроме самоподдува у тебя нихуя нет,
Есть )
> при чем механизм самоподдува очень примитивный, в стиле "группа Х - тупые, потому что они тупые".
Это не так. На самом деле:
- это не самоподдув
- "группа Х тупые, потому что это доказуемый факт".
149 Кб, 290x643https://www.youtube.com/watch?v=AKEDt_wM-Qw
Про какие колебания, кручения в матрицах он говорит?
Про какие колебания, кручения в матрицах он говорит?
>>26421
Еще какие-то стихи вначале.
Еще какие-то стихи вначале.
>>25268
Нейроночки не только в Америке делают, так что вводить эмбарго придётся не одной стране. А это как-то малоправдоподобно сейчас выглядит.
Да и в Китае ничего сверхъестественного для социальных рейтингов не нужно, к тому же там тоже есть кому этим заняться.
Нейроночки не только в Америке делают, так что вводить эмбарго придётся не одной стране. А это как-то малоправдоподобно сейчас выглядит.
Да и в Китае ничего сверхъестественного для социальных рейтингов не нужно, к тому же там тоже есть кому этим заняться.
>>26068
Как думаешь, картинки с японским текстом смогут разметить? Там же русские
Как думаешь, картинки с японским текстом смогут разметить? Там же русские
Сап, где можно найти качественные датасеты каких-нибудь котировок акций, форекса, в часовом таймфрейме бесплатно естественно я и сам погуглю естественно, но вдруг
хочу отдрочить нейронку на всем подряд, и потом затрансферить на биткоин
хочу отдрочить нейронку на всем подряд, и потом затрансферить на биткоин
а, еще вопрос - имеет ли вообще смысл обучать предсказывающую модель на различных таймфреймах, а потом файн-тюнить на специализированном датасете с другим таймфреймом
типа, в современных работах по распознаванию образов от гугла, например https://arxiv.org/pdf/1912.11370v1.pdf делалось то же самое, но с изображениями - обучали сеть на одном разрешении, а потом файн-тьюнили до целевого перед тестированием (разница образовывалась из-за аугментации)
если так можно с картинками, то с временными рядами может тоже?
может таймфрейм как входной параметр добавить вообще
типа, в современных работах по распознаванию образов от гугла, например https://arxiv.org/pdf/1912.11370v1.pdf делалось то же самое, но с изображениями - обучали сеть на одном разрешении, а потом файн-тьюнили до целевого перед тестированием (разница образовывалась из-за аугментации)
если так можно с картинками, то с временными рядами может тоже?
может таймфрейм как входной параметр добавить вообще
>>25863
значительность различия определяется выборкой, если разница не нулевая, то то, что тебе разница кажется незначительной означает только одно - ты ошибся при выборе масштаба при сравнении характеристик
иначе сравнение просто не имеет ценности и следствий
>знаешь одну селедку - знаешь всех
>разница стремится к нулю
значительность различия определяется выборкой, если разница не нулевая, то то, что тебе разница кажется незначительной означает только одно - ты ошибся при выборе масштаба при сравнении характеристик
иначе сравнение просто не имеет ценности и следствий
1,3 Мб, 1080x1082>>26736
>>26794
>>26806
Не, зумерок, миллиардером ты так не станешь. Финансовые временные ряды не предсказываются, там либо слишком хитрые суперпозиции разных функций, либо просто случайное блуждание. Алсо, какой из тебя вкатывальщик, если ты датасеты нагуглить не можешь, лол. Тут и гуглить нечего, бери метатрейдер4, там все данные за выбранный период можно в csv импортировать.
>>26794
>>26806
Не, зумерок, миллиардером ты так не станешь. Финансовые временные ряды не предсказываются, там либо слишком хитрые суперпозиции разных функций, либо просто случайное блуждание. Алсо, какой из тебя вкатывальщик, если ты датасеты нагуглить не можешь, лол. Тут и гуглить нечего, бери метатрейдер4, там все данные за выбранный период можно в csv импортировать.
>>27004
не стану, мне делай нехуй, машоблю вместо просмотра аниме
ну у меня были раньше какие-то (кажущиеся?) результаты, была обученная предсказывать следующий фрейм нейронка, потом весь временной ряд прогонялся через нее чтоб получить некие абстрактные признаки, потом RL (да да прихуярил еще и не самую развитую область машоба) агент обучался действовать в простой торговой среде, покупка и продажа какого-то не помню какого типа актива с коммисией за операции
завис на том, что агент справлялся без и с очень низкой коммисией, но на взятой с биржи проебывался в ноль консистентно, мне казалось что это решаемо исправлением каких-то ошибок моих именно, которые к этому привели, но к тому моменту я так заебался этим заниматься что забил на несколько месяцев
я тогда все на 1m таймфрейме делал, с часовым не получалось особо (да и вообще пока в тренировочной выборке меньше пары лямов фреймов было), вот думаю может повторю хотя бы то что было, если достану данных побольше для 1h и затрансферю
вообще, я просто не додумался до этого до схемы обучения на большой сторонней выборке + файнтьюнинга на бтк, ну тупой мейби
спасибо, чекну, я по некоторым причинам подумал, что в нем самом по себе готовых данных нет
>миллиардером не станешь
не стану, мне делай нехуй, машоблю вместо просмотра аниме
>не предсказываются
ну у меня были раньше какие-то (кажущиеся?) результаты, была обученная предсказывать следующий фрейм нейронка, потом весь временной ряд прогонялся через нее чтоб получить некие абстрактные признаки, потом RL (да да прихуярил еще и не самую развитую область машоба) агент обучался действовать в простой торговой среде, покупка и продажа какого-то не помню какого типа актива с коммисией за операции
завис на том, что агент справлялся без и с очень низкой коммисией, но на взятой с биржи проебывался в ноль консистентно, мне казалось что это решаемо исправлением каких-то ошибок моих именно, которые к этому привели, но к тому моменту я так заебался этим заниматься что забил на несколько месяцев
я тогда все на 1m таймфрейме делал, с часовым не получалось особо (да и вообще пока в тренировочной выборке меньше пары лямов фреймов было), вот думаю может повторю хотя бы то что было, если достану данных побольше для 1h и затрансферю
вообще, я просто не додумался до этого до схемы обучения на большой сторонней выборке + файнтьюнинга на бтк, ну тупой мейби
>метатрейдер
спасибо, чекну, я по некоторым причинам подумал, что в нем самом по себе готовых данных нет
>>27004
То есть всякие датакванты хуйнёй занимаются?
Почему же они такие зарплаты платят? Откуда бабло?
> Финансовые временные ряды не предсказываются, там либо слишком хитрые суперпозиции разных функций,
То есть всякие датакванты хуйнёй занимаются?
Почему же они такие зарплаты платят? Откуда бабло?
>>27147
В квантитатив ресёрче нет мл как такового, ну максимум логрегрессия и эконометрические модели разные.
В квантитатив ресёрче нет мл как такового, ну максимум логрегрессия и эконометрические модели разные.
>>25247
Так это, как и 99% проблем на рынке, проблема хайринга.
Не надо просто искать "математиков с минимум 5 публикациями за последние полгода и топ-100 на каггле" шоб потом они сидели селектами фичи собирали, и никакие тянки будут не нужны.
>Тупого самца для таких дел нанимать страшнее, потому что он либо своими неудовлетворенными амбициями всех заебет, либо начнет капчевать сутками вместо работы от депрессии, что он весь такой умный, а его никто не принимает.
Так это, как и 99% проблем на рынке, проблема хайринга.
Не надо просто искать "математиков с минимум 5 публикациями за последние полгода и топ-100 на каггле" шоб потом они сидели селектами фичи собирали, и никакие тянки будут не нужны.
>>27147
Бизнес-воротилы платят за то, что их успокаивают, мол, вы не просто хуячите рандомом или по примитивным правилам (периодически проёбываясь и утягивая за собой рынок), а согласно хитрому анализу данных.
Бизнес-воротилы платят за то, что их успокаивают, мол, вы не просто хуячите рандомом или по примитивным правилам (периодически проёбываясь и утягивая за собой рынок), а согласно хитрому анализу данных.
>>27277
Через анус
Через анус
>>27276
Насколько я понимаю, кроме предсказания ряда есть еще много финансовых показателей, которые уже лучше поддаются машобу, всякие анализы рисков, волатильность etc
Насколько я понимаю, кроме предсказания ряда есть еще много финансовых показателей, которые уже лучше поддаются машобу, всякие анализы рисков, волатильность etc
>>27746
Разве соревнование, например, с призом в миллион баксов можно успешно в одно лицо решить?
Разве соревнование, например, с призом в миллион баксов можно успешно в одно лицо решить?
>>27753
Зайди на прошедшие соревнования и посмотри топ лб. Ещё учти, что многие из топа объединяются в самом конце соревнования.
Зайди на прошедшие соревнования и посмотри топ лб. Ещё учти, что многие из топа объединяются в самом конце соревнования.
Какой макбук купить для ml?
Старый эир совсем перестал устраивать. Для своей джавы я бы просто взял 13" прошку со встроенной графикой.
Но вкатываюсь в ml (курсы прохожу), и как я понял без полноценной видюхи я ничего не смогу делать локально.
Старый эир совсем перестал устраивать. Для своей джавы я бы просто взял 13" прошку со встроенной графикой.
Но вкатываюсь в ml (курсы прохожу), и как я понял без полноценной видюхи я ничего не смогу делать локально.
В 26-27 лет не поздно из крестов вкатываться в машобчик и кампутер вижн в ДС? С выпускниками ШАДов и ВШЭ по профильному направлению вообще реально конкурировать?
>>27276
вроде как крединый скорринг и обнаружение фрода как раз машобчиком и делается
вроде как крединый скорринг и обнаружение фрода как раз машобчиком и делается
Вот вы спорите на десятки+ тредов, а что уникального конкретно вы реализовали на этих ваших нейроночках?
>>27994
Это неудобный вопрос.
Это неудобный вопрос.
Вопрос по очистке текста для модели: можно ли привести слова типа "aaand", "aannnnnndddd", "anddddd" к их основной форме "and"?
Лемматизация и стемминг тут, вероятно, не помогут.
Лемматизация и стемминг тут, вероятно, не помогут.
>>28074
Ага.
Ага.
>>28081
Ну есть там дистанция Левенштейна и прочие хитрые изъебоны, но это такое себе
>Автоматизированных решений в данный момент нет?
Ну есть там дистанция Левенштейна и прочие хитрые изъебоны, но это такое себе
>>28032
двачую, я вылетел из реальности на полгода+ из-за ваших ебучих нейронок, лучше бы в доту играл
двачую, я вылетел из реальности на полгода+ из-за ваших ебучих нейронок, лучше бы в доту играл
Ща посмотрел стоимость аренды серверов, ебануться косарь за день работы 1080ti, моя 1080ti с авито за 20к уже за год себя окупила
>>28131
меньшие
меньшие
Челы, какой метод нормализации не дает протечки информации между разными точками образца по пространственным измерениям? Типа, что было бы окей при работе с изображениями, и не окей при работе с временным рядом. Я чтоб быстрее по времени обучать оптимизировал типа так, что одним образцом в батче является не
[x(0), x(1), ... x(n)] -> x(n+1)
, а сопоставление входного массива к сдвинутому на один элемент:
[x(0), x(1), ... x(n)] -> [x(1), x(2), ... x(n+1)]
ну там немного по другому, но суть такая
короче, какие современные нормализации не дадут какого-то усреднения по пространственному слою например, что даст протечку из будущего в прошлое в моем случае
[x(0), x(1), ... x(n)] -> x(n+1)
, а сопоставление входного массива к сдвинутому на один элемент:
[x(0), x(1), ... x(n)] -> [x(1), x(2), ... x(n+1)]
ну там немного по другому, но суть такая
короче, какие современные нормализации не дадут какого-то усреднения по пространственному слою например, что даст протечку из будущего в прошлое в моем случае
все, узнал уже, не знаю нахуя спрашивал
Антоны, а какой прикол делать многослойную seq2seq модель? Какой от этого существенный профит может быть?
>>28298
Соболезную.
Соболезную.
Поясните за word2vec: если у меня обучающая и тестовые выборки различаются словами, мне надо их приводить к "общему знаменателю"?
>>28358
в word2vec все незнакомые/редкие слова обычно помечаются отдельным токеном.
Но лучше используй fastText, там слова на символьные н-грамы разбираются и проблема сама собой решается.
в word2vec все незнакомые/редкие слова обычно помечаются отдельным токеном.
Но лучше используй fastText, там слова на символьные н-грамы разбираются и проблема сама собой решается.
Стоит ли вкатыватья в магу НГУ, если сейчас учусь в 5 часах езды от Новосиба и может быть смогу попасть туда без выступительных испытаний? Там какое то дотасаенс мошналернинг направление есть.
>>28772
Хуй знает, я вот вообще самостоятельно учился на машин лернинг, параллельно учась в местном пту-универе, ибо стипуха большая, по лабам нет напряга вообще (лабы уровня сортировка на сиплюсах). Единственное, что получил оттуда - багаж знаний по матану. Каеф.
Хуй знает, я вот вообще самостоятельно учился на машин лернинг, параллельно учась в местном пту-универе, ибо стипуха большая, по лабам нет напряга вообще (лабы уровня сортировка на сиплюсах). Единственное, что получил оттуда - багаж знаний по матану. Каеф.
>>28805
И к чему пришел на данный момент?
И к чему пришел на данный момент?
>>27800
бери 13, для вката достаточно google-colab
бери 13, для вката достаточно google-colab
>>29036
лол, не прочитал пост выше и подумал, что это срач про supervised learning, только на моменте с общагой понял, что что-то не так
>Учиться с учителем проще, чем самостоятельно.
лол, не прочитал пост выше и подумал, что это срач про supervised learning, только на моменте с общагой понял, что что-то не так
анончики, подскажите пожалуйста, может есть какие-то нейроночки которые бы откорректировали грамматику текста. Превратили бы "сегодня я ходить в работа" -> "сегодня я ходил на работу".
Делаю диплом с нейросеточкой, суть такая: вводишь текст -> из него выделяются ключевые слова -> по этим словам подбираются изображения. Нужно найти альтернативные системы с тем же функционалом (пишешь текст -> ищет картинки). Гугл картинки и подсказки со стикерами вк и в телеге не совсем то. Помогите, пожалуйста
>>29220
google translate rus->eng->rus превращает твой пример в "сегодня я иду на работу"
google translate rus->eng->rus превращает твой пример в "сегодня я иду на работу"
>>29434
Вообще-то гугл картинки это то, особенно последние годы, когда стало больше нейронок и меньше поисковой статистики
Вообще-то гугл картинки это то, особенно последние годы, когда стало больше нейронок и меньше поисковой статистики
>>29455
Принято, спасибо
Принято, спасибо
>>29434
Ща уже не просто ищут, а генерят картиночки по описанию. Гугли text to image
https://towardsdatascience.com/summarizing-popular-text-to-image-synthesis-methods-with-python-dc12d0075286
Ща уже не просто ищут, а генерят картиночки по описанию. Гугли text to image
https://towardsdatascience.com/summarizing-popular-text-to-image-synthesis-methods-with-python-dc12d0075286
>>18123
>>18123
Всё же попробовал поработать с бертом и у меня 3 вопроса:
1) Как правильно и наименее ресурсоемко сохранять тензоры которые выдает нейросетка?
Тензоры десяти отзывов весят 8 Мб если я через pickle их сохраняю, таких отзывов у меня 65к, т.е около 50 gb будет весить. В каждом тензоре N слов( по длине отзыва) с размерностью M.
2) Стоит ли просто взять среднее между всеми векторами слов, чтобы получить "вектор отзыва-документа" или для анализа нужно другие техники использовать?
3) Как мне делать Kmeans на таких больших данных?
Подозреваю что нужно будет по одному считывать и делать перерасчёт KMeans каждую итерацию, а не грузить сразу всё в память. Ну или батчами считать, сделать Kmeans, считать снова и так пока не пройду по всей коллекции.
>>18123
Всё же попробовал поработать с бертом и у меня 3 вопроса:
1) Как правильно и наименее ресурсоемко сохранять тензоры которые выдает нейросетка?
Тензоры десяти отзывов весят 8 Мб если я через pickle их сохраняю, таких отзывов у меня 65к, т.е около 50 gb будет весить. В каждом тензоре N слов( по длине отзыва) с размерностью M.
2) Стоит ли просто взять среднее между всеми векторами слов, чтобы получить "вектор отзыва-документа" или для анализа нужно другие техники использовать?
3) Как мне делать Kmeans на таких больших данных?
Подозреваю что нужно будет по одному считывать и делать перерасчёт KMeans каждую итерацию, а не грузить сразу всё в память. Ну или батчами считать, сделать Kmeans, считать снова и так пока не пройду по всей коллекции.
>>29594
Зачем? Она настолько долго работает, чтобы это делать?
Это было бы слишком охуенно, чтобы подбный линейный предиктор поверх BERT работал бы.
Тебе нужно отфайнтюнить BERT под свою задачу, то есть поверх всей этой сетки добавить несколько своих слоев, которые бы делали уже твою задачу.
Смотри
https://yashuseth.blog/2019/06/12/bert-explained-faqs-understand-bert-working/
https://github.com/nlpyang/BertSum
Ну и погугли finetuning bert, там что-то будет
>Как правильно и наименее ресурсоемко сохранять тензоры которые выдает нейросетка?
Зачем? Она настолько долго работает, чтобы это делать?
>Стоит ли просто взять среднее между всеми векторами слов, чтобы получить "вектор отзыва-документа" или для анализа нужно другие техники использовать?
Это было бы слишком охуенно, чтобы подбный линейный предиктор поверх BERT работал бы.
Тебе нужно отфайнтюнить BERT под свою задачу, то есть поверх всей этой сетки добавить несколько своих слоев, которые бы делали уже твою задачу.
Смотри
https://yashuseth.blog/2019/06/12/bert-explained-faqs-understand-bert-working/
https://github.com/nlpyang/BertSum
Ну и погугли finetuning bert, там что-то будет
>>28206
Через твою шизофазию очень трудно пробраться. Ты не casual convolutions ищешь случаем?
Через твою шизофазию очень трудно пробраться. Ты не casual convolutions ищешь случаем?
Посаны, хочу обучить алгоритм по типу вайфы, но не хочу изучать высшую математику.
Возможно, даже не апскейлер, а просто фильтр. Желательно чтобы и так и так, как вайфу, но похуй. Устроит в любом виде.
Материал для обучения подготовить могу, но что дальше делать не знаю.
Советы? Обломаться?
Возможно, даже не апскейлер, а просто фильтр. Желательно чтобы и так и так, как вайфу, но похуй. Устроит в любом виде.
Материал для обучения подготовить могу, но что дальше делать не знаю.
Советы? Обломаться?
Анон, нужно для диплома написать нейронку для оценки кредитов в банке. Планирую использовать lending club loan dataset. Писать буду на python, следовательно логичнее всего использовать tensorflow? Тогда киньте гайд по нему, желательно на русике, но можно и на инглише. Хотел бы сделать не бинарную классификацию (хороший, плохой кредит), а хороший, рисковый, плохой. На сколько это труднее?
>>14936 (OP)
Ученные, ответьте, почему вы решили вкатиться в ML/DS, вместо того чтобы пилить сайтики/разрабатывать приложения на джаве? Там ведь и денег больше и востребованность и знаний нужно меньше. Я не троллю, просто пасую вас вопрос который задали мне.
Ученные, ответьте, почему вы решили вкатиться в ML/DS, вместо того чтобы пилить сайтики/разрабатывать приложения на джаве? Там ведь и денег больше и востребованность и знаний нужно меньше. Я не троллю, просто пасую вас вопрос который задали мне.
>>30311
Ну DS области связанные именно с обучением машин, вопрос тут достаточно обширный конечно, типа прогнозирования покупок, рекомендаций и прочего такого. Но как вообще люди понимают что они именно в это хотят вкатиться? Мне к примеру просто интересно изучать и работать с чем-то, что требует интересного мыслительного процесса, интересно находить взаимосвязи и предсказывать будущее. Но тут чел с курсов приложил меня вопросом о том, может мне лучше сайты изучать, или приложения, а то и геймдев, типа первые 2 направления уж точно выше оплачиваются и адово востребованные, и в целом вел к тому - а нахуй тебе оно вообще нужно? Но вот мне сайты вообще ни разу не уперлись, с приложениями так же, плюс джава мне просто эстетически как-то не понравилась едва я её увидел. А в геймдеве я уже работаю как дизайнер, и в рот это всё ебал. Скучнешие задачи, унылый ноубрейн дроч уровня разнорабочего на стройке, это все только выглядит красиво и весело
Ну DS области связанные именно с обучением машин, вопрос тут достаточно обширный конечно, типа прогнозирования покупок, рекомендаций и прочего такого. Но как вообще люди понимают что они именно в это хотят вкатиться? Мне к примеру просто интересно изучать и работать с чем-то, что требует интересного мыслительного процесса, интересно находить взаимосвязи и предсказывать будущее. Но тут чел с курсов приложил меня вопросом о том, может мне лучше сайты изучать, или приложения, а то и геймдев, типа первые 2 направления уж точно выше оплачиваются и адово востребованные, и в целом вел к тому - а нахуй тебе оно вообще нужно? Но вот мне сайты вообще ни разу не уперлись, с приложениями так же, плюс джава мне просто эстетически как-то не понравилась едва я её увидел. А в геймдеве я уже работаю как дизайнер, и в рот это всё ебал. Скучнешие задачи, унылый ноубрейн дроч уровня разнорабочего на стройке, это все только выглядит красиво и весело
>>30083
Большое заблуждение по всем трем пунктам.
Я пару раз в жизни пробовал вкатываться в веб, и не осилил. Потому что это примерно как стать автослесалем - ну да, ничего сложно, и да, каждый раз делаешь одно и то же, но первоначально осилить все нужные технологии не так уж и просто. Неспешный вкат и там и там 1-2 года занимает.
Востребованность - зависит от твоего опыта. Веб-сеньер с опытом 10 лет - это, ну, сеньер. ML-спец с опытом 10 лет - это бог рынка труда. Ты как минимум не будешь идиотские собеседования проходить на ту же зарплату.
Знаний меньше не нужно, просто знания не устаревают, в отличие от. Условно, в 2008 году я занимался всем подряд, и, с одной стороны, я по просьбе препода написал нейронку SOM для его книги. С другой, сверстал сайт для батиной фирмы. Ну что по итогу. Знания о SOM мне до сих пор пригождаются. А табличная верстка сайта в ту добустрепную эру? Нахуй оно не нужно сейчас. Разве что логи генерить может быть удобно.
Грубо говоря знания ML это как хранить деньги в баксах, а веб - в рублях. Иногда тебе везет, но на длинной дистанции ML всегда выиграет.
>Там ведь и денег больше и востребованность и знаний нужно меньше
Большое заблуждение по всем трем пунктам.
Я пару раз в жизни пробовал вкатываться в веб, и не осилил. Потому что это примерно как стать автослесалем - ну да, ничего сложно, и да, каждый раз делаешь одно и то же, но первоначально осилить все нужные технологии не так уж и просто. Неспешный вкат и там и там 1-2 года занимает.
Востребованность - зависит от твоего опыта. Веб-сеньер с опытом 10 лет - это, ну, сеньер. ML-спец с опытом 10 лет - это бог рынка труда. Ты как минимум не будешь идиотские собеседования проходить на ту же зарплату.
Знаний меньше не нужно, просто знания не устаревают, в отличие от. Условно, в 2008 году я занимался всем подряд, и, с одной стороны, я по просьбе препода написал нейронку SOM для его книги. С другой, сверстал сайт для батиной фирмы. Ну что по итогу. Знания о SOM мне до сих пор пригождаются. А табличная верстка сайта в ту добустрепную эру? Нахуй оно не нужно сейчас. Разве что логи генерить может быть удобно.
Грубо говоря знания ML это как хранить деньги в баксах, а веб - в рублях. Иногда тебе везет, но на длинной дистанции ML всегда выиграет.
>>14936 (OP)
Я конечно все понимаю, но есть какие-то базовые курсы/книги для того чтобы освоиться хотя бы на базовом уровне? А то начинать с книги под названием deep learning, которая целиком состоит из математических формул без единой строки кода как-то слишком жестко. В этой области вообще существует какой-то базовый уровень? Нашел пока что книгу https://www.amazon.com/gp/product/1491957662 , если ничего лучше не найду, то по ней стартану и еще курс на udemy. И может кто-то из вас знает что по поводу всяких курсов по DS на яндексе/skillbox/skillfactory? А то там только слышплоти и почти нихуя нет инфы о том, что собственном курс из себя представляет, только у яндекса вроде бы есть парочка вводных уроков, но пока не разбирался что там.
Я конечно все понимаю, но есть какие-то базовые курсы/книги для того чтобы освоиться хотя бы на базовом уровне? А то начинать с книги под названием deep learning, которая целиком состоит из математических формул без единой строки кода как-то слишком жестко. В этой области вообще существует какой-то базовый уровень? Нашел пока что книгу https://www.amazon.com/gp/product/1491957662 , если ничего лучше не найду, то по ней стартану и еще курс на udemy. И может кто-то из вас знает что по поводу всяких курсов по DS на яндексе/skillbox/skillfactory? А то там только слышплоти и почти нихуя нет инфы о том, что собственном курс из себя представляет, только у яндекса вроде бы есть парочка вводных уроков, но пока не разбирался что там.
>>28534
Я так понял в модель просто пихаешь обработанный текст и он сам всё делает?
Текст этот в файл надо сохранять? Или можно из датафрейма?
А что насчёт меток, если обучение с учителем?
> fastText
Я так понял в модель просто пихаешь обработанный текст и он сам всё делает?
Текст этот в файл надо сохранять? Или можно из датафрейма?
А что насчёт меток, если обучение с учителем?
>>30409
Тогда это не для тебя
Да, учиться в школе математике хотя бы на 4 и осилить базовую высшую математику в вузе
>А то начинать с книги под названием deep learning, которая целиком состоит из математических формул без единой строки кода как-то слишком жестко.
Тогда это не для тебя
>В этой области вообще существует какой-то базовый уровень
Да, учиться в школе математике хотя бы на 4 и осилить базовую высшую математику в вузе
Ебанутый мир.
Презумпция о невиновности нихуя не значит
В одних странах ворьё, мерзавцы и охуевшие малолетки считающие себя умнее и лучше их. В других муслимы/муслимы-беженцы. В третьих куколды, каблуки открывающие рот, когда представители "меньшинств" расстегивают ширинку.
Ублюдские люди, ублюдское общество куда не плюнь.
Сука.
Может кто нибудь знает ответ, где находится нормальная страна с более-менее вменяемыми людьми?
Если ты ответишь-Польша, я харкну тебя в ебало, потому что польша притон ичкерийцев
Презумпция о невиновности нихуя не значит
В одних странах ворьё, мерзавцы и охуевшие малолетки считающие себя умнее и лучше их. В других муслимы/муслимы-беженцы. В третьих куколды, каблуки открывающие рот, когда представители "меньшинств" расстегивают ширинку.
Ублюдские люди, ублюдское общество куда не плюнь.
Сука.
Может кто нибудь знает ответ, где находится нормальная страна с более-менее вменяемыми людьми?
Если ты ответишь-Польша, я харкну тебя в ебало, потому что польша притон ичкерийцев
>>30439
Сильное заявление.jpeg
Только чтобы набросать нейросетку в TF, керасе или торче, математику знать не особо надо.
Это тем кто исследования ведёт в области глубокого обучения, в том числе прикладные - да - там математика через математику.
Ты ещё скажи, чтобы стать смуззихлёбом, надо кандидатский минимум сдать по физике полупроводников.
> учиться в школе математике хотя бы на 4 и осилить базовую высшую математику в вузе
Сильное заявление.jpeg
Только чтобы набросать нейросетку в TF, керасе или торче, математику знать не особо надо.
Это тем кто исследования ведёт в области глубокого обучения, в том числе прикладные - да - там математика через математику.
Ты ещё скажи, чтобы стать смуззихлёбом, надо кандидатский минимум сдать по физике полупроводников.
>>30444
Это не математика, а вторая культура.
>Это тем кто исследования ведёт в области глубокого обучения, в том числе прикладные - да - там математика через математику.
Это не математика, а вторая культура.
>>30409
Поддерживаю оратора выше, без уверенного знания матана тебе даже вёрстке делать нечего. Рекомендую тебе не тратить на это время, это не для таких как ты. Тут тебе даже программирование по сути не нужно и всё это вторично. Главное глубокое знание матана в идеале. Вчерашним домохозяйкам тут не место.
Поддерживаю оратора выше, без уверенного знания матана тебе даже вёрстке делать нечего. Рекомендую тебе не тратить на это время, это не для таких как ты. Тут тебе даже программирование по сути не нужно и всё это вторично. Главное глубокое знание матана в идеале. Вчерашним домохозяйкам тут не место.
>>30453
Жирновато.
Жирновато.
>>30453
Ох интегралы сладкие, обожаю брать интегралы под водовку и махорку. А эти ваши модули, торические многообразия, гомологии и гомотопии это что вообще такое?
Ох интегралы сладкие, обожаю брать интегралы под водовку и махорку. А эти ваши модули, торические многообразия, гомологии и гомотопии это что вообще такое?
Мы с коллегой по кафедре недавно душевно посидели, попили водки с пепси, поели то, что он приготовил - отборный картофан, каждый взял на закусь несколько интегралов - неопределенные, поверхностные второго рода, после второй бутылки взяли даже неберущийся в элементарных функциях интеграл. А листочками по алгебраической геометрии вытирали руки.
>>30409
На степике есть хорошие курсы по CV и NLP от Samsung Research
На степике есть хорошие курсы по CV и NLP от Samsung Research
>>30531
Мы тебе не мешаем заниматься твоим протухшим говном, по которому нет актуальных исследований и которое изучено вдоль и поперек в 30-м году
Мы тебе не мешаем заниматься твоим протухшим говном, по которому нет актуальных исследований и которое изучено вдоль и поперек в 30-м году
>>30444
Эта дихотомия - самоподдувный миф вкатывальщиков. Если ты устраиваешься на вакансию DL-сеньера, ты именно что ведешь исследования. Разница с наукой только в том, что публиковаться не обязательно, а то и вредно. Ну и еще по мелочам, например, рост перформанса в 1% в науке может быть сенсацией, а в бизнесе будут доводить до ума существующие модели. Что, кстати, тоже нихуя не то, как ты себе это представляешь.
>Только чтобы набросать нейросетку в TF, керасе или торче, математику знать не особо надо.
>Это тем кто исследования ведёт
Эта дихотомия - самоподдувный миф вкатывальщиков. Если ты устраиваешься на вакансию DL-сеньера, ты именно что ведешь исследования. Разница с наукой только в том, что публиковаться не обязательно, а то и вредно. Ну и еще по мелочам, например, рост перформанса в 1% в науке может быть сенсацией, а в бизнесе будут доводить до ума существующие модели. Что, кстати, тоже нихуя не то, как ты себе это представляешь.
>>30545
Там еще исследования ведутся? То есть вот за этим всем неработоспособное МЛ говнищем, за ним стоят исследования и человекочасы неглупых людей хоть и матанопетухов? Ой, вей
Мимо
>что ведешь исследования
Там еще исследования ведутся? То есть вот за этим всем неработоспособное МЛ говнищем, за ним стоят исследования и человекочасы неглупых людей хоть и матанопетухов? Ой, вей
Мимо
>>30540
Как минимум ты очередной раз протек в ML-тред.
Протухшим говном является М-теория, теория струн и прочая отрыжка математиков, которая оказалась соврешенно неприспособленной к описанию реального мира. То есть эти уебки хотели стать новыми миньковскими, а оказались просто долбоебами. А дальше начали делать вид, что не больно-то и хотелось, мы же фундаментальная математика епт.
В интегральчиках же дохуя работы и неизвестного, до сих пор нормальный симулятор всего не написан, везде какие-то частные случаи и ухищрения.
>Мы тебе не мешаем заниматься
Как минимум ты очередной раз протек в ML-тред.
>протухшим говном, по которому нет актуальных исследований
Протухшим говном является М-теория, теория струн и прочая отрыжка математиков, которая оказалась соврешенно неприспособленной к описанию реального мира. То есть эти уебки хотели стать новыми миньковскими, а оказались просто долбоебами. А дальше начали делать вид, что не больно-то и хотелось, мы же фундаментальная математика епт.
В интегральчиках же дохуя работы и неизвестного, до сих пор нормальный симулятор всего не написан, везде какие-то частные случаи и ухищрения.
>>30543
Как раз таки ЗАДАЧ там очень много. Может быть ты, быдло, хотел сказать, что за это тебе не заплатят 300к в секунду? Ты настолько увяз в коммерс системе, что уже не понимаешь, что и для чего тебе нужно. Вся цивилизация построена на интересе, наука развивалась благодаря интересу. А у таких как ты тристакавсекундышей нет ни цели, ни смысла, убогое быссмысленное существование
>Так маняматика говно без задач, какие там исследования?
Как раз таки ЗАДАЧ там очень много. Может быть ты, быдло, хотел сказать, что за это тебе не заплатят 300к в секунду? Ты настолько увяз в коммерс системе, что уже не понимаешь, что и для чего тебе нужно. Вся цивилизация построена на интересе, наука развивалась благодаря интересу. А у таких как ты тристакавсекундышей нет ни цели, ни смысла, убогое быссмысленное существование
>>29594
А в чём проблема, зумерок, эффективных алгоритмов поиска ближайших выше крыши, не говоря уже о приближённых. Понаизучают свои няронки, а простейшего компьютер саенса уже и не знает никто.
>Как мне делать Kmeans на таких больших данных?
А в чём проблема, зумерок, эффективных алгоритмов поиска ближайших выше крыши, не говоря уже о приближённых. Понаизучают свои няронки, а простейшего компьютер саенса уже и не знает никто.
>>30556
Когда очень хочешь выебнуться в ML-треде, а нечем
Когда очень хочешь выебнуться в ML-треде, а нечем
>>30558
multilingual бери
multilingual бери
>>30551
Ну так давай по простому, вот задача, вот ее решение, вот невероятный профит для человечества, примеры пазязя.
>Как раз таки ЗАДАЧ там очень много
Ну так давай по простому, вот задача, вот ее решение, вот невероятный профит для человечества, примеры пазязя.
>>30564
У тебя стадная когнитивка, тебе жизненно важна работа на публику. Так, например, у всех чинов происходит, им нужен пиздеж и публичность. Смысл математики есть для самого математика. Ты его не видишь потому, что у тебя нет понятия самого "я", твоя личность смешана со всей окружающей биомассов. Если эта биомасса не одобрит твои увлечения или даже твое существование, то это твое существование как бы не имеет смысла.
>вот невероятный профит для человечества
У тебя стадная когнитивка, тебе жизненно важна работа на публику. Так, например, у всех чинов происходит, им нужен пиздеж и публичность. Смысл математики есть для самого математика. Ты его не видишь потому, что у тебя нет понятия самого "я", твоя личность смешана со всей окружающей биомассов. Если эта биомасса не одобрит твои увлечения или даже твое существование, то это твое существование как бы не имеет смысла.
У тебя даже нет такого понятия как "интерес", есть только социальный заказ и твои потуги его удовлетворить ради похвалы
И М-теория и теория струн это теоретическая физика, а не математика. Математика - это разработка самой математики. Работа математика - доказательства теорем и создание теорий. Пример математики - деятельность Рамануджана.
>>30567
Ну, ок, я согласен, только почему я его должен кормить со своих налогов, а их не одна сотня тащемто? Почему мне за мои увлечения не платят, несправедливости ты не видишь?
>Смысл математики есть для самого математика
Ну, ок, я согласен, только почему я его должен кормить со своих налогов, а их не одна сотня тащемто? Почему мне за мои увлечения не платят, несправедливости ты не видишь?
>>30575
Потому что социальная справедливость. Учитель, врач и воспитатель платят налоги и не бухтят, только убогие типа тебя возмущаются тем, что от своей зарплаты 300к они платят 5к налогов. Я бы еще ввел прогрессивный налог, чтобы такие как ты отчисляли от своей зп 50-60к налогов на благо социума.
>только почему я его должен кормить со своих налогов
Потому что социальная справедливость. Учитель, врач и воспитатель платят налоги и не бухтят, только убогие типа тебя возмущаются тем, что от своей зарплаты 300к они платят 5к налогов. Я бы еще ввел прогрессивный налог, чтобы такие как ты отчисляли от своей зп 50-60к налогов на благо социума.
>>30578
Ох лол, вот последние приносят реальную пользу человечеству, а матанопетушнят нет. Тебе не кажется что математики это паразиты?
>Потому что социальная справедливость
>Учитель, врач и воспитатель
Ох лол, вот последние приносят реальную пользу человечеству, а матанопетушнят нет. Тебе не кажется что математики это паразиты?
>>30567
Ты это только чато на публику высрал. Я уже говорил, что вербитоблядки - это худшая порода людей.
Тут та же самая хуйня. Люди, которые прикидываются не людьми. Которые громко орут о том, как им не нужно социальное одобрение. Ебаные лицемеры.
>У тебя стадная когнитивка, тебе жизненно важна работа на публику.
Ты это только чато на публику высрал. Я уже говорил, что вербитоблядки - это худшая порода людей.
Тут та же самая хуйня. Люди, которые прикидываются не людьми. Которые громко орут о том, как им не нужно социальное одобрение. Ебаные лицемеры.
>>30582
Деточка, твой компьютер работает на математике.
Выйди из интернета и больше в нём никогда ничего не пиши.
Деточка, твой компьютер работает на математике.
Выйди из интернета и больше в нём никогда ничего не пиши.
>>30586
Куча транзисторов с примитивной двоичной логикой, это ты в заслугу ставишь? Помнишь того, кто первый программируемый ткацкий станок изобрел, а?
Мысли научись выражать.
>твой компьютер работает на математике
Куча транзисторов с примитивной двоичной логикой, это ты в заслугу ставишь? Помнишь того, кто первый программируемый ткацкий станок изобрел, а?
>Люди, которые прикидываются не людьми. Которые громко орут о том, как им не нужно социальное одобрение
Мысли научись выражать.
>>30587
Доказательство теорем лучше всего развивает способность выражать мысли.
>Мысли научись выражать.
Доказательство теорем лучше всего развивает способность выражать мысли.
>>30592
Ясно, но вас математических говноедов, я деньгами кормить не буду.
>Ты туповат просто, вот тебе и не понятно
Ясно, но вас математических говноедов, я деньгами кормить не буду.
>>30586
Компьютер создан инженерами за миллионы человеколет проб и ошибок с использованием открытий физики.
Математики тут седьмая вода на киселе. Самое уебищное это конечно одержимость доказательствами, при этом зачастую бесполезными манядоказательствами типа доказательства существования.
>Деточка, твой компьютер работает на математике.
Компьютер создан инженерами за миллионы человеколет проб и ошибок с использованием открытий физики.
Математики тут седьмая вода на киселе. Самое уебищное это конечно одержимость доказательствами, при этом зачастую бесполезными манядоказательствами типа доказательства существования.
>>30594
Конечно, я все больше убеждаюсь в своей правоте, поскольку вы не можете внятно объяснить какая мне от математиков польза.
>А спам на дваче развивает мышление?
Конечно, я все больше убеждаюсь в своей правоте, поскольку вы не можете внятно объяснить какая мне от математиков польза.
>>30587
Оно работает, маня. Сделай лучше, если сможешь - это первое.
Статистика, фотошопы и различные фильтры, расчёты самолётов, ракет и кораблей, моделирование процессов- - это всё математика - это второе.
Математика везде.
> с примитивной двоичной логикой
Оно работает, маня. Сделай лучше, если сможешь - это первое.
Статистика, фотошопы и различные фильтры, расчёты самолётов, ракет и кораблей, моделирование процессов- - это всё математика - это второе.
Математика везде.
>>30597
Это не проблема фундаментальной науки.
>Самое уебищное это конечно одержимость доказательствами, при этом зачастую бесполезными манядоказательствами типа доказательства существования.
Это не проблема фундаментальной науки.
>>30596
Ты совсем тупой, если не понял, что нас тут минимум трое.
Вербитошизик, вылетевший из универа за токсичность, ты (нечеткий петух, кефирщик и далее по тексту), и я, единственный, кто среди вас, говноедов, имеет к ML прямое отношение. В плане "компьютер работает на математике" я скорее на твоей стороне, подобное только вербитошизик может высрать.
Ты совсем тупой, если не понял, что нас тут минимум трое.
Вербитошизик, вылетевший из универа за токсичность, ты (нечеткий петух, кефирщик и далее по тексту), и я, единственный, кто среди вас, говноедов, имеет к ML прямое отношение. В плане "компьютер работает на математике" я скорее на твоей стороне, подобное только вербитошизик может высрать.
>>30601
сначала: ИНТЕГРАЛЫ КАРТОФАН КАРФТОФАН ВТОРАЯ КУЛЬТУРА
через пару часов: Статистика, фотошопы и различные фильтры, расчёты самолётов, ракет и кораблей, моделирование процессов- - это всё математика - это второе.
Лицемеры-первокультурщики как есть.
>Статистика, фотошопы и различные фильтры, расчёты самолётов, ракет и кораблей, моделирование процессов- - это всё математика - это второе.
сначала: ИНТЕГРАЛЫ КАРТОФАН КАРФТОФАН ВТОРАЯ КУЛЬТУРА
через пару часов: Статистика, фотошопы и различные фильтры, расчёты самолётов, ракет и кораблей, моделирование процессов- - это всё математика - это второе.
Лицемеры-первокультурщики как есть.
>>30601
Что вы изобрели нового?
Это пиздец без комментариев
Все это было придумано до вас, да и после каждого проектирования идут тысячи часов допиливания напильником реальной модели. Математику на хуй.
>Математика везде
Что вы изобрели нового?
> фотошопы и различные фильтры
Это пиздец без комментариев
>расчёты самолётов, ракет и кораблей, моделирование процессов
Все это было придумано до вас, да и после каждого проектирования идут тысячи часов допиливания напильником реальной модели. Математику на хуй.
>>30604
И я тебя уже много раз просил похвастаться твоими достижениями, но увы...
>и я, единственный, кто среди вас, говноедов, имеет к ML прямое отношение
И я тебя уже много раз просил похвастаться твоими достижениями, но увы...
>>30610
Картофаном
Картофаном
>>30610
О кей, есть задача детектить 2д геометрические фигуры на плоскости с определенной скоростью, только вся ваша магия нихуяшеньки с этим не справляется, объсни?
>обработка изображений
О кей, есть задача детектить 2д геометрические фигуры на плоскости с определенной скоростью, только вся ваша магия нихуяшеньки с этим не справляется, объсни?
>>30586
Мой работает на процессоре.
Мой работает на процессоре.
Как печёт-то умственным карликам что им мозгов только керас импортить и датафреймы перекладывать хватает а кто-то более изощрёнными вещами занимается, любо-дорого :3
>>30609
Пару раз ты просил, последний раз это было еще в прошлом году, а мы на рынок вышли только в январе. Сотни установок (с ценой установки в сотню баксов) в неделю от живых людей - это достижение или нет? Или эти люди тоже оболванены маркетингом? Ты же шизик и всегда придумаешь объяснение, почему конкретно в этот раз нейронки сосут.
Пару раз ты просил, последний раз это было еще в прошлом году, а мы на рынок вышли только в январе. Сотни установок (с ценой установки в сотню баксов) в неделю от живых людей - это достижение или нет? Или эти люди тоже оболванены маркетингом? Ты же шизик и всегда придумаешь объяснение, почему конкретно в этот раз нейронки сосут.
>>30629
Ты это уже говорил, ну ты же понимаешь что это так себе, говно для тех кто в теме? Где прогресс?
>обработка аудио
Ты это уже говорил, ну ты же понимаешь что это так себе, говно для тех кто в теме? Где прогресс?
А можно на каком-нибудь бесплатном хостинге с кроном сделать скрипт который раз в три-четыре часа ходит и пинает ноут на коллабе чтоб обойти ограничение по времени выполнения? Не отслеживают такое?
>>30633
Заранее манипулятивный вопрос. Дай сначала определение прогресса и пример. Мол - вот это прогресс, а это нет
>Где прогресс?
Заранее манипулятивный вопрос. Дай сначала определение прогресса и пример. Мол - вот это прогресс, а это нет
>>29858
Вроде, понял как обучить вайфу. Но она же толстожопая и медлительная. И подозреваю, что с задачей отличной от шумодава она справится очень хуёво.
Нахуя вы тут сидите вообще, если по самым даунским вопросам ноль помощи?
Пиздец.
Вроде, понял как обучить вайфу. Но она же толстожопая и медлительная. И подозреваю, что с задачей отличной от шумодава она справится очень хуёво.
Нахуя вы тут сидите вообще, если по самым даунским вопросам ноль помощи?
Пиздец.
>>30694
Это просто софтина, гоняющая разные модели, есть быстрые, есть медленные. Совсем быстро будет что-то типа unet mobilenet или вообще типа https://www.paperswithcode.com/paper/190807985 (2 секунды в гугле по запросу mobile super resolution)
Обучение медленно всегда, покупай видюху или пиздуй на google colab нищенствовать
У даунских вопросов как раз мало шансов на ответы. Лично я не нашел у тебя в посте вопросов, кроме "я даун и не прочитал ридми у waifu2x", да и то после дешифровке, за такие формулировки даже на малотоксичном stackoverflow пиздят.
>Вроде, понял как обучить вайфу. Но она же толстожопая и медлительная.
Это просто софтина, гоняющая разные модели, есть быстрые, есть медленные. Совсем быстро будет что-то типа unet mobilenet или вообще типа https://www.paperswithcode.com/paper/190807985 (2 секунды в гугле по запросу mobile super resolution)
Обучение медленно всегда, покупай видюху или пиздуй на google colab нищенствовать
>Нахуя вы тут сидите вообще, если по самым даунским вопросам ноль помощи?
У даунских вопросов как раз мало шансов на ответы. Лично я не нашел у тебя в посте вопросов, кроме "я даун и не прочитал ридми у waifu2x", да и то после дешифровке, за такие формулировки даже на малотоксичном stackoverflow пиздят.
>>30700
2070s присутствует. Наверное, приемлемо?
Ну, "читай ридми вайфу" — тоже ответ.
Конкретика состоит в том, что я хочу автоматизировать создание специфического шума на картинках. Сорт оф дизеринг.
Могу ради этого запилить дохуя примеров изображений с шумом и без.
И вот, прежде чем вникать, пришёл к вам с вопросом стоит ли это того вообще.
То есть, если вкатываться пол года самому и обучать ещё пол года сеть после этого — оно того явно не стоит.
Если "возьми вот это да скорми свои картинки, и за пару недель у тебя будет примерно то, чего ты хочешь" — это другой разговор.
Волнует скорость обучения. Скорость обработки не так сильно.
Пока всё прочитанное намекает, что короткого пути нет.
2070s присутствует. Наверное, приемлемо?
Ну, "читай ридми вайфу" — тоже ответ.
Конкретика состоит в том, что я хочу автоматизировать создание специфического шума на картинках. Сорт оф дизеринг.
Могу ради этого запилить дохуя примеров изображений с шумом и без.
И вот, прежде чем вникать, пришёл к вам с вопросом стоит ли это того вообще.
То есть, если вкатываться пол года самому и обучать ещё пол года сеть после этого — оно того явно не стоит.
Если "возьми вот это да скорми свои картинки, и за пару недель у тебя будет примерно то, чего ты хочешь" — это другой разговор.
Волнует скорость обучения. Скорость обработки не так сильно.
Пока всё прочитанное намекает, что короткого пути нет.
>>30709
Наверное, особенно если fp16 для твоей задачи заведется
Покажи
Если ты можешь запилить дохуя примеров, ты видимо их генерируешь. Нахуя тогда тебе нейронка
Пара недель - это что-то из 2015. Сейчас самая первая сетка вайфу, которая SRCNN называется, должна обучаться за несколько часов (и то я дохуя загнул). Сетки со скипконнекшенами с тем же числом параметров еще быстрее обучаются
Тут скорее вопрос в том, что из себя представляет шум, какой receptive field тебе нужен, чтобы модель полно его воспроизводила, сколько слоев настакать, и так далее.
waifu2x тут конечно нахуй не нужен, во-первых, lua, во-вторых, там слишком много хуйни для юзеров. https://medium.com/datadriveninvestor/using-the-super-resolution-convolutional-neural-network-for-image-restoration-ff1e8420d846 вот например туториал индуса какого-то с той же самой SRCNN
SRCNN это конечно древняя хуйня я ебал, она появилась до массового использования скипконнекшенов, которые очень сильно облегчают жизнь, поэтому в принципе ее лучше не юзать. Но найти человеческий индусотуториал я не могу. Например вот отсюда https://github.com/ChaofWang/Awesome-Super-Resolution вот в этой репе https://github.com/titu1994/Image-Super-Resolution есть DSRCNN, вот что-то подобное выглядит не сильно тяжелее DSRCNN и при этом уже со скипконнекшенами. Вообще найди Awesome-Super-Resolution репу по вкусу и используй.
>2070s присутствует. Наверное, приемлемо?
Наверное, особенно если fp16 для твоей задачи заведется
>Конкретика состоит в том, что я хочу автоматизировать создание специфического шума на картинках
Покажи
>Могу ради этого запилить дохуя примеров изображений с шумом и без.
Если ты можешь запилить дохуя примеров, ты видимо их генерируешь. Нахуя тогда тебе нейронка
>Если "возьми вот это да скорми свои картинки, и за пару недель у тебя будет примерно то, чего ты хочешь" — это другой разговор.
Пара недель - это что-то из 2015. Сейчас самая первая сетка вайфу, которая SRCNN называется, должна обучаться за несколько часов (и то я дохуя загнул). Сетки со скипконнекшенами с тем же числом параметров еще быстрее обучаются
Тут скорее вопрос в том, что из себя представляет шум, какой receptive field тебе нужен, чтобы модель полно его воспроизводила, сколько слоев настакать, и так далее.
waifu2x тут конечно нахуй не нужен, во-первых, lua, во-вторых, там слишком много хуйни для юзеров. https://medium.com/datadriveninvestor/using-the-super-resolution-convolutional-neural-network-for-image-restoration-ff1e8420d846 вот например туториал индуса какого-то с той же самой SRCNN
SRCNN это конечно древняя хуйня я ебал, она появилась до массового использования скипконнекшенов, которые очень сильно облегчают жизнь, поэтому в принципе ее лучше не юзать. Но найти человеческий индусотуториал я не могу. Например вот отсюда https://github.com/ChaofWang/Awesome-Super-Resolution вот в этой репе https://github.com/titu1994/Image-Super-Resolution есть DSRCNN, вот что-то подобное выглядит не сильно тяжелее DSRCNN и при этом уже со скипконнекшенами. Вообще найди Awesome-Super-Resolution репу по вкусу и используй.
>>30716
Что-то такое. Хочу имитацию "полезного" шума.
Могу генерировать при наличии хайреза и на определённых исходниках. Иначе заёбно. Хочу чтобы комплюхтер заёбывался вместо меня.
> Покажи
Что-то такое. Хочу имитацию "полезного" шума.
> ты видимо их генерируешь
Могу генерировать при наличии хайреза и на определённых исходниках. Иначе заёбно. Хочу чтобы комплюхтер заёбывался вместо меня.
>>30722
Такое за пару дней сделать должен. Возьми индусотуториал, убедись, что обучение идет на родном датасете, затем подмени датасет на свой и ебашь. А там посмотрим, интересная задача, пиши как что
Такое за пару дней сделать должен. Возьми индусотуториал, убедись, что обучение идет на родном датасете, затем подмени датасет на свой и ебашь. А там посмотрим, интересная задача, пиши как что
>>30727
Большое спасибо. Буду пробовать.
Большое спасибо. Буду пробовать.
50 Кб, 700x366>>30668
Ну вот представь, что ты живущий на рубеже 18 века маняматик и тут хуяк, железные дороги вместо лошадей, паровые/бензиновые двигатели, лепездричестао, самолеты, телеграф. Сейчас собственно технологический тупик уже как лет 50, оптимизация технологий. Все становится чуть меньше, надежней, дешевле, но это не прогресс.
>Дай сначала определение прогресса и пример. Мол - вот это прогресс, а это нет
Ну вот представь, что ты живущий на рубеже 18 века маняматик и тут хуяк, железные дороги вместо лошадей, паровые/бензиновые двигатели, лепездричестао, самолеты, телеграф. Сейчас собственно технологический тупик уже как лет 50, оптимизация технологий. Все становится чуть меньше, надежней, дешевле, но это не прогресс.
>>30784
Сколько лет прошло между паровым двигателем и железной дорогой между двумя городами? Между локальной железной дорогой и региональной? Между региональной и транссибом?
Если ты безграмотная манька, не знающая истории - то хуяк, и 200 лет истории развития - это короче, чем год сейчас, ведь год сейчас - это столько новостей в бложиках, а про 200 лет надо в унылых книжках читать.
Ну и я молчу о том, как ты бы в каком-нибудь 1848 году ныл о том, что прогресса последние 50 лет нихуя нет.
Это у тебя в голове технологический тупик. Не по Сеньке шапка, "хуяк, железные дороги" - твой уровень, а вот оценивать технологии последнего полувека - нет, ты даже железные дороги осилить не можешь, они просто у тебя просто хуяк и появились.
>Ну вот представь, что ты живущий на рубеже 18 века маняматик и тут хуяк, железные дороги вместо лошадей, паровые/бензиновые двигатели, лепездричестао, самолеты, телеграф.
Сколько лет прошло между паровым двигателем и железной дорогой между двумя городами? Между локальной железной дорогой и региональной? Между региональной и транссибом?
Если ты безграмотная манька, не знающая истории - то хуяк, и 200 лет истории развития - это короче, чем год сейчас, ведь год сейчас - это столько новостей в бложиках, а про 200 лет надо в унылых книжках читать.
Ну и я молчу о том, как ты бы в каком-нибудь 1848 году ныл о том, что прогресса последние 50 лет нихуя нет.
>Сейчас собственно технологический тупик уже как лет 50
Это у тебя в голове технологический тупик. Не по Сеньке шапка, "хуяк, железные дороги" - твой уровень, а вот оценивать технологии последнего полувека - нет, ты даже железные дороги осилить не можешь, они просто у тебя просто хуяк и появились.
>>30848
Не заебало с собственными фантазиями разговаривать?
Не заебало с собственными фантазиями разговаривать?
>>30806
Ты по существу и не ответил. Помнишь MYCIN и как ее торпедировали? Ты там сигналы обрабатываешь, ну ок, зделой синтезатор речи котрый не похож на говно, ок?
Ты по существу и не ответил. Помнишь MYCIN и как ее торпедировали? Ты там сигналы обрабатываешь, ну ок, зделой синтезатор речи котрый не похож на говно, ок?
>>30925
Я ответил по существу.
Алсо, первые пароходы были дико неэффективны по сравнению с парусниками и по сути везли только уголь, который сами же и жгли, ну и немного богатеньких пассажиров. Можно поднять газеты тех лет и наслаждаться количеством вылитой вони и карикатур о куче изобретений, которые довели до ума. Такие как ты были всегда. Потому что прогресс и его принятие - это страшно. Открытия 19 века привели не только к небывалому росту продолжительности жизни, но и к двум мировым войнам. Гораздо проще кричать "врети" и жить в манямирке.
Это - история открытий и изобретений. Полно успехов, полно неудач. Неудач намного больше - это нормально. Полно "этот зумер пытается что-то изобрести, давайте его отпиздим". Любая технология в то время - это стечение удачных обстоятельств. А у тебя - "хуяк, железные дороги вместо лошадей". По сравнению с 19 веком сейчас время охуенное, потому что люди поняли цену технологий и поняли, насколько вреден луддизм (ну, кроме диктаторов в банановых республиках). Нейронки развиваются быстро, благодаря достижениям последних лет, от интернета, позволяющего моментально меняться идеями, до института венчурных инвестиций, которые вместо того, чтобы сжигать пароходы, помогают их строить. Но они не могут развиваться моментально.
Ну и теперь поместим в это время нытика, подобного тебе. Сидит себе где-то на печи крестьянин, за год не происходит НИХУЯ, и за два нихуя не происходит, потом какой-то чудак делает пароход, и этот крестьянин начинает ныть, какой он неэффективный, и вообще парусники - это охуенно и красиво, а пароходы - он ебанутый что ли. Такие как ты оценивать будущее и перспективность технологий не могут, потому что не дано.
А так как жизнь крестьянина короткая и хуевая, то весь прогресс 18, 19 и 20 века прошел мимо него. Он и в 60-е годы 20 века на лошадях инструмент возил. А самолеты - вообще хуета, 100 лет назад французы на воздушном шаре летали, какие нахуй самолеты, они тяжелые и сложные.
И через 200 лет такой, как ты, будет рассказывать о событиях 1970-2020 года в стиле "хуяк - нейронки". Ну и естественно никакого прогресса видеть не будет, потому что история наука скучная, а читать блоги, бесконечно репостящие хайпующих google/facebook/openai - это сколько угодно.
>Ты по существу и не ответил.
Я ответил по существу.
>В 1705 г. француз Дени Папин поставил на лодку изобретенную им паро-атмосферную машину и получил желаемый результат. Но лодочники реки, где производил свои опыты Папин, уничтожили его лодку из боязни конкуренции. Папин не смог найти средств для продолжения опытов.
>В 1768 г. и в 1801 г. английский инженер Саймингтон построил два удачных парохода, но владельцы каналов запретили плавание под тем предлогом, что пароходы будут разрушать каналы
>Зимой 1802 г. маленький пароходик Фультона уже ходил по Сене. Весной 1803 г. был построен второй пароход, но неизвестные злоумышленники уничтожили его.
>Адмиралтейство предложило Фультону крупную сумму за то, чтобы он навсегда отказался от постройки подводной лодки…
Алсо, первые пароходы были дико неэффективны по сравнению с парусниками и по сути везли только уголь, который сами же и жгли, ну и немного богатеньких пассажиров. Можно поднять газеты тех лет и наслаждаться количеством вылитой вони и карикатур о куче изобретений, которые довели до ума. Такие как ты были всегда. Потому что прогресс и его принятие - это страшно. Открытия 19 века привели не только к небывалому росту продолжительности жизни, но и к двум мировым войнам. Гораздо проще кричать "врети" и жить в манямирке.
Это - история открытий и изобретений. Полно успехов, полно неудач. Неудач намного больше - это нормально. Полно "этот зумер пытается что-то изобрести, давайте его отпиздим". Любая технология в то время - это стечение удачных обстоятельств. А у тебя - "хуяк, железные дороги вместо лошадей". По сравнению с 19 веком сейчас время охуенное, потому что люди поняли цену технологий и поняли, насколько вреден луддизм (ну, кроме диктаторов в банановых республиках). Нейронки развиваются быстро, благодаря достижениям последних лет, от интернета, позволяющего моментально меняться идеями, до института венчурных инвестиций, которые вместо того, чтобы сжигать пароходы, помогают их строить. Но они не могут развиваться моментально.
Ну и теперь поместим в это время нытика, подобного тебе. Сидит себе где-то на печи крестьянин, за год не происходит НИХУЯ, и за два нихуя не происходит, потом какой-то чудак делает пароход, и этот крестьянин начинает ныть, какой он неэффективный, и вообще парусники - это охуенно и красиво, а пароходы - он ебанутый что ли. Такие как ты оценивать будущее и перспективность технологий не могут, потому что не дано.
А так как жизнь крестьянина короткая и хуевая, то весь прогресс 18, 19 и 20 века прошел мимо него. Он и в 60-е годы 20 века на лошадях инструмент возил. А самолеты - вообще хуета, 100 лет назад французы на воздушном шаре летали, какие нахуй самолеты, они тяжелые и сложные.
И через 200 лет такой, как ты, будет рассказывать о событиях 1970-2020 года в стиле "хуяк - нейронки". Ну и естественно никакого прогресса видеть не будет, потому что история наука скучная, а читать блоги, бесконечно репостящие хайпующих google/facebook/openai - это сколько угодно.
>>30925
Я ответил по существу.
Алсо, первые пароходы были дико неэффективны по сравнению с парусниками и по сути везли только уголь, который сами же и жгли, ну и немного богатеньких пассажиров. Можно поднять газеты тех лет и наслаждаться количеством вылитой вони и карикатур о куче изобретений, которые довели до ума. Такие как ты были всегда. Потому что прогресс и его принятие - это страшно. Открытия 19 века привели не только к небывалому росту продолжительности жизни, но и к двум мировым войнам. Гораздо проще кричать "врети" и жить в манямирке.
Это - история открытий и изобретений. Полно успехов, полно неудач. Неудач намного больше - это нормально. Полно "этот зумер пытается что-то изобрести, давайте его отпиздим". Любая технология в то время - это стечение удачных обстоятельств. А у тебя - "хуяк, железные дороги вместо лошадей". По сравнению с 19 веком сейчас время охуенное, потому что люди поняли цену технологий и поняли, насколько вреден луддизм (ну, кроме диктаторов в банановых республиках). Нейронки развиваются быстро, благодаря достижениям последних лет, от интернета, позволяющего моментально меняться идеями, до института венчурных инвестиций, которые вместо того, чтобы сжигать пароходы, помогают их строить. Но они не могут развиваться моментально.
Ну и теперь поместим в это время нытика, подобного тебе. Сидит себе где-то на печи крестьянин, за год не происходит НИХУЯ, и за два нихуя не происходит, потом какой-то чудак делает пароход, и этот крестьянин начинает ныть, какой он неэффективный, и вообще парусники - это охуенно и красиво, а пароходы - он ебанутый что ли. Такие как ты оценивать будущее и перспективность технологий не могут, потому что не дано.
А так как жизнь крестьянина короткая и хуевая, то весь прогресс 18, 19 и 20 века прошел мимо него. Он и в 60-е годы 20 века на лошадях инструмент возил. А самолеты - вообще хуета, 100 лет назад французы на воздушном шаре летали, какие нахуй самолеты, они тяжелые и сложные.
И через 200 лет такой, как ты, будет рассказывать о событиях 1970-2020 года в стиле "хуяк - нейронки". Ну и естественно никакого прогресса видеть не будет, потому что история наука скучная, а читать блоги, бесконечно репостящие хайпующих google/facebook/openai - это сколько угодно.
>Ты по существу и не ответил.
Я ответил по существу.
>В 1705 г. француз Дени Папин поставил на лодку изобретенную им паро-атмосферную машину и получил желаемый результат. Но лодочники реки, где производил свои опыты Папин, уничтожили его лодку из боязни конкуренции. Папин не смог найти средств для продолжения опытов.
>В 1768 г. и в 1801 г. английский инженер Саймингтон построил два удачных парохода, но владельцы каналов запретили плавание под тем предлогом, что пароходы будут разрушать каналы
>Зимой 1802 г. маленький пароходик Фультона уже ходил по Сене. Весной 1803 г. был построен второй пароход, но неизвестные злоумышленники уничтожили его.
>Адмиралтейство предложило Фультону крупную сумму за то, чтобы он навсегда отказался от постройки подводной лодки…
Алсо, первые пароходы были дико неэффективны по сравнению с парусниками и по сути везли только уголь, который сами же и жгли, ну и немного богатеньких пассажиров. Можно поднять газеты тех лет и наслаждаться количеством вылитой вони и карикатур о куче изобретений, которые довели до ума. Такие как ты были всегда. Потому что прогресс и его принятие - это страшно. Открытия 19 века привели не только к небывалому росту продолжительности жизни, но и к двум мировым войнам. Гораздо проще кричать "врети" и жить в манямирке.
Это - история открытий и изобретений. Полно успехов, полно неудач. Неудач намного больше - это нормально. Полно "этот зумер пытается что-то изобрести, давайте его отпиздим". Любая технология в то время - это стечение удачных обстоятельств. А у тебя - "хуяк, железные дороги вместо лошадей". По сравнению с 19 веком сейчас время охуенное, потому что люди поняли цену технологий и поняли, насколько вреден луддизм (ну, кроме диктаторов в банановых республиках). Нейронки развиваются быстро, благодаря достижениям последних лет, от интернета, позволяющего моментально меняться идеями, до института венчурных инвестиций, которые вместо того, чтобы сжигать пароходы, помогают их строить. Но они не могут развиваться моментально.
Ну и теперь поместим в это время нытика, подобного тебе. Сидит себе где-то на печи крестьянин, за год не происходит НИХУЯ, и за два нихуя не происходит, потом какой-то чудак делает пароход, и этот крестьянин начинает ныть, какой он неэффективный, и вообще парусники - это охуенно и красиво, а пароходы - он ебанутый что ли. Такие как ты оценивать будущее и перспективность технологий не могут, потому что не дано.
А так как жизнь крестьянина короткая и хуевая, то весь прогресс 18, 19 и 20 века прошел мимо него. Он и в 60-е годы 20 века на лошадях инструмент возил. А самолеты - вообще хуета, 100 лет назад французы на воздушном шаре летали, какие нахуй самолеты, они тяжелые и сложные.
И через 200 лет такой, как ты, будет рассказывать о событиях 1970-2020 года в стиле "хуяк - нейронки". Ну и естественно никакого прогресса видеть не будет, потому что история наука скучная, а читать блоги, бесконечно репостящие хайпующих google/facebook/openai - это сколько угодно.
>>31252
Так развились, что нихуя не могут, лол.
В которой математики в лучшем случае сосут хуй, а в худшем вся научная пиздобратия торпедирует изобретателей
чтобы он навсегда отказался от постройки подводной лодки…
>Нейронки развиваются быстро
Так развились, что нихуя не могут, лол.
>Это - история открытий и изобретений.
В которой математики в лучшем случае сосут хуй, а в худшем вся научная пиздобратия торпедирует изобретателей
чтобы он навсегда отказался от постройки подводной лодки…
Достопочтенные Джентльмены, прошу прощения что врываюсь в ваш бессмысленный срачь, у меня тут вопрос, нужно ли накатить для начала парочку курсов по основам матана чтобы потом приступать к курсам по DS, или можно это делать чуть позже или паралельно по мере надобности? А то боюсь что потрачу пару месяцев на матан, и в итоге обнаружу, что он для первых шагов в изучении DS/ML вообще нахуй не всрался и там на 100% используется по сути только кодинг и общее описание концепций
Блин, что-то все эти трансформеры, берты и хлнеты вгоняют в депрессию.
Это что, реально самое простое что работает? Выглядит, честно говоря как нагромождение костылей.
Как до таких громоздких архитектур додумываются вообще, не брутфорсом же подбирают?
Это что, реально самое простое что работает? Выглядит, честно говоря как нагромождение костылей.
Как до таких громоздких архитектур додумываются вообще, не брутфорсом же подбирают?
>>31439
Съеби
Съеби
>>31663
Ты постом ошибся, это 2 разных человека писало. Хотя ко мне в принципе тоже относится.
Ты постом ошибся, это 2 разных человека писало. Хотя ко мне в принципе тоже относится.
Есть тексты, авторы которых известны, есть тексты, авторы которых неизвестны. Нужно узнать, можно ли соотнести неизвестный текст к известному автору.
CountVectorizer + OneVsRestClassifier работает, но даёт хуйню (~0.45 precision). Как можно точность повысить? Можно ли сюда вхуйнуть BERT?
CountVectorizer + OneVsRestClassifier работает, но даёт хуйню (~0.45 precision). Как можно точность повысить? Можно ли сюда вхуйнуть BERT?
>>31541
Ты почти угадал
>Как до таких громоздких архитектур додумываются вообще, не брутфорсом же подбирают?
Ты почти угадал
>>31763
если тебя пугают слова типа матрица, вектор, градиент, функционал, принцип максимизации правдоподобия, марковская гипотеза, интеграл, градиент. То однозначно надо учить математику.
если тебя пугают слова типа матрица, вектор, градиент, функционал, принцип максимизации правдоподобия, марковская гипотеза, интеграл, градиент. То однозначно надо учить математику.
>>31765
Про градиент забыл.
Про градиент забыл.
>>31765
А есть какой-то более менее вменяемый курс по математике, которую полезно было бы знать именно в области ML/DS? Я тут на степике открыл курс по основам матана, так меня там с первых же страниц пределом последовательности так приложили, что хоть под стол скатывайся и реви. Потому что забыта какая-то база и я элементарных вещей сделать не могу. И тут вроде бы эту базу тоже сначала надо изучить, и таким образом я сам того не зная могу прийти к тому, что один только матан придется изучать ближайшие 10 лет просто буквально начиная с таблицы умножения. Пока там кабанчики по курсам одного только пайтона вкатываются в машоб за полгода-год просто вертя на хую библиотеки даже не задумываясь о математике. Вот и не знаю что именно то блядь учить. Как вариант начать с другого конца - именно с юпитеров, уроков по DS и потом в случае чего уже подтягивать знания. Но тут господа только между собой сраться на пол треда горазды, хотя казалось бы нахуй их срач тут вообще кому-то сдался. А что-то посоветовать просишь, все игнорят.
А есть какой-то более менее вменяемый курс по математике, которую полезно было бы знать именно в области ML/DS? Я тут на степике открыл курс по основам матана, так меня там с первых же страниц пределом последовательности так приложили, что хоть под стол скатывайся и реви. Потому что забыта какая-то база и я элементарных вещей сделать не могу. И тут вроде бы эту базу тоже сначала надо изучить, и таким образом я сам того не зная могу прийти к тому, что один только матан придется изучать ближайшие 10 лет просто буквально начиная с таблицы умножения. Пока там кабанчики по курсам одного только пайтона вкатываются в машоб за полгода-год просто вертя на хую библиотеки даже не задумываясь о математике. Вот и не знаю что именно то блядь учить. Как вариант начать с другого конца - именно с юпитеров, уроков по DS и потом в случае чего уже подтягивать знания. Но тут господа только между собой сраться на пол треда горазды, хотя казалось бы нахуй их срач тут вообще кому-то сдался. А что-то посоветовать просишь, все игнорят.
>>31769
Вроде есть курс от яндекса математика для анализа данных на курсере такой вроде есть.
Вроде есть курс от яндекса математика для анализа данных на курсере такой вроде есть.
>>31765
Не пугают, меня смущают скорее какие-то немотивированные нагромождения из настаканных трансормеров.
Не пугают, меня смущают скорее какие-то немотивированные нагромождения из настаканных трансормеров.
>>31774
Пока добавление слоев работает исследователи будут это использовать. В принципе есть модели seq2seq с RNN и аттеншоном, но они долго обучаются из-за множества последовательных операций, в этом смысле трансформер гораздо эффективнее.
Пока добавление слоев работает исследователи будут это использовать. В принципе есть модели seq2seq с RNN и аттеншоном, но они долго обучаются из-за множества последовательных операций, в этом смысле трансформер гораздо эффективнее.
Алсо, аноны, позволительно ли добавить данных после начала обучения, это не приведет к пиздецу?
>>31738
bump
Ещё вопрос: какие есть аналоги CountVectorizer для multi-class classification? Есть TF-IDF, а ещё? Есть ли какие-нибудь похожие векторные представления для BERT/RoBERT/..., чтоб я всё смог скормить это SVM-у?
bump
Ещё вопрос: какие есть аналоги CountVectorizer для multi-class classification? Есть TF-IDF, а ещё? Есть ли какие-нибудь похожие векторные представления для BERT/RoBERT/..., чтоб я всё смог скормить это SVM-у?
>>31769
Нет, ты просто туповат и никогда математики и не знал. Задрочил 2-3 правила, чтобы сдать егэ, или что у тебя там - и все. Тупым людям необходимо работать над базой больше, а не меньше.
Нет, предел последовательности тебе конечно для ML не особо нужен, можно интуитивно, блядь, понимать, что такое градиент, но... чувак. Эту хуйню школьникам в семнадцать лет дают.
>Я тут на степике открыл курс по основам матана, так меня там с первых же страниц пределом последовательности так приложили, что хоть под стол скатывайся и реви. Потому что забыта какая-то база и я элементарных вещей сделать не могу.
Нет, ты просто туповат и никогда математики и не знал. Задрочил 2-3 правила, чтобы сдать егэ, или что у тебя там - и все. Тупым людям необходимо работать над базой больше, а не меньше.
Нет, предел последовательности тебе конечно для ML не особо нужен, можно интуитивно, блядь, понимать, что такое градиент, но... чувак. Эту хуйню школьникам в семнадцать лет дают.
>>31785
Так себе это. Обучение нейросетки больше похоже на высекание скульптуры из камня, есть изначальный шум, из него прорисовываются контуры будущей математической функции. Соответственно когда ты из камня высек девочку, а к тебе пришел заказчик, и сказал, что это должна быть венера с огромными сиськами, а у тебя уже материала нет.
Но если тебе повезло и новые данные в целом близки по распределению к старым, то немного дообучить можно.
Так себе это. Обучение нейросетки больше похоже на высекание скульптуры из камня, есть изначальный шум, из него прорисовываются контуры будущей математической функции. Соответственно когда ты из камня высек девочку, а к тебе пришел заказчик, и сказал, что это должна быть венера с огромными сиськами, а у тебя уже материала нет.
Но если тебе повезло и новые данные в целом близки по распределению к старым, то немного дообучить можно.
>>31789
Ну там данные в целом близки по распределению, мне просто вручную размечают текст, он из того же источника, с тем же шрифтом.
Ну там данные в целом близки по распределению, мне просто вручную размечают текст, он из того же источника, с тем же шрифтом.
>>31784
Выше скор
Гораздо
>В чем там проффит многослойности основной?
Выше скор
>Бля, я чет недавно узнал про трансформер, он эффективнее seq2seq на lstm и аттеншионе?
Гораздо
>>31763
Кому-то и собака работает
Каждый день читаешь arxiv-sanity в поисках идей, тестишь эти идеи. Желательно не один, потому что один сильно заебешься. Потом собираешь все идеи в большую кучу, и при должном везении получаешь новый state of art. Сами по себе идеи как правило простые. Сложно их притесать друг другу так, чтобы они не подсирали. Для этого нужно понимать, что происходит. BERT совсем несложен, это просто тонна настеканных аттеншенов. Лично мне тяжелее понять как работает лосс в вариационном автоэнкодере, а совсем шаманство - это GAN'ы. Аттеншены стали хайповой темой после сверток, почему - есть свои причины.
У того, что сетки глубокие - тоже есть причины.
>Это что, реально самое простое что работает?
Кому-то и собака работает
>Как до таких громоздких архитектур додумываются вообще, не брутфорсом же подбирают?
Каждый день читаешь arxiv-sanity в поисках идей, тестишь эти идеи. Желательно не один, потому что один сильно заебешься. Потом собираешь все идеи в большую кучу, и при должном везении получаешь новый state of art. Сами по себе идеи как правило простые. Сложно их притесать друг другу так, чтобы они не подсирали. Для этого нужно понимать, что происходит. BERT совсем несложен, это просто тонна настеканных аттеншенов. Лично мне тяжелее понять как работает лосс в вариационном автоэнкодере, а совсем шаманство - это GAN'ы. Аттеншены стали хайповой темой после сверток, почему - есть свои причины.
У того, что сетки глубокие - тоже есть причины.
>>31791
Я бы не стал даже думать в эту сторону.
Основная проблема у этой хуйни даже не то, что оно хуже работает, оно еще и хуево воспроизводимо. То есть одно дело, когда у тебя есть датасет, и ты знаешь, что если ты проебешь модель, ты с нуля возьмешь и натренируешь тот же перформанс. А другое дело - когда у тебя хуй пойми по какой процедуре тренированная сетка. На каком-то этапе ты решишь все-таки тренернуть с нуля (например, модель потолще взять), а тебя перформанс дроп, а причины ты вообще не ебешь, потому что невоспроизводимо и A/B тестирование хуй проведешь.
Я бы не стал даже думать в эту сторону.
Основная проблема у этой хуйни даже не то, что оно хуже работает, оно еще и хуево воспроизводимо. То есть одно дело, когда у тебя есть датасет, и ты знаешь, что если ты проебешь модель, ты с нуля возьмешь и натренируешь тот же перформанс. А другое дело - когда у тебя хуй пойми по какой процедуре тренированная сетка. На каком-то этапе ты решишь все-таки тренернуть с нуля (например, модель потолще взять), а тебя перформанс дроп, а причины ты вообще не ебешь, потому что невоспроизводимо и A/B тестирование хуй проведешь.
>>31798
Окей, тогда не буду.
Окей, тогда не буду.
>>31784
Ты в слове deep learning слово deep совсем не заметил? В многослойности вообще весь профит. Больше слоев - более выразительно сложные модели, которые при этом легче оптимизируются по определенным причинам
Рекуррентные сети неэффективны из-за того, что для их тренировки ты их все равно раскручиваешь в feed-forward сеть, но с одними и теми же параметрами в каждом чанке
Т.е. сетка y=rnn(w, x) при обучении разворачивается в y=rnn(w, rnn(w, rnn(w, rnn(w, rnn(w, x)))))
При этом нерекуррентная сетка типа
nn(w1, nn(w2, nn(w3, nn(w4, nn(w5, x)))))
Лучше во всем: у нее в 5 раз больше параметров, градиент считается проще (если бы ты знал матан, понимал бы, почему), а число флопсов в целом такое же. Поэтому смысла в рекуррентных сетках на видюхах нет и мода на них ушла года 3 назад. Сначала их вышибло из распознавания образов, но только потому, что локальность рецептивного поля у сверток удобна для задач компьютерного зрения. Но для языка свертки сосут, потому что в язык нихуя не локален сам по себе. Поэтому там чуть подольше задержались RNN, которые в конце концов убрали на основе идеи развернуть рекуррентую сетку в длинную колбасу, но без сверток, а с помощью attention'ов. Вот так и появились все эти трансформеры
>Аноны, так ответит кто-нибудь? В чем там проффит многослойности основной?
Ты в слове deep learning слово deep совсем не заметил? В многослойности вообще весь профит. Больше слоев - более выразительно сложные модели, которые при этом легче оптимизируются по определенным причинам
>Бля, я чет недавно узнал про трансформер, он эффективнее seq2seq на lstm и аттеншионе?
Рекуррентные сети неэффективны из-за того, что для их тренировки ты их все равно раскручиваешь в feed-forward сеть, но с одними и теми же параметрами в каждом чанке
Т.е. сетка y=rnn(w, x) при обучении разворачивается в y=rnn(w, rnn(w, rnn(w, rnn(w, rnn(w, x)))))
При этом нерекуррентная сетка типа
nn(w1, nn(w2, nn(w3, nn(w4, nn(w5, x)))))
Лучше во всем: у нее в 5 раз больше параметров, градиент считается проще (если бы ты знал матан, понимал бы, почему), а число флопсов в целом такое же. Поэтому смысла в рекуррентных сетках на видюхах нет и мода на них ушла года 3 назад. Сначала их вышибло из распознавания образов, но только потому, что локальность рецептивного поля у сверток удобна для задач компьютерного зрения. Но для языка свертки сосут, потому что в язык нихуя не локален сам по себе. Поэтому там чуть подольше задержались RNN, которые в конце концов убрали на основе идеи развернуть рекуррентую сетку в длинную колбасу, но без сверток, а с помощью attention'ов. Вот так и появились все эти трансформеры
>>31803
Ну это я понимаю, еще число операций со всеми этими LSTM очень большое, что мне не очень всегда нравилось.
Тогда и правда пойду менять в своей модели seq2seq на трансформер, буду с CNN в него экстрактить признаки.
> Лучше во всем: у нее в 5 раз больше параметров, градиент считается проще (если бы ты знал матан, понимал бы, почему)
Ну это я понимаю, еще число операций со всеми этими LSTM очень большое, что мне не очень всегда нравилось.
Тогда и правда пойду менять в своей модели seq2seq на трансформер, буду с CNN в него экстрактить признаки.
>>31811
Без пейпера ты пупи
Без пейпера ты пупи
31 Кб, 778x960>>31778
А когда-то над этой картинкой смеялись...
> Пока добавление слоев работает исследователи будут это использовать.
А когда-то над этой картинкой смеялись...
>>31836
Она и сейчас смешная. Особенно оси на нижнем графике, каждый раз когда смотрю хайрез ржу
Она и сейчас смешная. Особенно оси на нижнем графике, каждый раз когда смотрю хайрез ржу
>>30727
Ну пиздец. Чем дальше в лес, тем больше дерьмом надо засирать пека. Кудкуда не будет без вижуал студио работать штоле? Нахуя ей студия?
Я уже охуел.
Это говно вон всем довольно и так на вид
>You should preinstall Microsoft Visual Studio (VS)
Ну пиздец. Чем дальше в лес, тем больше дерьмом надо засирать пека. Кудкуда не будет без вижуал студио работать штоле? Нахуя ей студия?
Я уже охуел.
Это говно вон всем довольно и так на вид
>tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cudart64_101.dll
>>31848
Земля тебе пухом, братишка.
Куде нужен компилятор с++. Не уверен, правда, что он нужен для тензорфлоу
Еще есть visual studio build tools, типа все для билда студийных проектов без самой студии. Я как-то юзал на некропк, на котором не было нужного для студии место на hdd
Тебе для твоей задачи проще google colab заюзать
>шиндошс
Земля тебе пухом, братишка.
>куда не будет без вижуал студио работать штоле
Куде нужен компилятор с++. Не уверен, правда, что он нужен для тензорфлоу
Еще есть visual studio build tools, типа все для билда студийных проектов без самой студии. Я как-то юзал на некропк, на котором не было нужного для студии место на hdd
Тебе для твоей задачи проще google colab заюзать
>>31851
Вроде, и так завёлся. Видимо, студия нинужна.
Ну, теперь осталось понять КАК ОБУЧАТЬ.
Индусокод работает, только обучение в нём отсутствует.
Видимо, придётся брать что-нибудь случайное под тензорфлоу и смотреть что будет.
>Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 6281 MB memory) -> physical GPU (device: 0, name: GeForce RTX 2070 SUPER, pci bus id: 0000:02:00.0, compute capability: 7.5)
Вроде, и так завёлся. Видимо, студия нинужна.
Ну, теперь осталось понять КАК ОБУЧАТЬ.
Индусокод работает, только обучение в нём отсутствует.
Видимо, придётся брать что-нибудь случайное под тензорфлоу и смотреть что будет.
>>31856
Хм, ты прав.
Обучать сетки в керасе легко, в созданной модели ты сначала ее компилируешь с нужным оптимизатором https://github.com/MarkPrecursor/SRCNN-keras/blob/master/main.py#L50 - две строчки отсюда
Потом вызываешь у нее либо метод fit, который принимает 2 параметра, либо fit_generator (а еще train_on_batch), который принимает коллбэк, в котором ты возвращаешь через yield по кусочку датасет https://github.com/MarkPrecursor/SRCNN-keras/blob/master/main.py#L64
Первый вариант удобен, но тогда весь датасет должен влезть в оперативку, либо хотя бы в свопфайл, другие варианты более гибкие
Собственно и все. После этого на обученной сетке делаешь save_weights/load_weights, чтобы не проебать веса, а затем вызываешь predict
Данные в fit кормишь в виде numpy массива следующего shape'а: [число_примеров, длина, ширина, число_цветов].
>Индусокод работает, только обучение в нём отсутствует.
Хм, ты прав.
Обучать сетки в керасе легко, в созданной модели ты сначала ее компилируешь с нужным оптимизатором https://github.com/MarkPrecursor/SRCNN-keras/blob/master/main.py#L50 - две строчки отсюда
Потом вызываешь у нее либо метод fit, который принимает 2 параметра, либо fit_generator (а еще train_on_batch), который принимает коллбэк, в котором ты возвращаешь через yield по кусочку датасет https://github.com/MarkPrecursor/SRCNN-keras/blob/master/main.py#L64
Первый вариант удобен, но тогда весь датасет должен влезть в оперативку, либо хотя бы в свопфайл, другие варианты более гибкие
Собственно и все. После этого на обученной сетке делаешь save_weights/load_weights, чтобы не проебать веса, а затем вызываешь predict
Данные в fit кормишь в виде numpy массива следующего shape'а: [число_примеров, длина, ширина, число_цветов].
35 Кб, 483x604>>31858
Мхех. Ну, может что-то и получится.
Мхех. Ну, может что-то и получится.
>>31787
Чел, пчелик я в школу ходил только для того, чтобы меня там одноклассники с учителями пиздили и унижали
>>31772
Спасибо
>Нет, ты просто туповат и никогда математики и не знал. Задрочил 2-3 правила, чтобы сдать егэ, или что у тебя там - и все. Тупым людям необходимо работать над базой больше, а не меньше.
Чел, пчелик я в школу ходил только для того, чтобы меня там одноклассники с учителями пиздили и унижали
>>31772
Спасибо
>>30616
Кому не нужны? Жидам-дельцам из бизнеса?
Если так рассуждать, то не нужен никто кроме таксистов, сантехников, электриков и юристов. Программисты тоже не нужны. Жили без них раньше, проживем и еще столько же
Кому не нужны? Жидам-дельцам из бизнеса?
Если так рассуждать, то не нужен никто кроме таксистов, сантехников, электриков и юристов. Программисты тоже не нужны. Жили без них раньше, проживем и еще столько же
63 Кб, 390x470>>31991
> 2020
> спорить с кефирщиком - плоскоземельным шизлом, утверждающим что во швятые экспертные системы никто не верует из-за мирового заговора жидомасонов, которые скрывают эффективность ЭС
ИТТ сильно горят анальники, которые держат в себе свое ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ как какашечку и не хотят смотреть на мир шире, потому что это выведет их из зоны комфорта. Как там, какашечка не давит на ваши геморройные узлы?
50 Кб, 700x366>>32130
Всегда была только одна элито - андеграундные реверс-инженеры и хакеры. Куда бы себя швабропидарахи ни записывали - элито они от этого не станут
https://github.com/zzz66686/simple-virtual-machine/blob/master/VM_crackme/vm_crackme.cpp
>Вот швабропидарахи сами записали погромистов в илитарии и интеллигенцию
Всегда была только одна элито - андеграундные реверс-инженеры и хакеры. Куда бы себя швабропидарахи ни записывали - элито они от этого не станут
https://github.com/zzz66686/simple-virtual-machine/blob/master/VM_crackme/vm_crackme.cpp
Коммерческая разработка это говно. Обновляйте свои jsonb в постгре, собирайте датасеты годами. Несмотря на жопочасы, потраченные на фарм бабла, вы никогда не сможете разреверсить защиту с виртуализацией кода и никогда не разберетесь, почему тор изоморфен эллиптической кривой. Вы ненастоящие программисты, вы быдло, батраки.
>>32130
В машобе есть интерпретируемые методы
В машобе есть интерпретируемые методы
>>32165
Двачую настоящие программисты вбивают программы в перфокарты
Двачую настоящие программисты вбивают программы в перфокарты
>>32165
Ну, в общем смысл в шизовысере есть: если хочешь поднатореть в мл не нужно идти в большие компании, там до одурения просто будешь селектики писать, а ни к чему релевантному наверное даже подойти не дадут.
>Коммерческая разработка это говно. Обновляйте свои jsonb в постгре, собирайте датасеты годами.
Ну, в общем смысл в шизовысере есть: если хочешь поднатореть в мл не нужно идти в большие компании, там до одурения просто будешь селектики писать, а ни к чему релевантному наверное даже подойти не дадут.
>>31894
Как видишь, унижать тебя никто не прекратил бггг.
Тогда начни с этого чувака https://www.youtube.com/watch?v=ZmwdHAhVsPM
Точнее, там цикл лекций, можешь с первой начать. Это матан для школьников, проще уже некуда
>Чел, пчелик я в школу ходил только для того, чтобы меня там одноклассники с учителями пиздили и унижали
Как видишь, унижать тебя никто не прекратил бггг.
Тогда начни с этого чувака https://www.youtube.com/watch?v=ZmwdHAhVsPM
Точнее, там цикл лекций, можешь с первой начать. Это матан для школьников, проще уже некуда
>>32008
Да ладно, это же perfect match, инь и ян практически, два шизика с полярной шизой
Да ладно, это же perfect match, инь и ян практически, два шизика с полярной шизой
>>32331
почему все так любят этого душного, всратого математика? неужели на всем ютубе не нашлось экземляра получше?
почему все так любят этого душного, всратого математика? неужели на всем ютубе не нашлось экземляра получше?
>>32350
Это ты душное одноклеточное, судящее людей по внешности. А он охуенный, да и если говорить о всратости, тянки по таким текут
Это ты душное одноклеточное, судящее людей по внешности. А он охуенный, да и если говорить о всратости, тянки по таким текут
>>32353
боря, ты? Я узнал тебя по твоим шизоидным словам и высерам.
боря, ты? Я узнал тебя по твоим шизоидным словам и высерам.
>>32353
Саббатонов есть, но он всю эту мошонную петушню вроде не жалует.
Саббатонов есть, но он всю эту мошонную петушню вроде не жалует.
Антоны, чет я начал копаться в теме трансформеров и гуглить решения и пока не понимаю, как им можно скормить признаки с CNN?
Все решения что нахожу создаются для перевода с языка на язык.
Все решения что нахожу создаются для перевода с языка на язык.
1
>>32535
Вот например, нужны ли мне вообще эмбеддинги или выкинуть эту часть из оригинальной архитектуры?
Вот например, нужны ли мне вообще эмбеддинги или выкинуть эту часть из оригинальной архитектуры?
>>32556
Вместо эмбеддингов у тебя фичи cnn. Главное сплющи высоту до 1, оставь только ширину и каналы
Вместо эмбеддингов у тебя фичи cnn. Главное сплющи высоту до 1, оставь только ширину и каналы
Анончики, а как найти коэффициент корреляции между количественным и качественным столбцом? Или между качественным и качественным? В интернете, вроде, пишут, что для этого можно использовать stats.pointbiserialr, но он всё равно выдаёт TypeError.
919 Кб, 1579x1056>>31858
Продолжаю держать в курсе™, почему бы и нет.
SRCNN-keras нихуя не заводится нормально. За три дня с питоном не подружиться, чтобы понять в чём дело.
Попробовал ради эксперимента обучить шумным сетом вот эту штуку https://github.com/jiny2001/dcscn-super-resolution
Само то для даунов-вкатывальщиков.
Не понял как и можно ли вообще скормить ей изображения парами.
Шум от только одного сета, очевидно, генерироваться не начал.
Попытка — не пытка, зато теперь твёрдо и чётко ясно, что нужно давать пары картинок для обучения.
Думою дальше.
Продолжаю держать в курсе™, почему бы и нет.
SRCNN-keras нихуя не заводится нормально. За три дня с питоном не подружиться, чтобы понять в чём дело.
Попробовал ради эксперимента обучить шумным сетом вот эту штуку https://github.com/jiny2001/dcscn-super-resolution
Само то для даунов-вкатывальщиков.
Не понял как и можно ли вообще скормить ей изображения парами.
Шум от только одного сета, очевидно, генерироваться не начал.
Попытка — не пытка, зато теперь твёрдо и чётко ясно, что нужно давать пары картинок для обучения.
Думою дальше.
>>33004
подсчитай взаимную информацию
подсчитай взаимную информацию
>>32647
Никак.
machinelearning.ru/wiki/images/e/e7/Psad_corr.pdf - про категориальные.
Категориальный-численный - дисперсионные анализом.
Никак.
machinelearning.ru/wiki/images/e/e7/Psad_corr.pdf - про категориальные.
Категориальный-численный - дисперсионные анализом.
>>33077
Ебать, и как тогда датасаентисты оценивают корреляцию? Пиздос какой то, как вы так живёте
Ебать, и как тогда датасаентисты оценивают корреляцию? Пиздос какой то, как вы так живёте
>>32720
Конечно пары. На вход и на выход. Для этого у функции fit есть два параметра, data и label. Наименования для классификации, в твоем случае это просто вход и выход. А ты как хотел?
>Попытка — не пытка, зато теперь твёрдо и чётко ясно, что нужно давать пары картинок для обучения.
Конечно пары. На вход и на выход. Для этого у функции fit есть два параметра, data и label. Наименования для классификации, в твоем случае это просто вход и выход. А ты как хотел?
>>32565
Я стакал признаки по высоте в прошлый раз и подавал их в seq2seq декодер в attn_states.
Вот с трансформером не очень понятно, как их подавать, прочитал пейпер, посмотрел на имплементации архитектур на гитхабе.
Тут на входе в энкодер есть Q, K, V, это 3 размерные тензоры (N, T1, d_model), как мне сконвертить CNN выход в этот формат?
Извини, если вопрос глупый
Я стакал признаки по высоте в прошлый раз и подавал их в seq2seq декодер в attn_states.
Вот с трансформером не очень понятно, как их подавать, прочитал пейпер, посмотрел на имплементации архитектур на гитхабе.
Тут на входе в энкодер есть Q, K, V, это 3 размерные тензоры (N, T1, d_model), как мне сконвертить CNN выход в этот формат?
Извини, если вопрос глупый
>>33542
Набор для тестирования - по нему не идет тренировки, а просто замеряется перформанс
Набор для тестирования - по нему не идет тренировки, а просто замеряется перформанс
>>33541
https://github.com/google-research/bert/blob/master/modeling.py#L441
Видишь input_vector у эмбедингов это input_tensor: float Tensor of shape [batch_size, seq_length, embedding_size].
У тебя вместо этого будет input_tensor: float Tensor of shape [batch_size, seq_length, number_of_cnn_channels]
Соответственно вот тут https://github.com/google-research/bert/blob/master/modeling.py#L131 тебе нужно выкинуть нахуй embedding_lookup, передав в embedding_postprocessor непосредственно выхлоп CNN
Про Q, K, V в этом коде тоже есть.
Возможно где-то я написал хуйню, это все чисто навскидку. Можешь поискать конкретный пейпер, где есть переход CNN->transformer.
https://github.com/google-research/bert/blob/master/modeling.py#L441
Видишь input_vector у эмбедингов это input_tensor: float Tensor of shape [batch_size, seq_length, embedding_size].
У тебя вместо этого будет input_tensor: float Tensor of shape [batch_size, seq_length, number_of_cnn_channels]
Соответственно вот тут https://github.com/google-research/bert/blob/master/modeling.py#L131 тебе нужно выкинуть нахуй embedding_lookup, передав в embedding_postprocessor непосредственно выхлоп CNN
Про Q, K, V в этом коде тоже есть.
Возможно где-то я написал хуйню, это все чисто навскидку. Можешь поискать конкретный пейпер, где есть переход CNN->transformer.
>>33085
Мы просто знаем, что такое корреляция и когда её считать нужно, а когда нет, в отличие от некоторых.
Мы просто знаем, что такое корреляция и когда её считать нужно, а когда нет, в отличие от некоторых.
112 Кб, 268x400Дожили. Человек не знает, что такое трансформер и в чём идея механизма внимания, и просто пытается хуярить слои. Ну а чо, сама обучится, понимать ничего не надо, надо код писать.
>>33549
Ну вообще-то да. Понимание приходит в процессе решения задач, а не теоретизирования на двачах. Это касается практически любой сферы деятельности, за редким исключением, типа хирургии, где цена ошибки слишком дорога. Ты просто сам по себе сраный прокрастинатор, который нихуя не умеет и пытается оправдать это неумение подобным подпездыванием
>Ну а чо, сама обучится, понимать ничего не надо, надо код писать.
Ну вообще-то да. Понимание приходит в процессе решения задач, а не теоретизирования на двачах. Это касается практически любой сферы деятельности, за редким исключением, типа хирургии, где цена ошибки слишком дорога. Ты просто сам по себе сраный прокрастинатор, который нихуя не умеет и пытается оправдать это неумение подобным подпездыванием
>>33550
Понимание приходит многими путями. Например, путём изучения наследия древних, хотя бы стэнфордского курса по сетям, где вопрос применения механизма внимания к изображениям (в контексте задачи image captioning) вполне себе рассмотрен.
Понимание приходит многими путями. Например, путём изучения наследия древних, хотя бы стэнфордского курса по сетям, где вопрос применения механизма внимания к изображениям (в контексте задачи image captioning) вполне себе рассмотрен.
>>33552
Или я что-то пропустил, или нет там про трансформеры с multi-head attention, там сетки CNN->RNN из 2016.
Или я что-то пропустил, или нет там про трансформеры с multi-head attention, там сетки CNN->RNN из 2016.
>>33264
И как? Не делать же на каждое значение качественного столбца отдельный столбец булевского типа. Я тогда заебусь для каждого значения отдельно смотреть корреляцию.
И как? Не делать же на каждое значение качественного столбца отдельный столбец булевского типа. Я тогда заебусь для каждого значения отдельно смотреть корреляцию.
>>33555
Так там можно прочитать, как применить attention к выходу cnn, а дальше уже применить это в своём трансформеры. От того, что голова там всего одна и используется rnn, суть не меняется.
Так там можно прочитать, как применить attention к выходу cnn, а дальше уже применить это в своём трансформеры. От того, что голова там всего одна и используется rnn, суть не меняется.
>>33766
Если ты про http://cs231n.stanford.edu/reports/2016/pdfs/362_Report.pdf , то меняется и сильно
Если ты про http://cs231n.stanford.edu/reports/2016/pdfs/362_Report.pdf , то меняется и сильно
>>33766
Ну вообще-то меняется, похоже, что ты сам не очень понимаешь работу трансформера.
Анон выше уже писал, что с rnn у него получилось.
Ну вообще-то меняется, похоже, что ты сам не очень понимаешь работу трансформера.
Анон выше уже писал, что с rnn у него получилось.
>>33654
Это глупость или троллинг?
Это глупость или троллинг?
>>33803
В cs231n - attention gate. В трансформере - scaled dot-product attention (с Q, K и V)
Может, одно к другому и сводится, но мне это нихуя не очевидно, например
В cs231n - attention gate. В трансформере - scaled dot-product attention (с Q, K и V)
Может, одно к другому и сводится, но мне это нихуя не очевидно, например
278 Кб, 730x960Вкатывальщики и поопытнее, помогите переделать свёрточную сетку с кераса на торч, пожалуйста.
https://www.codepile.net/pile/7ne7Xe4j
Вопросы именно к содержимому Conv2d(), а также аналогам flatten и dense в торче. Я правильно понимаю, что они просто линейными слоями заменятся?
Спасибо.
В помощь:
https://discuss.pytorch.org/t/using-linear-layers-new-user-transfering-from-keras/4400/5
https://discuss.pytorch.org/t/pytorch-equivalent-of-keras/29412
https://www.codepile.net/pile/7ne7Xe4j
Вопросы именно к содержимому Conv2d(), а также аналогам flatten и dense в торче. Я правильно понимаю, что они просто линейными слоями заменятся?
Спасибо.
В помощь:
https://discuss.pytorch.org/t/using-linear-layers-new-user-transfering-from-keras/4400/5
https://discuss.pytorch.org/t/pytorch-equivalent-of-keras/29412
>>33810
Какая нахуй разница, по каким формулам оно считается? Там хоть сиамскую сеть можно засунуть для подсчёта спора для q и k, только это нахуй не нужно. Важно, что объект состоит из примитивов, у каждого из примитивов есть k и v. Дальше поступает q, мы считаем коэффициенты si = s(q, ki) и получаем z = sum(si * vi). В image captioning в качестве q выступает выход rnn, в трансформере - считается по примитивам. Соответственно, при использовании аттеншона нужно разделить объект на примитивы: для текстов это делается очевидно (слова), для изображений - можно нарезать на квадратики выход слоя cnn.
Какая нахуй разница, по каким формулам оно считается? Там хоть сиамскую сеть можно засунуть для подсчёта спора для q и k, только это нахуй не нужно. Важно, что объект состоит из примитивов, у каждого из примитивов есть k и v. Дальше поступает q, мы считаем коэффициенты si = s(q, ki) и получаем z = sum(si * vi). В image captioning в качестве q выступает выход rnn, в трансформере - считается по примитивам. Соответственно, при использовании аттеншона нужно разделить объект на примитивы: для текстов это делается очевидно (слова), для изображений - можно нарезать на квадратики выход слоя cnn.
>>33829
Типа так
https://gist.github.com/VoVAllen/5531c78a2d3f1ff3df772038bca37a83
А что насчёт Conv2d()? В торче же фильтры вроде не указываются.
>Flatten в pytorch нет, но пишется в 3 строчки.
Типа так
https://gist.github.com/VoVAllen/5531c78a2d3f1ff3df772038bca37a83
А что насчёт Conv2d()? В торче же фильтры вроде не указываются.
>>33835
Это не слой а функция
Это не слой а функция
>>33837
Ну вот первый слой.
Керас:
model.add(Conv2D(filters=32, kernel_size=(3, 3), padding='SAME', input_shape=(img_size, img_size, 3), activation='relu'))
В торче будет:
nn.Conv2D(1, 32, kernel_size=(3, 3), bias=False),
nn.ReLU(),
Или я что-то упустил?
Ну вот первый слой.
Керас:
model.add(Conv2D(filters=32, kernel_size=(3, 3), padding='SAME', input_shape=(img_size, img_size, 3), activation='relu'))
В торче будет:
nn.Conv2D(1, 32, kernel_size=(3, 3), bias=False),
nn.ReLU(),
Или я что-то упустил?
>>33826
Потому что это обсуждаемый вопрос, как из фич CNN получить K, Q и V. Ответ есть в этом коде https://github.com/google-research/bert/blob/master/modeling.py#L558 - простой маппинг полносвязными слоями (в случае CNN нужны сверточные слои, понятное дело, но мне лень это расписывать, математика же не нужна в машобе).
А тебе нужно научиться формулировать мысли, сейчас выходит очень хуево.
>Какая нахуй разница, по каким формулам оно считается?
Потому что это обсуждаемый вопрос, как из фич CNN получить K, Q и V. Ответ есть в этом коде https://github.com/google-research/bert/blob/master/modeling.py#L558 - простой маппинг полносвязными слоями (в случае CNN нужны сверточные слои, понятное дело, но мне лень это расписывать, математика же не нужна в машобе).
А тебе нужно научиться формулировать мысли, сейчас выходит очень хуево.
28 Кб, 229x343>>33868
Понятно, что полносвязными слоями, это, блядь, ещё в attention is all you need чёрным по белому написано. Но это просто рекомендация, так-то можно вообще многослойную сеть заебенить, только это нахуй не нужно.
>простой маппинг полносвязными слоями
Понятно, что полносвязными слоями, это, блядь, ещё в attention is all you need чёрным по белому написано. Но это просто рекомендация, так-то можно вообще многослойную сеть заебенить, только это нахуй не нужно.
>>33654
Разве это никак не отразиться на результате корреляции? По моему, она будет не правильной
Разве это никак не отразиться на результате корреляции? По моему, она будет не правильной
>>33948
Конечно она будет неправильной, потому что корреляция можно посчитать только для количественных величин. Сам подумай, что она измеряет, и как это натянуть на включенные битики
Конечно она будет неправильной, потому что корреляция можно посчитать только для количественных величин. Сам подумай, что она измеряет, и как это натянуть на включенные битики
>>33948
Я уже писал тебе, что само понятие корреляции в твоём случае бессмысленно. Хотя, возможно, ты спрашиваешь про выявление зависимостей, просто называешь неправильно.
Я уже писал тебе, что само понятие корреляции в твоём случае бессмысленно. Хотя, возможно, ты спрашиваешь про выявление зависимостей, просто называешь неправильно.
>>33970
Главное не бухтеть
Главное не бухтеть
>>33964
Да, именно это я хотел узнать. Есть ли зависимость между каким нибудь входным признаком и выходным, что бы слабозависимые признаки выкидывать. В интернетах сказано, что для этого находят коэффициент корреляции.
>Хотя, возможно, ты спрашиваешь про выявление зависимостей, просто называешь неправильно.
Да, именно это я хотел узнать. Есть ли зависимость между каким нибудь входным признаком и выходным, что бы слабозависимые признаки выкидывать. В интернетах сказано, что для этого находят коэффициент корреляции.
>>33993
Тебе нужно превратить категории в биты и у полученного многомерного облака точек сделать pca. Как вариант
Тебе нужно превратить категории в биты и у полученного многомерного облака точек сделать pca. Как вариант
>>33993
А зачем тебе собственно выкидывать, у тебя модель есть уже? Если нет то обучай и тогда уже смотри, попробуй обучить модель без этого признака и сравни результаты или посчитай feature importance, разных методов выкидывания фичей изобретено до жопы тоже. Сама по себе корреляция тебе ничего не скажет потому что даже слабоскореллированные признаки могут давать прирост к качеству как дополнительный фактор.
А зачем тебе собственно выкидывать, у тебя модель есть уже? Если нет то обучай и тогда уже смотри, попробуй обучить модель без этого признака и сравни результаты или посчитай feature importance, разных методов выкидывания фичей изобретено до жопы тоже. Сама по себе корреляция тебе ничего не скажет потому что даже слабоскореллированные признаки могут давать прирост к качеству как дополнительный фактор.
Питонисты, подвиньтесь.
https://djl.ai/
https://djl.ai/
>>34148
Dataset trainingSet = new Mnist.Builder().setUsage(Usage.TRAIN) ... .build();
Dataset validateSet = new Mnist.Builder().setUsage(Usage.TEST) ... .build();
TrainingConfig config = setupTrainingConfig();
try (Trainer trainer = model.newTrainer(config)) {
Больше букв богу букв
Dataset trainingSet = new Mnist.Builder().setUsage(Usage.TRAIN) ... .build();
Dataset validateSet = new Mnist.Builder().setUsage(Usage.TEST) ... .build();
TrainingConfig config = setupTrainingConfig();
try (Trainer trainer = model.newTrainer(config)) {
Больше букв богу букв
>>34148
Чем это отличается от DL4J, которому уже много лет, а ты о нем даже не слышал? Почему джависты думают, что глубинном обучении язык имеет значение?
Чем это отличается от DL4J, которому уже много лет, а ты о нем даже не слышал? Почему джависты думают, что глубинном обучении язык имеет значение?
Кто-нибудь знает штуку по типу суперрезолюшена только которая из движущего мыльного изображения делает одну четкую картинку. Просто не помню как это называется. Интересует готовое решение
Знатоки нлп, а что за DSSM скажете, старьё или работает?
Также плиз почему берты с трансформерами, раз уж они так хороши, не запускают на посимвольном энкодинге?
Также плиз почему берты с трансформерами, раз уж они так хороши, не запускают на посимвольном энкодинге?
>>34373
Вычислительная сложность растет в разы.
Вычислительная сложность растет в разы.
285 Кб, 599x839Не, ну, это успех.
>>33868
А можно немного поподробнее? Насчет применения dense я понял, это еще было видно в проекте, где предсказывали временные последовательности, правда там и на выходе dense слой запихнули.
Алсо, в остальном кодом из этого проекта можно пользоваться, если выкинуть часть с эмбеддингами и лэйблы в нужный формат привести? Эта реализация немного отличается от официальной реализации от авторов пейпера в tensor2tensor.
> в случае CNN нужны сверточные слои, понятное дело, но мне лень это расписывать, математика же не нужна в машобе
А можно немного поподробнее? Насчет применения dense я понял, это еще было видно в проекте, где предсказывали временные последовательности, правда там и на выходе dense слой запихнули.
Алсо, в остальном кодом из этого проекта можно пользоваться, если выкинуть часть с эмбеддингами и лэйблы в нужный формат привести? Эта реализация немного отличается от официальной реализации от авторов пейпера в tensor2tensor.
>>34499
Хотя, судя по этому пейперу все верно и можно использовать просто полносвязный слой https://res.mdpi.com/d_attachment/applsci/applsci-08-00739/article_deploy/applsci-08-00739.pdf
Тут вообще использовали пулинг, полносвязный слой и relu и подавали на декодер разными способами.
Bert, насколько я понял, использует только энкодер. Надеюсь, что не придётся писать много лишнего кода, дабы это все заработало вместе
Хотя, судя по этому пейперу все верно и можно использовать просто полносвязный слой https://res.mdpi.com/d_attachment/applsci/applsci-08-00739/article_deploy/applsci-08-00739.pdf
Тут вообще использовали пулинг, полносвязный слой и relu и подавали на декодер разными способами.
Bert, насколько я понял, использует только энкодер. Надеюсь, что не придётся писать много лишнего кода, дабы это все заработало вместе
>>14936 (OP)
Как дела, петуханы? Еще на мороз не выгнали?
Как дела, петуханы? Еще на мороз не выгнали?
>>34619
Подобное притягивает подобное.
Подобное притягивает подобное.
>>34243
Если у тебя есть вектор размера N и тебе нужен вектор размера M, то самое простое, чтобы превратить одно в другое, это умножить его на матрицу, ака dense-слой с матрицей весов размера [N, M].
То есть yoba_sized_m = Dense(size=M)(yoba_sized_n)
Это маппинг, то есть проекция N-мерного вектора на M-мерное пространство.
Для self attention тебе из входных данных нужно получить 3 тензора, K, Q и V, и у них должны быть специфические размеры, чтобы сработала формула механизма внимания, та, которая софтмаксом. Самый простой способ здесь это отмапить входные данные. Но вообще можно хоть целую нейронку добавить, которая будет тебе делать K, Q и V из входа.
>>34499
Dense-слой можно рассматривать как частный случай сверточного, у которого width и height фильтра равны габаритам твоего входного центра, padding указан valid. В этом случае входной тензор размера [IN, WIDTH, HEIGHT] будет обработан фильтром размера [IN, OUT, WIDTH, HEIGHT] на выходе будет тензор размера [OUT, 1, 1]. Это эквивалент Flatten'а ( [IN, WIDTH, HEIGHT] = > [IN x WIDTH x HEIGHT] ) с последующим применением Dense(Out) - (размер на выходе - [Out]) и затем дважды expand_dims чтобы сделать [OUT, 1, 1], что вообще не обязательно, но так ты добьешься полной эквивалентности.
То есть Dense слой - это такая свертка с максимально возможным размером фильтра и соответственно нулевой пространственной инвариантностью.
Это может быть сильно лишним, если у тебя есть какая-то локальность. Например, в OCR у тебя для отдельных букв требуется чтобы каждая буква попадала в рецепторное поле нейрона, но не более того, тебе не нужно мапить весь огромный тензор фич на K, Q, V используя огромный dense-слой. Пусть с дальними взаимодействиями разберается уже attention-слой.
Поэтому вычислительно легче сделать что-то типа
K = Conv(filter_count=n_k, filter_width=порядка размера буквы, stride = четверть размера буквы)
Q = Conv(filter_count=n_q, filter_width=порядка размера буквы, stride = четверть размера буквы)
V = Conv(filter_count=n_v, filter_width=порядка размера буквы, stride = четверть размера буквы)
Но для ускорения процесса можно сделать
mapper = Conv(filter_count=n_k+n_q+n_v, filter_width=порядка размера буквы, stride = четверть размера буквы)
А затем уже поделить тензор mapper на 3 тензора, K, Q и V. Это эквивалентно.
>А что вообще такое "маппинг полносвязными слоями"?
Если у тебя есть вектор размера N и тебе нужен вектор размера M, то самое простое, чтобы превратить одно в другое, это умножить его на матрицу, ака dense-слой с матрицей весов размера [N, M].
То есть yoba_sized_m = Dense(size=M)(yoba_sized_n)
Это маппинг, то есть проекция N-мерного вектора на M-мерное пространство.
Для self attention тебе из входных данных нужно получить 3 тензора, K, Q и V, и у них должны быть специфические размеры, чтобы сработала формула механизма внимания, та, которая софтмаксом. Самый простой способ здесь это отмапить входные данные. Но вообще можно хоть целую нейронку добавить, которая будет тебе делать K, Q и V из входа.
>>34499
Dense-слой можно рассматривать как частный случай сверточного, у которого width и height фильтра равны габаритам твоего входного центра, padding указан valid. В этом случае входной тензор размера [IN, WIDTH, HEIGHT] будет обработан фильтром размера [IN, OUT, WIDTH, HEIGHT] на выходе будет тензор размера [OUT, 1, 1]. Это эквивалент Flatten'а ( [IN, WIDTH, HEIGHT] = > [IN x WIDTH x HEIGHT] ) с последующим применением Dense(Out) - (размер на выходе - [Out]) и затем дважды expand_dims чтобы сделать [OUT, 1, 1], что вообще не обязательно, но так ты добьешься полной эквивалентности.
То есть Dense слой - это такая свертка с максимально возможным размером фильтра и соответственно нулевой пространственной инвариантностью.
Это может быть сильно лишним, если у тебя есть какая-то локальность. Например, в OCR у тебя для отдельных букв требуется чтобы каждая буква попадала в рецепторное поле нейрона, но не более того, тебе не нужно мапить весь огромный тензор фич на K, Q, V используя огромный dense-слой. Пусть с дальними взаимодействиями разберается уже attention-слой.
Поэтому вычислительно легче сделать что-то типа
K = Conv(filter_count=n_k, filter_width=порядка размера буквы, stride = четверть размера буквы)
Q = Conv(filter_count=n_q, filter_width=порядка размера буквы, stride = четверть размера буквы)
V = Conv(filter_count=n_v, filter_width=порядка размера буквы, stride = четверть размера буквы)
Но для ускорения процесса можно сделать
mapper = Conv(filter_count=n_k+n_q+n_v, filter_width=порядка размера буквы, stride = четверть размера буквы)
А затем уже поделить тензор mapper на 3 тензора, K, Q и V. Это эквивалентно.
>>34243
Если у тебя есть вектор размера N и тебе нужен вектор размера M, то самое простое, чтобы превратить одно в другое, это умножить его на матрицу, ака dense-слой с матрицей весов размера [N, M].
То есть yoba_sized_m = Dense(size=M)(yoba_sized_n)
Это маппинг, то есть проекция N-мерного вектора на M-мерное пространство.
Для self attention тебе из входных данных нужно получить 3 тензора, K, Q и V, и у них должны быть специфические размеры, чтобы сработала формула механизма внимания, та, которая софтмаксом. Самый простой способ здесь это отмапить входные данные. Но вообще можно хоть целую нейронку добавить, которая будет тебе делать K, Q и V из входа.
>>34499
Dense-слой можно рассматривать как частный случай сверточного, у которого width и height фильтра равны габаритам твоего входного центра, padding указан valid. В этом случае входной тензор размера [IN, WIDTH, HEIGHT] будет обработан фильтром размера [IN, OUT, WIDTH, HEIGHT] на выходе будет тензор размера [OUT, 1, 1]. Это эквивалент Flatten'а ( [IN, WIDTH, HEIGHT] = > [IN x WIDTH x HEIGHT] ) с последующим применением Dense(Out) - (размер на выходе - [Out]) и затем дважды expand_dims чтобы сделать [OUT, 1, 1], что вообще не обязательно, но так ты добьешься полной эквивалентности.
То есть Dense слой - это такая свертка с максимально возможным размером фильтра и соответственно нулевой пространственной инвариантностью.
Это может быть сильно лишним, если у тебя есть какая-то локальность. Например, в OCR у тебя для отдельных букв требуется чтобы каждая буква попадала в рецепторное поле нейрона, но не более того, тебе не нужно мапить весь огромный тензор фич на K, Q, V используя огромный dense-слой. Пусть с дальними взаимодействиями разберается уже attention-слой.
Поэтому вычислительно легче сделать что-то типа
K = Conv(filter_count=n_k, filter_width=порядка размера буквы, stride = четверть размера буквы)
Q = Conv(filter_count=n_q, filter_width=порядка размера буквы, stride = четверть размера буквы)
V = Conv(filter_count=n_v, filter_width=порядка размера буквы, stride = четверть размера буквы)
Но для ускорения процесса можно сделать
mapper = Conv(filter_count=n_k+n_q+n_v, filter_width=порядка размера буквы, stride = четверть размера буквы)
А затем уже поделить тензор mapper на 3 тензора, K, Q и V. Это эквивалентно.
>А что вообще такое "маппинг полносвязными слоями"?
Если у тебя есть вектор размера N и тебе нужен вектор размера M, то самое простое, чтобы превратить одно в другое, это умножить его на матрицу, ака dense-слой с матрицей весов размера [N, M].
То есть yoba_sized_m = Dense(size=M)(yoba_sized_n)
Это маппинг, то есть проекция N-мерного вектора на M-мерное пространство.
Для self attention тебе из входных данных нужно получить 3 тензора, K, Q и V, и у них должны быть специфические размеры, чтобы сработала формула механизма внимания, та, которая софтмаксом. Самый простой способ здесь это отмапить входные данные. Но вообще можно хоть целую нейронку добавить, которая будет тебе делать K, Q и V из входа.
>>34499
Dense-слой можно рассматривать как частный случай сверточного, у которого width и height фильтра равны габаритам твоего входного центра, padding указан valid. В этом случае входной тензор размера [IN, WIDTH, HEIGHT] будет обработан фильтром размера [IN, OUT, WIDTH, HEIGHT] на выходе будет тензор размера [OUT, 1, 1]. Это эквивалент Flatten'а ( [IN, WIDTH, HEIGHT] = > [IN x WIDTH x HEIGHT] ) с последующим применением Dense(Out) - (размер на выходе - [Out]) и затем дважды expand_dims чтобы сделать [OUT, 1, 1], что вообще не обязательно, но так ты добьешься полной эквивалентности.
То есть Dense слой - это такая свертка с максимально возможным размером фильтра и соответственно нулевой пространственной инвариантностью.
Это может быть сильно лишним, если у тебя есть какая-то локальность. Например, в OCR у тебя для отдельных букв требуется чтобы каждая буква попадала в рецепторное поле нейрона, но не более того, тебе не нужно мапить весь огромный тензор фич на K, Q, V используя огромный dense-слой. Пусть с дальними взаимодействиями разберается уже attention-слой.
Поэтому вычислительно легче сделать что-то типа
K = Conv(filter_count=n_k, filter_width=порядка размера буквы, stride = четверть размера буквы)
Q = Conv(filter_count=n_q, filter_width=порядка размера буквы, stride = четверть размера буквы)
V = Conv(filter_count=n_v, filter_width=порядка размера буквы, stride = четверть размера буквы)
Но для ускорения процесса можно сделать
mapper = Conv(filter_count=n_k+n_q+n_v, filter_width=порядка размера буквы, stride = четверть размера буквы)
А затем уже поделить тензор mapper на 3 тензора, K, Q и V. Это эквивалентно.
21 Кб, 450x353Там Греф личные данные рабсиян решил зекам предоставить в качестве датасетов + зеки же будут эти ваши нейроночки обучать.
https://www.kommersant.ru/doc/4291087
> Сбербанк 4 марта собирался торжественно подписать соглашение с Федеральной службой исполнения наказаний. Однако по техническим причинам само подписание было перенесено на более поздний срок. Тем не менее, как стало известно “Ъ”, сам проект начал работать.
> По словам сразу нескольких источников “Ъ”, знакомых с реализацией проекта, его суть заключается в том, что осужденные обучают искусственный интеллект распознавать рукописный текст и детали изображения. Этот проект осуществляется в одном из учреждений ФСИН в Новосибирске.
> По его словам, на распознавание группе осужденных выдаются обезличенные данные либо изображения, которые необходимо разметить либо верифицировать. «Никаких рисков для клиентов Сбербанка этот проект не несет. Информация, которая будет предоставляться в работу людям, находящимся в исправительных учреждениях, не содержит никаких персональных данных, банковской или иной тайны, она обезличена, ее невозможно использовать для незаконной деятельности»,— пояснил он и добавил, что кандидатуры участников пилотного проекта подобраны местным управлением ФСИН, после чего проверены профильными службами Сбербанка.
https://www.kommersant.ru/doc/4291087
>>35692
Так нормас идея, зеки будут размечать тысячи всякой хуйни
Так нормас идея, зеки будут размечать тысячи всякой хуйни
77 Кб, 640x366Я собственно, к чему >>35692 это. Кто тут из зумеров вкатываться хотел? Садитесь на тюрьму, вас там нахаляву за счёт сбербанка вкатят и работу дадут.
>>14936 (OP)
Аноны, помогите пожалуйста советом. Изучаю ML около полугода, решил выполнить реальную задачу. Суть в том, что есть собранный датасет с физической активностью людей(есть дата и некий коэффициент активности(т.е. данные достаточно простые)). Нужно на примере одного человека построить функцию, которая при поступлении новых данных (при этом ранее обучившись на старых) могла сказать пользователю, достаточно ли он позанимался сегодня или нет. Я планирую использовать логистическую регрессию. Опытные аноны, подскажите пожалуйста, какой бы вы метод использовали для решения подобной задачи?
Аноны, помогите пожалуйста советом. Изучаю ML около полугода, решил выполнить реальную задачу. Суть в том, что есть собранный датасет с физической активностью людей(есть дата и некий коэффициент активности(т.е. данные достаточно простые)). Нужно на примере одного человека построить функцию, которая при поступлении новых данных (при этом ранее обучившись на старых) могла сказать пользователю, достаточно ли он позанимался сегодня или нет. Я планирую использовать логистическую регрессию. Опытные аноны, подскажите пожалуйста, какой бы вы метод использовали для решения подобной задачи?
Обновить тред
Двач.hk не отвечает.
Вы видите копию треда, сохраненную 26 мая 2020 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Вы видите копию треда, сохраненную 26 мая 2020 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.