Этого треда уже нет.
Это копия, сохраненная 28 июня 2017 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Это копия, сохраненная 28 июня 2017 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
264 Кб, 591x524
773 Кб, 1212x388
книги
Pattern Recognition and Machine Learning, Bishop.
Information theory, inference & learning algorithms, MacKay http://www.inference.phy.cam.ac.uk/itila/
Machine Learning: A Probabilistic Perspective, Murphy
Introduction to Statistical Learning ( http://www-bcf.usc.edu/~gareth/ISL/ISLR Sixth Printing.pdf )
Elements of Statistical Learning ( http://statweb.stanford.edu/~tibs/ElemStatLearn/printings/ESLII_print10.pdf )
Foundations of Machine Learning, أشهد أن لا إله إلا الله وأشهد أن محمد رسول الله. http://www.cs.nyu.edu/~mohri/mlbook/
Fundamentals of Neural Networks: Architectures, Algorithms, and Applications, Fausett L.
А. Пегат, "Нечёткое моделирование и управление"
другое
http://libgen.io / http://bookzz.org/ - здесь можно одолжить ^ книги и не только
http://arxiv.org/find/all/1/all:+nejronochki/0/1/0/all/0/1
https://www.reddit.com/r/MachineLearning/wiki/index
https://vk.com/deeplearning и http://deeplearning.net/reading-list/
https://www.kadenze.com/courses/creative-applications-of-deep-learning-with-tensorflow/info тюториал по slesarflow
http://rgho.st/8g68fTCSx две брошюры по deep learning для слесарей.
http://kaggle.com - весёлые контесты. денежные призы
https://www.hackerrank.com/domains/ai/machine-learning/difficulty/all/page/1 - олимпиадки
курс от китаёзы
http://videolectures.net/mlss09uk_cambridge/
яп
1. http://julialang.org/
2. https://www.microsoft.com/en-us/research/project/infernet/
3. https://www.r-project.org/
4. питухон и так все знают
5. idris/coq - модные яп для формально верифицированных нейроночек с тренировкой на этапе компиляции
ПЛАТИНА
Книги хорошо, но с чего начать практический вкат?
Во-первых, вам нужна любая unix-based система. На Windows возможно запустить нижеперечисленное, но ждите пердолева с настройкой и неодобрительных взглядов анонимуса. Кроме того, в компаниях, так или иначе связанных с разработкой йоба-ПО и machine learningом, Linux/OS X является стандартом. Привыкайте.
Во-вторых, определитесь с языком. Python и C++ наиболее мейнстримовые инструменты, с ними вы без еды не останетесь. Есть еще R, на котором пацаны живут статистикой и анальными пакетами. Некоторые инструменты являются языко-независимыми (Vowpal Vabbit, XGBoost), но обвязывать их вы все равно будете из какой-либо среды.
На Java разработано много production-ready инструментов для бигдаты и если вы угораете по терабайтам данных, то имеет смысл посмотреть в её сторону. Впрочем, лучше это делать уже потом, когда прийдет осознание потребностей.
В-третих, выбирайте себе задачу. Что угодно: распознать качпу, обнаружить ботов по логам, найти раковых больных. Список можно посмотреть, например, на kaggle.com. После чего приступаете к решению выбранной задачи.
Не прийдется ли мне потом с таким наборищем знаний идти в макдак работать?
Несмотря на хайп вокруг ML, далеко не во всех IT компания есть необходимость в ML и понимание круга задач, которые можно решить этими методами. Но поверьте, в 2017 компетентный специалист будет востребован. В России потребителями ваших знаний могут стать: Яндекс, Mail.ru, Вконтакте, Rambler, Касперский, Билайн, Связной, ABBYY, Хуавэй. В биоинформатике есть определенный спрос, можно поскролить http://blastim.ru
Здорово, но я так и не понял чем же вы занимаетесь в IT компаниях?
Попытаюсь ответить со своей колокольни и сразу хочу предупредить, что это едва ли консенсуальное мнение.
ML-специалист - это такое зонтичное определение для человека, способного увидеть проблему, выгрепать кучу логов и данных, посмотреть на них, придумать решение проблемы и врезать это решение его в продакшн. По сути, это кодер, решающий не чисто технические, а, в некотором роде, человеческие проблемы.
Имхо, мы все же остаемся в первую очередь разработчиками.
Что такое TensorFlow?
TensorFlow - опенсорсный гугловый инструмент для перемножения тензоров и оптимизации функционалов. Опенсорсный - потому что даже важные куски типа параллелизации уже выкачены в паблик. Если вам все ещё непонятно что это, значит это вам и не нужно, сириусли. Google перестарался с рекламой и теперь люди думают, что TF - это серебряная пуля и затычка для каждой бочки. До TF был Theano, который выполнял свою работу не хуже. И, в отличии от TF, он уже находится в стабильной фазе.
будет ли ML нужен в ближайшие 10 лет, или это просто хайп?
будет. хайп.
смогу найти работу?
Яндекс, мейлру, касперский, несколько биоинформатических компаний (iBinom, можно еще blastim.ru поскролить на тему работы), билайн (они с НГ целое подразделение открыли под ML и биг дату), связной. Ну и западные аутсорсы, если готов рачить за валюту.
нужна математика?
для начинающего ничего особого знать не нужно
https://www.amazon.co.uk/Calculus-Michael-Spivak-x/dp/0521867444
https://www.amazon.co.uk/dp/0534422004/ref=pd_lpo_sbs_dp_ss_2?pf_rd_p=569136327&pf_rd_s=lpo-top-stripe&pf_rd_t=201&pf_rd_i=0980232716&pf_rd_m=A3P5ROKL5A1OLE&pf_rd_r=3TZ38AZ2BY28R19H4SA5
https://www.amazon.co.uk/Calculus-Several-Variables-Undergraduate-Mathematics/dp/0387964053
https://www.amazon.co.uk/Introduction-Probability-Dimitri-P-Bertsekas/dp/188652923X
"основы теории вероятностей" Вентцель
поясните за нейроночки
нейроночка - массив
шад)))
Нет там ничего ML-специфичного, знание матана и теорвера на уровне заборостроительного вуза. Теорвер проходится на третьем курсе, как раз 20 лет.
Рандомный хрен туда не сможет поступить, потому что планка намеренно задрана, а не потому что там такая охуенно сложная программа. Это традиционная наебка "элитных учебных заведений", в которой учат так же хуево, как и везде, но за счет отбора поступающих якобы формируются неебовые успехи, которые объясняются именно качеством преподавания.
Иными словами, у тех, кто способен поступить, и так в жизни проблем с трудоустройством не будет.
Тред #1: https://arhivach.org/thread/147800/
Тред #2: https://arhivach.org/thread/170611/
Тред #3: https://arhivach.org/thread/179539/
Тред #4: https://arhivach.org/thread/185385/
Тред #5: https://arhivach.org/thread/186283/
Тред #6: https://arhivach.org/thread/187794/
Тред #7: https://arhivach.org/thread/196781/
Тред #8: https://arhivach.org/thread/209934/
Тред #9: https://arhivach.org/thread/223216/
Тред #10: https://arhivach.org/thread/234497/
Тред #11: https://arhivach.org/thread/240332/
Тред #12: https://arhivach.org/thread/246273/
Тред #13: https://arhivach.org/thread/256401/
Pattern Recognition and Machine Learning, Bishop.
Information theory, inference & learning algorithms, MacKay http://www.inference.phy.cam.ac.uk/itila/
Machine Learning: A Probabilistic Perspective, Murphy
Introduction to Statistical Learning ( http://www-bcf.usc.edu/~gareth/ISL/ISLR Sixth Printing.pdf )
Elements of Statistical Learning ( http://statweb.stanford.edu/~tibs/ElemStatLearn/printings/ESLII_print10.pdf )
Foundations of Machine Learning, أشهد أن لا إله إلا الله وأشهد أن محمد رسول الله. http://www.cs.nyu.edu/~mohri/mlbook/
Fundamentals of Neural Networks: Architectures, Algorithms, and Applications, Fausett L.
А. Пегат, "Нечёткое моделирование и управление"
другое
http://libgen.io / http://bookzz.org/ - здесь можно одолжить ^ книги и не только
http://arxiv.org/find/all/1/all:+nejronochki/0/1/0/all/0/1
https://www.reddit.com/r/MachineLearning/wiki/index
https://vk.com/deeplearning и http://deeplearning.net/reading-list/
https://www.kadenze.com/courses/creative-applications-of-deep-learning-with-tensorflow/info тюториал по slesarflow
http://rgho.st/8g68fTCSx две брошюры по deep learning для слесарей.
http://kaggle.com - весёлые контесты. денежные призы
https://www.hackerrank.com/domains/ai/machine-learning/difficulty/all/page/1 - олимпиадки
курс от китаёзы
http://videolectures.net/mlss09uk_cambridge/
яп
1. http://julialang.org/
2. https://www.microsoft.com/en-us/research/project/infernet/
3. https://www.r-project.org/
4. питухон и так все знают
5. idris/coq - модные яп для формально верифицированных нейроночек с тренировкой на этапе компиляции
ПЛАТИНА
Книги хорошо, но с чего начать практический вкат?
Во-первых, вам нужна любая unix-based система. На Windows возможно запустить нижеперечисленное, но ждите пердолева с настройкой и неодобрительных взглядов анонимуса. Кроме того, в компаниях, так или иначе связанных с разработкой йоба-ПО и machine learningом, Linux/OS X является стандартом. Привыкайте.
Во-вторых, определитесь с языком. Python и C++ наиболее мейнстримовые инструменты, с ними вы без еды не останетесь. Есть еще R, на котором пацаны живут статистикой и анальными пакетами. Некоторые инструменты являются языко-независимыми (Vowpal Vabbit, XGBoost), но обвязывать их вы все равно будете из какой-либо среды.
На Java разработано много production-ready инструментов для бигдаты и если вы угораете по терабайтам данных, то имеет смысл посмотреть в её сторону. Впрочем, лучше это делать уже потом, когда прийдет осознание потребностей.
В-третих, выбирайте себе задачу. Что угодно: распознать качпу, обнаружить ботов по логам, найти раковых больных. Список можно посмотреть, например, на kaggle.com. После чего приступаете к решению выбранной задачи.
Не прийдется ли мне потом с таким наборищем знаний идти в макдак работать?
Несмотря на хайп вокруг ML, далеко не во всех IT компания есть необходимость в ML и понимание круга задач, которые можно решить этими методами. Но поверьте, в 2017 компетентный специалист будет востребован. В России потребителями ваших знаний могут стать: Яндекс, Mail.ru, Вконтакте, Rambler, Касперский, Билайн, Связной, ABBYY, Хуавэй. В биоинформатике есть определенный спрос, можно поскролить http://blastim.ru
Здорово, но я так и не понял чем же вы занимаетесь в IT компаниях?
Попытаюсь ответить со своей колокольни и сразу хочу предупредить, что это едва ли консенсуальное мнение.
ML-специалист - это такое зонтичное определение для человека, способного увидеть проблему, выгрепать кучу логов и данных, посмотреть на них, придумать решение проблемы и врезать это решение его в продакшн. По сути, это кодер, решающий не чисто технические, а, в некотором роде, человеческие проблемы.
Имхо, мы все же остаемся в первую очередь разработчиками.
Что такое TensorFlow?
TensorFlow - опенсорсный гугловый инструмент для перемножения тензоров и оптимизации функционалов. Опенсорсный - потому что даже важные куски типа параллелизации уже выкачены в паблик. Если вам все ещё непонятно что это, значит это вам и не нужно, сириусли. Google перестарался с рекламой и теперь люди думают, что TF - это серебряная пуля и затычка для каждой бочки. До TF был Theano, который выполнял свою работу не хуже. И, в отличии от TF, он уже находится в стабильной фазе.
будет ли ML нужен в ближайшие 10 лет, или это просто хайп?
будет. хайп.
смогу найти работу?
Яндекс, мейлру, касперский, несколько биоинформатических компаний (iBinom, можно еще blastim.ru поскролить на тему работы), билайн (они с НГ целое подразделение открыли под ML и биг дату), связной. Ну и западные аутсорсы, если готов рачить за валюту.
нужна математика?
для начинающего ничего особого знать не нужно
https://www.amazon.co.uk/Calculus-Michael-Spivak-x/dp/0521867444
https://www.amazon.co.uk/dp/0534422004/ref=pd_lpo_sbs_dp_ss_2?pf_rd_p=569136327&pf_rd_s=lpo-top-stripe&pf_rd_t=201&pf_rd_i=0980232716&pf_rd_m=A3P5ROKL5A1OLE&pf_rd_r=3TZ38AZ2BY28R19H4SA5
https://www.amazon.co.uk/Calculus-Several-Variables-Undergraduate-Mathematics/dp/0387964053
https://www.amazon.co.uk/Introduction-Probability-Dimitri-P-Bertsekas/dp/188652923X
"основы теории вероятностей" Вентцель
поясните за нейроночки
нейроночка - массив
шад)))
Нет там ничего ML-специфичного, знание матана и теорвера на уровне заборостроительного вуза. Теорвер проходится на третьем курсе, как раз 20 лет.
Рандомный хрен туда не сможет поступить, потому что планка намеренно задрана, а не потому что там такая охуенно сложная программа. Это традиционная наебка "элитных учебных заведений", в которой учат так же хуево, как и везде, но за счет отбора поступающих якобы формируются неебовые успехи, которые объясняются именно качеством преподавания.
Иными словами, у тех, кто способен поступить, и так в жизни проблем с трудоустройством не будет.
Тред #1: https://arhivach.org/thread/147800/
Тред #2: https://arhivach.org/thread/170611/
Тред #3: https://arhivach.org/thread/179539/
Тред #4: https://arhivach.org/thread/185385/
Тред #5: https://arhivach.org/thread/186283/
Тред #6: https://arhivach.org/thread/187794/
Тред #7: https://arhivach.org/thread/196781/
Тред #8: https://arhivach.org/thread/209934/
Тред #9: https://arhivach.org/thread/223216/
Тред #10: https://arhivach.org/thread/234497/
Тред #11: https://arhivach.org/thread/240332/
Тред #12: https://arhivach.org/thread/246273/
Тред #13: https://arhivach.org/thread/256401/
Где можно почитать подробно о сверточных нейронных сетях?
Ответы979083
первыйнах
все кто ниже пидорасы ебал их мамок
все кто ниже пидорасы ебал их мамок
Кто-то из вас вкатился в индустрию?
Почему мне кажется что тут одни школьники...
Почему мне кажется что тут одни школьники...
Ответы979101
>>979096
нет ты мамку ебал
нет ты мамку ебал
Матанопитухи сасать
Ответы979372
>>979045 (OP)
а тут в конкурсах кто-то занимал призовые места?
а тут в конкурсах кто-то занимал призовые места?
>>979110
Они уже создали ИИ. Гугли AIXI.
Они уже создали ИИ. Гугли AIXI.
В чем суть байесовского подхода и всего, что начинается или имеет в составе "байес"? Поясните по хардкору, пожалуйста. Вот, что нейроночка это массив это я понял.
матанобляди, ваш тред в sci
>>979373
задаешь приорное распределение над параметрами и теоремой баэса +данные вышисляешь постериор
вместо точечной оценки параметров как в устаревшем классическом/частотном подходе у тебя есть распределение вероятности над пространством параметров
задаешь приорное распределение над параметрами и теоремой баэса +данные вышисляешь постериор
вместо точечной оценки параметров как в устаревшем классическом/частотном подходе у тебя есть распределение вероятности над пространством параметров
Ответы979406
>>979404
Школьник, уйди в /сцай
Школьник, уйди в /сцай
https://www.reddit.com/r/MachineLearning/comments/679ffo/d_those_of_you_who_do_this_as_a_career_what_does/
Я работаю в стартапе. Теоретически это от 9 до 5, но, как правило, все мы остаемся позже. Большая часть дня действительно находится перед терминалом, отлаживая или записывая код, время от времени обучая модель или две, но часто это то, что просто работает в фоновом режиме, пока вы работаете над чем-то другим. Каждую неделю проводятся как минимум несколько встреч, но они, как правило, довольно короткие.
Мне нравится, что каждый день появляется что-то новое, и мы также стараемся идти в ногу с исследованиями. С другой стороны, неясность и отсутствие четкой документации - самые неприятные вещи, особенно если вы ищете какую-то загадочную причину, то что-то не работает.
Я работаю над своими задачами, которые обычно связаны с одним из:
Оценка модели, которая была обучена
Работа по настройке для обучения новой модели
Оценка литературы для перспективных технологий
Данные по очистке
Составление потенциального подхода к проблеме
Развертывание модели для производства
Я работаю в псевдо-исследовательской среде. Я заходила в 10 утра, выходила около 5 вечера. Вернитесь к компьютеру около 9 часов вечера и немного поработайте / играйте до 11 или 12 ночи. Я часто работаю во время одного из вечеров выходных (обычно в воскресенье вечером, когда у меня есть свободное время, чтобы поиграть с моделями и т. Д.).
Типичный проект состоит из бесконечных обсуждений и исследований, чтобы решить, что является подходящей целевой переменной и целевой группой. Лучше ли смоделировать вероятность дефолта в 1y? 6m? Что представляет собой дефолт (это действительно сложно)? Если я создаю модель для оценки вероятности того, что кто-то не оплатит свою кредитную карту, хочу ли я использовать данные из всех банков или только моих клиентов? Являются ли мои выбранные данные обновленными в рабочей среде? Могу ли я полагаться на эту информацию? Моя модель - это инструмент для принятия решений, но на самом деле решения будут приниматься на основе модели? Если ваша модель должна использоваться менеджерами филиалов, но они не могут понять ее логику, они могут просто игнорировать ее.
Я работаю в стартапе. Теоретически это от 9 до 5, но, как правило, все мы остаемся позже. Большая часть дня действительно находится перед терминалом, отлаживая или записывая код, время от времени обучая модель или две, но часто это то, что просто работает в фоновом режиме, пока вы работаете над чем-то другим. Каждую неделю проводятся как минимум несколько встреч, но они, как правило, довольно короткие.
Мне нравится, что каждый день появляется что-то новое, и мы также стараемся идти в ногу с исследованиями. С другой стороны, неясность и отсутствие четкой документации - самые неприятные вещи, особенно если вы ищете какую-то загадочную причину, то что-то не работает.
Я работаю над своими задачами, которые обычно связаны с одним из:
Оценка модели, которая была обучена
Работа по настройке для обучения новой модели
Оценка литературы для перспективных технологий
Данные по очистке
Составление потенциального подхода к проблеме
Развертывание модели для производства
Я работаю в псевдо-исследовательской среде. Я заходила в 10 утра, выходила около 5 вечера. Вернитесь к компьютеру около 9 часов вечера и немного поработайте / играйте до 11 или 12 ночи. Я часто работаю во время одного из вечеров выходных (обычно в воскресенье вечером, когда у меня есть свободное время, чтобы поиграть с моделями и т. Д.).
Типичный проект состоит из бесконечных обсуждений и исследований, чтобы решить, что является подходящей целевой переменной и целевой группой. Лучше ли смоделировать вероятность дефолта в 1y? 6m? Что представляет собой дефолт (это действительно сложно)? Если я создаю модель для оценки вероятности того, что кто-то не оплатит свою кредитную карту, хочу ли я использовать данные из всех банков или только моих клиентов? Являются ли мои выбранные данные обновленными в рабочей среде? Могу ли я полагаться на эту информацию? Моя модель - это инструмент для принятия решений, но на самом деле решения будут приниматься на основе модели? Если ваша модель должна использоваться менеджерами филиалов, но они не могут понять ее логику, они могут просто игнорировать ее.
https://www.reddit.com/r/MachineLearning/comments/679ffo/d_those_of_you_who_do_this_as_a_career_what_does/
Я работаю в стартапе. Теоретически это от 9 до 5, но, как правило, все мы остаемся позже. Большая часть дня действительно находится перед терминалом, отлаживая или записывая код, время от времени обучая модель или две, но часто это то, что просто работает в фоновом режиме, пока вы работаете над чем-то другим. Каждую неделю проводятся как минимум несколько встреч, но они, как правило, довольно короткие.
Мне нравится, что каждый день появляется что-то новое, и мы также стараемся идти в ногу с исследованиями. С другой стороны, неясность и отсутствие четкой документации - самые неприятные вещи, особенно если вы ищете какую-то загадочную причину, то что-то не работает.
Я работаю над своими задачами, которые обычно связаны с одним из:
Оценка модели, которая была обучена
Работа по настройке для обучения новой модели
Оценка литературы для перспективных технологий
Данные по очистке
Составление потенциального подхода к проблеме
Развертывание модели для производства
Я работаю в псевдо-исследовательской среде. Я заходила в 10 утра, выходила около 5 вечера. Вернитесь к компьютеру около 9 часов вечера и немного поработайте / играйте до 11 или 12 ночи. Я часто работаю во время одного из вечеров выходных (обычно в воскресенье вечером, когда у меня есть свободное время, чтобы поиграть с моделями и т. Д.).
Типичный проект состоит из бесконечных обсуждений и исследований, чтобы решить, что является подходящей целевой переменной и целевой группой. Лучше ли смоделировать вероятность дефолта в 1y? 6m? Что представляет собой дефолт (это действительно сложно)? Если я создаю модель для оценки вероятности того, что кто-то не оплатит свою кредитную карту, хочу ли я использовать данные из всех банков или только моих клиентов? Являются ли мои выбранные данные обновленными в рабочей среде? Могу ли я полагаться на эту информацию? Моя модель - это инструмент для принятия решений, но на самом деле решения будут приниматься на основе модели? Если ваша модель должна использоваться менеджерами филиалов, но они не могут понять ее логику, они могут просто игнорировать ее.
Я работаю в стартапе. Теоретически это от 9 до 5, но, как правило, все мы остаемся позже. Большая часть дня действительно находится перед терминалом, отлаживая или записывая код, время от времени обучая модель или две, но часто это то, что просто работает в фоновом режиме, пока вы работаете над чем-то другим. Каждую неделю проводятся как минимум несколько встреч, но они, как правило, довольно короткие.
Мне нравится, что каждый день появляется что-то новое, и мы также стараемся идти в ногу с исследованиями. С другой стороны, неясность и отсутствие четкой документации - самые неприятные вещи, особенно если вы ищете какую-то загадочную причину, то что-то не работает.
Я работаю над своими задачами, которые обычно связаны с одним из:
Оценка модели, которая была обучена
Работа по настройке для обучения новой модели
Оценка литературы для перспективных технологий
Данные по очистке
Составление потенциального подхода к проблеме
Развертывание модели для производства
Я работаю в псевдо-исследовательской среде. Я заходила в 10 утра, выходила около 5 вечера. Вернитесь к компьютеру около 9 часов вечера и немного поработайте / играйте до 11 или 12 ночи. Я часто работаю во время одного из вечеров выходных (обычно в воскресенье вечером, когда у меня есть свободное время, чтобы поиграть с моделями и т. Д.).
Типичный проект состоит из бесконечных обсуждений и исследований, чтобы решить, что является подходящей целевой переменной и целевой группой. Лучше ли смоделировать вероятность дефолта в 1y? 6m? Что представляет собой дефолт (это действительно сложно)? Если я создаю модель для оценки вероятности того, что кто-то не оплатит свою кредитную карту, хочу ли я использовать данные из всех банков или только моих клиентов? Являются ли мои выбранные данные обновленными в рабочей среде? Могу ли я полагаться на эту информацию? Моя модель - это инструмент для принятия решений, но на самом деле решения будут приниматься на основе модели? Если ваша модель должна использоваться менеджерами филиалов, но они не могут понять ее логику, они могут просто игнорировать ее.
>>979083
Бля, хотелось бы на русском. Но, все равно спасибо.
Бля, хотелось бы на русском. Но, все равно спасибо.
>>979045 (OP)
Зачем такие картинки в медленной тематике постить, где висеть на нулевой будет три дня? Не под NSFW же сидеть.
> пик1
Зачем такие картинки в медленной тематике постить, где висеть на нулевой будет три дня? Не под NSFW же сидеть.
>>980213
Да меня вообще ничего уже не ебет. Просто пообщаться с кем-нибудь на эту тему интересно было бы. Чего сегодня такой злой?
Да меня вообще ничего уже не ебет. Просто пообщаться с кем-нибудь на эту тему интересно было бы. Чего сегодня такой злой?
Ответы980216
>>980224
Увы, у нас разные системы ценностей, друже. Но ты не виноват, ты такое же животное как я, со своим набором нейромедиаторов в черепной коробке.
Увы, у нас разные системы ценностей, друже. Но ты не виноват, ты такое же животное как я, со своим набором нейромедиаторов в черепной коробке.
>>980203
всегда пользовался готовыми либами для алгебры/моделек под видюхи
свой кудакернел написать не смогу
всегда пользовался готовыми либами для алгебры/моделек под видюхи
свой кудакернел написать не смогу
Ответы980241
>>979979
хинт: юмор не о твоём посте
хинт: юмор не о твоём посте
>>980241
https://github.com/arrayfire/arrayfire
опенсорсная обёртка над другими опенсорс либами
много функций для матриц и прочих алгоритмов для массивов
доступна на многих яп, я пользовался на юле и эфсярпе
немного течёт (читай вызываешь сборку мусора вручную лол) но для моих говноподелок норм
простой пример ускорения: умножить 2 рандомных 10к х 10к матрих ~0.3 сек на 1080, где-то в 20 раз быстрее проца
https://github.com/arrayfire/arrayfire
опенсорсная обёртка над другими опенсорс либами
много функций для матриц и прочих алгоритмов для массивов
доступна на многих яп, я пользовался на юле и эфсярпе
немного течёт (читай вызываешь сборку мусора вручную лол) но для моих говноподелок норм
простой пример ускорения: умножить 2 рандомных 10к х 10к матрих ~0.3 сек на 1080, где-то в 20 раз быстрее проца
Ответы980252
>>980249
Вот это интересная вещь, сейчас изучу. Спасибо, доброанон!
Вот это интересная вещь, сейчас изучу. Спасибо, доброанон!
>>980138
мамка в комнате рядом?
мамка в комнате рядом?
Надо через месяц простой распознаватель наличия кошечек и людей на фотке сдать, а у меня из знаний по теме только общая суть (Ну там матрицы перемножаются, сравниваются и обратное распространение, тип уменьшить потерю, а еще сверточные слои какие-то есть хуе-мое) с парой формулок. Что подойдет для решения задачи "быстро-написать-и-обучить", Keras будет ок?
Ответы980910
>>980898
смотри как в opencv это зделано
каскады хаара, если не ошибаюсь
шабллоны в хмл есть и для людей и для котов
>Надо через месяц простой распознаватель наличия кошечек и людей на фотке сдать
смотри как в opencv это зделано
каскады хаара, если не ошибаюсь
шабллоны в хмл есть и для людей и для котов
17 Кб, 841x103
Ответы980930
Решил вкатиться в данную тематику. Что из матчасти изучать более-менее понятно. А вот на каком уровне нужно знать, скажем, Python? Требуется ли ООП или функциональщина?
>>981013
Уровня "import tensorflow as tf" хватит. Тебе ж не новые алгоритмы разрабатывать.
>на каком уровне нужно знать, скажем, Python?
Уровня "import tensorflow as tf" хватит. Тебе ж не новые алгоритмы разрабатывать.
>>981062
Почему заебется? Питон же не сложный. А линал на практических примерах гораздо проще и тверже усваивается.
перекатываюсь к вам из пхп-треда
Почему заебется? Питон же не сложный. А линал на практических примерах гораздо проще и тверже усваивается.
перекатываюсь к вам из пхп-треда
Ответы981238
>>981221
Я уже тут два раза спрашивал, кто-то вкатился в индустрию на зарплату? Вот почему.
А учить дрочить можно хоть рокет саенс ради прикола, но ракеты ты от этого строить не будешь. Клоуны.
Я уже тут два раза спрашивал, кто-то вкатился в индустрию на зарплату? Вот почему.
А учить дрочить можно хоть рокет саенс ради прикола, но ракеты ты от этого строить не будешь. Клоуны.
Ответы981242
>>981238
Зачем нон-стоп сидеть тут, если уже вкатился? Я в пхп-тред захожу пару раз за полгода, например.
А ответ на твой вопрос есть в архивах тредов.
Зачем нон-стоп сидеть тут, если уже вкатился? Я в пхп-тред захожу пару раз за полгода, например.
А ответ на твой вопрос есть в архивах тредов.
Ответы981246
>>981242
Да никто не вкатился, что вы как маленькие, тут просто все как хобби ковыряют не спеша эту тему.
Да никто не вкатился, что вы как маленькие, тут просто все как хобби ковыряют не спеша эту тему.
Ответы981316
>>981316
Доктор блять по физике, ну нихуя себе блять, тут на сосаке большинство закончили гуманитарошараги! шараги! блять. И эта говномасса мечтает о нейроночках.
Доктор блять по физике, ну нихуя себе блять, тут на сосаке большинство закончили гуманитарошараги! шараги! блять. И эта говномасса мечтает о нейроночках.
>>981325
Ну я на 6 курсе мфти например
Ну я на 6 курсе мфти например
Я просто напомню, что на Степике есть русскоязычный вводный курс в нейросети на уровне "а вот сейчас мы перемножим две матрицы".
На каких уровнях надо знать физику, нейрофизику, химию, нейрохимию, математику, психологию и прочее чтобы создать ИИ?
>>981341
Математику на уровне Миши Громова или Макса Концевича на худой конец, физику хотя бы на уровне Эдварда Виттена итд ну ты понял
Математику на уровне Миши Громова или Макса Концевича на худой конец, физику хотя бы на уровне Эдварда Виттена итд ну ты понял
>>981341
Отталкивайся от AIXI и Solomonoff induction.
Отталкивайся от AIXI и Solomonoff induction.
image-net часто падает или я такой неудачник?
Если часто, то какой базой можно еще воспользоваться для обучения говнонейроночки на распознавание?
Если часто, то какой базой можно еще воспользоваться для обучения говнонейроночки на распознавание?
>>981316
О! Спасибо! Чем-то напоминает мою ситуацию.
>>981325
PhD соответствует уровню кандидата, гуманитарий ты наш из шараги.
О! Спасибо! Чем-то напоминает мою ситуацию.
>>981325
PhD соответствует уровню кандидата, гуманитарий ты наш из шараги.
Ответы981466
>>981466
чое гуманитарий тип) азхах
чое гуманитарий тип) азхах
>>981246
Та же херня. 3 курс, работаю жабомакакой. Из-за МЛ окончательно бросил развиваться как программист. А ведь хотел писать крутые архитектуры, знать паттерны и всё такое. И это всё ведь поможет мне стать крутче на рыночке, укатиться на другой континент. Но я как мудак сижу и дрочу нейрончики.
Та же херня. 3 курс, работаю жабомакакой. Из-за МЛ окончательно бросил развиваться как программист. А ведь хотел писать крутые архитектуры, знать паттерны и всё такое. И это всё ведь поможет мне стать крутче на рыночке, укатиться на другой континент. Но я как мудак сижу и дрочу нейрончики.
>>981680
Ну вот перекачусь. Может быть.
Ну вот перекачусь. Может быть.
>>981675
Какие достижения в ml? Давно куришь тему?
Какие достижения в ml? Давно куришь тему?
Есть какие-нибудь дешевые сервисы облачных вычислений с уже установленными (возможностью установки) всякими кеглями и тензорфлоу? Хочу вкатиться, но совсем нищук.
Ответы981881
Ты не можешь выучить питон и хочешь заниматься машобом? Даже не начинай.
Ответы981968
А на Go кто-нибудь пишет ИТТ? Питон #надоел, поставил R, а он как раз полминуты грузит 40метровый csv.
Ответы982074
>>982074
всм заебал
Вообще у меня метрика, но в го-тредике крудо-песатели долбоебы, а этот тред мне показался ревелантным. Ну в самом деле, не у веб макак же спрашивать. Что касается выбора технологии, то хозяин великодушно разрешил выбрать самому.
Жаль. Два года назад искал аналог nltk на Go, до сих пор с этим хуево.
>всм надоел?
всм заебал
> задача
Вообще у меня метрика, но в го-тредике крудо-песатели долбоебы, а этот тред мне показался ревелантным. Ну в самом деле, не у веб макак же спрашивать. Что касается выбора технологии, то хозяин великодушно разрешил выбрать самому.
>мало либ
Жаль. Два года назад искал аналог nltk на Go, до сих пор с этим хуево.
Есть какие-нибудь гайды, как выбирать параметры для сверточных сетей? Размеры фильтров, learning rate и т.д.?
Ответы982254
Ответы982263
>>981956
Сайт тензорфлова говорит, что у него есть C API. Гугол говорит, что жабаскрипт умеет в FFI.
Вперед и с песней.
Сайт тензорфлова говорит, что у него есть C API. Гугол говорит, что жабаскрипт умеет в FFI.
Вперед и с песней.
>>982263
все вещественные параметры белые люди выводят теоремой бейса и плоским нормальным приором
все вещественные параметры белые люди выводят теоремой бейса и плоским нормальным приором
Ответы982417
А генетическое (или даже слышал какое-то меметическое) программирование на практике где-то, кроме научных статей, используют?
>>982417
аналогично, вместо нормального ебашат дискретнный равномерные приор
аналогично, вместо нормального ебашат дискретнный равномерные приор
Как вкатится в слесари?
Что вообще почитать для биггинеров в машобе? Можно на английском.
Что вообще почитать для биггинеров в машобе? Можно на английском.
Ответы982565
>>982552
Ты уверен что сможешь стать настоящим слесарем, если не можешь прочесть оп-пост, придурок?
Ты уверен что сможешь стать настоящим слесарем, если не можешь прочесть оп-пост, придурок?
Есть ли профит от многоядерного проца для всей этой хуйни?
Или даже потребности начинающего уже включают в себя аренду мощностей на амазонах, и домашний пека можно не апгрейдить?
Или даже потребности начинающего уже включают в себя аренду мощностей на амазонах, и домашний пека можно не апгрейдить?
>>982703
ИИ
ИИ
53 Кб, 900x608
Поясните за сверточные нейроночки, точнее могут ли они в такую задачу:
- есть набор картинок, на картинках зависящие друг от друга фигуры.
- датасет организован так, чтобы представить эту зависимость в форме 4картинка = f(3картинка,2картинка,1картинка), следующий набор - 5картинка = f(4картинка,3картинка,2картинка) и т.д., по-сути нечто вроде матрицы Ганкеля, но не с цифрами, а с картинками фигур, что есть стандартный метод представления динамической системы.
Вопрос - сможет ли сверточная нейроночка идентифицировать систему по такому датасету, конкретно требуется, чтобы она выдавала 4ую фигуру по предъявленным трем предыдущим?
- есть набор картинок, на картинках зависящие друг от друга фигуры.
- датасет организован так, чтобы представить эту зависимость в форме 4картинка = f(3картинка,2картинка,1картинка), следующий набор - 5картинка = f(4картинка,3картинка,2картинка) и т.д., по-сути нечто вроде матрицы Ганкеля, но не с цифрами, а с картинками фигур, что есть стандартный метод представления динамической системы.
Вопрос - сможет ли сверточная нейроночка идентифицировать систему по такому датасету, конкретно требуется, чтобы она выдавала 4ую фигуру по предъявленным трем предыдущим?
>>979045 (OP)
Школота блять
Школота блять
>>982911
Что с ними не так? Обычные среднестатистические
Меня другое в яше поразило, как они относятся с людям, мне письмо от них пришло через ЕБУЧИЙ МЕСЯЦ, когда я уже нашел другую работу. Нахуй так делать? Или им кролики нужны которые только на Яндекс молятся?
Что с ними не так? Обычные среднестатистические
Меня другое в яше поразило, как они относятся с людям, мне письмо от них пришло через ЕБУЧИЙ МЕСЯЦ, когда я уже нашел другую работу. Нахуй так делать? Или им кролики нужны которые только на Яндекс молятся?
>>982911
Ну а что ты предлагаешь им делать? Чем богаты, тем и рады.
Первое лицо вообще непонятно почему тебя смутило.
Ну а что ты предлагаешь им делать? Чем богаты, тем и рады.
Первое лицо вообще непонятно почему тебя смутило.
Какой самый пиздатый метод понижения размерности?
Ответы983052
Скачал Intro to Machine Learning. Ethem Alpaydın.
Ну хуй знает, как то сухо все идет повествование, мне бы что покрасочнее с картиночками графиками, охуительными историями.
Так сказать книга обзор, экскурс в область. Не углубляясь. И не сильно обмазываясь.
Ну хуй знает, как то сухо все идет повествование, мне бы что покрасочнее с картиночками графиками, охуительными историями.
Так сказать книга обзор, экскурс в область. Не углубляясь. И не сильно обмазываясь.
>>982853
Просто интересно кем надо быть чтоб туда попасть. Если я обычный хуй с старших курсов мфти каковы мои шансы
Просто интересно кем надо быть чтоб туда попасть. Если я обычный хуй с старших курсов мфти каковы мои шансы
>>983076
высокие, для нормальных людей яндекс зашквар, только матанопитухи мечтают там петушиться
>каковы мои шансы
высокие, для нормальных людей яндекс зашквар, только матанопитухи мечтают там петушиться
612 Кб, 800x800
Допустим, у нас есть два похожих изображения.
Будут ли веса нейросетей, распознающих эти изображения похожи хотя бы на начальных слоях?
Можно ли по схожести весов сказать о схожести изображений?
Будут ли веса нейросетей, распознающих эти изображения похожи хотя бы на начальных слоях?
Можно ли по схожести весов сказать о схожести изображений?
>>983263
нет
нет
Пацаны, яндексовская 6месячная специализация имеет смысл чтоб за нее платить?
ML рассматриваю как возможный путь переката из мобайла в течение года, поэтому не особо спешу, и идея посматривать видосы параллельно с книжками кажется нормальной. Но вот сертификат этот - он вообще что-то даст?
ML рассматриваю как возможный путь переката из мобайла в течение года, поэтому не особо спешу, и идея посматривать видосы параллельно с книжками кажется нормальной. Но вот сертификат этот - он вообще что-то даст?
>>983289
Скорее всего ничего не даст, но я прохожу.
Половину специализации можно пройти за две недели, дальше пока не знаю. Хочу уложиться в два месяца. На мой нубский взгляд, очень крутая специализация.
мимо такой же перекатыватель
Скорее всего ничего не даст, но я прохожу.
Половину специализации можно пройти за две недели, дальше пока не знаю. Хочу уложиться в два месяца. На мой нубский взгляд, очень крутая специализация.
мимо такой же перекатыватель
>>983289
>>983290
Котаны, а я просрал все полимеры, не серьезно отнесся ко всей этой шляпе, и на 2-ом курсе специализации не сдал все домашки, и в итоге сертификат второй не получил.
Дропнул, думал может заного вкатиться пробовать.
Млять... и сейчас думаю может пробовать заного вкатываться...
>>983290
Котаны, а я просрал все полимеры, не серьезно отнесся ко всей этой шляпе, и на 2-ом курсе специализации не сдал все домашки, и в итоге сертификат второй не получил.
Дропнул, думал может заного вкатиться пробовать.
Млять... и сейчас думаю может пробовать заного вкатываться...
Ответы983323
А где то есть инфографика что куда входит.
У меня просто каша в голове: Нейронные сети, Машинное обучение, БигДата, ИИ, Диплернинг, Компьютерное зрение, и т.п.
Типо как граф связей что от куда вытекает , что сначала надо изучать.
У меня просто каша в голове: Нейронные сети, Машинное обучение, БигДата, ИИ, Диплернинг, Компьютерное зрение, и т.п.
Типо как граф связей что от куда вытекает , что сначала надо изучать.
Ответы983308
Ответы983328
>>983295
Почему бы и не попробовать?
Я сейчас заканчиваю первый курс, но морально настроен на его повторное прохождение и осмысление, т. к. чувствую, что знания усвоились недостаточно твёрдо (хотя ответы на все вопросы в тестах даю правильные).
Планирую найти какой-нибудь задачник по линейке, попрактиковаться с матрицами, векторами, функциями. Может кто подскажет годные варианты?
Почему бы и не попробовать?
Я сейчас заканчиваю первый курс, но морально настроен на его повторное прохождение и осмысление, т. к. чувствую, что знания усвоились недостаточно твёрдо (хотя ответы на все вопросы в тестах даю правильные).
Планирую найти какой-нибудь задачник по линейке, попрактиковаться с матрицами, векторами, функциями. Может кто подскажет годные варианты?
>>983323
На втором курсе сложность просто по экспоненте вверх поползет, 1-ый просто лайтовый.
На втором курсе сложность просто по экспоненте вверх поползет, 1-ый просто лайтовый.
>>983325
Что такое норма векторного пространства? Простым языком можешь объяснить?
Что такое норма векторного пространства? Простым языком можешь объяснить?
>>983308
Там в основном все до 1993 года освещается, а мне бы что происходит в настоящем.
Там в основном все до 1993 года освещается, а мне бы что происходит в настоящем.
Ответы983333
>>983329
Может тебе второй курс показался сложным, потому что материал первого не до конца понял?
Может тебе второй курс показался сложным, потому что материал первого не до конца понял?
360 Кб, 1554x1262
>>983333
Ну вот что я нашел, что-то подобное еще встречали?
Ну вот что я нашел, что-то подобное еще встречали?
>>983326
Длина вектора
Длина вектора
В чем сильные стороны R в сравнение с питоном для машоба и наоборот.
В чем сильные стороны R в сравнение с питоном для машоба и наоборот.
Ответы983363
>>983363
В питоне же куча библиотек, тот же scikit, pandas, numpy, bob, opencv, tensorflow и еще 100500. И вряд ли на r есть пакеты уровня opencv. Вот собственно интересно чем же r так хорош
В питоне же куча библиотек, тот же scikit, pandas, numpy, bob, opencv, tensorflow и еще 100500. И вряд ли на r есть пакеты уровня opencv. Вот собственно интересно чем же r так хорош
Ответы983389
>>983385
Сто раз пояснял, что кроме сверточных нейроночек пистон для мл по сравнению с R пустое место. Но школьники все равно кроме сверточных сетей и хгбуста ничего не знают, поэтому пояснять что'то бесполезно.
Сто раз пояснял, что кроме сверточных нейроночек пистон для мл по сравнению с R пустое место. Но школьники все равно кроме сверточных сетей и хгбуста ничего не знают, поэтому пояснять что'то бесполезно.
>>983323
Я после каждой лекции смотрю видео на ютубе, там очень простым языком все понятия объясняются, и читаю книжку машин лернин виз питон. Мне кажется, простые понятия из линейки можно и на википедии смотреть, либо на том же ютубе.
Я после каждой лекции смотрю видео на ютубе, там очень простым языком все понятия объясняются, и читаю книжку машин лернин виз питон. Мне кажется, простые понятия из линейки можно и на википедии смотреть, либо на том же ютубе.
Ответы983413
Ответы983550
>>983052
На моих данных PCA чот хуёво работал, сейчас нагуглил про автокодировщики, пасаны грят охуенная тема.
На моих данных PCA чот хуёво работал, сейчас нагуглил про автокодировщики, пасаны грят охуенная тема.
>>983413
В том числе. Я обычно просто набираю название непонятной вещи, типа ordinary least squares, и там вылезает куча видео, в которых простым языком именно эта вещь объясняется.
В том числе. Я обычно просто набираю название непонятной вещи, типа ordinary least squares, и там вылезает куча видео, в которых простым языком именно эта вещь объясняется.
>>983290
ну хз за 2 недели можно пройти если ты нигде не работаешь/не учишься и просто щелкаешь правильные ответы.
>>983325
Интересно, с линалом у меня все ок, а вот больше проблемы с тервером.
ну хз за 2 недели можно пройти если ты нигде не работаешь/не учишься и просто щелкаешь правильные ответы.
>>983325
Интересно, с линалом у меня все ок, а вот больше проблемы с тервером.
Ответы983708
>>983622
Ты почти прав. На работе куча свободного времени, там и прохожу. Да и первый курс крайне простой, за день осилить легко. В целом не вижу ничего не реального в том, чтобы неделю в день-два делать.
Ты почти прав. На работе куча свободного времени, там и прохожу. Да и первый курс крайне простой, за день осилить легко. В целом не вижу ничего не реального в том, чтобы неделю в день-два делать.
>>983404
А как ты вкатиться планируешь?
У меня тут пукан бомбит что у меня шарага техническая, а не божественный МФТИ, а ты голодранец вообще без ВО?
КАК? Или ты для души куришь машоб?
А как ты вкатиться планируешь?
У меня тут пукан бомбит что у меня шарага техническая, а не божественный МФТИ, а ты голодранец вообще без ВО?
КАК? Или ты для души куришь машоб?
>>983764
Я пока не строю планов по вкату. Просто тема интересная.
Цель на текущий момент — заполнить пробелы в знаниях по матеше и запилить что-нибудь в машобчике, уровнем тянущее на диплом нормального вуза. Для себя.
Ещё мне почему-то начал нравиться питон.
Я пока не строю планов по вкату. Просто тема интересная.
Цель на текущий момент — заполнить пробелы в знаниях по матеше и запилить что-нибудь в машобчике, уровнем тянущее на диплом нормального вуза. Для себя.
Ещё мне почему-то начал нравиться питон.
>>983764
Ну и непохоже, что эти вакансии невозможно потянуть и без ВО:
https://yandex.ru/jobs/vacancies/research/mlspec_ydf/
https://yandex.ru/jobs/vacancies/analytics/data_scientist_market/
ВО нужно, если в твои должностные обязанности входит написание статей в научных журналах или ты метишь в глубокое R&D. Ну мне так кажется, возможно и неправ.
Ну и непохоже, что эти вакансии невозможно потянуть и без ВО:
https://yandex.ru/jobs/vacancies/research/mlspec_ydf/
https://yandex.ru/jobs/vacancies/analytics/data_scientist_market/
ВО нужно, если в твои должностные обязанности входит написание статей в научных журналах или ты метишь в глубокое R&D. Ну мне так кажется, возможно и неправ.
>>983787
Я начитался что в яндексе одни петухи работают, и типо там маленькие ЗП, а мотивируют они это тем что "работать в нашей компании большая честь".
Я начитался что в яндексе одни петухи работают, и типо там маленькие ЗП, а мотивируют они это тем что "работать в нашей компании большая честь".
Ответы983798
>>983789
Да, скорее всего, так и есть. Зарплата пых-макаки с годом опыта.
>>983792
Тоже слышал такое. Но после нескольких лет работы в яндексе, думаю, тебе в большинстве случаев не составит труда перекатиться на хорошие деньги в другие конторы.
Да, скорее всего, так и есть. Зарплата пых-макаки с годом опыта.
>>983792
>и типо там маленькие ЗП
Тоже слышал такое. Но после нескольких лет работы в яндексе, думаю, тебе в большинстве случаев не составит труда перекатиться на хорошие деньги в другие конторы.
Ответы983844
>>983798
с опытом быгдота т.е. впаривания контекстной рекламы то до, прям всем нужны
>труда перекатиться на хорошие деньги в другие конторы.
с опытом быгдота т.е. впаривания контекстной рекламы то до, прям всем нужны
Ньюфаг в треде, пытаюсь завести простенькую распознавалку на сверточной сети, уже по-всякому ее вертел, но больше 0.6 акьюраси на тестах не получал. Причем обычно в середине имею 0.6/0.6 на тренировочных/тестовых пикчах, а потом точность на тренировке растет вплоть до 0.85-0.90, а на тесте колеблется на 0.6+-0.02 и не может взлететь выше. С чем это связано, с малым числом сверточных слоев (больше 3 не ставил), со слишком малым размером базы данных (5 классов, ~3к пикч), с тем что я шакалю изображения до 120х120, со всем сразу?
Ответы983969
>>983967
Читаешь https://followthedata.wordpress.com/2012/06/02/practical-advice-for-machine-learning-bias-variance/
Видишь, что у тебя high variance - то есть модель твоя переобучается, не генерализуя достаточно. Поэтому усложнять модель (ставить еще больше слоев) не надо, тогда она будет переобучаться еще сильнее.
Больше данных - ок. Больше пикселей - не совсем ок, так как ты, с одной стороны, увеличишь число данных, но при этом увеличишь и размер твоей модели.
Далее, можно добавить регуляризацию, например, batch normalization или дропаут. Это тоже поможет от переобучения. Начни с этого.
В конце концов скорее всего high variance превратится в high bias, тогда можно будет и усложнить модель, и так ебашить циклично, пока не добьешься нужных цифр.
Читаешь https://followthedata.wordpress.com/2012/06/02/practical-advice-for-machine-learning-bias-variance/
Видишь, что у тебя high variance - то есть модель твоя переобучается, не генерализуя достаточно. Поэтому усложнять модель (ставить еще больше слоев) не надо, тогда она будет переобучаться еще сильнее.
Больше данных - ок. Больше пикселей - не совсем ок, так как ты, с одной стороны, увеличишь число данных, но при этом увеличишь и размер твоей модели.
Далее, можно добавить регуляризацию, например, batch normalization или дропаут. Это тоже поможет от переобучения. Начни с этого.
В конце концов скорее всего high variance превратится в high bias, тогда можно будет и усложнить модель, и так ебашить циклично, пока не добьешься нужных цифр.
Долго ли будет нейросеть распознающая котиков обучаться на довольно плохой видеокарте?
>>983988
Долго ли нога будет входить в твою задницу?
Если бинарные изображения 100 на 100 пикселей и датасет из тысячи картинок, то не долго.
Долго ли нога будет входить в твою задницу?
Если бинарные изображения 100 на 100 пикселей и датасет из тысячи картинок, то не долго.
>>983988
Зависит от сети. Если преобразовать сеть в целочисленную, то можно будет добиться скоростей намного быстрее рилтайма.
https://culurciello.github.io/assets/nets/acc_vs_net_vs_ops.svg
Зависит от сети. Если преобразовать сеть в целочисленную, то можно будет добиться скоростей намного быстрее рилтайма.
https://culurciello.github.io/assets/nets/acc_vs_net_vs_ops.svg
>>979045 (OP)
Кто-нибудь может пояснить за правую картинку? Что за иероглифы идут посел петуха?
Кто-нибудь может пояснить за правую картинку? Что за иероглифы идут посел петуха?
Ответы984853
729 Кб, Webm
206 Кб, 493x493
15559 Кб, Webm
597 Кб, Webm
>>984262
Вкратце - Тета (H) - это гипотеза, Х - obseravation (данные). Теорема Байеса задаёт зависимость между вероятностью H|X (вероятность гипотезы при наблюдаемых данных Х, постериорная) и вероятностями H(априорная), X|H и H. Фреквинитсткий подход - думать в терминах X|H (как часто мы наблюдаем такие-то данные, если гипотеза верна). Не думать о данных - подход макаки (просто есть слепая вера в гипотезу). Не думать о гипотезе, а только о наблюдаемых данных - подход недалёкого позитивиста.
Очень сумбурно написал - если что-то непонятно попробую дополнить.
А вот что значит последний иероглиф я не знаю - поясните кто-нибудь.
Вкратце - Тета (H) - это гипотеза, Х - obseravation (данные). Теорема Байеса задаёт зависимость между вероятностью H|X (вероятность гипотезы при наблюдаемых данных Х, постериорная) и вероятностями H(априорная), X|H и H. Фреквинитсткий подход - думать в терминах X|H (как часто мы наблюдаем такие-то данные, если гипотеза верна). Не думать о данных - подход макаки (просто есть слепая вера в гипотезу). Не думать о гипотезе, а только о наблюдаемых данных - подход недалёкого позитивиста.
Очень сумбурно написал - если что-то непонятно попробую дополнить.
А вот что значит последний иероглиф я не знаю - поясните кто-нибудь.
Ответы985505
15 Кб, 704x369
ПОМОГИТЕ! Я делаю сверточную нейронную сеть с двумя слоями свертки. Вопрос: как отправить ошибку с предпоследней свертки следующему слою пикрелейтед? Я уже смог пропустить ошибку через прошлые слои части свертки, как ее отправить дальше? В интернете не нашел ничего, что рассказывает больше чем об одном слое свертки.
>>985287
И еще один вопрос после того, как я применил алгоритм обратного распространения ошибки к свертке я получил матрицу 64х64 как теперь этим обновить веса свертки, размер которых 6х3х3?
И еще один вопрос после того, как я применил алгоритм обратного распространения ошибки к свертке я получил матрицу 64х64 как теперь этим обновить веса свертки, размер которых 6х3х3?
>>984853
Последний иероглиф про вореции.
В случаях, когда стат.модель достаточно сложна, апостериорное распределение можно приближать вариационным методами: mean field, expectation propagation, stochastic variational bayes там всякие.
Последний иероглиф про вореции.
В случаях, когда стат.модель достаточно сложна, апостериорное распределение можно приближать вариационным методами: mean field, expectation propagation, stochastic variational bayes там всякие.
>>983263
Вопрос собеседуещего петуха, а что под схожестью изображений понимаеться? Если основные цвета то возможно. Какая нейронка используеться, как кормим, но основе чего получаем веса?
Вопрос собеседуещего петуха, а что под схожестью изображений понимаеться? Если основные цвета то возможно. Какая нейронка используеться, как кормим, но основе чего получаем веса?
>>985980
Не туда написал. Извините.
Не туда написал. Извините.
>>985980
Предложи лучше.
Предложи лучше.
>>985980
Потому что программисты петухи - зашквары
Потому что программисты петухи - зашквары
>>986018
Да да
Да да
3136 Кб, Webm
4320 Кб, Webm
8286 Кб, Webm
>>979045 (OP)
Поясните за дата аналитику. Я полный нуб в этой области. Позязя, братцы.
Где работают?
Что делают?
Что конкретно надо знать чтобы быть аналитиком: какая математика, какие инструменты?
Поясните за дата аналитику. Я полный нуб в этой области. Позязя, братцы.
Где работают?
Что делают?
Что конкретно надо знать чтобы быть аналитиком: какая математика, какие инструменты?
Есть какие-то готовые инструменты с красивым веб-интерфейсом? Взял, загрузил данные, оно проанализировало и выплевывает такую йобастатистику, йобаграфики, йобакорреляции, всё такое йоба шо вообще.
>>986097
Я пользовался DataRobot. мне вообще ничего не пришлось делать, я загрузил CSV и он мне все показал, какте алгоритмы лучше кореллириуют, какие хуже и какие данные значимы как фичерсы.
Я пользовался DataRobot. мне вообще ничего не пришлось делать, я загрузил CSV и он мне все показал, какте алгоритмы лучше кореллириуют, какие хуже и какие данные значимы как фичерсы.
>>986128
плюс потом дал мне точку с апи, и я слал туда новые данные, а он на основе классификатора высылал прогноз. Мартышкин труд.
плюс потом дал мне точку с апи, и я слал туда новые данные, а он на основе классификатора высылал прогноз. Мартышкин труд.
>>986128
Хотел отправить сосать хуи, но таги годнота, пока оставайся тут
Хотел отправить сосать хуи, но таги годнота, пока оставайся тут
>>986118
За что ты называешь меня быдлом, быдло? Я даже не знаю норма это или нет.
За что ты называешь меня быдлом, быдло? Я даже не знаю норма это или нет.
>>986128
так чо он же платный же поход
так чо он же платный же поход
>>986216
Да я кучу всего нагуглил, но узнавать из первых рук все равно надо, у того кто с этим работает. Я неб, но не дерево.
Да я кучу всего нагуглил, но узнавать из первых рук все равно надо, у того кто с этим работает. Я неб, но не дерево.
Ответы986401
>>986401
Намек понятен
Намек понятен
Где можно достать картинки архивом в большем количестве?
Ответы986697
>>986692
Ты хочешь котиков распознавать научиться? Есть ImageNet, MNIST, https://en.wikipedia.org/wiki/List_of_datasets_for_machine_learning_research вот еще список
Ты хочешь котиков распознавать научиться? Есть ImageNet, MNIST, https://en.wikipedia.org/wiki/List_of_datasets_for_machine_learning_research вот еще список
319 Кб, 512x512
Поясните за распознавание котиков. Суть такова. Оказывается, в природе не существует бесплатных математических OCR, которые бы распознавали скажем формулы в рендеренных пдф'ках в AMS'TeX нотацию. Если замутить датасет, где входом будет графическое изображение формулы в вышеуказанной нотации, а выходом соотв'но текст, рендерящийся в такое изображение, получится ли искомый мат OCR бесплатно и без смс?
Ответы986707
https://colah.github.io/posts/2015-09-NN-Types-FP/
Neural Networks, Types, and Functional Programming
Что можете сказать?
Neural Networks, Types, and Functional Programming
Что можете сказать?
Ответы986715
>>986700
Вот, кстати да, если есть такие крутые нейросети, то почему всё-еще есть проблемы с распознаванием текста, а старые книги еще не сделаны, например, в нормальные pdf с текстом, который можно выделять и копировать?
Вот, кстати да, если есть такие крутые нейросети, то почему всё-еще есть проблемы с распознаванием текста, а старые книги еще не сделаны, например, в нормальные pdf с текстом, который можно выделять и копировать?
Ответы986731
122 Кб, 1200x1013
>>986703
Ну я еще в прошлом году тут писал, что нейроночки это зависимый тип, в этом году писал, как алгоритмы на основе теории чтатистического обучения Вапника свести к типизированной лямбде и получать автосатически генетмческим программированием. Вот не только мне очевидно, что млтт это будущее не одной математики, но и машинного обучения. Ждем, когда до этой мысли дорастут ведущие специалисты в области мл.
Ну я еще в прошлом году тут писал, что нейроночки это зависимый тип, в этом году писал, как алгоритмы на основе теории чтатистического обучения Вапника свести к типизированной лямбде и получать автосатически генетмческим программированием. Вот не только мне очевидно, что млтт это будущее не одной математики, но и машинного обучения. Ждем, когда до этой мысли дорастут ведущие специалисты в области мл.
Нейроночки это алгоритм. И вот, кого'то осенило, что они представимы в парадигме функционального программирования. Але, гараж, Тьюринг об этом еще в 1937 году писал.
>>986707
Есть, у гугл букс можно искать кучу книг по фразе, но копирайт, библиотеки и тд не дают выкладывать полностью в открытый доступ, кроме того, сканировать книги довольно трудоемко, ну, и если выложить в открытый доступ, не будет профита
Есть, у гугл букс можно искать кучу книг по фразе, но копирайт, библиотеки и тд не дают выкладывать полностью в открытый доступ, кроме того, сканировать книги довольно трудоемко, ну, и если выложить в открытый доступ, не будет профита
А почему в шапке нет видео курса от CalTech?
https://www.youtube.com/watch?v=mbyG85GZ0PI&list=PLD63A284B7615313A
https://www.youtube.com/watch?v=mbyG85GZ0PI&list=PLD63A284B7615313A
Ответы987262
12 Кб, 576x93
0 Кб, 256x256
15 Кб, 256x256
4 Кб, 300x168
Хелп! Пишу сверточную нейронную сеть, и в какой-то момент она застряет в одном месте, а также картинки при обработке сверткой становятся очень сильно засвечены.
0 Кб, 16x16
0 Кб, 16x16
0 Кб, 16x16
>>986798
на последних слоях свертки они вообще уже становятся одного сплошного цвета.
на последних слоях свертки они вообще уже становятся одного сплошного цвета.
5 Кб, 591x98
1 Кб, 800x600
1 Кб, 800x600
Но, вот если использовать простые данные для обучения, то алгоритм справляется. На 2 и 3 пикче данные по которым СНС училась.
>>986927
Если бы только проектировал, то, наверное, таких проблем не было.
Если бы только проектировал, то, наверное, таких проблем не было.
>>986930
И зачем ты так делаешь? В современным библиотеках строиться граф, бегают тензоры по графу, оптимизаций куча...
И зачем ты так делаешь? В современным библиотеках строиться граф, бегают тензоры по графу, оптимизаций куча...
Ответы987271
Машинным обучением, нейронками и прочим ИИ разве есть смысл заниматься самому, без профильного ВО? Это ведь дико математизированная штука и при устройстве на работу в области "ИИ" нужно иметь профильное ВО и не хилый математический профиль.
В смысле, без ВО и ИИ вкатиться и работать реально?
В смысле, без ВО и ИИ вкатиться и работать реально?
>>987263
Ну, мне кажется, что если оно все за меня делать будет, то я ничему не научусь.
Ну, мне кажется, что если оно все за меня делать будет, то я ничему не научусь.
>>987264
Обычно есть разделение на исследователей и простых макак. Исследователям желательно что-то типа PhD.
Обычно есть разделение на исследователей и простых макак. Исследователям желательно что-то типа PhD.
>>987300
Если хочешь стать исследователем - то да.
>>987289
Да-да, а ещё кассиры в маке больше исследователя получают. Тебе с дивана виднее.
Если хочешь стать исследователем - то да.
>>987289
Да-да, а ещё кассиры в маке больше исследователя получают. Тебе с дивана виднее.
Ответы987302
>>987301
В это дело я бы с радостью. Правда возраст уже не позволяет образование получать (24 года)
>Если хочешь стать исследователем - то да.
В это дело я бы с радостью. Правда возраст уже не позволяет образование получать (24 года)
>>987284
но ведь спрос на макак больше
сейчас даже ссаные турагентства, которые должны умереть как мамонты, пытаются в БИГДАТУ, МАШИНЛЕНИНГ И КЛАСТЕРНЫЙ АНАЛИЗ
для их уровня хватит видосиков на ютубе и решения задачки про титаник
но ведь спрос на макак больше
сейчас даже ссаные турагентства, которые должны умереть как мамонты, пытаются в БИГДАТУ, МАШИНЛЕНИНГ И КЛАСТЕРНЫЙ АНАЛИЗ
для их уровня хватит видосиков на ютубе и решения задачки про титаник
Чем нейронки и машин лернинги грозят рядовым программистам-макакам? 90% их "трудов" ведь можно автоматизировать и передать работу под ИИ.
Ответы987602
автоматизация джуниор-юристов
https://www.ft.com/content/f809870c-26a1-11e7-8691-d5f7e0cd0a16
После финансового кризиса 2008 года их бизнес-модель оказалась под давлением, так как компании сократили расходы на юридические услуги, а технология воспроизвела повторяющиеся задачи, с которыми юристы более низкого уровня в начале своей карьеры работали в прошлом.
Раньше BLP собирал небольшую группу младших юристов и помощников юристов в кратчайшие сроки, а затем отправлял их в комнату для извлечения этих данных вручную из сотен страниц - процесс, который мог занять недели. Система Ravn проверяет и извлекает ту же информацию за считанные минуты.
Пока, говорят фирмы, технология не означает потери рабочих мест. Но профессор Сусскинд считает, что впереди волна увольнений - юридические фирмы все еще экспериментируют с ИИ вместо того, чтобы разворачивать их через свои офисы.
TRANSLATED BY НЕЙРОНОЧКА
https://www.ft.com/content/f809870c-26a1-11e7-8691-d5f7e0cd0a16
После финансового кризиса 2008 года их бизнес-модель оказалась под давлением, так как компании сократили расходы на юридические услуги, а технология воспроизвела повторяющиеся задачи, с которыми юристы более низкого уровня в начале своей карьеры работали в прошлом.
Раньше BLP собирал небольшую группу младших юристов и помощников юристов в кратчайшие сроки, а затем отправлял их в комнату для извлечения этих данных вручную из сотен страниц - процесс, который мог занять недели. Система Ravn проверяет и извлекает ту же информацию за считанные минуты.
Пока, говорят фирмы, технология не означает потери рабочих мест. Но профессор Сусскинд считает, что впереди волна увольнений - юридические фирмы все еще экспериментируют с ИИ вместо того, чтобы разворачивать их через свои офисы.
TRANSLATED BY НЕЙРОНОЧКА
Ответы987377
>>987371
Какая нах нейроночка, если автоматизация в этой области полностью решается экспертной системой? То же самое и в области постановки мед диагнозов (этим вроде Ватсон сейчас занимается, а там коре - экспертная система). Но вообще всё это хуйня, поскольку юристику невозможно формализовать, там больше психологии. Разве что мелкую хуйню, типа административки с минимальной предысторией.
Какая нах нейроночка, если автоматизация в этой области полностью решается экспертной системой? То же самое и в области постановки мед диагнозов (этим вроде Ватсон сейчас занимается, а там коре - экспертная система). Но вообще всё это хуйня, поскольку юристику невозможно формализовать, там больше психологии. Разве что мелкую хуйню, типа административки с минимальной предысторией.
>>987264
Смотря что ты подразумеваешь под "заниматься машинным обучением". Есть немало дата аналитиков, которые, грубо говоря, просто юзают алгоритмы как чёрные коробки.
Смотря что ты подразумеваешь под "заниматься машинным обучением". Есть немало дата аналитиков, которые, грубо говоря, просто юзают алгоритмы как чёрные коробки.
Ответы987386
>>987379
Как раз и заниматься разработкой этих самых "черных коробок", теорией алгоритмов, статистикой, теорией информации и обучением интеллектуальны систем.
Я в общем понимаю, что это больше в "исследователи", а это значит, что нужно "ВО". Но надеялся всё же на лазейку. Мол, можно ли без ВО каким-либо образом этим заниматься, ибо в 24 года поступать в универ такая себе идея
>987264
>Смотря что ты подразумеваешь под "заниматься машинным обучением"
Как раз и заниматься разработкой этих самых "черных коробок", теорией алгоритмов, статистикой, теорией информации и обучением интеллектуальны систем.
Я в общем понимаю, что это больше в "исследователи", а это значит, что нужно "ВО". Но надеялся всё же на лазейку. Мол, можно ли без ВО каким-либо образом этим заниматься, ибо в 24 года поступать в универ такая себе идея
Ответы989808
>>987377
Внезапно, нейронки решают то, что нельзя формализовать.
Скорее бы юристов пидорнули, не люблю этих ЧСВ-шных говнокодомакак уровня 1С.
>юристику невозможно формализовать
Внезапно, нейронки решают то, что нельзя формализовать.
Скорее бы юристов пидорнули, не люблю этих ЧСВ-шных говнокодомакак уровня 1С.
>>987399
Ну почему же, там сейчас у сбера конкурс есть по оценке недвижимости, можно на CPU считать.
Да и по другим конкурсам я не очень понимаю, зачем там титаны, если конечно ты не обучаешь десять ансамблей по тридцать моделей в каждом, как некоторые отбитые товарищи.
Ну почему же, там сейчас у сбера конкурс есть по оценке недвижимости, можно на CPU считать.
Да и по другим конкурсам я не очень понимаю, зачем там титаны, если конечно ты не обучаешь десять ансамблей по тридцать моделей в каждом, как некоторые отбитые товарищи.
Ответы987413
>>987399
Так при чём тут титаны. Дата саенс это же не про "давайте навернём десять тыщ слоёв", а про грамотный анализ данных, отбор фич, генерирование макрофич, очистку датасета и т.д. Для всего этого титаны не нужны.
Так при чём тут титаны. Дата саенс это же не про "давайте навернём десять тыщ слоёв", а про грамотный анализ данных, отбор фич, генерирование макрофич, очистку датасета и т.д. Для всего этого титаны не нужны.
Ответы987413
>>987406
>>987408
Ну я сам не лез еще, но краем уха на хабрах всяких неоднократно слышал что одна из проблем использования кегли для саморазвития - что там в топах и кернелах часто висят парни, которые просто стакают сетки в ансамбли, а не придумывают что-то новое или поясняют за анализ.
>>987408
Ну я сам не лез еще, но краем уха на хабрах всяких неоднократно слышал что одна из проблем использования кегли для саморазвития - что там в топах и кернелах часто висят парни, которые просто стакают сетки в ансамбли, а не придумывают что-то новое или поясняют за анализ.
Ответы987431
>>987413
Если тебе для саморазвития - какая разница, кто там в топе? Просто решай задачи, получай бесценный опыт.
Ну есть такое. А ты придумай новое.
Победители обычно расписывают свое решение, но там редко что-то ценное. Чаще всего ансамбли и дрочево
Если тебе для саморазвития - какая разница, кто там в топе? Просто решай задачи, получай бесценный опыт.
>парни, которые просто стакают сетки в ансамбли
Ну есть такое. А ты придумай новое.
>поясняют за анализ
Победители обычно расписывают свое решение, но там редко что-то ценное. Чаще всего ансамбли и дрочево
Ответы987472
>>987431
Ну так интересней гораздо, когда на что-то претендуешь
Плюс:
Ну в том и суть, что, выходит, найти интересные решения сложно среди тонны решений в стиле "Я запускаю керас и собираю ансамбль из 500 тыщ моделей..." как раз из-за титанщиков в в топе.
Но я понял суть, попробую-таки кагл, спасибо за ответы
>Если тебе для саморазвития - какая разница, кто там в топе
Ну так интересней гораздо, когда на что-то претендуешь
Плюс:
>Победители обычно расписывают свое решение, но там редко что-то ценное. Чаще всего ансамбли и дрочево
Ну в том и суть, что, выходит, найти интересные решения сложно среди тонны решений в стиле "Я запускаю керас и собираю ансамбль из 500 тыщ моделей..." как раз из-за титанщиков в в топе.
Но я понял суть, попробую-таки кагл, спасибо за ответы
>>987348
А на чем делать ИИ? Нейросети же обладают гладкостью.
А на чем делать ИИ? Нейросети же обладают гладкостью.
>>987377
Юристика - это формализация курильщика, конкретный пример, когда формализацию делают гуманитарии. Как итог - закон что дышло, кто больше занес / имеет больше связей, тому и вышло. И без видимых противоречий, все по закону. Потому что начни там копать формально, пиздец сколько хуйни повылезет, противоречие на противоречии противоречием погоняет. Еще Лейбниц понимал необходимость формализовать эту область, сейчас это даже возможно технически (я про пруверы), только всем похуй - законы крутятся, баблишко мутится.
>юристику невозможно формализовать,
Юристика - это формализация курильщика, конкретный пример, когда формализацию делают гуманитарии. Как итог - закон что дышло, кто больше занес / имеет больше связей, тому и вышло. И без видимых противоречий, все по закону. Потому что начни там копать формально, пиздец сколько хуйни повылезет, противоречие на противоречии противоречием погоняет. Еще Лейбниц понимал необходимость формализовать эту область, сейчас это даже возможно технически (я про пруверы), только всем похуй - законы крутятся, баблишко мутится.
>>979045 (OP)
Пока довены-ботанидзе в этом итт треди пердят и превозмогают во имя светлого машинного будущего, нормальные пацаны используют ML по назначению.
https://medium.com/the-mission/rocket-ai-2016s-most-notorious-ai-launch-and-the-problem-with-ai-hype-d7908013f8c9
P.S. Лол, приямо можно провести аналогию с гоммунизмом и тому подобным разводиловом для лохов под видом реформаторства.
Пока довены-ботанидзе в этом итт треди пердят и превозмогают во имя светлого машинного будущего, нормальные пацаны используют ML по назначению.
https://medium.com/the-mission/rocket-ai-2016s-most-notorious-ai-launch-and-the-problem-with-ai-hype-d7908013f8c9
P.S. Лол, приямо можно провести аналогию с гоммунизмом и тому подобным разводиловом для лохов под видом реформаторства.
щас бы продать говностартап за 10м
Посоветуйте два схожих датасета чтобы показать оверфитинг модели. MNIST распознает на 100%, но я знаю что это лютый оверфит.
Ответы988554
Как изменяется variance и bias эстиматора при увеличении делений(итераций) в кросс валидации?
647 Кб, 2000x2109
Как дойти от likelihood модели Naive Bayes (Бернулли) в записи как p(Y | X, \theta) до MLE в такой же записи?
>>988554
Делил, слишком однородные данные, распознается почти все.
Делил, слишком однородные данные, распознается почти все.
Эксперты, расскажите как может работать эта штука: http://www.wibbitz.com/
То есть, наверняка, там используются topic modelling и sentiment analysis, но это явно не вся история. Чего еще не хватает?
То есть, наверняка, там используются topic modelling и sentiment analysis, но это явно не вся история. Чего еще не хватает?
>>988767
Ну еще сверточные сети, как обычно. Еще в прошлом году тута постили ссылку на пейпер, в котором это описано. Мне вот интересно, ЦП оно генерировать может из текста?
Ну еще сверточные сети, как обычно. Еще в прошлом году тута постили ссылку на пейпер, в котором это описано. Мне вот интересно, ЦП оно генерировать может из текста?
>>988788
спасибо. Было бы совсем круто, если кто-нибудь поделится ссылочкой на пейпер)
спасибо. Было бы совсем круто, если кто-нибудь поделится ссылочкой на пейпер)
Тренирую сверточную нейросеть на классификацию изображений, на данных из инета (imagenet, google) работает относительно нормально с 76% акьюраси на тестовых, но на реальных фотках с камеры дает не выше 30%, хотя камера вроде не слишком хуевая да и фото вблизи сделано. Как пофиксить? Больше данных/портить исходные, углублять? Конечная цель - распознавание с камеры, так что жизненно необходимо работать именно с хуевыми фотками
Ответы989318
>>988788
Рассказы брать на стульчик.нет?
Рассказы брать на стульчик.нет?
>>989121
Портить исходные. При чем в теории портить можешь с помощью GAN сетки, подавая дискриминатору на вход порченные данные или же фото с камеры, а генератору на вход имейджнет, а на выходе собственно чтобы он портил.
Портить исходные. При чем в теории портить можешь с помощью GAN сетки, подавая дискриминатору на вход порченные данные или же фото с камеры, а генератору на вход имейджнет, а на выходе собственно чтобы он портил.
Есть вопрос по поводу нормализации градиента. У градиента в моей нейронке могут быть значения от 1000 до -0.0000001. Как это собрать в значения от 1 до -1, причем чтобы маленькие градиенты типа 0.001 не изменялись(или их нужно тоже менять, чтобы все было верно?)?
>>989457
Нет, мне не нужно избавляться от отрицательных значений, мне нужно нормализировать градиент к значениям от -1 до 1.
Нет, мне не нужно избавляться от отрицательных значений, мне нужно нормализировать градиент к значениям от -1 до 1.
>>987386
Так "исследователи", этим всем занимающиеся, и сидят в основном в вузиках, а работают всякие хадуп-макаки, у которых вместо теорий - ноухау.
Если ты всю математику знаешь без диплома и вообще умен, можешь и поступить, и сразу пойти искать лабораторию, в которой тебе дадут разрабатывать коробки. Тем, кто делом занимается, диплом не нужен, главное чтоб работа выполнялась, а то грант отберут.
Если не знаешь, то какое тебе исследование? Выйдет только новое поколение кадров для РАЕН.
Так "исследователи", этим всем занимающиеся, и сидят в основном в вузиках, а работают всякие хадуп-макаки, у которых вместо теорий - ноухау.
Если ты всю математику знаешь без диплома и вообще умен, можешь и поступить, и сразу пойти искать лабораторию, в которой тебе дадут разрабатывать коробки. Тем, кто делом занимается, диплом не нужен, главное чтоб работа выполнялась, а то грант отберут.
Если не знаешь, то какое тебе исследование? Выйдет только новое поколение кадров для РАЕН.
>>989436
С помощью функции f(x) = atan(Cx)/(pi/2) ты можешь смапить -inf...inf в -1..1, оставив маленькие значения более-менее такими же, а большие сильно уменьшив, управляя силой сжатия параметром C. А дальше нормируешь вектор как обычно к новой длине.
длина_вектора=sqrt(sum(градиент.^2));
новая_длина_вектора = f(длина_вектора)
новый_градиент = градиент новая_длина_вектора/длина_вектора
Вместо atan можно взять tanh или sigmoid. Если возмешь C=1, то маленькие значения меняться не будут, так как касательная у арктангенса в нуле имеет угол 45 градусов.
С помощью функции f(x) = atan(Cx)/(pi/2) ты можешь смапить -inf...inf в -1..1, оставив маленькие значения более-менее такими же, а большие сильно уменьшив, управляя силой сжатия параметром C. А дальше нормируешь вектор как обычно к новой длине.
длина_вектора=sqrt(sum(градиент.^2));
новая_длина_вектора = f(длина_вектора)
новый_градиент = градиент новая_длина_вектора/длина_вектора
Вместо atan можно взять tanh или sigmoid. Если возмешь C=1, то маленькие значения меняться не будут, так как касательная у арктангенса в нуле имеет угол 45 градусов.
Ответы989853
2 Кб, 222x72
>>989813
Спасибо, но я что-то не понял. Зачем нужна эта
часть? Я посчитал тут, и особой разницы не заметил.
Спасибо, но я что-то не понял. Зачем нужна эта
>А дальше нормируешь вектор как обычно к новой длине.
>длина_вектора=sqrt(sum(градиент.^2));
>новая_длина_вектора = f(длина_вектора)
>новый_градиент = градиент новая_длина_вектора/длина_вектора
часть? Я посчитал тут, и особой разницы не заметил.
>>989853
Твой реквест был сократить длину больших векторов до 1, при этом маленькие не трогать. Для этого нужно использовать функцию типа atan, которая примерно это и сделает.
Твой реквест был сократить длину больших векторов до 1, при этом маленькие не трогать. Для этого нужно использовать функцию типа atan, которая примерно это и сделает.
>>989931
Я понял зачем нужна функция atan. Зачем нормировать вектор? Может я что-то не понял?
Я понял зачем нужна функция atan. Зачем нормировать вектор? Может я что-то не понял?
Ответы989935
>>989934
Во-первых посмотри на тот пост со звездочками в нужных местах https://pastebin.com/JPynJ8cM
Если тебе это ясно, то градиент - это вектор. Ты хочешь изменить его длину. Чтобы из вектора длиной l1 сделать вектор длиной l2 и сохранить его направление, нужно сделать v_new=v_old*l2/l1, простейший линал или даже аналитическая геометрия.
Во-первых посмотри на тот пост со звездочками в нужных местах https://pastebin.com/JPynJ8cM
Если тебе это ясно, то градиент - это вектор. Ты хочешь изменить его длину. Чтобы из вектора длиной l1 сделать вектор длиной l2 и сохранить его направление, нужно сделать v_new=v_old*l2/l1, простейший линал или даже аналитическая геометрия.
Ответы989937
>>989931
Тут >>989853
orig - начальные данные
map - данные после использования atan
length - длина оригинального вектора
nlength - длина вектора после использования atan
ngrad - данные после нормирования вектора
Я имел ввиду, что не заметил особой разницы между ngrad и map. Почему нельзя остановиться на map?
Тут >>989853
orig - начальные данные
map - данные после использования atan
length - длина оригинального вектора
nlength - длина вектора после использования atan
ngrad - данные после нормирования вектора
Я имел ввиду, что не заметил особой разницы между ngrad и map. Почему нельзя остановиться на map?
Поясните за transfer learning.
Уважаемые господа резёрчеры, а сколько статей в день вы читаете? Я утром пролистываю твиттер с архивом и всякими топовыми чуваками и пополняю турид пул, потом читаю и разбираю одну самую интересную статью из пула. На это уходит около часа времени, больше позволить себе не могу. Правильно ли я делаю?
Ответы990400
42 Кб, 1014x159
Типичный посетитель >>988767 этого треда.
21 Кб, 800x1073
Объясните одну штуку, пожалуйста. Вот у меня в сверточной нейронной сети есть ошибка которую я получил из прошлых слоев. Потом я переворачиваю свертку каждого сверточного нейрона по высоте и длине, но не по глубине и провожу ошибку через эти свертки. В итоге у каждого фильтра получается своя ошибка. После этого я складываю соответствующие ошибки и передаю в следующий слой. Правильно ли я все это делаю?
Ответы990954
>>990400
Двачую, теоретические знания без практической части - полный ноль.
Двачую, теоретические знания без практической части - полный ноль.
Посоны, выкладывать проги по МО на гитхаб иль kaggle не на питоне или плюсах совсем зашквар?
на c# прост пилю, вроде норм, но выкладывать в публично чот стыдно
на c# прост пилю, вроде норм, но выкладывать в публично чот стыдно
>>990587
О, привет, братишка. Я вообще для себя пишу чисто. Думаю тоже начать куда-то выкладывать может заметят и куда-то на работу примут нет.
C#-кун
О, привет, братишка. Я вообще для себя пишу чисто. Думаю тоже начать куда-то выкладывать может заметят и куда-то на работу примут нет.
C#-кун
Ответы990618
84 Кб, 681x338
>>990618
Сверточную нейронную сеть. Использую аккорд для ускорения через линейную алгебру. Вроде бы работает)
Сверточную нейронную сеть. Использую аккорд для ускорения через линейную алгебру. Вроде бы работает)
Ответы990631
266 Кб, 1366x768
Дорогие аноны, простите, что не туда, просто это один активный тред. Делаю сайт через блокнот, задали в школе. Получается какая-то ерунда (пикрелейтед), перехожу по ссылке, пишет, что проблемы с сетевым соединением. Что это? Сил моих уже нет.
Ответы991990
>>990631
Да и он работает кое-как. Планирую перейти на пистон или что-то другое с норм либами после этого проекта. Аж грустно.
Да и он работает кое-как. Планирую перейти на пистон или что-то другое с норм либами после этого проекта. Аж грустно.
>>985287
Сам когда-то сталкивался с подобным вопросом, но тут тебе не ответят, потому что сидят те кто использует готовые скриптовые решения на питонах и т.д. или вообще только с вопросом как вкатиться и пропадают. Посмотри как соединены и вычисли производную, вот и все.
Сам когда-то сталкивался с подобным вопросом, но тут тебе не ответят, потому что сидят те кто использует готовые скриптовые решения на питонах и т.д. или вообще только с вопросом как вкатиться и пропадают. Посмотри как соединены и вычисли производную, вот и все.
>>990816
А нахуя поступать как-то иначе? Вы ебнутые из разряда тех, кто в 90-е на ассемблере писал.
>использует готовые скриптовые решения на питонах
А нахуя поступать как-то иначе? Вы ебнутые из разряда тех, кто в 90-е на ассемблере писал.
Ответы991093
>>991060
Посмотрите на это быдлецо, быдцело делает import tensorflow as tf и по примерам со стековерфлоу рисует графики в своих поделках или на датаслесарской работке. Быдлецо не знает алгоритмов и математики, которая стоит за тем что он использует, поэтому вынуждено подбирать инструменты спрашивая тех, кто в 90-е на ассемблере писал, или простым перебором. Если в интернете нет гайда как на питоне что-то сделать, быдлецо прибежит сюда беспомощно спрашивать в какой библиотеке можно найти нужную ему функцию.
Посмотрите на это быдлецо, быдцело делает import tensorflow as tf и по примерам со стековерфлоу рисует графики в своих поделках или на датаслесарской работке. Быдлецо не знает алгоритмов и математики, которая стоит за тем что он использует, поэтому вынуждено подбирать инструменты спрашивая тех, кто в 90-е на ассемблере писал, или простым перебором. Если в интернете нет гайда как на питоне что-то сделать, быдлецо прибежит сюда беспомощно спрашивать в какой библиотеке можно найти нужную ему функцию.
>>991093
"Небыдлецо" закукарекало вместо авроры. Ты сам читаешь, что постишь? Как тебе самописные говнонейроночки помогут узнать, в какой либе что реализовано? Совсем уже одурели школоилитарии, возомнившие себя гуру машинлернинга по той причине, что осилили набыдлокодить игрушечный вариант ленета из 80х годов последнего века прошлого тысячелетия. Сам ты все равно эту быдлонейроночку не улучшишь даже, не говоря о своем алгоритме. Так к чему все эти пальцы веером и сопли пузырем? Ты такой же слесарь, который не смог нагуглить как пропагейшн реализован между слоями, т.к. в интернете нет гайда (или что скорее всего, есть, причем не удивлюсь, если все детально описано в оригинальной работе самого Лекуна но ты не смог найти по причине общей одаренности).
"Небыдлецо" закукарекало вместо авроры. Ты сам читаешь, что постишь? Как тебе самописные говнонейроночки помогут узнать, в какой либе что реализовано? Совсем уже одурели школоилитарии, возомнившие себя гуру машинлернинга по той причине, что осилили набыдлокодить игрушечный вариант ленета из 80х годов последнего века прошлого тысячелетия. Сам ты все равно эту быдлонейроночку не улучшишь даже, не говоря о своем алгоритме. Так к чему все эти пальцы веером и сопли пузырем? Ты такой же слесарь, который не смог нагуглить как пропагейшн реализован между слоями, т.к. в интернете нет гайда (или что скорее всего, есть, причем не удивлюсь, если все детально описано в оригинальной работе самого Лекуна но ты не смог найти по причине общей одаренности).
Ответы991184
>>991093
И с хуя ты так решил? Я знаю алгоритмы и математику намного лучше тебя, потому что я учил алгоритмы и математику, а не низкоуровневый дроч. Я понимаю, если бы ты решил вручную запилить tf.nn.conv2d, чтобы понять архитектуру tf и как пилить кастомные слои (чего я не умею и мое почтение), но ты ведь реально делаешь самописную говнонейронку на C#, которая пригодится тебе примерно так же, как взятие производных на первом курсе универа помогло тебе впоследствии заниматься программированием.
>Быдлецо не знает алгоритмов и математики
И с хуя ты так решил? Я знаю алгоритмы и математику намного лучше тебя, потому что я учил алгоритмы и математику, а не низкоуровневый дроч. Я понимаю, если бы ты решил вручную запилить tf.nn.conv2d, чтобы понять архитектуру tf и как пилить кастомные слои (чего я не умею и мое почтение), но ты ведь реально делаешь самописную говнонейронку на C#, которая пригодится тебе примерно так же, как взятие производных на первом курсе универа помогло тебе впоследствии заниматься программированием.
>>991144
Написав свою нейронку, он потом и кастомные слои сможет, и кастомные сольверы, и все остальное гипотетически. А ты предлагаешь ему погружаться в очередной говнофреймворк, который еще десять раз перепилят. Кто-то дрочит теорию, кто-то практику, каждому свое
Написав свою нейронку, он потом и кастомные слои сможет, и кастомные сольверы, и все остальное гипотетически. А ты предлагаешь ему погружаться в очередной говнофреймворк, который еще десять раз перепилят. Кто-то дрочит теорию, кто-то практику, каждому свое
Ответы991640
>>991127
У меня кстати на работе есть датасаентист топовый, который раньше несколько лет слесарем работал. Он и сейчас для души иногда слесарит.
У меня кстати на работе есть датасаентист топовый, который раньше несколько лет слесарем работал. Он и сейчас для души иногда слесарит.
Ответы991187
>>991184
Уроки иди делай.
Уроки иди делай.
>>979045 (OP)
Посоветуйте книжку по матану хорошую.
Посоветуйте книжку по матану хорошую.
>>979045 (OP)
ОБЧИТАЛСЯ НЕЙРОТРЕДЖА НА ДВАЧЕ И РЕШИЛ УГОРЕТЬ ПО ML
@
НАПИСАЛ ПРОСТЕНЬКУЮ НЕЙРОНКУ, ПРОДАЮЩУЮ %ПРОДУКТ_НЕЙМ% ТВОЕЙ КОМПАНИИ КЛИЕНТОЛОХАМ
@
ОБ ЭТОМ УСЛЫШАЛО РУКОВОДСТВО, ЗАИНТЕРЕСОВАЛОСЬ
@
ПООЩРИЛИ РАЗРАБОТКУ ПИЗДЮЛЯМИ И ДОБРЫМ СЛОВОМ
@
ЕБОШИШЬ ВТОРУЮ ВЕРСИЮ, ОТ РЕАЛЬНОГО ПРОДАЖНИКА ПОЧТИ НЕ ОТЛИЧИТЬ
@
ЗАКУПАЮТ НЕСКОЛЬКО СЕРВЕРОВ, СТАВЯТ НА НИХ ТВОИ НЕЙРОНКИ И ВЫПИЗДЫВАЮТ НАХУЙ ВСЕХ ПРОДАЖНИКОВ
@
СПЛОШНЫЕ ПРОФИТЫ
@
РУКОВОДСТВО НАЧИНАЕТ НЕДОБРО ПОГЛЯДЫВАТЬ НА ТЕБЯ
@
ВСЁ ЧАЩЕ СЛЫШИШЬ "А ЗАЧЕМ НАМ СИСАДМИН/РАЗРАБОТЧИК, ЕСЛИ И ТАК ВСЁ УЖЕ РАЗРАБОТАЛ НАМ, ДА И НАПИСАТЬ СЕБЕ ЗАМЕНУ СМОЖЕТ?"
@
ДАВЯТ И ПРИКАЗЫВАЮТ НАПИСАТЬ НЕЙРО-СИСАДМИНА, КОТОРЫЙ ЕЩЁ МОЖЕТ В НАПИСАНИЕ НЕЙРОННЫХ СЕТЕЙ, ИНАЧЕ УВОЛЯТ ПО СТАТЬЕ
@
ПИШЕШЬ
@
УВОЛЬНЯЮТ ПО СОБСТВЕННОМУ
@
@
@
@
СПУСТЯ ПАРУ МЕСЯЦЕВ НЕЙРОТЫ ПИШЕТ НЕЙРУКОВОДСТВО
@
МЯСНОЕ РУКОВОДСТВО УВОЛЕНО
@
СПРАВЕДЛИВОСТЬ ТОРЖЕСТВУЕТ
@
А В ТВОИХ ТРУСАХ И МАТРАСЕ ХЛЮПАЕТ ПОДЛИВА%%
@
ДОБRО ПОЖАЛОВАТЬ, СНОВА
ОБЧИТАЛСЯ НЕЙРОТРЕДЖА НА ДВАЧЕ И РЕШИЛ УГОРЕТЬ ПО ML
@
НАПИСАЛ ПРОСТЕНЬКУЮ НЕЙРОНКУ, ПРОДАЮЩУЮ %ПРОДУКТ_НЕЙМ% ТВОЕЙ КОМПАНИИ КЛИЕНТОЛОХАМ
@
ОБ ЭТОМ УСЛЫШАЛО РУКОВОДСТВО, ЗАИНТЕРЕСОВАЛОСЬ
@
ПООЩРИЛИ РАЗРАБОТКУ ПИЗДЮЛЯМИ И ДОБРЫМ СЛОВОМ
@
ЕБОШИШЬ ВТОРУЮ ВЕРСИЮ, ОТ РЕАЛЬНОГО ПРОДАЖНИКА ПОЧТИ НЕ ОТЛИЧИТЬ
@
ЗАКУПАЮТ НЕСКОЛЬКО СЕРВЕРОВ, СТАВЯТ НА НИХ ТВОИ НЕЙРОНКИ И ВЫПИЗДЫВАЮТ НАХУЙ ВСЕХ ПРОДАЖНИКОВ
@
СПЛОШНЫЕ ПРОФИТЫ
@
РУКОВОДСТВО НАЧИНАЕТ НЕДОБРО ПОГЛЯДЫВАТЬ НА ТЕБЯ
@
ВСЁ ЧАЩЕ СЛЫШИШЬ "А ЗАЧЕМ НАМ СИСАДМИН/РАЗРАБОТЧИК, ЕСЛИ И ТАК ВСЁ УЖЕ РАЗРАБОТАЛ НАМ, ДА И НАПИСАТЬ СЕБЕ ЗАМЕНУ СМОЖЕТ?"
@
ДАВЯТ И ПРИКАЗЫВАЮТ НАПИСАТЬ НЕЙРО-СИСАДМИНА, КОТОРЫЙ ЕЩЁ МОЖЕТ В НАПИСАНИЕ НЕЙРОННЫХ СЕТЕЙ, ИНАЧЕ УВОЛЯТ ПО СТАТЬЕ
@
ПИШЕШЬ
@
УВОЛЬНЯЮТ ПО СОБСТВЕННОМУ
@
@
@
@
СПУСТЯ ПАРУ МЕСЯЦЕВ НЕЙРОТЫ ПИШЕТ НЕЙРУКОВОДСТВО
@
МЯСНОЕ РУКОВОДСТВО УВОЛЕНО
@
СПРАВЕДЛИВОСТЬ ТОРЖЕСТВУЕТ
@
А В ТВОИХ ТРУСАХ И МАТРАСЕ ХЛЮПАЕТ ПОДЛИВА%%
@
ДОБRО ПОЖАЛОВАТЬ, СНОВА
>>979045 (OP)
ОБЧИТАЛСЯ НЕЙРОТРЕДЖА НА ДВАЧЕ И РЕШИЛ УГОРЕТЬ ПО ML
@
НАПИСАЛ ПРОСТЕНЬКУЮ НЕЙРОНКУ, ПРОДАЮЩУЮ %ПРОДУКТ_НЕЙМ% ТВОЕЙ КОМПАНИИ КЛИЕНТОЛОХАМ
@
ОБ ЭТОМ УСЛЫШАЛО РУКОВОДСТВО, ЗАИНТЕРЕСОВАЛОСЬ
@
ПООЩРИЛИ РАЗРАБОТКУ ПИЗДЮЛЯМИ И ДОБРЫМ СЛОВОМ
@
ЕБОШИШЬ ВТОРУЮ ВЕРСИЮ, ОТ РЕАЛЬНОГО ПРОДАЖНИКА ПОЧТИ НЕ ОТЛИЧИТЬ
@
ЗАКУПАЮТ НЕСКОЛЬКО СЕРВЕРОВ, СТАВЯТ НА НИХ ТВОИ НЕЙРОНКИ И ВЫПИЗДЫВАЮТ НАХУЙ ВСЕХ ПРОДАЖНИКОВ
@
СПЛОШНЫЕ ПРОФИТЫ
@
РУКОВОДСТВО НАЧИНАЕТ НЕДОБРО ПОГЛЯДЫВАТЬ НА ТЕБЯ
@
ВСЁ ЧАЩЕ СЛЫШИШЬ "А ЗАЧЕМ НАМ СИСАДМИН/РАЗРАБОТЧИК, ЕСЛИ И ТАК ВСЁ УЖЕ РАЗРАБОТАЛ НАМ, ДА И НАПИСАТЬ СЕБЕ ЗАМЕНУ СМОЖЕТ?"
@
ДАВЯТ И ПРИКАЗЫВАЮТ НАПИСАТЬ НЕЙРО-СИСАДМИНА, КОТОРЫЙ ЕЩЁ МОЖЕТ В НАПИСАНИЕ НЕЙРОННЫХ СЕТЕЙ, ИНАЧЕ УВОЛЯТ ПО СТАТЬЕ
@
ПИШЕШЬ
@
УВОЛЬНЯЮТ ПО СОБСТВЕННОМУ
@
@
@
@
СПУСТЯ ПАРУ МЕСЯЦЕВ НЕЙРОТЫ ПИШЕТ НЕЙРУКОВОДСТВО
@
МЯСНОЕ РУКОВОДСТВО УВОЛЕНО
@
СПРАВЕДЛИВОСТЬ ТОРЖЕСТВУЕТ
@
А В ТВОИХ ТРУСАХ И МАТРАСЕ ХЛЮПАЕТ ПОДЛИВА%%
@
ДОБRО ПОЖАЛОВАТЬ, СНОВА
ОБЧИТАЛСЯ НЕЙРОТРЕДЖА НА ДВАЧЕ И РЕШИЛ УГОРЕТЬ ПО ML
@
НАПИСАЛ ПРОСТЕНЬКУЮ НЕЙРОНКУ, ПРОДАЮЩУЮ %ПРОДУКТ_НЕЙМ% ТВОЕЙ КОМПАНИИ КЛИЕНТОЛОХАМ
@
ОБ ЭТОМ УСЛЫШАЛО РУКОВОДСТВО, ЗАИНТЕРЕСОВАЛОСЬ
@
ПООЩРИЛИ РАЗРАБОТКУ ПИЗДЮЛЯМИ И ДОБРЫМ СЛОВОМ
@
ЕБОШИШЬ ВТОРУЮ ВЕРСИЮ, ОТ РЕАЛЬНОГО ПРОДАЖНИКА ПОЧТИ НЕ ОТЛИЧИТЬ
@
ЗАКУПАЮТ НЕСКОЛЬКО СЕРВЕРОВ, СТАВЯТ НА НИХ ТВОИ НЕЙРОНКИ И ВЫПИЗДЫВАЮТ НАХУЙ ВСЕХ ПРОДАЖНИКОВ
@
СПЛОШНЫЕ ПРОФИТЫ
@
РУКОВОДСТВО НАЧИНАЕТ НЕДОБРО ПОГЛЯДЫВАТЬ НА ТЕБЯ
@
ВСЁ ЧАЩЕ СЛЫШИШЬ "А ЗАЧЕМ НАМ СИСАДМИН/РАЗРАБОТЧИК, ЕСЛИ И ТАК ВСЁ УЖЕ РАЗРАБОТАЛ НАМ, ДА И НАПИСАТЬ СЕБЕ ЗАМЕНУ СМОЖЕТ?"
@
ДАВЯТ И ПРИКАЗЫВАЮТ НАПИСАТЬ НЕЙРО-СИСАДМИНА, КОТОРЫЙ ЕЩЁ МОЖЕТ В НАПИСАНИЕ НЕЙРОННЫХ СЕТЕЙ, ИНАЧЕ УВОЛЯТ ПО СТАТЬЕ
@
ПИШЕШЬ
@
УВОЛЬНЯЮТ ПО СОБСТВЕННОМУ
@
@
@
@
СПУСТЯ ПАРУ МЕСЯЦЕВ НЕЙРОТЫ ПИШЕТ НЕЙРУКОВОДСТВО
@
МЯСНОЕ РУКОВОДСТВО УВОЛЕНО
@
СПРАВЕДЛИВОСТЬ ТОРЖЕСТВУЕТ
@
А В ТВОИХ ТРУСАХ И МАТРАСЕ ХЛЮПАЕТ ПОДЛИВА%%
@
ДОБRО ПОЖАЛОВАТЬ, СНОВА
>>991157
Ну вот ты и говоришь как типичная низкоуровневая блядь из начала нулевых. Сейчас мало кто из любителей компьютерной графики способен написать алгоритм Брезенхема на асме, а тогда сказать о том, что это нахуй не нужно, потому что у тебя есть OpenGL - это наткнуться на такую реакцию, что как так можно, если ты не знаешь, как выводить линию, то как ты будешь разбираться с выводом тысяч треугольников и шейдингом... А вот так, лол, что жизнь усложняется и практическая имплементация основ нахуй не нужна. Возможно, мне нужно знать, как устроен топор, чтобы построить дом, но мне точно не нужно делать топор вручную, чтобы доказать, что я мог построить дом. Чтобы знать, как устроен топор, достаточно почитать абзац текста. Чтобы знать, что такое chain rule и как берется производная свертки - тоже. Нахуя тут что-то имплементировать - не понятно. Особенно утверждая при этом, что те, кто этого не сделал, ну нихуяшеньки не понимают в математике.
Примерно та же хуйня была с вебом. Современные фреймворки далеки от кода, написанного в ручную, как диды завещали, примерно так же, как современные MVC-фреймворки далеки от CGI-софта, написанного на С++ в 2000 году. Этот софт был ужасен, разработка была дико медленной и хуевой, пока сообщество с болью не вывело более-менее успешную формулу - на С написана только БД, все остальное на динамическом языке. Дальше та же самая хуйня повторилась на новом уровне - дидами тут уже были те, кто писал без помощи rails-подобных фреймворков и CMS. Сейчас в здравом уме уже никто не будет писать CGI-софт или разрабатывать игру на ассемблере, ровно по одной причине - диды стали прадедами, и мы стали дидами.
С графическими интерфейсами было то же самое. Высшим шиком было написать на голом WinAPI софтину, или же на MFC. А выиграл в итоге кто? Кто уже тогда начал писать на Qt и спокойно портирует свои наработки без привязки к wine.
Короче, из года в год повторяется одно и тоже.
1. Диды пишут как могут. Хуево, неэффективно, убивая кучу времени на отладку одних и тех же багов.
2. В конце концов рождается инструмент, ускоряющий разработку. В данном случае CAS-фреймворки. Качественно новая схема.
3. И дальше общество делится на два типа людей. У одни - "ну, диды же так писали, надо как они, по-другому научиться ничему нельзя", а перед пилением своего изучают best practices в отрасли, и только потом пилят что-то свое. И первый тип сосет примерно как соснул вот этот хуй https://habrahabr.ru/post/327596/
Вот и все. Ты из подобного дроча получишь ноль знаний, которые тебе бы пригодились в будущем. Первым делом надо выкинуть нахуй C#, это ебаное делфи современности, затем взять http://cs231n.github.io/assignments2017/assignment2/ , прорешать, и забыть о производной свертки как о страшном сне. Это при условии, если не уверен, что понимаешь, как она берется. Если понимаешь, то и этого делать не обязательно, лучше внимательно почитать материалы этого самого cs231n и не ебать мозг далее, в мире куча статей нечитаных.
Ну вот ты и говоришь как типичная низкоуровневая блядь из начала нулевых. Сейчас мало кто из любителей компьютерной графики способен написать алгоритм Брезенхема на асме, а тогда сказать о том, что это нахуй не нужно, потому что у тебя есть OpenGL - это наткнуться на такую реакцию, что как так можно, если ты не знаешь, как выводить линию, то как ты будешь разбираться с выводом тысяч треугольников и шейдингом... А вот так, лол, что жизнь усложняется и практическая имплементация основ нахуй не нужна. Возможно, мне нужно знать, как устроен топор, чтобы построить дом, но мне точно не нужно делать топор вручную, чтобы доказать, что я мог построить дом. Чтобы знать, как устроен топор, достаточно почитать абзац текста. Чтобы знать, что такое chain rule и как берется производная свертки - тоже. Нахуя тут что-то имплементировать - не понятно. Особенно утверждая при этом, что те, кто этого не сделал, ну нихуяшеньки не понимают в математике.
Примерно та же хуйня была с вебом. Современные фреймворки далеки от кода, написанного в ручную, как диды завещали, примерно так же, как современные MVC-фреймворки далеки от CGI-софта, написанного на С++ в 2000 году. Этот софт был ужасен, разработка была дико медленной и хуевой, пока сообщество с болью не вывело более-менее успешную формулу - на С написана только БД, все остальное на динамическом языке. Дальше та же самая хуйня повторилась на новом уровне - дидами тут уже были те, кто писал без помощи rails-подобных фреймворков и CMS. Сейчас в здравом уме уже никто не будет писать CGI-софт или разрабатывать игру на ассемблере, ровно по одной причине - диды стали прадедами, и мы стали дидами.
С графическими интерфейсами было то же самое. Высшим шиком было написать на голом WinAPI софтину, или же на MFC. А выиграл в итоге кто? Кто уже тогда начал писать на Qt и спокойно портирует свои наработки без привязки к wine.
Короче, из года в год повторяется одно и тоже.
1. Диды пишут как могут. Хуево, неэффективно, убивая кучу времени на отладку одних и тех же багов.
2. В конце концов рождается инструмент, ускоряющий разработку. В данном случае CAS-фреймворки. Качественно новая схема.
3. И дальше общество делится на два типа людей. У одни - "ну, диды же так писали, надо как они, по-другому научиться ничему нельзя", а перед пилением своего изучают best practices в отрасли, и только потом пилят что-то свое. И первый тип сосет примерно как соснул вот этот хуй https://habrahabr.ru/post/327596/
Вот и все. Ты из подобного дроча получишь ноль знаний, которые тебе бы пригодились в будущем. Первым делом надо выкинуть нахуй C#, это ебаное делфи современности, затем взять http://cs231n.github.io/assignments2017/assignment2/ , прорешать, и забыть о производной свертки как о страшном сне. Это при условии, если не уверен, что понимаешь, как она берется. Если понимаешь, то и этого делать не обязательно, лучше внимательно почитать материалы этого самого cs231n и не ебать мозг далее, в мире куча статей нечитаных.
>>991157
Ну вот ты и говоришь как типичная низкоуровневая блядь из начала нулевых. Сейчас мало кто из любителей компьютерной графики способен написать алгоритм Брезенхема на асме, а тогда сказать о том, что это нахуй не нужно, потому что у тебя есть OpenGL - это наткнуться на такую реакцию, что как так можно, если ты не знаешь, как выводить линию, то как ты будешь разбираться с выводом тысяч треугольников и шейдингом... А вот так, лол, что жизнь усложняется и практическая имплементация основ нахуй не нужна. Возможно, мне нужно знать, как устроен топор, чтобы построить дом, но мне точно не нужно делать топор вручную, чтобы доказать, что я мог построить дом. Чтобы знать, как устроен топор, достаточно почитать абзац текста. Чтобы знать, что такое chain rule и как берется производная свертки - тоже. Нахуя тут что-то имплементировать - не понятно. Особенно утверждая при этом, что те, кто этого не сделал, ну нихуяшеньки не понимают в математике.
Примерно та же хуйня была с вебом. Современные фреймворки далеки от кода, написанного в ручную, как диды завещали, примерно так же, как современные MVC-фреймворки далеки от CGI-софта, написанного на С++ в 2000 году. Этот софт был ужасен, разработка была дико медленной и хуевой, пока сообщество с болью не вывело более-менее успешную формулу - на С написана только БД, все остальное на динамическом языке. Дальше та же самая хуйня повторилась на новом уровне - дидами тут уже были те, кто писал без помощи rails-подобных фреймворков и CMS. Сейчас в здравом уме уже никто не будет писать CGI-софт или разрабатывать игру на ассемблере, ровно по одной причине - диды стали прадедами, и мы стали дидами.
С графическими интерфейсами было то же самое. Высшим шиком было написать на голом WinAPI софтину, или же на MFC. А выиграл в итоге кто? Кто уже тогда начал писать на Qt и спокойно портирует свои наработки без привязки к wine.
Короче, из года в год повторяется одно и тоже.
1. Диды пишут как могут. Хуево, неэффективно, убивая кучу времени на отладку одних и тех же багов.
2. В конце концов рождается инструмент, ускоряющий разработку. В данном случае CAS-фреймворки. Качественно новая схема.
3. И дальше общество делится на два типа людей. У одни - "ну, диды же так писали, надо как они, по-другому научиться ничему нельзя", а перед пилением своего изучают best practices в отрасли, и только потом пилят что-то свое. И первый тип сосет примерно как соснул вот этот хуй https://habrahabr.ru/post/327596/
Вот и все. Ты из подобного дроча получишь ноль знаний, которые тебе бы пригодились в будущем. Первым делом надо выкинуть нахуй C#, это ебаное делфи современности, затем взять http://cs231n.github.io/assignments2017/assignment2/ , прорешать, и забыть о производной свертки как о страшном сне. Это при условии, если не уверен, что понимаешь, как она берется. Если понимаешь, то и этого делать не обязательно, лучше внимательно почитать материалы этого самого cs231n и не ебать мозг далее, в мире куча статей нечитаных.
Ну вот ты и говоришь как типичная низкоуровневая блядь из начала нулевых. Сейчас мало кто из любителей компьютерной графики способен написать алгоритм Брезенхема на асме, а тогда сказать о том, что это нахуй не нужно, потому что у тебя есть OpenGL - это наткнуться на такую реакцию, что как так можно, если ты не знаешь, как выводить линию, то как ты будешь разбираться с выводом тысяч треугольников и шейдингом... А вот так, лол, что жизнь усложняется и практическая имплементация основ нахуй не нужна. Возможно, мне нужно знать, как устроен топор, чтобы построить дом, но мне точно не нужно делать топор вручную, чтобы доказать, что я мог построить дом. Чтобы знать, как устроен топор, достаточно почитать абзац текста. Чтобы знать, что такое chain rule и как берется производная свертки - тоже. Нахуя тут что-то имплементировать - не понятно. Особенно утверждая при этом, что те, кто этого не сделал, ну нихуяшеньки не понимают в математике.
Примерно та же хуйня была с вебом. Современные фреймворки далеки от кода, написанного в ручную, как диды завещали, примерно так же, как современные MVC-фреймворки далеки от CGI-софта, написанного на С++ в 2000 году. Этот софт был ужасен, разработка была дико медленной и хуевой, пока сообщество с болью не вывело более-менее успешную формулу - на С написана только БД, все остальное на динамическом языке. Дальше та же самая хуйня повторилась на новом уровне - дидами тут уже были те, кто писал без помощи rails-подобных фреймворков и CMS. Сейчас в здравом уме уже никто не будет писать CGI-софт или разрабатывать игру на ассемблере, ровно по одной причине - диды стали прадедами, и мы стали дидами.
С графическими интерфейсами было то же самое. Высшим шиком было написать на голом WinAPI софтину, или же на MFC. А выиграл в итоге кто? Кто уже тогда начал писать на Qt и спокойно портирует свои наработки без привязки к wine.
Короче, из года в год повторяется одно и тоже.
1. Диды пишут как могут. Хуево, неэффективно, убивая кучу времени на отладку одних и тех же багов.
2. В конце концов рождается инструмент, ускоряющий разработку. В данном случае CAS-фреймворки. Качественно новая схема.
3. И дальше общество делится на два типа людей. У одни - "ну, диды же так писали, надо как они, по-другому научиться ничему нельзя", а перед пилением своего изучают best practices в отрасли, и только потом пилят что-то свое. И первый тип сосет примерно как соснул вот этот хуй https://habrahabr.ru/post/327596/
Вот и все. Ты из подобного дроча получишь ноль знаний, которые тебе бы пригодились в будущем. Первым делом надо выкинуть нахуй C#, это ебаное делфи современности, затем взять http://cs231n.github.io/assignments2017/assignment2/ , прорешать, и забыть о производной свертки как о страшном сне. Это при условии, если не уверен, что понимаешь, как она берется. Если понимаешь, то и этого делать не обязательно, лучше внимательно почитать материалы этого самого cs231n и не ебать мозг далее, в мире куча статей нечитаных.
>>991640
Он не совсем соснул.
Во-первых разработка началась под актуальный конфиг компа 99 года, а закончилась, когда таких компов уже не осталось, отсюда большинство хитрых изъебств с графеном стали не нужны, но если бы игру запилили быстрее они пришлись очень кстати.
Во-вторых его игру можно найти на торрентах и она вполне себе играбельна не хуже близовского старика. Для бородатого индюка из двухтысячных это сорт оф вин.
>И первый тип сосет примерно как соснул вот этот хуй
Он не совсем соснул.
Во-первых разработка началась под актуальный конфиг компа 99 года, а закончилась, когда таких компов уже не осталось, отсюда большинство хитрых изъебств с графеном стали не нужны, но если бы игру запилили быстрее они пришлись очень кстати.
Во-вторых его игру можно найти на торрентах и она вполне себе играбельна не хуже близовского старика. Для бородатого индюка из двухтысячных это сорт оф вин.
> я луцше знаю мотимотику!
> нит я!
долбоёбы
40 Кб, 622x582
Давайте все-таки обкашляем такую тему, как LaTeX-OCR. Казалось бы, самое очевидное применение этим вашим сверточным нейроночкам. Потом, подобного софта или онлайн-сервисов вообще не существует, кроме платной в 2017-то году подмывальни Infty, опять же весьма посредственного качества. Как же так? Я никогда не поверю, что мне одному нужен OCR для математических пдфок. А все, что есть - полтора прожекта в зачаточном состоянии, ни одного готового решения уровня "загрузил пдф - получил результат". Что нагуглил:
http://lstm.seas.harvard.edu/latex/
https://github.com/harvardnlp/im2markup
то же в виде порта для слесарьфлоу https://github.com/ssampang/im2latex
пейпер https://arxiv.org/pdf/1609.04938v1.pdf
датасет https://zenodo.org/record/56198#.V2p0KTXT6eA
полтора онлайн-ресурса посмеяться:
http://detexify.kirelabs.org/classify.html
http://shapecatcher.com/
этот, правда, впечатляет - https://webdemo.myscript.com/views/math.html
Пик стронгли релейтед.
http://lstm.seas.harvard.edu/latex/
https://github.com/harvardnlp/im2markup
то же в виде порта для слесарьфлоу https://github.com/ssampang/im2latex
пейпер https://arxiv.org/pdf/1609.04938v1.pdf
датасет https://zenodo.org/record/56198#.V2p0KTXT6eA
полтора онлайн-ресурса посмеяться:
http://detexify.kirelabs.org/classify.html
http://shapecatcher.com/
этот, правда, впечатляет - https://webdemo.myscript.com/views/math.html
Пик стронгли релейтед.
>>991640
А ты говоришь, как типичная вебмакака. Кроме скорости разработки есть еще много важных критериев, и по ним твои фреймворки сосут. Например, гибкость разработки и эффективность софта. Для клепания гостевух и вебшопов твой говнофреймворк еще годится, а чуть что сложнее или highload - и сразу начинается пердолинг с С++, архитектура микросервисов, fastcgi, вот это все. А когда я качаю какой-нибудь калькулятор на Qt, то охуеваю сначала от размера дистрибутива в 100Мб, а потом от уебищного интерфейса а-ля "Gnome в нулевых". Все потому, что затраты на поддержку кросплатформенности разработчик перенес на конечного пользователя. Ему же ничего не стоит еще восемь гигов памяти прикупить и новый винт.
Но это отдельная большая тема, по которой очень много чего можно сказать, давай не будем разводить тут срач. Пусть каждый сам решает, пилить свое или использовать чужой код, новые Кармаки и Торвальдсы тоже нужны.
А ты говоришь, как типичная вебмакака. Кроме скорости разработки есть еще много важных критериев, и по ним твои фреймворки сосут. Например, гибкость разработки и эффективность софта. Для клепания гостевух и вебшопов твой говнофреймворк еще годится, а чуть что сложнее или highload - и сразу начинается пердолинг с С++, архитектура микросервисов, fastcgi, вот это все. А когда я качаю какой-нибудь калькулятор на Qt, то охуеваю сначала от размера дистрибутива в 100Мб, а потом от уебищного интерфейса а-ля "Gnome в нулевых". Все потому, что затраты на поддержку кросплатформенности разработчик перенес на конечного пользователя. Ему же ничего не стоит еще восемь гигов памяти прикупить и новый винт.
Но это отдельная большая тема, по которой очень много чего можно сказать, давай не будем разводить тут срач. Пусть каждый сам решает, пилить свое или использовать чужой код, новые Кармаки и Торвальдсы тоже нужны.
>>991697
Обоссал студентика.
Обоссал студентика.
>>990622
Тонко.
Тонко.
>>991697
Но ведь в машобе гибкость разработки - это возможность в пару кликов запилить новую модель для тестов, а эффективность напрямую завязана на скорости матана, который в готовых фреймворках прокинут на всякие бласы, эйгены и ффтв, работающие на магии, ассемблере и изредка на С, скомпилированном под задачу в рантайме.
>Например, гибкость разработки и эффективность софта.
Но ведь в машобе гибкость разработки - это возможность в пару кликов запилить новую модель для тестов, а эффективность напрямую завязана на скорости матана, который в готовых фреймворках прокинут на всякие бласы, эйгены и ффтв, работающие на магии, ассемблере и изредка на С, скомпилированном под задачу в рантайме.
Ответы992091
Как научиться подбирать правильные параметры Sequential в керасе? Сгенерировал рандомный датасет на два класса, учу модель, перебрал все возможные варианты losses, optimizers и activations со стандарными значениями, а у распознавания потолок все равно 80%
>>992052
Это если дальше тьюториалов не отходить. Но однажды ты столкнешься с тем, что просто "запилить модель" для успеха недостаточно. Нужно делать что-то еще.
Например, если я захочу гиперпараметры динамически во времени менять или даже датасеты? А если мне понадобится кастомный слой?
Машоб еще очень сырой, и библиотеки для него тоже, их сочиняют на ходу.
>возможность в пару кликов запилить новую модель для тестов
Это если дальше тьюториалов не отходить. Но однажды ты столкнешься с тем, что просто "запилить модель" для успеха недостаточно. Нужно делать что-то еще.
Например, если я захочу гиперпараметры динамически во времени менять или даже датасеты? А если мне понадобится кастомный слой?
Машоб еще очень сырой, и библиотеки для него тоже, их сочиняют на ходу.
>>990954
Честно - хз. Я считал точно так же как для полносвязной, толь с учетом того что, теперь связей у меня меньше. Получается, что дельта ошибки суммируется для последующего вычисления дельты веса. Прежде чем пробовать сверточную, желательно пробовать полносвязную.
Честно - хз. Я считал точно так же как для полносвязной, толь с учетом того что, теперь связей у меня меньше. Получается, что дельта ошибки суммируется для последующего вычисления дельты веса. Прежде чем пробовать сверточную, желательно пробовать полносвязную.
Ответы992110
>>992109
У полносвязной все легко получается из-за того, что там одна связь - один вес и легко все программится. Со сверточной надо смотреть не проебаться с индексами и краевыми эффектами, потом еще оптимизировать желательно код, т.к. не всегда с первого раза напишешь самую быструю версию.
>полносвязную
У полносвязной все легко получается из-за того, что там одна связь - один вес и легко все программится. Со сверточной надо смотреть не проебаться с индексами и краевыми эффектами, потом еще оптимизировать желательно код, т.к. не всегда с первого раза напишешь самую быструю версию.
Антоны, такой вопрос, если я начал изучать TensorFlow, то мне его хватит для задач по МашОбр?
или еще что-то там изучить над, кофе разные ?
или еще что-то там изучить над, кофе разные ?
>>992304
Кофе умеет под андр собираться?
Кофе умеет под андр собираться?
Без ВО этим всем вообще реально заниматься?
Ответы992328
>>992326
Да. Меня из двух университетов числанули, сижу на шее у мамки и подбираюсь к кагглу.
Да. Меня из двух университетов числанули, сижу на шее у мамки и подбираюсь к кагглу.
Ответы992329
Заранее извиняюсь за нубовские вопросы
Какое представление цветных изображений больше подходит для сверточной сети? Например, есть jpeg в RGB, его можно привести к трехмерному массиву со значениями от 0 до 255 (или от 0.0 до 1.0 (или от -1.0 до 1.0)). Какой вариант лучше?
И еще: для цветных изображений больше годится двумерная или трехмерная свертка? Насколько я понял, в первом случае к R,G и B каналам фильтры применяются по отдельности, а во втором сразу ко всем (т.е. фильтр тоже имеет 3 канала).
Какое представление цветных изображений больше подходит для сверточной сети? Например, есть jpeg в RGB, его можно привести к трехмерному массиву со значениями от 0 до 255 (или от 0.0 до 1.0 (или от -1.0 до 1.0)). Какой вариант лучше?
И еще: для цветных изображений больше годится двумерная или трехмерная свертка? Насколько я понял, в первом случае к R,G и B каналам фильтры применяются по отдельности, а во втором сразу ко всем (т.е. фильтр тоже имеет 3 канала).
>>992329
21. Летом опять поступать буду.
21. Летом опять поступать буду.
87 Кб, 1920x1080
Поясните за reinforcement learning. Вот есть такие вещи как openai gym и universe. И оно даже работает, но на уже существующих енвайроментах. А если я хочу свою среду добавить вместо не нужных мне атари игор, это возможно? Ничего не могу нагуглить, как там сделать чтобы работало на заданной пользователем среде.
Ответы992658
Ответы992672
>>992658
А где там конкретно? Это https://github.com/openai/gym/blob/master/gym/envs/registration.py ?
А где там конкретно? Это https://github.com/openai/gym/blob/master/gym/envs/registration.py ?
>>992299
хватит с глазами, если чего-то нет, то пишешь кастомный слой, функцию или еще что-то, так же тебе хватит любой другой либы
хватит с глазами, если чего-то нет, то пишешь кастомный слой, функцию или еще что-то, так же тебе хватит любой другой либы
Ответы993588
>>993473
Скопирую из старого треда, ибо я даун
Анон. Тупой вопрос. Как заставить нейронку рисовать? Тупой ньюфаг в этой сфере, да. Запилил лишь самую базовую (банальный массив х на у с пересчетом нейронов и обучением).
Как нейронке потенциально скармливать что-то и как получать на выхоод что-то? Что юзать и что прикручивать? Куда копать?
Скопирую из старого треда, ибо я даун
Анон. Тупой вопрос. Как заставить нейронку рисовать? Тупой ньюфаг в этой сфере, да. Запилил лишь самую базовую (банальный массив х на у с пересчетом нейронов и обучением).
Как нейронке потенциально скармливать что-то и как получать на выхоод что-то? Что юзать и что прикручивать? Куда копать?
Почему, когда я тренирую говнонейроночку на распознование пикч, нормализуя вход простым делением всех пикселей на 255, она упирается в 78-79%, но стоит заменить /255 на вычитание среднего и деление на стандартное отклонение, как точность падает до 62-65%? Ничего больше не трогаю.
Ответы994763
>>993929
Меня интересует именно аутпут изображений. В духе тех, что ща в гугл плеях наводнили тоннами. Понимаю, что это через сверточную нейронку делается, но вот детали - полный туман просто.
Меня интересует именно аутпут изображений. В духе тех, что ща в гугл плеях наводнили тоннами. Понимаю, что это через сверточную нейронку делается, но вот детали - полный туман просто.
>>993588
если прям рисоваь, то нужно копать в сторону attention models
если прям рисоваь, то нужно копать в сторону attention models
>>994107
В первом случае у тебя распределение 0--1, во втором - -3--3. В чем разница? Наверное зависит от того, какие у тебя нелинейности и как ты их инициализируешь. А еще, скорее всего, у тебя адский оверфит.
В первом случае у тебя распределение 0--1, во втором - -3--3. В чем разница? Наверное зависит от того, какие у тебя нелинейности и как ты их инициализируешь. А еще, скорее всего, у тебя адский оверфит.
Откуда брать картинки для обучения? Имагнет - хорошо, но очень многие урлы устарели, потому для значительной части классов очень мало. Гугл - обычно первые пикч 400-500 по теме, потом начинается дичь с мемасами. Хотел по фликру пошарить - но там зачастую метки вообще не соответствуют тому что на фотке.
>>994884
safebooru.org
safebooru.org
>>994884
Скачай imagenet в виде картинок с торрентов.
Скачай imagenet в виде картинок с торрентов.
197 Кб, 1100x1050
Поясните, какой сейчас самый топовый алгоритм для анализа и предсказания временных рядов?
>>995072
"Попал или промазал".
"Попал или промазал".
>>994884
пинтерест
пинтерест
147 Кб, 720x540
Машобчан, посоветуй правильную литературу под мои нужды.
Конечная задача: распознование изображений
Текущая ситуация: джава макака, скачал Бишопа, так как начитался хвалебных отзывов. Но понял, что это пока не ля моего уровня. Хотелось бы что то поближе к программированию, но не слепое использование модных библиотек.
Конечная задача: распознование изображений
Текущая ситуация: джава макака, скачал Бишопа, так как начитался хвалебных отзывов. Но понял, что это пока не ля моего уровня. Хотелось бы что то поближе к программированию, но не слепое использование модных библиотек.
Ответы995901
306 Кб, 950x1080
Привет. Я учусь на гуманитарной специальности. Этим летом планирую приступить к изучению математики и машинного обучения. Велика ли вероятность, допустим, через год-два подготовки попасть на стажировку или на работу в нормальную компанию без технического образования?
Ответы996499
>>996430
зависит от того, насколько сильно будешь задрачивать и насколько слабая у тебя база. Есть вероятность устроиться менеджером в области машиночек, айти и тд. Сейчас у каждого второго студента техвуза нейронки в дипломе.
зависит от того, насколько сильно будешь задрачивать и насколько слабая у тебя база. Есть вероятность устроиться менеджером в области машиночек, айти и тд. Сейчас у каждого второго студента техвуза нейронки в дипломе.
>>995072
lstm нейронки
lstm нейронки
Поясните про Auto ML технологию. Изменит ли она что-то в возможностях ML, и если да, то что(в общем плане)?
Что хорошо использовать для сжатия данных в файлопомойке? Слышал нейросети хорошо сжимают, но какие надо?
Ответы996775
>>996725
Сжимают шикарно, аутоэнкодеры могут целый фильм сохранить как веса, но и потери большие. Это совсем не вариант.
>>996726
Можно из чистого хулиганства, но лютый костыль же. Регрессия, классификация, кластеризация - вот хорошие области для нейросеточек.
Сжимают шикарно, аутоэнкодеры могут целый фильм сохранить как веса, но и потери большие. Это совсем не вариант.
>>996726
Можно из чистого хулиганства, но лютый костыль же. Регрессия, классификация, кластеризация - вот хорошие области для нейросеточек.
Ответы997261
Работаю в датасцайнс, если бы я потратил все это время и мыслительный ресурс на модные тырпрайз фреймворки, зарплата была бы в пару раз больше и у меня бы был свой холодильник для смузи на рабочем месте. Подумайте нужно ли вам это.
>>996903
Это потому что ты свой стартап гуглу не продал.
Это потому что ты свой стартап гуглу не продал.
Рекомендуемые в ОП-посте книги и в правду хороши?
И да, >И, в отличии от TF, он уже находится в стабильной фазе.
TensorFlow разве не стабильный уже?
И да, >И, в отличии от TF, он уже находится в стабильной фазе.
TensorFlow разве не стабильный уже?
486 Кб, 592x592
Как они это делают? Автокодировщиком? У меня нет идей. Ну допустим сверточной сетью извлекли фичи, а дальше-то что, как их обратно собрать с такой точностью.
8 Кб, 506x183
Посоны, можете привести пример полумодулярной, но не модулярной решетки. Читаю этого мудака
https://books.google.ru/books?id=V3r_AgAAQBAJ&pg=PA69&lpg=PA69&dq=полумодулярная+решетка&source=bl&ots=Uv8jWu1O4f&sig=-0r_vBnhKFGFzKYv_OIh_bcFpPg&hl=ru&sa=X&ved=0ahUKEwjgpprtqZDUAhUEG5oKHerMBd0Q6AEILDAD#v=onepage&q=полумодулярная решетка&f=false
Он утверждает что N5 полумодулярная но
c^b<.b
c#b.>a.>c
https://books.google.ru/books?id=V3r_AgAAQBAJ&pg=PA69&lpg=PA69&dq=полумодулярная+решетка&source=bl&ots=Uv8jWu1O4f&sig=-0r_vBnhKFGFzKYv_OIh_bcFpPg&hl=ru&sa=X&ved=0ahUKEwjgpprtqZDUAhUEG5oKHerMBd0Q6AEILDAD#v=onepage&q=полумодулярная решетка&f=false
Он утверждает что N5 полумодулярная но
c^b<.b
c#b.>a.>c
Ответы997116
>>997115
пункт 7 в сылке
пункт 7 в сылке
Антоны, каким образом нейронная сеть обучаясь без учителя сможет контролировать обратный маятник.
По сути это тоже ведь можно решить с помощью регрессии.
Но каким образом нейроночка начинает подбирать значения?
По сути это тоже ведь можно решить с помощью регрессии.
Но каким образом нейроночка начинает подбирать значения?
216 Кб, 700x710
Я личинка датасаентиста, через год хочу свалить на PhD в какое-то серьезное место, а для этого не последнюю роль играет тема диплома, который я должен защитить в своей шараге. Научрук алкаш и забил на меня, единственное полезное что он сделал это отправил читать Бишопа и заставил разобраться в математике. На него надежды нет, так что реквестирую годную тему рокет-саенс-диплома по машобу или ИИ. Где вообще можно посмотреть темы прошлогодних дипломов по сабжу в топовых зарубежных вузах?
Ответы997339
Мимо-вброшу
http://fpi.gov.ru/activities/konkurs/robot
У студентиков есть еще 3 дня чтобы кинуть заявку.
Участвовал в прошлой хуйне http://fpi.gov.ru/activities/konkurs/spacemap,
было довольно годно. Уникальный ни с чем не сравнимый экспириенс по обучению годной нейроночки на пиздецовом просто говнище вместо данных - редко такое встретишь. Хочется побольше конкурентов.
http://fpi.gov.ru/activities/konkurs/robot
У студентиков есть еще 3 дня чтобы кинуть заявку.
Участвовал в прошлой хуйне http://fpi.gov.ru/activities/konkurs/spacemap,
было довольно годно. Уникальный ни с чем не сравнимый экспириенс по обучению годной нейроночки на пиздецовом просто говнище вместо данных - редко такое встретишь. Хочется побольше конкурентов.
>>995072
ARIMA, если ряд 1. Регрессия ансамблями деревьев (только надо нагенерировать кучу признаков), если рядов много.
ARIMA, если ряд 1. Регрессия ансамблями деревьев (только надо нагенерировать кучу признаков), если рядов много.
Ответы997394
Народ, сейчас учусь на первом курсе прикладной математики, хочу заниматься машинным обучением, с чего начинать, нужны ли там все эти ваши матанализы?
Ответы997277
>>997273
Нужны, я первое время жалел о проебанном матане, но там ничего выше 2-го курса шараги не встречалось.
Нужны, я первое время жалел о проебанном матане, но там ничего выше 2-го курса шараги не встречалось.
Ответы997279
>>997279
Работу найти будет невозможно скорее всего, выбирай это как хобби или делай свой проект. Порог входа высокий.
Работу найти будет невозможно скорее всего, выбирай это как хобби или делай свой проект. Порог входа высокий.
Ответы997282
>>997280
Яйкс, спасибо что предупредил
Яйкс, спасибо что предупредил
В чем смысл применения PCA без редукции размерности?
89 Кб, 594x1069
Если самому вкатываться, то ясен хуй трудно работу найти. А если есть вариант получить профильное образование за бугром на примете TUM, если получится подтянуть немчик - это сильно поможет в трудоустройстве в сфере DS/ML? знаю, что это совершенно разные вещи, но всё же
Ответы997388
>>997192
кто тебя в серьёзное место возьмёт если ты лол даже в маге не знаешь про что диплом писать будешь!!!
кто тебя в серьёзное место возьмёт если ты лол даже в маге не знаешь про что диплом писать будешь!!!
>>997337
В TUM спокойно можно поступать на англоязычное обучение, со знанием немецкого уровня спросить дорогу (кажись, цитата с оффсайта).
В TUM спокойно можно поступать на англоязычное обучение, со знанием немецкого уровня спросить дорогу (кажись, цитата с оффсайта).
Ответы997488
>>997235
Бустинг? Хгбуст например? А как генерировать признаки?
> Регрессия ансамблями деревьев (только надо нагенерировать кучу признаков), если рядов много.
Бустинг? Хгбуст например? А как генерировать признаки?
39 Кб, 616x596
Есть Один Датасет, пытаюсь написать нейроночку в керасе, но не распознается максимум 85%, Подскажите подходящую архитектуру, пожалуйста!
Ответы997457
>>997048
матан для питухов
матан для питухов
>>997409
Вопрос снят, все получилось.
Вопрос снят, все получилось.
>>997388
Так а с перспективами в нём что? Можно будет легко вкатиться в индустрию, если есть профильное образование?
Так а с перспективами в нём что? Можно будет легко вкатиться в индустрию, если есть профильное образование?
Ответы997493
>>997488
Что значит "легко вкатиться в индустрию"? Пишешь пейперы, проекты, потом можешь с однокурсниками загонять стартапы гуглу или подаваться на позицию датаентиста. Без образования в это вкатиться нереально, тебе не будут воспринимать как серьезного соискателя. Профильный диплом известного вуза ставит тебя на уровень со всеми, игра идет на публикации, гитхаб, каггл и опыт работы.
Что значит "легко вкатиться в индустрию"? Пишешь пейперы, проекты, потом можешь с однокурсниками загонять стартапы гуглу или подаваться на позицию датаентиста. Без образования в это вкатиться нереально, тебе не будут воспринимать как серьезного соискателя. Профильный диплом известного вуза ставит тебя на уровень со всеми, игра идет на публикации, гитхаб, каггл и опыт работы.
>>997493
Спасибо! Первый адекватный ответ, который я встречал. А где можно почитать про этот путь подробнее? Статьи йоба-физика, криво и раком, но в итоге вкатившегося в сферу, уже читал, а вот описание своего пути человеком, который получил профильное образование, найти пока что не удалось.
Спасибо! Первый адекватный ответ, который я встречал. А где можно почитать про этот путь подробнее? Статьи йоба-физика, криво и раком, но в итоге вкатившегося в сферу, уже читал, а вот описание своего пути человеком, который получил профильное образование, найти пока что не удалось.
Ответы997533
>>997493
Чет глупость, тягаться с гуру индустрии можно и без образования, а шанс выстрелить со своим проектом такой же.
Чет глупость, тягаться с гуру индустрии можно и без образования, а шанс выстрелить со своим проектом такой же.
Ответы997522
>>997516
Единственное, что дает учреждение и такое вот, подобное образование - это возможности.
Идти у университет за знаниями - глупость, ты должен заводить максимум знакомств и использовать возможности.
Так что с такой позиции вкатиться в индустрию проще.
Кстати, а сколько стоит обучение в таких вот местах?
Единственное, что дает учреждение и такое вот, подобное образование - это возможности.
Идти у университет за знаниями - глупость, ты должен заводить максимум знакомств и использовать возможности.
Так что с такой позиции вкатиться в индустрию проще.
Кстати, а сколько стоит обучение в таких вот местах?
Ответы997533
>>997514
Постоянные лабораторки, а потом ресерч как-то не способствуют ведению блога, но я не вижу причин не поискать "become a data scientist blog", первый в выдаче так и называется. В этом пути нет никаких секретов - ты учишь реально много математики, какие-то бесполезные вещи, если повезет с преподом то сдаешь пет проекты в качестве семестровых работ. Как сказал >>997522 , в универе ты получишь знакомства, научного руководителя, какое-то наследие и финансирование - получить стипендию довольно просто (если ты девушка, то еще целая куча фондов будут бегать за тобой чтобы дать денег на то чтобы ты двигала науку). Все практические навыки должен приобретать сам, за ручку тебя никто водить не будет, только проверять соответствует ли твой скилл минимальным требованиям.
Постоянные лабораторки, а потом ресерч как-то не способствуют ведению блога, но я не вижу причин не поискать "become a data scientist blog", первый в выдаче так и называется. В этом пути нет никаких секретов - ты учишь реально много математики, какие-то бесполезные вещи, если повезет с преподом то сдаешь пет проекты в качестве семестровых работ. Как сказал >>997522 , в универе ты получишь знакомства, научного руководителя, какое-то наследие и финансирование - получить стипендию довольно просто (если ты девушка, то еще целая куча фондов будут бегать за тобой чтобы дать денег на то чтобы ты двигала науку). Все практические навыки должен приобретать сам, за ручку тебя никто водить не будет, только проверять соответствует ли твой скилл минимальным требованиям.
32 Кб, 600x180
>>997533
Ещё раз спасибо тебе, добрый человек! Теперь более-менее понятно, куда двигаться. Надеюсь, из меня что-нибудь да получится, кроме уборщика в макдаке.
Ещё раз спасибо тебе, добрый человек! Теперь более-менее понятно, куда двигаться. Надеюсь, из меня что-нибудь да получится, кроме уборщика в макдаке.
Антон, формула про вычисление мап.
Почему у нас D через запятую стоит?
В книге написано In our notation, we make explicit that the probability is conditional on the test input x, as well as the training set D, by putting these terms on the right hand side of the conditioning bar |.
Типа условная вероятность на тестовом входе x такая же, как у всего тренировочного набора D и поэтому их переносят на правую часть.
А как тогда идёт деление, сначала на x, потом полученное на D?
Почему у нас D через запятую стоит?
>p(y|x, D)
В книге написано In our notation, we make explicit that the probability is conditional on the test input x, as well as the training set D, by putting these terms on the right hand side of the conditioning bar |.
Типа условная вероятность на тестовом входе x такая же, как у всего тренировочного набора D и поэтому их переносят на правую часть.
А как тогда идёт деление, сначала на x, потом полученное на D?
Ответы998565
>>998563
Условная вероятность от тренировочного и тестового набора данных вместе.
p(y|x,d) = p(y,x,d)/p(x,d)
Условная вероятность от тренировочного и тестового набора данных вместе.
p(y|x,d) = p(y,x,d)/p(x,d)
Ответы998572
>>998565
Понял, это же два разных набора данных.
Кстати, а что с этим вычислением мы делаем потом?
Полученное делим ещё раз на максимизированное значение x и d? И тогда уже получаем map?
Понял, это же два разных набора данных.
Кстати, а что с этим вычислением мы делаем потом?
Полученное делим ещё раз на максимизированное значение x и d? И тогда уже получаем map?
Ответы998573
>>998572
И argmax - это, например, если у нас есть статистика температуры за все дни и мы берём наивысший показатель?
И argmax - это, например, если у нас есть статистика температуры за все дни и мы берём наивысший показатель?
Ответы998755
>>998750
бишоп же на первой ссылке
бишоп же на первой ссылке
>>979045 (OP)
Ну всё, пацандре, я вот сегодня закончил курс по машин лернингу у себя в универе. Это такой интродакшн был скорее: обо всём по чуть-чуть. Но я многое узнал и запомнил, теперь буду знать хоть, куда копать если чё.
Я вот теперь думаю, стоит ли пилить дипломку на магитра на какую-нибудь такую тему или не стоит? Слишком уж дохуя времени наверное уйдёт, да и ещё сама по себе тема сложная, я не знаю, как я с работой осилю. Да и тем более надо же придумать саму тему, где можно эту шнягу всю применить, да и то просто сравнением нескольких способов, решением какого-нибудь компетишена с каггла и небольшим анализом результатов отделаться на получиться, нужно что-то СУРЬЁЗНО будет делать наверное... Ужас короче, как меня эта дипломка изводит!
Ну всё, пацандре, я вот сегодня закончил курс по машин лернингу у себя в универе. Это такой интродакшн был скорее: обо всём по чуть-чуть. Но я многое узнал и запомнил, теперь буду знать хоть, куда копать если чё.
Я вот теперь думаю, стоит ли пилить дипломку на магитра на какую-нибудь такую тему или не стоит? Слишком уж дохуя времени наверное уйдёт, да и ещё сама по себе тема сложная, я не знаю, как я с работой осилю. Да и тем более надо же придумать саму тему, где можно эту шнягу всю применить, да и то просто сравнением нескольких способов, решением какого-нибудь компетишена с каггла и небольшим анализом результатов отделаться на получиться, нужно что-то СУРЬЁЗНО будет делать наверное... Ужас короче, как меня эта дипломка изводит!
Поясните за специализацию Яндекса по машобу на курсере. Стоит ли тратить время?
Ответы998905
>>997493
ПРОСТО БЕЗ ЗАДНЕЙ МЫСЛИ БЕРЕШЬ И ПИШЕШЬ
Вообще хуйня это все, проебали мы хайп, можно дальше дрочить жаваскрипт.
> Пишешь пейперы
ПРОСТО БЕЗ ЗАДНЕЙ МЫСЛИ БЕРЕШЬ И ПИШЕШЬ
Вообще хуйня это все, проебали мы хайп, можно дальше дрочить жаваскрипт.
>>998889
Долго и затянуто. Лучше сразу глянуть https://yandexdataschool.ru/edu-process/courses/machine-learning, а курсеру для практики использовать.
Долго и затянуто. Лучше сразу глянуть https://yandexdataschool.ru/edu-process/courses/machine-learning, а курсеру для практики использовать.
Ответы999164
>>998905
Спасибо! И еще такой вопрос, есть ли смысл читать Elements of Statistical Learning, или после Бишопа там ничего полезного уже не будет?
Спасибо! И еще такой вопрос, есть ли смысл читать Elements of Statistical Learning, или после Бишопа там ничего полезного уже не будет?
Антоны, помогите вспомнить книжку по нейронным сетям. Там еще код на питоне давали и объясняли.
В начале, кажется, рассказывалось про решение проблемы деления информации на test и training сеты
В начале, кажется, рассказывалось про решение проблемы деления информации на test и training сеты
Ответы999787
>>999770
А все, нашел
Machine Learning: An Algorithmic Perspective, Second Edition
Кстати, местные эксперты, оцените ее годность.
А все, нашел
Machine Learning: An Algorithmic Perspective, Second Edition
Кстати, местные эксперты, оцените ее годность.
Machine Learning: A Probabilistic Perspective, Murphy
Блин, как же тяжело читать эту книжку, только сейчас допер до этой Map estimate, боюсь, что до матана в последующих частях буду добираться годами.
Есть ли годные учебники по матану, что помогут разобраться с написанным там? Гугл далеко не всегда спасает.
Блин, как же тяжело читать эту книжку, только сейчас допер до этой Map estimate, боюсь, что до матана в последующих частях буду добираться годами.
Есть ли годные учебники по матану, что помогут разобраться с написанным там? Гугл далеко не всегда спасает.
>>979045 (OP)
А чего в scipy нейросеть считает так ровно? Она там сама анализирует классы по инпуту и округляет результат до них?
А чего в scipy нейросеть считает так ровно? Она там сама анализирует классы по инпуту и округляет результат до них?
Анон, подскажи куда двигаться дальше?
Написал простую нейросеть, которая решает задачи прогнозирования (массив на входе с ответами, на выходе ответ на частный случай).
Тексты? Изображения?
Давайте оживим тредж
Написал простую нейросеть, которая решает задачи прогнозирования (массив на входе с ответами, на выходе ответ на частный случай).
Тексты? Изображения?
Давайте оживим тредж
Ответы1000052
>>999787
Выше среднего. Для умеющих в пистон вообще около 10/10, т.к. не только теория, но и конкретный код, что при желании поможет вкатиться в тему не простым слесарем, а с более глубоким пониманием как что работает и как реализовать общие для всего МЛ моменты даже под алгоритмы, не описанные в книжке.
>оцените ее годность.
Выше среднего. Для умеющих в пистон вообще около 10/10, т.к. не только теория, но и конкретный код, что при желании поможет вкатиться в тему не простым слесарем, а с более глубоким пониманием как что работает и как реализовать общие для всего МЛ моменты даже под алгоритмы, не описанные в книжке.
Посоветуйте годных материалов по natural language processing.
Ответы1000053
Поставил тренироваться нейроночку, одна эпоха тренируется вечность, а у меня лаба горит. Где можно арендовать/попросить мощности?
>>999932
Я тебя не понимаю. Можешь подробней объяснить?
>массив на входе с ответами, на выходе ответ на частный случай
Я тебя не понимаю. Можешь подробней объяснить?
Кстати, посоветуйте книги по теории, чтобы было расписано как оно математически работает.
>>1000018
Вся же суть пистономартышек. Даже про облачные сервисы не слышали. Когда еще гугл для себя откроют...
>Где можно арендовать/попросить мощности?
Вся же суть пистономартышек. Даже про облачные сервисы не слышали. Когда еще гугл для себя откроют...
Ответы1000087
>>1000083
Полагаю, ты про ETA: 3060s
>>1000084
Это моя почти лаба1 по нейронкам после семестра анализа данных и в задницу гугол.
Полагаю, ты про ETA: 3060s
>>1000084
Это моя почти лаба1 по нейронкам после семестра анализа данных и в задницу гугол.
Ответы1000091
96 Кб, 571x423
>>1000087
Нет, я про альфу. Этот аргумент пикрил. И сколько у тебя слоев и сколько нейронов в каждом слое?
Нет, я про альфу. Этот аргумент пикрил. И сколько у тебя слоев и сколько нейронов в каждом слое?
Ответы1000096
>>1000091
По иронии, это буква эта и в керасе я ее руками не задаю.
Два слоя, пулинг, дропаут, два слоя, пулинг, дропаут. Если результат меня устроит, срежу половину и попробую еще раз. Нейронов изначально задал 1024 (и вот тут меня ждало бы несколько дней с урчащей грелкой вобнимку), но поскольку времени мало, сократил до 128, скорость приемлемая, но волнуюсь за результат.
Вообще, было бы полезно почитать про более осмысленный подбор гиперпараметров и добавить какой-то препроцессинг, оба этих пункта оставили на мою совесть или деньги мажоров с титанами.
По иронии, это буква эта и в керасе я ее руками не задаю.
Два слоя, пулинг, дропаут, два слоя, пулинг, дропаут. Если результат меня устроит, срежу половину и попробую еще раз. Нейронов изначально задал 1024 (и вот тут меня ждало бы несколько дней с урчащей грелкой вобнимку), но поскольку времени мало, сократил до 128, скорость приемлемая, но волнуюсь за результат.
Вообще, было бы полезно почитать про более осмысленный подбор гиперпараметров и добавить какой-то препроцессинг, оба этих пункта оставили на мою совесть или деньги мажоров с титанами.
Ответы1000098
>>1000096
Господи, у вас в пистоне нельзя даже альфу задать? Это пиздец, господа. А насчет нейронов в полносвязных слоях, для скрытого слоя я использую такую формулу (размер_входа + размер_выхода)^(1/2). Размер входа это количество выходных параметров после всей свертки. Меня эта формула еще не подводила.
Господи, у вас в пистоне нельзя даже альфу задать? Это пиздец, господа. А насчет нейронов в полносвязных слоях, для скрытого слоя я использую такую формулу (размер_входа + размер_выхода)^(1/2). Размер входа это количество выходных параметров после всей свертки. Меня эта формула еще не подводила.
Ответы1000103
>>1000098
Можно все, только в других пакетах или на самописной поделке, в керасе подбирается сама, кажется.
Вообще, как раз надо поставить тренироваться один велосипед и сесть писать второй на нумпае - своя реализация нейроночки, forward\backward pass, обновление весов, активаторы, оптимизаторы, функции стоимости. Вот и разберусь как все устроено.
Можно все, только в других пакетах или на самописной поделке, в керасе подбирается сама, кажется.
Вообще, как раз надо поставить тренироваться один велосипед и сесть писать второй на нумпае - своя реализация нейроночки, forward\backward pass, обновление весов, активаторы, оптимизаторы, функции стоимости. Вот и разберусь как все устроено.
>>1000103
Правильно мыслишь.
Правильно мыслишь.
Еще один даун с лабой и керасом. Учу нейронку на распознавание 3 классов, по 1500 фоток на класс. Пробовал брать пикчи 60х60, урезать число цветов до десятков, делать 3-4 сверточных слоя по 16-64 фильтра на слой, херачить побольше макспулинга - в итоге максимум 68%, и то повезло, обычно 65% максимум. Беру 120х120, полный RGB от 0 до 255, 5 слоев от 32 до 128, всего 2-3 пулинг слоя, порчу картинки вращениями и сдвигами; предел выходит 75-78% на тестовых, но зато учит по буквально пол-суток. А надо хотя бы 80-85%, с хорошими результатами на фото с камер (на котором у меня итог куда хуже чем на фото из гугла, хотя камера более-менее, а в тренировочных данных много фоток с групп вк, лол).
>>1000148
Ах да, забыл про Dense - в первом случае 128-256, во втором 512-1024
Короче, какое из этих направлений в моем случае правильней и с чем лучше экспериментировать? Уменьшать вторую или увеличивать первую? Может, фильтры, которые стабильно 3х3 всегда, попробовать пощупать?
Олсо, в обоих случаях оверфит начинается обычно с 7-9 эпох
Ах да, забыл про Dense - в первом случае 128-256, во втором 512-1024
Короче, какое из этих направлений в моем случае правильней и с чем лучше экспериментировать? Уменьшать вторую или увеличивать первую? Может, фильтры, которые стабильно 3х3 всегда, попробовать пощупать?
Олсо, в обоих случаях оверфит начинается обычно с 7-9 эпох
>>1000149
Аутизм.
>>1000056
Fundamentals of Neural Networks: Architectures, Algorithms, and Applications, Fausett L. И Рохас http://gen.lib.rus.ec/book/index.php?md5=82D428AEE58085A79AFC4E08F1A0628F
>Хайкин.
Аутизм.
>>1000056
Fundamentals of Neural Networks: Architectures, Algorithms, and Applications, Fausett L. И Рохас http://gen.lib.rus.ec/book/index.php?md5=82D428AEE58085A79AFC4E08F1A0628F
>>1000153
Не ну а чо а почему бы и нет. Там много людей, кошечек и собак в среднем качестве, с камеры мобилки, как раз как мне надо. Основные данные конечно с имажнета.
Не ну а чо а почему бы и нет. Там много людей, кошечек и собак в среднем качестве, с камеры мобилки, как раз как мне надо. Основные данные конечно с имажнета.
52 Кб, 638x359
>>1000148
Еще один даун не прочитал про bias-variance tradeoff. На тестовых у тебя 75%, а на тренировочных? Если тоже 75%, значит усложняй модель (тут или 120х120 тебе мало или бери inception+resnet, архитектуры типа VGG - самые тормозные, смотри пикрелейтед, а судя по описанию у тебя именно VGG со стэком сверток и пулингов), если 99, увеличивай число данных - или вращениями-поворотами (сдвиги НЕ нужны, сверточные сети к ним устойчивы by design), а еще лучше намайнить больше. И так до победного.
Еще один даун не прочитал про bias-variance tradeoff. На тестовых у тебя 75%, а на тренировочных? Если тоже 75%, значит усложняй модель (тут или 120х120 тебе мало или бери inception+resnet, архитектуры типа VGG - самые тормозные, смотри пикрелейтед, а судя по описанию у тебя именно VGG со стэком сверток и пулингов), если 99, увеличивай число данных - или вращениями-поворотами (сдвиги НЕ нужны, сверточные сети к ним устойчивы by design), а еще лучше намайнить больше. И так до победного.
Ответы1000184
>>1000179
Кстати, про "намайнить больше" не пишут в научной литературе и кагле, которые заточена на победу в фиксированном датасете. Но в реальном мире это как раз основной способ, потому что рабочий день человека, размечающего данные, стоит раз в 10 меньше рабочего дня емельщика.
Кстати, про "намайнить больше" не пишут в научной литературе и кагле, которые заточена на победу в фиксированном датасете. Но в реальном мире это как раз основной способ, потому что рабочий день человека, размечающего данные, стоит раз в 10 меньше рабочего дня емельщика.
ии трхеда нинашел пишу здесь. накидайте годных челенджей с жирным призовым фондом из области ии, желательно кудахтер вижен.
Ответы1000206
>>1000206
на рентгене не могут найти черные пятна? хуета какаято
на рентгене не могут найти черные пятна? хуета какаято
Что можно почитать конкретно про подбор гиперпараметров нейроночек, с полным математическим обоснуем, но контрентрировано именно об этом?
>>1000206
Дай ссылку
Дай ссылку
>>983326
Блядь, ты че, не можешь определение загуглить?
Норма линейного пространства это отображение из V в R >=0 такое что ||av||=|a| ||v||, неравенство треугольника ||u+v||<=||u||+||v|| и что нулевую норму имеет только нулевой элемент. векторного пространства.
Блядь, ты че, не можешь определение загуглить?
Норма линейного пространства это отображение из V в R >=0 такое что ||av||=|a| ||v||, неравенство треугольника ||u+v||<=||u||+||v|| и что нулевую норму имеет только нулевой элемент. векторного пространства.
Есть большой датасет X_train и маленький x_train с лейблами y_train. Как в керасти претренировать модель на одном X_train и потом доучить на (x_train, y_train)?
Ответы1000569
>>1000555
А это имеет значение? Я думал в таких вещах обычно псевдокод какой-то. Всяко умею калякать.
А это имеет значение? Я думал в таких вещах обычно псевдокод какой-то. Всяко умею калякать.
>>983988
Продливаю вопрос этого анона.
Как там обучаться на 950, 1050ti? Или меньше 1060 даже не стоит пытаться?
Продливаю вопрос этого анона.
Как там обучаться на 950, 1050ti? Или меньше 1060 даже не стоит пытаться?
Ответы1000754
predict нейросеточки в керасе распознающей 10 категорий возвращает массив из 10 элементов, как собрать его в один ответ?
Ответы1000677
Посоветуйте годную книгу по теории вероятности для совсем нубов.
>>1000589
Зависит от задач. Если googlenet тебе норм, то можно и на 750M обучать, как я делаю. Вот VGG уже в пытку превращается. Но мне проще поработать с датасетом на простенькой сетке типа alexnet, добиться максимума производительности, а дальше взять сеть покруче и или подождать пару дней, или взять AWS. И только сейчас я созрел до покупки чего-то покруче, но это не то, без чего нельзя жить.
Зависит от задач. Если googlenet тебе норм, то можно и на 750M обучать, как я делаю. Вот VGG уже в пытку превращается. Но мне проще поработать с датасетом на простенькой сетке типа alexnet, добиться максимума производительности, а дальше взять сеть покруче и или подождать пару дней, или взять AWS. И только сейчас я созрел до покупки чего-то покруче, но это не то, без чего нельзя жить.
>>1000681
Интегралом Коши.
Интегралом Коши.
>>999787
Очень годная книга, написано все связно и очень понятно.
Очень годная книга, написано все связно и очень понятно.
Нейроны какие есть наиболее полные книги и ресурсы по обработке текстовых данных? Нероночки конечно заебись, но хотелось бы посмотреть на что-то кроме bag of words, tf-idf и word2vec.
Ответы1001096
126 Кб, 454x807
>>1001065
LSA, LDA, topicmodels например. Профильный обзор пакетов для R - https://cran.r-project.org/web/views/NaturalLanguageProcessing.html Тута любят кукарекать против R, специально для таких реквест - покажите-ка мне аналог вот такой штуки ftp://cran.r-project.org/pub/R/web/packages/LSAfun/LSAfun.pdf вна каком-нибудь пистоне, или что там сейчас модно у школьцов. Особенно обратите внимание на функцию MultipleChoice().
LSA, LDA, topicmodels например. Профильный обзор пакетов для R - https://cran.r-project.org/web/views/NaturalLanguageProcessing.html Тута любят кукарекать против R, специально для таких реквест - покажите-ка мне аналог вот такой штуки ftp://cran.r-project.org/pub/R/web/packages/LSAfun/LSAfun.pdf вна каком-нибудь пистоне, или что там сейчас модно у школьцов. Особенно обратите внимание на функцию MultipleChoice().
>>1000681
но мог бы и погуглить
Foundations of Statistical Natural Language Processing - Christopher D. Manning
Speech and Language Processing - Daniel Jurafsky and James H. Martin
есть большой пласт статей/книг по парсингу (синтаксису)
в этом курсе неплохой силлабас дан
http://cs287.fas.harvard.edu
но мог бы и погуглить
Foundations of Statistical Natural Language Processing - Christopher D. Manning
Speech and Language Processing - Daniel Jurafsky and James H. Martin
есть большой пласт статей/книг по парсингу (синтаксису)
в этом курсе неплохой силлабас дан
http://cs287.fas.harvard.edu
>>1001158
То и идти туда тебе особо не надо.
То и идти туда тебе особо не надо.
3663
Антон, поясни пожалуйста, что такое пространство весов, а то я что-то ничего не понимаю
Что такое particular neurons и strengths of the wrights
А то я пока лишь понял, что весы у нас принимаются за оси координат и ориентируясь на них мы можем разместить нейроны, это правильно?
>We think about the weights that connect into a particular neuron, and plot the strengths of the weights by using one axis for each weight that comes into the neuron, and plotting the position of the neuron as the location, using the value of w1 as the position on the 1st axis, the value of w2 on the 2nd axis, etc
Что такое particular neurons и strengths of the wrights
А то я пока лишь понял, что весы у нас принимаются за оси координат и ориентируясь на них мы можем разместить нейроны, это правильно?
Ответы1001466
>>1001446
Не слушай его.
Во-первых, у тебя будет научный руководитель. Правильное поступление, это когда ты поступаешь чтобы учиться-работать с конкретным человеком, с которым ты заранее познакомился в деловой (у меня было не очень деловой) переписке. Он пропихнет тебя в исследовательские группы и будет со всем помогать, потому вы связаны и ты тоже приносишь ему профит. Ну или если это старпер с перманентом, то будешь мыть полы в лаборатории и от него получишь только его имя на всех твоих пейперах, да пару внезапных встреч в году, во время которых он для профилактики тебя размажет.
Университет это первая и самая многообещающая ситуация, в которой ты оказываешься вместе с наиболее близкими тебе по интересам людьми, некоторым она так нравится, что они пробуют еще и еще с разными наборами человеков.
Не слушай его.
Во-первых, у тебя будет научный руководитель. Правильное поступление, это когда ты поступаешь чтобы учиться-работать с конкретным человеком, с которым ты заранее познакомился в деловой (у меня было не очень деловой) переписке. Он пропихнет тебя в исследовательские группы и будет со всем помогать, потому вы связаны и ты тоже приносишь ему профит. Ну или если это старпер с перманентом, то будешь мыть полы в лаборатории и от него получишь только его имя на всех твоих пейперах, да пару внезапных встреч в году, во время которых он для профилактики тебя размажет.
Университет это первая и самая многообещающая ситуация, в которой ты оказываешься вместе с наиболее близкими тебе по интересам людьми, некоторым она так нравится, что они пробуют еще и еще с разными наборами человеков.
Ответы1001501
>>1001453
Представь себе сетку из нейрона и двух весов. Тогда все возможные состояния такой сетки могут быть описаны парой чисел или точкой на плоскости. А обучение сети -- движением точки на плоскости по направлению градиента двумерной функции потерь. А теперь обобщи на случай миллиона весов. Все то же самое, только пространство многомерное.
Представь себе сетку из нейрона и двух весов. Тогда все возможные состояния такой сетки могут быть описаны парой чисел или точкой на плоскости. А обучение сети -- движением точки на плоскости по направлению градиента двумерной функции потерь. А теперь обобщи на случай миллиона весов. Все то же самое, только пространство многомерное.
139 Кб, 746x649
>>1001466
Причем, для доказательства сходимости нейроночки достаточно показать, что дифференциал функции Ляпунова отрицателен в любой момент времени.
>обучение сети -- движением точки на плоскости по направлению градиента двумерной функции потерь.
Причем, для доказательства сходимости нейроночки достаточно показать, что дифференциал функции Ляпунова отрицателен в любой момент времени.
>>1001492
Когда уже запретять всё это leave as an exercise говно.
Когда уже запретять всё это leave as an exercise говно.
>>1001459
Ну хуй знает, я не представляю кто будет моим руководителем, слава богу мне еще больше года до этого.
Как блять это поможет если никто с тобой не хочет общаться, Да никак.
Ну хуй знает, я не представляю кто будет моим руководителем, слава богу мне еще больше года до этого.
> которой ты оказываешься вместе с наиболее близкими тебе по интересам людьми,
Как блять это поможет если никто с тобой не хочет общаться, Да никак.
>>1001528
Не правда, думаю единицы людей из треда и вообще машоба знают про функцию Ляпунова, а ты просто потраллить решил.
Не правда, думаю единицы людей из треда и вообще машоба знают про функцию Ляпунова, а ты просто потраллить решил.
>>1001594
Как же вы заебали.
Как же вы заебали.
>>1001594
Этого нет в программе, только если йоба-вуз.
Этого нет в программе, только если йоба-вуз.
Сап двачик, дай совет нубасу. Сейчас штудирую Мёрфи , параллельно с этим какой практикой заняться?
Ответы1002079
>>1001619
Какая разница? Такая сетка - это функция f(x,y), а вид этой функции может быть любым.
Какая разница? Такая сетка - это функция f(x,y), а вид этой функции может быть любым.
Тут есть биомнформатики? Заканчиваю 6 курс, хочу в вкатиться в машобчик, что посоветуете, куда идти? Что-нибудь про Михаила Бурцева с его нейросетями можете сказать?
Ответы1004324
Есть профит объединять LPCC и MFCC?
>>1001626
Kaggle, MNIST
Kaggle, MNIST
80 Кб, 707x1000
Какие вы используете алгоритмы для подбора количества нейронов, слоев, всяких размеров, скорости обучения?
Каким образом нейроны из пространства весов размещаются в пространстве входов? Если нейроны из пространства весов меняют свое местоположение в зависимости от значений весов, то как устроено пространство входов?
Ответы1002528
>>1002520
Ты походу представляешь себе какое-то космическое пространство, где что-то где-то размещается.
А есть просто нейроночка, которая является просто функцией вида выход1...выходN=f(вход1, ... входN, параметр1, ..., параметрN).
Чтобы подогнать вход к выходу мы должны зафиксировать вход и выход и сделать границентный спуск в пространстве параметр1...параметрN. Отсюда собственно это пространство и возникает. А если ты фиксируешь параметры, то возникает пространство входных данных. А если ничего не фиксируется - еще какое-то пространство. И т. п.
Поэтому все обучение машобу и начинают с линейной регрессии выход=вход*k+b. Всего 1 вход, 1 выход и 2 параметра. Поэтому легко представить аналогии в 2д или 3д пространстве. А если ты сразу начинаешь работать с глубокими сетями, где у сетки миллиарды параметров и сотни тысяч входов с выходами, понятно, что нихуя не понятно, что происходит.
>Каким образом нейроны из пространства весов размещаются в пространстве входов?
Ты походу представляешь себе какое-то космическое пространство, где что-то где-то размещается.
А есть просто нейроночка, которая является просто функцией вида выход1...выходN=f(вход1, ... входN, параметр1, ..., параметрN).
Чтобы подогнать вход к выходу мы должны зафиксировать вход и выход и сделать границентный спуск в пространстве параметр1...параметрN. Отсюда собственно это пространство и возникает. А если ты фиксируешь параметры, то возникает пространство входных данных. А если ничего не фиксируется - еще какое-то пространство. И т. п.
Поэтому все обучение машобу и начинают с линейной регрессии выход=вход*k+b. Всего 1 вход, 1 выход и 2 параметра. Поэтому легко представить аналогии в 2д или 3д пространстве. А если ты сразу начинаешь работать с глубокими сетями, где у сетки миллиарды параметров и сотни тысяч входов с выходами, понятно, что нихуя не понятно, что происходит.
АНОН ПОМОГАЙ!
Вот есть у меня классификатор. Он дает на тестовом датасете из 10 примеров 80% пресижона и 80% реколла.
А вот есть другой классификатор, он на миллионе примеров дает 80% пресижона и 80% реколла.
Можно ли как-нибудь обоснованно сравнить (а еще лучше - измерить количественно) их качество?
На уровне ощущений понятно, что тот, который измерен на тысяче примеров более правдоподобед, но не знаю как это доказать.
Память подсказывает что на втором курсе и лабах по физике что-то было связанное с коэффицентами стьюдента и хи квадратом, но я пока не уверен, туда ли я копаю.
Вот есть у меня классификатор. Он дает на тестовом датасете из 10 примеров 80% пресижона и 80% реколла.
А вот есть другой классификатор, он на миллионе примеров дает 80% пресижона и 80% реколла.
Можно ли как-нибудь обоснованно сравнить (а еще лучше - измерить количественно) их качество?
На уровне ощущений понятно, что тот, который измерен на тысяче примеров более правдоподобед, но не знаю как это доказать.
Память подсказывает что на втором курсе и лабах по физике что-то было связанное с коэффицентами стьюдента и хи квадратом, но я пока не уверен, туда ли я копаю.
Ответы1002915
>>1002915
Я про оценку точности классификации. Не может же оценка точности базироваться только на отношениями внутри конфьюжен матрикс, естественно, что чем больше выборка, тем более классификатор правдоподобен.
Я про оценку точности классификации. Не может же оценка точности базироваться только на отношениями внутри конфьюжен матрикс, естественно, что чем больше выборка, тем более классификатор правдоподобен.
Ответы1002986
>>1002970
Да нет, конечно правдоподобность классификатора не зависит от того, как ты его тестируешь. Что изменится, так это доверительный интервал. Довольно бесполезная штука на самом деле, поэтому если интересно, поройся сам.
То есть если в первом случае у тебя вероятность false positive 80+-3sigma1 с вероятностью 99%. Во втором - 80+-3sigma2 с вероятностью 99%, и там и там будет 80, но отличаться будет этот +-, ведь чем меньше ты протестировал, тем меньше ты знаешь.
Смотри https://stackoverflow.com/questions/41068858/confidence-interval-margin-of-recall-or-precision
Формулу он предлагает следующую:
p +/- Z_score_at_alpha * std_error где
p = adjusted_recall=TP+2/(TP+FN+4)
std_error = sqrt(adjusted_recall(1-adjusted_recall)/(N+4))
TP - true positive, FN - false negative, N - число в выборке,
Z_score_at_alpha - какаую-то хуйня по типу коэффициента Стьюдента
Но это довольно бесполезная вещь, мы не ракеты производим, чтобы делать выводы по 10 образцам, сравнивать классификаторы нужно на одном датасете.
Да нет, конечно правдоподобность классификатора не зависит от того, как ты его тестируешь. Что изменится, так это доверительный интервал. Довольно бесполезная штука на самом деле, поэтому если интересно, поройся сам.
То есть если в первом случае у тебя вероятность false positive 80+-3sigma1 с вероятностью 99%. Во втором - 80+-3sigma2 с вероятностью 99%, и там и там будет 80, но отличаться будет этот +-, ведь чем меньше ты протестировал, тем меньше ты знаешь.
Смотри https://stackoverflow.com/questions/41068858/confidence-interval-margin-of-recall-or-precision
Формулу он предлагает следующую:
p +/- Z_score_at_alpha * std_error где
p = adjusted_recall=TP+2/(TP+FN+4)
std_error = sqrt(adjusted_recall(1-adjusted_recall)/(N+4))
TP - true positive, FN - false negative, N - число в выборке,
Z_score_at_alpha - какаую-то хуйня по типу коэффициента Стьюдента
Но это довольно бесполезная вещь, мы не ракеты производим, чтобы делать выводы по 10 образцам, сравнивать классификаторы нужно на одном датасете.
Ответы1003258
Как в играх с неполной информацией оценивать в какой момент был сделан ход, приведший к проигрышу?
Вот пример. Играю в покер. Мне на префлопе пришли ракеты (два туза). Это лучшая комбинация, которая может придти. Мы проходим флоп, тёрн и ривер и оказывается, что победил чувак, которому на префлопе пришли AK (туз и король), на флопе на столе лежал один короли, и на ривере пришел один король, таким образом он выигрывает с сетом из королей. Вот в какой момент решение не скидывать/коллировать/рейзить было неправильным? Или оно было правильным в любом случае?
Вот пример. Играю в покер. Мне на префлопе пришли ракеты (два туза). Это лучшая комбинация, которая может придти. Мы проходим флоп, тёрн и ривер и оказывается, что победил чувак, которому на префлопе пришли AK (туз и король), на флопе на столе лежал один короли, и на ривере пришел один король, таким образом он выигрывает с сетом из королей. Вот в какой момент решение не скидывать/коллировать/рейзить было неправильным? Или оно было правильным в любом случае?
Ответы1003263
>>1002986
Спасибо, примерно такое я и хотел прочитать.
Спасибо, примерно такое я и хотел прочитать.
Сап двачик. Что можно почитать что-бы понять графовые модели если мне еще не читали дисткретку и теорвер.
Я смогу в ИИ на Питоне?
Ответы1003285
>>1003263
Хорошо, и как это задавать? В смысле как распознавать ситуацию "этот ход правильный в любом случае". Не в контексте покера, а вообще. Перебором что ли?
Хорошо, и как это задавать? В смысле как распознавать ситуацию "этот ход правильный в любом случае". Не в контексте покера, а вообще. Перебором что ли?
Ответы1003426
>>1003283
Потребуется на порядок больше мощностей чем на си и пропорционально ускорится скорость разработки.
Потребуется на порядок больше мощностей чем на си и пропорционально ускорится скорость разработки.
>>1003285
на питоне быстрее же
на питоне быстрее же
>>1003285
зачем си, когда плюсы есть?
зачем си, когда плюсы есть?
Помогите за три минуты простенький ИИ слепить на питоне.
Ответы1003366
>>1003284
Ну не совсем перебором. Есть такая тема как reinforcement learning, в частности, POMDP, марковский процесс принятия решений в частично наблюдаемой ситуации. Возможно, подобные алгоритмы и могут в покер, но количество партий для обучения должно быть большим.
Ну не совсем перебором. Есть такая тема как reinforcement learning, в частности, POMDP, марковский процесс принятия решений в частично наблюдаемой ситуации. Возможно, подобные алгоритмы и могут в покер, но количество партий для обучения должно быть большим.
Как сделать ИИ, как сделать ИИ, как сделать ИИ?
Ответы1003589
>>1003426
Да там же ещё с подпивасами нельзя играть, которые просто на #yolo идут в алл ин, когда у них 2 2.
Да там же ещё с подпивасами нельзя играть, которые просто на #yolo идут в алл ин, когда у них 2 2.
Ответы1004583
Ну, посоветуйте чего-то там по математической оптимизации и всему подобному. Дабы легко разбираться во всех этих целевых функциях, имитациях отжига и прочим.
>>1003589
ты всё усложняешь, вот что я понел
ты всё усложняешь, вот что я понел
анон, а что насчет улучшения нейрочки после обучения, каким образом тот же предиктивный набор подстраивается под владельца? Можно как то "дообучивать" нейронку или как?
Ответы1003714
>>1003708
Сохраняй архитектуру, веса, параметры и доучивай сколько хочешь. Обязательное условие для лаба2 по нейроночкам.
Сохраняй архитектуру, веса, параметры и доучивай сколько хочешь. Обязательное условие для лаба2 по нейроночкам.
433 Кб, 640x960
Сейчас только один тип ИИ что ли? Тот который машинное обучение, а другие типы что?
Ответы1003732
>>1003578
Ну что же вы бэтмэны
Ну что же вы бэтмэны
>>1003743
Т.е. ИИ эволюционирует и может взаимодействовать с внешним миром, ясное дело.
Но это лишь вспомогательная возможность. Когда ИИ изучит окружающий Мир, Вселенную и то, что рядом с ней, на этом же эволюция не должна будет остановиться.
Т.е. ИИ эволюционирует и может взаимодействовать с внешним миром, ясное дело.
Но это лишь вспомогательная возможность. Когда ИИ изучит окружающий Мир, Вселенную и то, что рядом с ней, на этом же эволюция не должна будет остановиться.
>>1003743
Это обучение не на данных размеченных экспертами, а на собственном опыте модели, взаимодействующей со средой, при этом она сама определяет как взаимодействовать. Видишь разницу.
Это обучение не на данных размеченных экспертами, а на собственном опыте модели, взаимодействующей со средой, при этом она сама определяет как взаимодействовать. Видишь разницу.
Возникла идея в целях мам-саморазвития и изучения нейроночек на примере написать бота для одной древней пошаговой карточной онлайн-игры.
Проблема в том, что там реплеи черезжопные, а именно -не видно карт ни того, ни другого игрока. Видна вся остальная информация - мана, ее прирост, ходы, хп и тд, а вот карт нет. Но при этом карт достаточно много, и при выборе хода, офк, надо обязательно учитывать текущую твою руку.
Насколько отсутствие информации о возможных ходах в данном случае является проблемой при обучении? Как подойти вообще к обучению, чтобы это не сильно снизило итоговый % побед?
Проблема в том, что там реплеи черезжопные, а именно -не видно карт ни того, ни другого игрока. Видна вся остальная информация - мана, ее прирост, ходы, хп и тд, а вот карт нет. Но при этом карт достаточно много, и при выборе хода, офк, надо обязательно учитывать текущую твою руку.
Насколько отсутствие информации о возможных ходах в данном случае является проблемой при обучении? Как подойти вообще к обучению, чтобы это не сильно снизило итоговый % побед?
Есть 2 разные новостные статьи. Нужно как-нибудь определить общая ли у них тема или нет. Есть готовые решения?
>>1003915
покажи свой концепт тогда, сам съебал.
покажи свой концепт тогда, сам съебал.
P(Ci, Xj ) = P(Xj |Ci)P(Ci)
Антон, я правильно понимаю, чтобы найти совместную вероятность, надо сначала найти сколько Ci есть в Xj (условная вероятность) и потом умножить на Ci?
В книге почему-то говорится находить условную вероятность и делить на число примеров из вообще любого класса.
А в формуле из гугла, согласно Multiplication rulre умножение.
Антон, я правильно понимаю, чтобы найти совместную вероятность, надо сначала найти сколько Ci есть в Xj (условная вероятность) и потом умножить на Ci?
В книге почему-то говорится находить условную вероятность и делить на число примеров из вообще любого класса.
>We do this by looking in histogram bin Xj , counting the number of examples of class Ci that are in it, and dividing by the total number of examples (of any class).
А в формуле из гугла, согласно Multiplication rulre умножение.
Ответы1004019
>>1003578
Ну, какие бы книги?
Ну, какие бы книги?
>>1003578
Мехмат можешь закончить
Мехмат можешь закончить
Я сворачиваюсь клубочком и плачу. Я выделил из объектов фичи, классифицировал объекты (там 50% принадлежат одному классу), подал всё на XGBoost, он натренировал свой лес так, что лес всегда отдаёт константу. Я стёр 80% фич и оставил только те, которые 100% (заведомо) имеют корреляцию с классом объета. xgboost всё равно отдаёт константу, но чуть другую. Я срезал всё кроме 3+2x2 фич (ещё 2 фичи всегда null). xgboost отдаёт третью константу. В 46% случаев он прав, но это бесполезно, потому что я и так знаю, что половина объектов принадлежит конкретно этому классу.
Что делать? Реальных объектов осталось мало, потому что я оставил только те объекты, которые имеют хотя бы одну из двух пар фич.
http://rgho.st/8vTLNcg5b вот входные данные для обучения. Думаю, понятно что тут где
Что делать? Реальных объектов осталось мало, потому что я оставил только те объекты, которые имеют хотя бы одну из двух пар фич.
http://rgho.st/8vTLNcg5b вот входные данные для обучения. Думаю, понятно что тут где
Ответы1004402
>>1001643
я здесь, занимаюсь биоинфой и машобом нейронок. Вкатывайся на запад, че в рашке сидеть.
я здесь, занимаюсь биоинфой и машобом нейронок. Вкатывайся на запад, че в рашке сидеть.
Ответы1004831
38 Кб, 858x417
>>1004402
Что из этого итерации? maxdepth? Я до 15 увеличил.
Да, я неофициальную обертку использую https://github.com/PicNet/XGBoost.Net
Что из этого итерации? maxdepth? Я до 15 увеличил.
Да, я неофициальную обертку использую https://github.com/PicNet/XGBoost.Net
>>1004471
>>1004402
ага, заглянул в исходники библиотеки. "Итерации" это "estimators"
>>1004485
Сейчас разбираюсь как задать
>>1004402
ага, заглянул в исходники библиотеки. "Итерации" это "estimators"
>>1004485
Сейчас разбираюсь как задать
Ответы1004499
433 Кб, 640x960
nya="Всем привет, Няши!";print(gdjh.replace('т', 'У').replace('ши', 'И!!').replace("Все", "Я").replace('Н', 'Х').replace('м п', ' С').replace('р', 'О').replace('я', 'У').replace('иве', 'С'));
7 Кб, 728x77
>>1004489
>>1004485
Замечательная библиотека. Чтобы передать параметр, надо его установить через SetParameter, а потом в fit передать любой Dictionary, его библиотека всё равно игнорирует.
В общем, я задавал gbtree, gblinear и dart. Если не задавать параметр, то XGBoost всегда возвращает 0.6091954. Если задавать любой из трёх, то возвращается всегда (при каждом запуске) немного разное 0.6091884 / 0.6091871 / 0.6091864. Но больше ничего не меняется. Функция Update точно запускается 100-1000 раз, тоже ничего не меняется. Кол-во деревьев тоже менял — тоже ничего не меняется.
Ни у кого нет возможности взять тот дата-сет, который я скинул http://rgho.st/8vTLNcg5b и прогнать в Питоне, например, или в Джаве? Может дело всё таки в дата-сете. Я уверен, что там есть корреляция
>>1004485
Замечательная библиотека. Чтобы передать параметр, надо его установить через SetParameter, а потом в fit передать любой Dictionary, его библиотека всё равно игнорирует.
В общем, я задавал gbtree, gblinear и dart. Если не задавать параметр, то XGBoost всегда возвращает 0.6091954. Если задавать любой из трёх, то возвращается всегда (при каждом запуске) немного разное 0.6091884 / 0.6091871 / 0.6091864. Но больше ничего не меняется. Функция Update точно запускается 100-1000 раз, тоже ничего не меняется. Кол-во деревьев тоже менял — тоже ничего не меняется.
Ни у кого нет возможности взять тот дата-сет, который я скинул http://rgho.st/8vTLNcg5b и прогнать в Питоне, например, или в Джаве? Может дело всё таки в дата-сете. Я уверен, что там есть корреляция
Ответы1004501
>>1004499
Хгбуст здорового человека - через враппер для R https://cran.r-project.org/web/packages/xgboost/ , хгбуст курильщика - всякие мутные сборачки, в которых хуй проссышь как передать программе нужный параметр.
Хгбуст здорового человека - через враппер для R https://cran.r-project.org/web/packages/xgboost/ , хгбуст курильщика - всякие мутные сборачки, в которых хуй проссышь как передать программе нужный параметр.
Ответы1004503
>>1004501
Если бы я хотел выучить R/Пистон, я бы их выучил. Сама библиотека в целом работает. На синтетических данных выдаёт то, что надо. Вот сейчас ещё синтетики генерю, чтобы убедиться
Если бы я хотел выучить R/Пистон, я бы их выучил. Сама библиотека в целом работает. На синтетических данных выдаёт то, что надо. Вот сейчас ещё синтетики генерю, чтобы убедиться
А что за язык R, в чем его фишка?
Я смотрел примеры в гугле, какая-то хуита, построение графиков, это и на Visual Basic в Excel можно сделать.
мимокрокодил
Я смотрел примеры в гугле, какая-то хуита, построение графиков, это и на Visual Basic в Excel можно сделать.
мимокрокодил
>>1004524
язык для мат. анализа
язык для мат. анализа
433 Кб, 640x960
nya="Всем привет, Няши!";print(nya.replace('т', 'У').replace('ши', 'И!!').replace("Все", "Я").replace('Н', 'Х').replace('м п', ' С').replace('р', 'О').replace('я', 'У').replace('иве', 'С'));
while True:print(u'\u041F\u041E\u041A\u002D', end="")
while True:print(u'\u041F\u041E\u041A\u002D', end="")
>>1004524
Язык для любой обработки данных, статистических вычислений, машинного обучения.
В екселе нет 10000+ библиотек, реализующих сотни тысяч алгоритмов для любой работы с данными.
>А что за язык R, в чем его фишка?
Язык для любой обработки данных, статистических вычислений, машинного обучения.
>какая-то хуита, построение графиков, это и на Visual Basic в Excel можно сделать.
В екселе нет 10000+ библиотек, реализующих сотни тысяч алгоритмов для любой работы с данными.
>>1004503
Пинаю керас в питоне, как реализовать конволюционный энкодер? У меня на вход подается картинка (32,32,3), а на выходе я хочу получить (8, 4, 4), но как бы я не делал, выводится ошибка что последний слой нейроночки ожидает получить (8, 4, 4), а получает (32,32,3).
Пинаю керас в питоне, как реализовать конволюционный энкодер? У меня на вход подается картинка (32,32,3), а на выходе я хочу получить (8, 4, 4), но как бы я не делал, выводится ошибка что последний слой нейроночки ожидает получить (8, 4, 4), а получает (32,32,3).
>>1004503
Сук, эта либа меня затролила))
Я уже генерю сеты из рандомных значений, где output вообще не связан с input. Даже там библиотека каким-то образом умудряется возвращать разные числа. А на реальных данных — константу
Сук, эта либа меня затролила))
Я уже генерю сеты из рандомных значений, где output вообще не связан с input. Даже там библиотека каким-то образом умудряется возвращать разные числа. А на реальных данных — константу
>>1004552
Да, конечно, сори, я не спал уже очень-очень давно. Спасибо, уже отдебажил через model.summary()
Да, конечно, сори, я не спал уже очень-очень давно. Спасибо, уже отдебажил через model.summary()
47 Кб, 550x449
Чем можно добиться хотя бы 50% на CIFAR-10, если можно учить всего на 5 000 изображениях из 50 000? Да, датасет тот же, но в нем только десятая часть, в этом суть.
Ответы1005193
А вы можете, епта, читать научные статьи свежайшие по теме машинного обучения и даже понимать их? Долго надо прокачивать сей навык? А как?
Ну, а внедрять последние технологии, наверное, сложновато, да? Мол там в научных статьях всяких кластеры, хитрые сплетения и прочее.
Ну, а внедрять последние технологии, наверное, сложновато, да? Мол там в научных статьях всяких кластеры, хитрые сплетения и прочее.
Ответы1004764
>>979045 (OP)
Только сейчас заметил:
Наркоманы штоле?
Только сейчас заметил:
> В России потребителями ваших знаний могут стать: Яндекс, Mail.ru, Вконтакте, Rambler, Касперский, Билайн, Связной, ABBYY, Хуавэй.
>Хуавэй
>В России
Наркоманы штоле?
Ответы1004684
>>1004684
Интересно, зачем ML специалисты компании, бизнес которой построен на продаже нищебродских ноунейм модемов.
Интересно, зачем ML специалисты компании, бизнес которой построен на продаже нищебродских ноунейм модемов.
Ответы1004745
https://2ch.hk/pr/res/1004751.html (
М)
https://2ch.hk/pr/res/1004751.html (М)
https://2ch.hk/pr/res/1004751.html (М)
https://2ch.hk/pr/res/1004751.html (М)
https://2ch.hk/pr/res/1004751.html (М)
https://2ch.hk/pr/res/1004751.html (М)
https://2ch.hk/pr/res/1004751.html (М)
https://2ch.hk/pr/res/1004751.html (М)
https://2ch.hk/pr/res/1004751.html (М)
https://2ch.hk/pr/res/1004751.html (М)
https://2ch.hk/pr/res/1004751.html (М)
М)https://2ch.hk/pr/res/1004751.html (
М)https://2ch.hk/pr/res/1004751.html (
М)https://2ch.hk/pr/res/1004751.html (
М)https://2ch.hk/pr/res/1004751.html (
М)https://2ch.hk/pr/res/1004751.html (
М)https://2ch.hk/pr/res/1004751.html (
М)https://2ch.hk/pr/res/1004751.html (
М)https://2ch.hk/pr/res/1004751.html (
М)https://2ch.hk/pr/res/1004751.html (
М)https://2ch.hk/pr/res/1004751.html (
М)>>1004609
прочитай про one-shot learning или few-shot learning. Там такая задача как раз решается.
прочитай про one-shot learning или few-shot learning. Там такая задача как раз решается.
Заебался вручную писать нейросети. Понял, что нужно писать на питоне, но какую либу использовать и какие книги читать?
ИИ - прошлый век. Совсем другое дело - Распределённый планетарный СверхИнтеллект!
Тред утонул или удален.
Это копия, сохраненная 28 июня 2017 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Это копия, сохраненная 28 июня 2017 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.