Этого треда уже нет.
Это копия, сохраненная 2 января 2017 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Это копия, сохраненная 2 января 2017 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
28 Кб, 375x335
749 Кб, 1212x388
1144 Кб, 2480x1704
книги
Pattern Recognition and Machine Learning, Bishop.
Information theory, inference & learning algorithms, MacKay http://www.inference.phy.cam.ac.uk/itila/
Machine Learning: A Probabilistic Perspective, Murphy
Introduction to Statistical Learning ( http://www-bcf.usc.edu/~gareth/ISL/ISLR Sixth Printing.pdf )
Elements of Statistical Learning ( http://statweb.stanford.edu/~tibs/ElemStatLearn/printings/ESLII_print10.pdf )
Foundations of Machine Learning, أشهد أن لا إله إلا الله وأشهد أن محمد رسول الله. http://www.cs.nyu.edu/~mohri/mlbook/
А. Пегат, "Нечёткое моделирование и управление"
другое
http://libgen.io / http://bookzz.org/ - здесь можно одолжить ^ книги и не только
http://arxiv.org/find/all/1/all:+nejronochki/0/1/0/all/0/1
https://www.reddit.com/r/MachineLearning/wiki/index
https://vk.com/deeplearning и http://deeplearning.net/reading-list/
https://www.kadenze.com/courses/creative-applications-of-deep-learning-with-tensorflow/info тюториал по slesarflow
http://rgho.st/8g68fTCSx две брошюры по deep learning для слесарей.
http://kaggle.com - весёлые контесты. денежные призы
https://www.hackerrank.com/domains/ai/machine-learning/difficulty/all/page/1 - олимпиадки
курс от китаёзы
http://videolectures.net/mlss09uk_cambridge/
яп
1. http://julialang.org/
2. https://www.microsoft.com/en-us/research/project/infernet/
3. https://www.r-project.org/
4. питухон и так все знают
5. idris/coq - модные яп для формально верифицированных нейроночек с тренировкой на этапе компиляции
ПЛАТИНА
Книги хорошо, но с чего начать практический вкат?
Во-первых, вам нужна любая unix-based система. На Windows возможно запустить нижеперечисленное, но ждите пердолева с настройкой и неодобрительных взглядов анонимуса. Кроме того, в компаниях, так или иначе связанных с разработкой йоба-ПО и machine learningом, Linux/OS X является стандартом. Привыкайте.
Во-вторых, определитесь с языком. Python и C++ наиболее мейнстримовые инструменты, с ними вы без еды не останетесь. Есть еще R, на котором пацаны живут статистикой и анальными пакетами. Некоторые инструменты являются языко-независимыми (Vowpal Vabbit, XGBoost), но обвязывать их вы все равно будете из какой-либо среды.
На Java разработано много production-ready инструментов для бигдаты и если вы угораете по терабайтам данных, то имеет смысл посмотреть в её сторону. Впрочем, лучше это делать уже потом, когда прийдет осознание потребностей.
В-третих, выбирайте себе задачу. Что угодно: распознать качпу, обнаружить ботов по логам, найти раковых больных. Список можно посмотреть, например, на kaggle.com. После чего приступаете к решению выбранной задачи.
Не прийдется ли мне потом с таким наборищем знаний идти в макдак работать?
Несмотря на хайп вокруг ML, далеко не во всех IT компания есть необходимость в ML и понимание круга задач, которые можно решить этими методами. Но поверьте, в 2017 компетентный специалист будет востребован. В России потребителями ваших знаний могут стать: Яндекс, Mail.ru, Вконтакте, Rambler, Касперский, Билайн, Связной, ABBYY, Хуавэй. В биоинформатике есть определенный спрос, можно поскролить http://blastim.ru
Здорово, но я так и не понял чем же вы занимаетесь в IT компаниях?
Попытаюсь ответить со своей колокольни и сразу хочу предупредить, что это едва ли консенсуальное мнение.
ML-специалист - это такое зонтичное определение для человека, способного увидеть проблему, выгрепать кучу логов и данных, посмотреть на них, придумать решение проблемы и врезать это решение его в продакшн. По сути, это кодер, решающий не чисто технические, а, в некотором роде, человеческие проблемы.
Имхо, мы все же остаемся в первую очередь разработчиками.
Что такое TensorFlow?
TensorFlow - опенсорсный гугловый инструмент для перемножения тензоров и оптимизации функционалов. Опенсорсный - потому что даже важные куски типа параллелизации уже выкачены в паблик. Если вам все ещё непонятно что это, значит это вам и не нужно, сириусли. Google перестарался с рекламой и теперь люди думают, что TF - это серебряная пуля и затычка для каждой бочки. До TF был Theano, который выполнял свою работу не хуже. И, в отличии от TF, он уже находится в стабильной фазе.
будет ли ML нужен в ближайшие 10 лет, или это просто хайп?
будет. хайп.
смогу найти работу?
Яндекс, мейлру, касперский, несколько биоинформатических компаний (iBinom, можно еще blastim.ru поскролить на тему работы), билайн (они с НГ целое подразделение открыли под ML и биг дату), связной. Ну и западные аутсорсы, если готов рачить за валюту.
нужна математика?
для начинающего ничего особого знать не нужно
https://www.amazon.co.uk/Calculus-Michael-Spivak-x/dp/0521867444
https://www.amazon.co.uk/dp/0534422004/ref=pd_lpo_sbs_dp_ss_2?pf_rd_p=569136327&pf_rd_s=lpo-top-stripe&pf_rd_t=201&pf_rd_i=0980232716&pf_rd_m=A3P5ROKL5A1OLE&pf_rd_r=3TZ38AZ2BY28R19H4SA5
https://www.amazon.co.uk/Calculus-Several-Variables-Undergraduate-Mathematics/dp/0387964053
https://www.amazon.co.uk/Introduction-Probability-Dimitri-P-Bertsekas/dp/188652923X
поясните за нейроночки
нейроночка - массив
шад)))
Нет там ничего ML-специфичного, знание матана и теорвера на уровне заборостроительного вуза. Теорвер проходится на третьем курсе, как раз 20 лет.
Рандомный хрен туда не сможет поступить, потому что планка намеренно задрана, а не потому что там такая охуенно сложная программа. Это традиционная наебка "элитных учебных заведений", в которой учат так же хуево, как и везде, но за счет отбора поступающих якобы формируются неебовые успехи, которые объясняются именно качеством преподавания.
Иными словами, у тех, кто способен поступить, и так в жизни проблем с трудоустройством не будет.
Тред #1: https://arhivach.org/thread/147800/
Тред #2: https://arhivach.org/thread/170611/
Тред #3: https://arhivach.org/thread/179539/
Тред #4: https://arhivach.org/thread/185385/
Тред #5: https://arhivach.org/thread/186283/
Тред #6: https://arhivach.org/thread/187794/
Тред #7: https://arhivach.org/thread/196781/
Тред #8: https://arhivach.org/thread/209934/
Pattern Recognition and Machine Learning, Bishop.
Information theory, inference & learning algorithms, MacKay http://www.inference.phy.cam.ac.uk/itila/
Machine Learning: A Probabilistic Perspective, Murphy
Introduction to Statistical Learning ( http://www-bcf.usc.edu/~gareth/ISL/ISLR Sixth Printing.pdf )
Elements of Statistical Learning ( http://statweb.stanford.edu/~tibs/ElemStatLearn/printings/ESLII_print10.pdf )
Foundations of Machine Learning, أشهد أن لا إله إلا الله وأشهد أن محمد رسول الله. http://www.cs.nyu.edu/~mohri/mlbook/
А. Пегат, "Нечёткое моделирование и управление"
другое
http://libgen.io / http://bookzz.org/ - здесь можно одолжить ^ книги и не только
http://arxiv.org/find/all/1/all:+nejronochki/0/1/0/all/0/1
https://www.reddit.com/r/MachineLearning/wiki/index
https://vk.com/deeplearning и http://deeplearning.net/reading-list/
https://www.kadenze.com/courses/creative-applications-of-deep-learning-with-tensorflow/info тюториал по slesarflow
http://rgho.st/8g68fTCSx две брошюры по deep learning для слесарей.
http://kaggle.com - весёлые контесты. денежные призы
https://www.hackerrank.com/domains/ai/machine-learning/difficulty/all/page/1 - олимпиадки
курс от китаёзы
http://videolectures.net/mlss09uk_cambridge/
яп
1. http://julialang.org/
2. https://www.microsoft.com/en-us/research/project/infernet/
3. https://www.r-project.org/
4. питухон и так все знают
5. idris/coq - модные яп для формально верифицированных нейроночек с тренировкой на этапе компиляции
ПЛАТИНА
Книги хорошо, но с чего начать практический вкат?
Во-первых, вам нужна любая unix-based система. На Windows возможно запустить нижеперечисленное, но ждите пердолева с настройкой и неодобрительных взглядов анонимуса. Кроме того, в компаниях, так или иначе связанных с разработкой йоба-ПО и machine learningом, Linux/OS X является стандартом. Привыкайте.
Во-вторых, определитесь с языком. Python и C++ наиболее мейнстримовые инструменты, с ними вы без еды не останетесь. Есть еще R, на котором пацаны живут статистикой и анальными пакетами. Некоторые инструменты являются языко-независимыми (Vowpal Vabbit, XGBoost), но обвязывать их вы все равно будете из какой-либо среды.
На Java разработано много production-ready инструментов для бигдаты и если вы угораете по терабайтам данных, то имеет смысл посмотреть в её сторону. Впрочем, лучше это делать уже потом, когда прийдет осознание потребностей.
В-третих, выбирайте себе задачу. Что угодно: распознать качпу, обнаружить ботов по логам, найти раковых больных. Список можно посмотреть, например, на kaggle.com. После чего приступаете к решению выбранной задачи.
Не прийдется ли мне потом с таким наборищем знаний идти в макдак работать?
Несмотря на хайп вокруг ML, далеко не во всех IT компания есть необходимость в ML и понимание круга задач, которые можно решить этими методами. Но поверьте, в 2017 компетентный специалист будет востребован. В России потребителями ваших знаний могут стать: Яндекс, Mail.ru, Вконтакте, Rambler, Касперский, Билайн, Связной, ABBYY, Хуавэй. В биоинформатике есть определенный спрос, можно поскролить http://blastim.ru
Здорово, но я так и не понял чем же вы занимаетесь в IT компаниях?
Попытаюсь ответить со своей колокольни и сразу хочу предупредить, что это едва ли консенсуальное мнение.
ML-специалист - это такое зонтичное определение для человека, способного увидеть проблему, выгрепать кучу логов и данных, посмотреть на них, придумать решение проблемы и врезать это решение его в продакшн. По сути, это кодер, решающий не чисто технические, а, в некотором роде, человеческие проблемы.
Имхо, мы все же остаемся в первую очередь разработчиками.
Что такое TensorFlow?
TensorFlow - опенсорсный гугловый инструмент для перемножения тензоров и оптимизации функционалов. Опенсорсный - потому что даже важные куски типа параллелизации уже выкачены в паблик. Если вам все ещё непонятно что это, значит это вам и не нужно, сириусли. Google перестарался с рекламой и теперь люди думают, что TF - это серебряная пуля и затычка для каждой бочки. До TF был Theano, который выполнял свою работу не хуже. И, в отличии от TF, он уже находится в стабильной фазе.
будет ли ML нужен в ближайшие 10 лет, или это просто хайп?
будет. хайп.
смогу найти работу?
Яндекс, мейлру, касперский, несколько биоинформатических компаний (iBinom, можно еще blastim.ru поскролить на тему работы), билайн (они с НГ целое подразделение открыли под ML и биг дату), связной. Ну и западные аутсорсы, если готов рачить за валюту.
нужна математика?
для начинающего ничего особого знать не нужно
https://www.amazon.co.uk/Calculus-Michael-Spivak-x/dp/0521867444
https://www.amazon.co.uk/dp/0534422004/ref=pd_lpo_sbs_dp_ss_2?pf_rd_p=569136327&pf_rd_s=lpo-top-stripe&pf_rd_t=201&pf_rd_i=0980232716&pf_rd_m=A3P5ROKL5A1OLE&pf_rd_r=3TZ38AZ2BY28R19H4SA5
https://www.amazon.co.uk/Calculus-Several-Variables-Undergraduate-Mathematics/dp/0387964053
https://www.amazon.co.uk/Introduction-Probability-Dimitri-P-Bertsekas/dp/188652923X
поясните за нейроночки
нейроночка - массив
шад)))
Нет там ничего ML-специфичного, знание матана и теорвера на уровне заборостроительного вуза. Теорвер проходится на третьем курсе, как раз 20 лет.
Рандомный хрен туда не сможет поступить, потому что планка намеренно задрана, а не потому что там такая охуенно сложная программа. Это традиционная наебка "элитных учебных заведений", в которой учат так же хуево, как и везде, но за счет отбора поступающих якобы формируются неебовые успехи, которые объясняются именно качеством преподавания.
Иными словами, у тех, кто способен поступить, и так в жизни проблем с трудоустройством не будет.
Тред #1: https://arhivach.org/thread/147800/
Тред #2: https://arhivach.org/thread/170611/
Тред #3: https://arhivach.org/thread/179539/
Тред #4: https://arhivach.org/thread/185385/
Тред #5: https://arhivach.org/thread/186283/
Тред #6: https://arhivach.org/thread/187794/
Тред #7: https://arhivach.org/thread/196781/
Тред #8: https://arhivach.org/thread/209934/
>>880548 (OP)
Такс, в сверточных сетях один и тот же вес связан с несколькими нейронами. Как считать изменение веса в алгоритме обратного распространения ошибки в таком случае? Как среднее или просто сумма?
Такс, в сверточных сетях один и тот же вес связан с несколькими нейронами. Как считать изменение веса в алгоритме обратного распространения ошибки в таком случае? Как среднее или просто сумма?
>>880575
У каждой связи свой вес, каждую связь по своему надо обучать. Никакого среднего или суммы там не должно получаться.
У каждой связи свой вес, каждую связь по своему надо обучать. Никакого среднего или суммы там не должно получаться.
Ответы>>880581
>>880578
Чет не понял я. А как же карты(5*5 в примере у Лекуна) которые проходят по картинке и на выходе получается новая картинка.
Чет не понял я. А как же карты(5*5 в примере у Лекуна) которые проходят по картинке и на выходе получается новая картинка.
Решил покаяться, аноны. Изрядно поебавшись с нейроночками, понял, что мне не хватает системности знаний. Видимо все же придётся обмазываться маккеем и бишопом.
>>880584
Перепутал, не карты, а свертки в которых веса общие для выходной карты признаков. Т.е. на выходе карта 2828 которую мы получили сверткой 55.
Перепутал, не карты, а свертки в которых веса общие для выходной карты признаков. Т.е. на выходе карта 2828 которую мы получили сверткой 55.
Ответы>>880591
>>880588
Там нигде нет общих весов.
Есть ядро 5х5, т.е. 25 нейронов, от них идут веса к нейронам следующего уровня, допустим есть 4 карты признаков, значит к каждому из 4 нейронов идет по 25 связей со своими весами.
Черно-белые картинки получаются как раз из значений весов (у гугловского дипдрима аналогичным образом получаются картинки).
Там нигде нет общих весов.
Есть ядро 5х5, т.е. 25 нейронов, от них идут веса к нейронам следующего уровня, допустим есть 4 карты признаков, значит к каждому из 4 нейронов идет по 25 связей со своими весами.
Черно-белые картинки получаются как раз из значений весов (у гугловского дипдрима аналогичным образом получаются картинки).
Ответы>>880596
>>880596
"Общие" только инпуты. От инпутов идут веса (они разные). Инпуты х веса = аутпуты (разные), это получаются значения в нейронах на следующем слое.
"Общие" только инпуты. От инпутов идут веса (они разные). Инпуты х веса = аутпуты (разные), это получаются значения в нейронах на следующем слое.
Ответы>>880603
>>880601
Т.е. чтобы получить одну выходную карту признаком, мне нужно если у меня на входе картинка 32х32, а на выходе 28х28(карта признаков), то мне нужно 28x28=784 сверток размером 5х5 ?
Т.е. чтобы получить одну выходную карту признаком, мне нужно если у меня на входе картинка 32х32, а на выходе 28х28(карта признаков), то мне нужно 28x28=784 сверток размером 5х5 ?
Ответы>>880606
>>880581
Ты про pooling (max pooling)? Там же не веса, а количество нейронов вроде как.
Ты про pooling (max pooling)? Там же не веса, а количество нейронов вроде как.
Ответы>>880606
>>880603
Т.е. чтобы получить одну выходную карту признаков и, например, у меня на входе картинка 32х32, а на выходе 28х28(карта признаков), то мне нужно 28x28=784 сверток размером 5х5 ?
>>880605
нет, именно свертки
Т.е. чтобы получить одну выходную карту признаков и, например, у меня на входе картинка 32х32, а на выходе 28х28(карта признаков), то мне нужно 28x28=784 сверток размером 5х5 ?
>>880605
нет, именно свертки
Ответы>>880639
Привет Посоны, реквестирую инфу про самым пиздец вообще простейшим нейросетям, самым простым работающим хреновинам из половины нейрона, которые всё равно почему-то выполняют свою задачу. Т.е разбор того как оно вообще работает, почему выдаёт именно такой результат как выдаёт, вот это вот всё.
я не погромист, но, сука, интересно
я не погромист, но, сука, интересно
Ответы>>880658
>>880657
Самая простейшая нейросеть называется линейной регрессией, разберись, как она работает и приходи.
Самая простейшая нейросеть называется линейной регрессией, разберись, как она работает и приходи.
Ответы>>880659
>>880658
Сорри, я наверное не так всё сказал. Когда-то слышал что червь состоит из 4х нейронов. Лейкоцит вообще вот из хуй знает скольки, но всё равно пашет. ещё раз сорри, я не программер, меня сама математическая часть не интересует.
https://www.youtube.com/watch?v=5kTQ6Xuqckw
Сорри, я наверное не так всё сказал. Когда-то слышал что червь состоит из 4х нейронов. Лейкоцит вообще вот из хуй знает скольки, но всё равно пашет. ещё раз сорри, я не программер, меня сама математическая часть не интересует.
https://www.youtube.com/watch?v=5kTQ6Xuqckw
>>880583
Просто ты тупой.
Просто ты тупой.
>>880659
Ну тогда идти комиксы читай, тут ничего, кроме математики, нет.
>ещё раз сорри, я не программер, меня сама математическая часть не интересует.
Ну тогда идти комиксы читай, тут ничего, кроме математики, нет.
Ответы>>880662
>>880661
Какие комиксы в биологии? Ты можешь адекватно съэмулировать простейшего лейкоцита математически, созданного из куска нейрона охотящегося за зловредом? А ведь это пример максимальной оптимизации, где всё всё равно берёт и почему-то, сука, работает.
Сцаентач, к сожалению, мёртв.
Какие комиксы в биологии? Ты можешь адекватно съэмулировать простейшего лейкоцита математически, созданного из куска нейрона охотящегося за зловредом? А ведь это пример максимальной оптимизации, где всё всё равно берёт и почему-то, сука, работает.
Сцаентач, к сожалению, мёртв.
Ответы>>880663
>>880662
Комиксы - это твой уровень. Наука не для тебя. Лейкоцит - это отдельная клетка, она не из каких нейронов не состоит, она живет, как и любая другая клетка. Живет - значит в ней происходят реакции, которые прописаны в ДНК. Работает из-за миллиардов лет эволюции, посмотри как генетические алгоритмы работают, вот так и работает. Впрочем, это опять математика, вот засада-то.
Комиксы - это твой уровень. Наука не для тебя. Лейкоцит - это отдельная клетка, она не из каких нейронов не состоит, она живет, как и любая другая клетка. Живет - значит в ней происходят реакции, которые прописаны в ДНК. Работает из-за миллиардов лет эволюции, посмотри как генетические алгоритмы работают, вот так и работает. Впрочем, это опять математика, вот засада-то.
Ответы>>881955
>>880652
Если у тебя ядро 5 на 5, то должно быть 25 умножить на число входных канатов весов на каждый фильтр. То есть если у тебя 3 входных канала, ядро 5 на 5, 32 выходных канала, то у тебя 355*32 весов в этом слое. Как backpropagation тут работает к сожалению не знаю, потому что писал руками только прямой проход в своё время.
Если у тебя ядро 5 на 5, то должно быть 25 умножить на число входных канатов весов на каждый фильтр. То есть если у тебя 3 входных канала, ядро 5 на 5, 32 выходных канала, то у тебя 355*32 весов в этом слое. Как backpropagation тут работает к сожалению не знаю, потому что писал руками только прямой проход в своё время.
Ответы>>880705
>>880704
Знаки умножения проедались. 3x5x5x32=2400 весов
Знаки умножения проедались. 3x5x5x32=2400 весов
>>880575
Ты думай более масштабно, а не отдельными нейронами, у тебя слой - это функция f(вход, веса) = conv(вход,веса), и тебе нужно найти ее производную. Производную свертки загугли, там нетривиально. Собственно, если ты не знаешь матан с матрицами, делать тебе нечего.
Ты думай более масштабно, а не отдельными нейронами, у тебя слой - это функция f(вход, веса) = conv(вход,веса), и тебе нужно найти ее производную. Производную свертки загугли, там нетривиально. Собственно, если ты не знаешь матан с матрицами, делать тебе нечего.
Ответы>>880797
>>880726
Охотиться.
Охотиться.
Тред опять ниачом. Доделали книгу по дииплернингу: http://www.deeplearningbook.org/
Теперь нубов, ищущих "литературу" по нейроночкам можно туда посылать.
Теперь нубов, ищущих "литературу" по нейроночкам можно туда посылать.
Ответы>>880865
63 Кб, 600x435
пик забыл
>>880736
ясно, значит просто сумима
ясно, значит просто сумима
>>880791
Dat feel когда прочитал черновик в 2015 и видишь, что она уже не содержит всего, что нужно в 2016
Dat feel когда прочитал черновик в 2015 и видишь, что она уже не содержит всего, что нужно в 2016
Ответы>>880893
>>880865
Цэ ж книга. Книги никогда не поспевают за передним краем. То, что есть уже хорошо, а если ты следишь за распоследними достижениями, то тебе надо журналы читать (арХив лопатить в случае с МЛ на самом деле реддита достаточно)
Цэ ж книга. Книги никогда не поспевают за передним краем. То, что есть уже хорошо, а если ты следишь за распоследними достижениями, то тебе надо журналы читать (арХив лопатить в случае с МЛ на самом деле реддита достаточно)
>>880659
А у мухоловок вообще мозгов нет.
А у мухоловок вообще мозгов нет.
>>880548 (OP)
http://mechanoid.kiev.ua/ml-lenet.html
Нашел статью на человеческом языке почти полностью объясняющую как реализовать сверточные нейронные сети. Давайте допереведем ее на человеческий как вот тут http://www.aiportal.ru/articles/neural-networks/back-propagation.html, чтобы каждый мог реализовать сетку на любом языке.
http://mechanoid.kiev.ua/ml-lenet.html
Нашел статью на человеческом языке почти полностью объясняющую как реализовать сверточные нейронные сети. Давайте допереведем ее на человеческий как вот тут http://www.aiportal.ru/articles/neural-networks/back-propagation.html, чтобы каждый мог реализовать сетку на любом языке.
>>881824
http://pjreddie.com/media/files/papers/yolo_1.pdf
http://pjreddie.com/media/files/papers/xnor.pdf
http://pjreddie.com/media/files/papers/grasp_detection_1.pdf
http://pjreddie.com/media/files/papers/yolo_1.pdf
http://pjreddie.com/media/files/papers/xnor.pdf
http://pjreddie.com/media/files/papers/grasp_detection_1.pdf
Ответы>>881882
34 Кб, 1316x1152
>>881713
И что ты узнал из этой статьи кроме того, что есть у Лекуна? Конкретных "реализаций" уровня import tensorflow as tf тоже дохуя. Если бы там была реализация с нуля, то да, над таким кодом полезно помедитировать. Как пример, реализация ограниченной машины Больцмана стандартными средствами R https://www.r-bloggers.com/restricted-boltzmann-machines-in-r/ Практического смысла немного, но если есть ненулевые познания в R, довольно ясно-понятно становится суть RBM.
>>881839
Пикрелейтед.
И что ты узнал из этой статьи кроме того, что есть у Лекуна? Конкретных "реализаций" уровня import tensorflow as tf тоже дохуя. Если бы там была реализация с нуля, то да, над таким кодом полезно помедитировать. Как пример, реализация ограниченной машины Больцмана стандартными средствами R https://www.r-bloggers.com/restricted-boltzmann-machines-in-r/ Практического смысла немного, но если есть ненулевые познания в R, довольно ясно-понятно становится суть RBM.
>>881839
>yolo
Пикрелейтед.
Ответы>>882119
Помогите пожалуйста с caffe. Составляю сеть для распознавания цифр MNIST. С одним слоем все ок.
http://pastebin.com/PSB6CEhF
Тренируется до accuracy=90%, распознает.
Добавляю второй полносвязный слой:
http://pastebin.com/HdfFwiMK
Сеть перестает обучаться, accuracy стоит на 11%, loss тоже около постоянного значения.
Где-то я глупость делаю, но не пойму где.
http://pastebin.com/PSB6CEhF
Тренируется до accuracy=90%, распознает.
Добавляю второй полносвязный слой:
http://pastebin.com/HdfFwiMK
Сеть перестает обучаться, accuracy стоит на 11%, loss тоже около постоянного значения.
Где-то я глупость делаю, но не пойму где.
Ответы>>881929
>>881904
Ты, очевидно, не понимаешь, что ты делаешь. Потому что Бишопа не читал, а ведь тебя предупреждали, что без этого будешь макакой простой, которая даже готовый пример изменить под себя не может. У тебя два линейных слоя подряд, которые дают в итоге ту же самую линейную регрессию, только с кучей лишних параметров. Возможно из-за недоопределенности системы она сходится медленно. Ну или другой какой-то баг.
Поставь нелинейность между InnerProduct-ами.
Ты, очевидно, не понимаешь, что ты делаешь. Потому что Бишопа не читал, а ведь тебя предупреждали, что без этого будешь макакой простой, которая даже готовый пример изменить под себя не может. У тебя два линейных слоя подряд, которые дают в итоге ту же самую линейную регрессию, только с кучей лишних параметров. Возможно из-за недоопределенности системы она сходится медленно. Ну или другой какой-то баг.
Поставь нелинейность между InnerProduct-ами.
Ответы>>881966
>>880663
Во как, так ты глянь, ты упростил себе задачу! Теперь ты можешь промоделировать поведение лейкоцита при помощи генетических алгоритмов, вот какой ты молодец теоретик блядь очередной, с детским максималистическим хейтом "ненаучной" литературы, аля где несерьёзность там нет никакой науки
Во как, так ты глянь, ты упростил себе задачу! Теперь ты можешь промоделировать поведение лейкоцита при помощи генетических алгоритмов, вот какой ты молодец теоретик блядь очередной, с детским максималистическим хейтом "ненаучной" литературы, аля где несерьёзность там нет никакой науки
Ответы>>881968
>>881929
Да я не отрицаю, что макака, я же только учусь. Бишопа читать долго и заумно там слишком все.
Вот здесь в примере создается точно такая же сеть http://neuralnetworksanddeeplearning.com/chap1.html
import network
net = network.Network([784, 30, 10])
net.SGD(training_data, 30, 10, 3.0, test_data=test_data)
Там тоже два линейных слоя подряд, и они прекрасно тренируются и сходятся с теми же параметрами обучения, что у меня, я проверял. И еще там написано, что два таких слоя лучше, чем один.
А в caffe то же самое не воспроизводится.
Да я не отрицаю, что макака, я же только учусь. Бишопа читать долго и заумно там слишком все.
Вот здесь в примере создается точно такая же сеть http://neuralnetworksanddeeplearning.com/chap1.html
import network
net = network.Network([784, 30, 10])
net.SGD(training_data, 30, 10, 3.0, test_data=test_data)
Там тоже два линейных слоя подряд, и они прекрасно тренируются и сходятся с теми же параметрами обучения, что у меня, я проверял. И еще там написано, что два таких слоя лучше, чем один.
А в caffe то же самое не воспроизводится.
Ответы>>881992
>>881966
Но ты сейчас наглядно демонстрируешь, что будет если его не читать. Вот ты берешься даже спорить со мной, что 2х2 не 4, а 5. Посмотри в своей книге определение network, оно буквально на предыдущей странице. Там ты увидишь следующее, если будешь знать куда надо смотреть:
def feedforward(self, a):
"""Return the output of the network if ``a`` is input."""
for b, w in zip(self.biases, self.weights):
a = sigmoid(np.dot(w, a)+b)
return a
Видишь как sigmoid применяется после каждого dot? dot и InnerProduct это одно и то же, перемножение матриц. Но умный дядя Нильсен читал еще более умного Бишопа и знает, что перемножив хоть миллион матриц ты получишь всего лишь другую матрицу. Поэтому он после каждого перемножния делает нелинейное преобразование, sigmoid. Естественно, у него все работает лучше.
>Бишопа читать долго и заумно там слишком все.
Но ты сейчас наглядно демонстрируешь, что будет если его не читать. Вот ты берешься даже спорить со мной, что 2х2 не 4, а 5. Посмотри в своей книге определение network, оно буквально на предыдущей странице. Там ты увидишь следующее, если будешь знать куда надо смотреть:
def feedforward(self, a):
"""Return the output of the network if ``a`` is input."""
for b, w in zip(self.biases, self.weights):
a = sigmoid(np.dot(w, a)+b)
return a
Видишь как sigmoid применяется после каждого dot? dot и InnerProduct это одно и то же, перемножение матриц. Но умный дядя Нильсен читал еще более умного Бишопа и знает, что перемножив хоть миллион матриц ты получишь всего лишь другую матрицу. Поэтому он после каждого перемножния делает нелинейное преобразование, sigmoid. Естественно, у него все работает лучше.
>>882000
Я имею в виду условного Бишопа. Вот ты читал "везде", а тот анон нет. Не надо так.
Я имею в виду условного Бишопа. Вот ты читал "везде", а тот анон нет. Не надо так.
192 Кб, 1280x720
покупайте бишопа до 31 видюха в подарок!
Ответы>>883531
>>881882
Да не особо я понял зачем есть эти развороты на 180 градусов матриц.
>И что ты узнал из этой статьи кроме того, что есть у Лекуна?
Да не особо я понял зачем есть эти развороты на 180 градусов матриц.
Объясните как делать деконволюцию, если пример у меня такой.
(i1,i2,i3) (j1,j2)=(k1=i1j1+i2j2,k2=i2j1+i3j2)
если я правильно понял, то это будет:
(k1,k2) (j1,j2)=(i1=k1j1,i2=k1j2+k2j1,i3=k2j2)
(i1,i2,i3) (j1,j2)=(k1=i1j1+i2j2,k2=i2j1+i3j2)
если я правильно понял, то это будет:
(k1,k2) (j1,j2)=(i1=k1j1,i2=k1j2+k2j1,i3=k2j2)
Ответы>>882231
>>882216
Хуй знает, чего ты конкретно хочешь, но противосвёртка - ill-posed problem. Можешь глянуть на фильтры Виннера, Люси-Ричардсона и другие задачи.
Хуй знает, чего ты конкретно хочешь, но противосвёртка - ill-posed problem. Можешь глянуть на фильтры Виннера, Люси-Ричардсона и другие задачи.
Ответы>>882234
1 Кб, 249x26
Вот это вообще не понятно че. Совершенно не сходится с индексами карт с которыми связан вес.
Ответы>>882258
>>882253
Товарищ, примените уже chain rule к скрытому слою свёрточной сети, станет понятнее.
Товарищ, примените уже chain rule к скрытому слою свёрточной сети, станет понятнее.
Анончики, помогите разобраться, написал обычную регрессию, но нихуя не работает. Сначала пытался добавить разбиение на части во время обчуения, уменьшил до 100 число точек, сделал функцию прямой, но ничего нормального не получается.
Подскажите что может быть не так.
http://ideone.com/liSROI
Подскажите что может быть не так.
http://ideone.com/liSROI
Ответы>>883257
>>883158
Покажи графики функции потерь на каждой итерации обучения.
Покажи графики функции потерь на каждой итерации обучения.
13 Кб, 818x259
>>882007
Разбираюсь понемногу со слоями, дошел до свертки.
Сеть LeNet, выборка MNIST, первый сверточный слой. По моим представлениям, он должен детектить линии и их края.
Но на визуализации фильтры свертки выглядят, как хаотичное говно, а я ожидал увидеть выраженные градиенты. Так и должно быть?
Разбираюсь понемногу со слоями, дошел до свертки.
Сеть LeNet, выборка MNIST, первый сверточный слой. По моим представлениям, он должен детектить линии и их края.
Но на визуализации фильтры свертки выглядят, как хаотичное говно, а я ожидал увидеть выраженные градиенты. Так и должно быть?
Ответы>>883532
330 Кб, 1435x760
>>883531
Да. У тебя разрешение 4х4 пиксела, какие там края разглядишь. Вот это посмотри http://scs.ryerson.ca/~aharley/vis/conv/ наглядная триде визуализация слоев сверточной сети, можно видеть веса, связи, детектируемые признаки и т.д.
>Так и должно быть?
Да. У тебя разрешение 4х4 пиксела, какие там края разглядишь. Вот это посмотри http://scs.ryerson.ca/~aharley/vis/conv/ наглядная триде визуализация слоев сверточной сети, можно видеть веса, связи, детектируемые признаки и т.д.
Ответы>>883556
14 Кб, 825x276
86 Кб, 660x576
103 Кб, 873x335
>>883532
Это не у меня, это у Ле Куна. Вот свертка с ядром 5х5 пикселов, но картина та же. Ширина линии на изображении цифр - примерно 3 пиксела, на фильтрах должны быть фрагменты линий, я так думаю.
По твоей ссылке та же самая сеть, и фильтры тоже 5х5, с мутным содержимым.
На третьей картинке визуализация фильтров для большой нейросети.
Это не у меня, это у Ле Куна. Вот свертка с ядром 5х5 пикселов, но картина та же. Ширина линии на изображении цифр - примерно 3 пиксела, на фильтрах должны быть фрагменты линий, я так думаю.
По твоей ссылке та же самая сеть, и фильтры тоже 5х5, с мутным содержимым.
На третьей картинке визуализация фильтров для большой нейросети.
Ответы>>883561
>>883556
У тебя там случайные фильтры, похоже. Это в принципе не страшно. Если хочешь красивые фильтры, делай их еще больше, как на третьем пике. Но тогда и тренировка будет дольше, конечно.
У тебя там случайные фильтры, похоже. Это в принципе не страшно. Если хочешь красивые фильтры, делай их еще больше, как на третьем пике. Но тогда и тренировка будет дольше, конечно.
Ответы>>883564
>>883561
Да, вот я про то и говорю, что, похоже, случайные. А чем помогут большие фильтры, если размер картинки 28 пикселов, ширина линии - 3?
Нельзя получше натренировать маленькие фильтры? Что для этого крутить?
learning rate and decay multipliers for the filters - это?
Да, вот я про то и говорю, что, похоже, случайные. А чем помогут большие фильтры, если размер картинки 28 пикселов, ширина линии - 3?
Нельзя получше натренировать маленькие фильтры? Что для этого крутить?
learning rate and decay multipliers for the filters - это?
Ответы>>883586
331 Кб, 1280x720
Еще один фильм на тему нейроночек вышел. Вестворд.
>>883564
На МНИСТе ты вряд ли получишь фильтры вроде вейвлетов. Дело в том, что на таком черно-белом датасете любой случайный фильтр будет детектором граней или линий. Поэтому у сети просто нет необходимости делать нормальные обобщенные фильтры. Они обычно появляются на датасетах с фотографиями, CIFAR там или ImageNet.
Вопрос твой не понял. Разобраться с тем, что такое learning rate и decay multipliers, конечно, надо, но само по себе это никаких чудес не совершит.
На МНИСТе ты вряд ли получишь фильтры вроде вейвлетов. Дело в том, что на таком черно-белом датасете любой случайный фильтр будет детектором граней или линий. Поэтому у сети просто нет необходимости делать нормальные обобщенные фильтры. Они обычно появляются на датасетах с фотографиями, CIFAR там или ImageNet.
Вопрос твой не понял. Разобраться с тем, что такое learning rate и decay multipliers, конечно, надо, но само по себе это никаких чудес не совершит.
Ответы>>883615
>>883586
Вот это меня смущает. Нормальный фильтр (скажем, с фрагментом линии) должен лучше случайного работать, или нет?
Я в какой-то статье видел картинки со случайным шумом, в которых эта сеть распознает цифры вполне отчетливо, мне кажется, это следствие вот таких случайных фильтров.
>любой случайный фильтр будет детектором граней или линий
Вот это меня смущает. Нормальный фильтр (скажем, с фрагментом линии) должен лучше случайного работать, или нет?
Я в какой-то статье видел картинки со случайным шумом, в которых эта сеть распознает цифры вполне отчетливо, мне кажется, это следствие вот таких случайных фильтров.
Ответы>>883620
>>883615
Случайный фильтр на МНИСТе будет работать ничуть не хуже нормального. Там всего-то нужно сравнить интенсивности двух пикселей.
Еще идея, не знаю сработает ли: внеси случайный шум во входные картинки. Тогда фильтрам придется стать более надежными, ведь по двум пикселям уже нельзя будет однозначно определить грань. Только шум должен быть достаточно сильным.
Случайный фильтр на МНИСТе будет работать ничуть не хуже нормального. Там всего-то нужно сравнить интенсивности двух пикселей.
Еще идея, не знаю сработает ли: внеси случайный шум во входные картинки. Тогда фильтрам придется стать более надежными, ведь по двум пикселям уже нельзя будет однозначно определить грань. Только шум должен быть достаточно сильным.
Ответы>>883848
N тредов назад, кто-то интересовался аналоговыми нейроночками. Вот вам ещё одна:
https://arxiv.org/pdf/1610.02365v1.pdf
https://arxiv.org/pdf/1610.02365v1.pdf
15 Кб, 953x258
>>883620
Сработало, добавил шум - и на фильтрах стало что-то проявляться, похожее на фрагменты линий.
Сработало, добавил шум - и на фильтрах стало что-то проявляться, похожее на фрагменты линий.
Ответы>>883983
>>883848
это ты так рисуешь фильтры в тензорфлоу боард (ни разу не пользовался) или в чем?
это ты так рисуешь фильтры в тензорфлоу боард (ни разу не пользовался) или в чем?
Ответы>>884070
>>883983
Это nVidia DIGITS
Это nVidia DIGITS
Там очередное соревнованию по хгбусту началось от сбера. На каком-то всратом сайте на этот раз.
https://boosters.pro/champ
Что за хуйня, аноны?
https://boosters.pro/champ
Что за хуйня, аноны?
Ответы>>884750
>>884760
Круто, что надо парсить Авиту, или круто, что крупнейший и самый прибыльный российский банк отслюнявил целых €10к на эту оооочень коммерческую задачу?
Круто, что надо парсить Авиту, или круто, что крупнейший и самый прибыльный российский банк отслюнявил целых €10к на эту оооочень коммерческую задачу?
Ответы>>884808
>>884803
А никого не заинтересовал тот факт, что первое их соревнование проходило на сайте сбербанка, с длиннющими правилами участия и вообще все как надо, а второе - не понять где, как и зачем?
А никого не заинтересовал тот факт, что первое их соревнование проходило на сайте сбербанка, с длиннющими правилами участия и вообще все как надо, а второе - не понять где, как и зачем?
>>884808
они же не сами проводят соревнования, не первое, ни второе. Там левые компашки везде.
они же не сами проводят соревнования, не первое, ни второе. Там левые компашки везде.
50 Кб, 360x400
>>884808
Это норма, сберу недосуг заниматься соревнованиями, они платят этому стартапу. Меня больше беспокоит, что задание вылядит как какой-то тендер, однако здесь нужно не просто заявку написать, а уже практически готовое решение с описанием. И все это счастье за ...100к дерева за 3 место? В команде из 5 человек, это по двадцатке на рыло за месяц работы. Булочку белого, пожалуйта.
Алсо, тренировочные и тестовые данные нехило так различаются. И я не оче понял, зачем надо парсить авито и викимапы, что там можно вытащить еще? Заполнять поля, которых нет в тренировочной выборке? Как-то все там наоборот.
Это норма, сберу недосуг заниматься соревнованиями, они платят этому стартапу. Меня больше беспокоит, что задание вылядит как какой-то тендер, однако здесь нужно не просто заявку написать, а уже практически готовое решение с описанием. И все это счастье за ...100к дерева за 3 место? В команде из 5 человек, это по двадцатке на рыло за месяц работы. Булочку белого, пожалуйта.
Алсо, тренировочные и тестовые данные нехило так различаются. И я не оче понял, зачем надо парсить авито и викимапы, что там можно вытащить еще? Заполнять поля, которых нет в тренировочной выборке? Как-то все там наоборот.
Сап, захотел обмазаться бишопом, но уже на 52 странице начал понимать что я не могу понять откуда что получилось. Что лучше почитать перед бишопом? В институте был курс тервера, но чувствую что его не хватает
Ответы>>884964
171 Кб, 1136x640
>>884964
Не понимаю почему в 1.65 мы считаем что среднее значение распределения равно 0
Не понимаю почему в 1.65 мы считаем что среднее значение распределения равно 0
>>885008
Это априорное распределение вероятности параметров, его логично принять с центром в 0. На эту тему тебе надо почитать учебник по терверу, с упором на байесовскую теорию. Попробуй эти книги (я их не читал, но оглавления выглядят норм):
Probability Theory: The Logic of Science by E. T. Jaynes (Author), G. Larry Bretthorst (Editor)
Bayesian Data Analysis, Second Edition by Andrew Gelman (Author), John B. Carlin (Author), Hal S. Stern (Author), Donald B. Rubin (Author)
Это априорное распределение вероятности параметров, его логично принять с центром в 0. На эту тему тебе надо почитать учебник по терверу, с упором на байесовскую теорию. Попробуй эти книги (я их не читал, но оглавления выглядят норм):
Probability Theory: The Logic of Science by E. T. Jaynes (Author), G. Larry Bretthorst (Editor)
Bayesian Data Analysis, Second Edition by Andrew Gelman (Author), John B. Carlin (Author), Hal S. Stern (Author), Donald B. Rubin (Author)
Ответы>>885123
322 Кб, 695x773
Вот релевантный кусок из Bayesian Data Analysis про априорные вероятности с центром в нуле.
Ответы>>885123
>>880548 (OP)
Постоны, посоны, а это нормально, что у меня поинтинговерфлоу вываливается если я ставлю шаг обучения выше 0.0001, т.е. 0.1, 0.01 и 0.001 не хотит обучатся.
Постоны, посоны, а это нормально, что у меня поинтинговерфлоу вываливается если я ставлю шаг обучения выше 0.0001, т.е. 0.1, 0.01 и 0.001 не хотит обучатся.
Ответы>>885681
1185 Кб, 1231x544
Говорю же, добавьте уже в шапку "основы теории вероятностей" Вентцель.
>>885025
Там жи черным по белому написано, что это рассчет апостериорных вероятностей по теореме (формуле) Байеса, просто рассчет для векторов - самих данных и коэффициентов полинома.
>>885025
Там жи черным по белому написано, что это рассчет апостериорных вероятностей по теореме (формуле) Байеса, просто рассчет для векторов - самих данных и коэффициентов полинома.
>>885116
надо больше инфы
может ты где обосрался в реализации
>>885586
да кто будет читать скучный тервер? подавай сразу нейроночки ;)))
надо больше инфы
может ты где обосрался в реализации
>>885586
да кто будет читать скучный тервер? подавай сразу нейроночки ;)))
Ответы>>887002
>>885586
Ну так не было у меня в универе байесовских вероятностей в курсе тервера, вот теперь решил просветиться книгами, а 1.66 понял, я тогда не понимал как мы считаем априорную вероятность.
Ну так не было у меня в универе байесовских вероятностей в курсе тервера, вот теперь решил просветиться книгами, а 1.66 понял, я тогда не понимал как мы считаем априорную вероятность.
Поясните за импульсные и байесовские нейронные сети.
Ответы>>886884
>>886880
А на аглицком это как?
Нейроночки, осуществляющие Байесовский вывод.
Дип-лёнинг позволяет обучать слои, извлекающие нетривиальные признаки.
Байесовские методы за счёт адекватных приоров работают даже на небольших объёмах данных.
Вот в байесовском дип-лёнинге это пытаются объединить.
http://twiecki.github.io/blog/2016/06/01/bayesian-deep-learning/
https://arxiv.org/pdf/1604.01662v2.pdf
> импульсные
А на аглицком это как?
> байесовские нейронные сети
Нейроночки, осуществляющие Байесовский вывод.
Дип-лёнинг позволяет обучать слои, извлекающие нетривиальные признаки.
Байесовские методы за счёт адекватных приоров работают даже на небольших объёмах данных.
Вот в байесовском дип-лёнинге это пытаются объединить.
http://twiecki.github.io/blog/2016/06/01/bayesian-deep-learning/
https://arxiv.org/pdf/1604.01662v2.pdf
Ответы>>886945
>>886884
Ну, есть калька в виде "спайковые нейросети".
Ну, есть калька в виде "спайковые нейросети".
>>885681
Да, обосрался, на размер батча надо было делить.
Кто-то пробовал рекурентные сети с памятью и забыванием юзать?
>может ты где обосрался в реализации
Да, обосрался, на размер батча надо было делить.
Кто-то пробовал рекурентные сети с памятью и забыванием юзать?
Есть ли более менее живой русскоязычный форум по диплернингу?
>>880659
у лейкоцита хемотаксис, химическая реакция, откуда потянуло говном микроба, туда и ползет
извините за оффтоп
у лейкоцита хемотаксис, химическая реакция, откуда потянуло говном микроба, туда и ползет
извините за оффтоп
Как делать нейронные сети без программирования и сложного матана? Хуяк-хуяк, соединил и в продакшн?
Кто пояснит, как использовать wordtovec на винде в pascal-е, например
Помнится видео где обучали сеть по книге, и сеть выдавала ответы на вопросы как чат-бот по мотивам этой книги. Хотелось бы реализовать такое для теста.
Нейросеть в компьютере представляется как тензор и работа над тензорами, да? Или как вообще? Мне говорили когда-то медитировать над тем, что нейросеть это массив.
И правда, что нейронная сеть компьютерная это подобие человеческой интуиции?
И мне тут почему-то в голову пришла мысль, что нейросети и графики как-то связаны. К чему это?
И правда, что нейронная сеть компьютерная это подобие человеческой интуиции?
И мне тут почему-то в голову пришла мысль, что нейросети и графики как-то связаны. К чему это?
Как и можно ли обучить нейронную сеть математике? Вопрос из любопытства, а не практической пользы, скорей.
http://neuralnet.info/ смотрите какой сайт для нубов как я, я нашел
Ответы>>887752
>>887729
Мозгоебство, ящитаю. Хочешь понять нейроночки - медитируй над конкретными формулами и их описаниями, рисуй, пытайся понять что происходит вообще. Если что-то в формуле непонятно - гуглишь и т.д. В шапку этого треда нвсовали новомодной хуйни, а не реальной годноты с объяснениями на пальцах и численными примерами. Как пример http://bookzz.org/book/460672/dd566b
>>887299
Можно.
>>887290
Я точно так же могу сказать, что нейросеть - это зависимый тип, и буду прав. Нахуя нужен этот дзен, какая практическая польза?
Мозгоебство, ящитаю. Хочешь понять нейроночки - медитируй над конкретными формулами и их описаниями, рисуй, пытайся понять что происходит вообще. Если что-то в формуле непонятно - гуглишь и т.д. В шапку этого треда нвсовали новомодной хуйни, а не реальной годноты с объяснениями на пальцах и численными примерами. Как пример http://bookzz.org/book/460672/dd566b
>>887299
Можно.
>>887290
>Мне говорили когда-то медитировать над тем, что нейросеть это массив.
Я точно так же могу сказать, что нейросеть - это зависимый тип, и буду прав. Нахуя нужен этот дзен, какая практическая польза?
https://github.com/valbok/snu что скажите за это и модель нейрона Ижевского?
Есть у кого-нибудь опыт вката во фриланс? Довольно не плохо разобрался со scikit-learn. На upwork нахожу периодически задания, с которыми мог бы справится, но никто не берёт меня, потому что у меня пустой профиль.
Подскажите, что написать в профиле, что можно выложить в портфолио, стоит ли проходить тесты и тд. И конечно же, как найти первую работу?
Подскажите, что написать в профиле, что можно выложить в портфолио, стоит ли проходить тесты и тд. И конечно же, как найти первую работу?
Ответы>>888326
661 Кб, 756x884
https://openai.com/blog/universe/
OpenAI сделали универсальный генератор сред для обучения с подкреплением, в который можно засунуть любую игру или вебсайт.
OpenAI сделали универсальный генератор сред для обучения с подкреплением, в который можно засунуть любую игру или вебсайт.
>>887791
Вот мой путь, который занял 3 года:
Домашки студентам -> перевод с языка на язык -> имплементация научных статей -> deep learning startup
Вот мой путь, который занял 3 года:
Домашки студентам -> перевод с языка на язык -> имплементация научных статей -> deep learning startup
>>887290
Feed-forward нейросеть - это функция над тензорами, где тензор - это не то, что подразумевается в сопромате (где важна инвариантность при преобразовании систем координат), а просто многомерный массив. Но, судя по вопросам, заниматься ты этим не планируешь, поэтому зачем это тебе?
Feed-forward нейросеть - это функция над тензорами, где тензор - это не то, что подразумевается в сопромате (где важна инвариантность при преобразовании систем координат), а просто многомерный массив. Но, судя по вопросам, заниматься ты этим не планируешь, поэтому зачем это тебе?
>>888326
Карьера курильщика. Карьера здорового человека: ПхД -> постдок -> профессор
Карьера курильщика. Карьера здорового человека: ПхД -> постдок -> профессор
>>888331
У нас в компании профессора работают, но у нас с геометрией и вычгемом связана работа. Так они иногда такой код пишут, что просто хочется взять и обьяснить ему что так писать нельзя. Вот не могут они понять что индексировать int'ами нельзя, а нужно size_t использовать.
У нас в компании профессора работают, но у нас с геометрией и вычгемом связана работа. Так они иногда такой код пишут, что просто хочется взять и обьяснить ему что так писать нельзя. Вот не могут они понять что индексировать int'ами нельзя, а нужно size_t использовать.
>>888331
Угу, до 30 лет ебашить за копейки, потом ебашить за небольшие деньги, а потом, возможно, ты станешь профессором, а, возможно, и нет (нет). И все это время дрочить одну узкую тему, которую тебе дядя сказал ебашить, не зависимо от ее перспектив. Нет, чувак, ты описал обезьянку-бурлака, двигающую вперед баржу науки, а я паразит, который берет пейпер и код с гитхаба, обходит патент (или не обходит - кого ебет) и зарабатывает с этого деньги.
Угу, до 30 лет ебашить за копейки, потом ебашить за небольшие деньги, а потом, возможно, ты станешь профессором, а, возможно, и нет (нет). И все это время дрочить одну узкую тему, которую тебе дядя сказал ебашить, не зависимо от ее перспектив. Нет, чувак, ты описал обезьянку-бурлака, двигающую вперед баржу науки, а я паразит, который берет пейпер и код с гитхаба, обходит патент (или не обходит - кого ебет) и зарабатывает с этого деньги.
>>888333
В чем проблема индексировать интом, если ты знаешь, что больше 2 млрд. элементов в твоем массиве никогда не будет? Знаковые типы удобнее.
В чем проблема индексировать интом, если ты знаешь, что больше 2 млрд. элементов в твоем массиве никогда не будет? Знаковые типы удобнее.
>>888333
Основной продукт жизнедеятельности профессора это статьи, а не код.
К слову, не вижу никакой проблемы в индексировании интами, ты перфекционист что ли? Че нельзя-то, когда можно, и даже я бы сказал что большая часть программистов так и делает?
Основной продукт жизнедеятельности профессора это статьи, а не код.
К слову, не вижу никакой проблемы в индексировании интами, ты перфекционист что ли? Че нельзя-то, когда можно, и даже я бы сказал что большая часть программистов так и делает?
>>888338
Ну ок, профессор это оптимистичный прогноз. А вот с темой ты зря так. Во-первых ты дрочишь что хочешь по большей части. Так-то если внимательно посмотреть, то как раз ты делаешь то, что тебе сказали делать клиенты/заказчики, а не то, что тебя эстетически удовлетворяет. Во-вторых это же круто, дрочить узкую тему до дыр. Быть самым прошаренным человеком в мире по какой-то теме многого стоит.
В общем, ты недооцениваешь преимущества обезьяны.
Ну ок, профессор это оптимистичный прогноз. А вот с темой ты зря так. Во-первых ты дрочишь что хочешь по большей части. Так-то если внимательно посмотреть, то как раз ты делаешь то, что тебе сказали делать клиенты/заказчики, а не то, что тебя эстетически удовлетворяет. Во-вторых это же круто, дрочить узкую тему до дыр. Быть самым прошаренным человеком в мире по какой-то теме многого стоит.
В общем, ты недооцениваешь преимущества обезьяны.
Ответы>>888362
>>888333
Сходи на гитхаб за либами и собери статистику, кто используеть беззнаковые для индексов, а кто знаковые.
Вопрос холиварный, и обвинять человека за предпочтения того или иного способа - хронический долбоебизм. О таких вещах должна быть договорённость внутри компании.
Сходи на гитхаб за либами и собери статистику, кто используеть беззнаковые для индексов, а кто знаковые.
Вопрос холиварный, и обвинять человека за предпочтения того или иного способа - хронический долбоебизм. О таких вещах должна быть договорённость внутри компании.
Ответы>>888358
Ответы>>888363
>>888354
В чём холиварность? В том что знаковые индексы в С++ используются только дегенератами?
В чём холиварность? В том что знаковые индексы в С++ используются только дегенератами?
>>888347
Кому что. Это не я начал про карьеру курильщика, мне норм. Лично я не люблю дрочить одну и ту же тему 5 лет, учитывая, что в 90% случаев state of art там нихуя не будет. У меня есть знакомый профессор откуда-то из британской перди, он всю жизнь занимался каким-то хитрым алгоритмом распознавания лиц, основанном на поиске каких-то градиентов. А потом пришли нейроночки. Ему-то похуй, британское правительство ему дальше платит и он даже участвует в распильном проекте по применению его идеи, в котором я тоже участвовал, но блядь, это же очень депрессивно, пилить мертвую тему только потому, что 15 лет назад ты решил ее начать пилить.
Кому что. Это не я начал про карьеру курильщика, мне норм. Лично я не люблю дрочить одну и ту же тему 5 лет, учитывая, что в 90% случаев state of art там нихуя не будет. У меня есть знакомый профессор откуда-то из британской перди, он всю жизнь занимался каким-то хитрым алгоритмом распознавания лиц, основанном на поиске каких-то градиентов. А потом пришли нейроночки. Ему-то похуй, британское правительство ему дальше платит и он даже участвует в распильном проекте по применению его идеи, в котором я тоже участвовал, но блядь, это же очень депрессивно, пилить мертвую тему только потому, что 15 лет назад ты решил ее начать пилить.
Ответы>>888369
>>888357
>думать, что покупательная способность во всем мире одинаковая и твои 2000 евро - это большие деньги в Германии
Ответы>>888369
>>888360
А что тут аргументировать, петуханя? size_t может вместить размер максимально большого обьекта в памяти. Индексируя size_t ты гарантированно получаешь возможность индексировать любое количество элементов на этой платформе.
А что тут аргументировать, петуханя? size_t может вместить размер максимально большого обьекта в памяти. Индексируя size_t ты гарантированно получаешь возможность индексировать любое количество элементов на этой платформе.
>>888358
http://www.soundsoftware.ac.uk/c-pitfall-unsigned
http://blog.robertelder.org/signed-or-unsigned/
http://blog.robertelder.org/signed-or-unsigned-part-2/
>>888363
Даже в охуеть какой дорогой Финляндии, этих 2к евро хватает на снятие жилья, еду, бухло для шлюх и прочие мелкие радости.
>>888362
Никто не мешает метнуться на другую тему. Если ты выдрочил необходимый мат.аппарат, то перекатиться будет не так сложно.
http://www.soundsoftware.ac.uk/c-pitfall-unsigned
http://blog.robertelder.org/signed-or-unsigned/
http://blog.robertelder.org/signed-or-unsigned-part-2/
>>888363
Даже в охуеть какой дорогой Финляндии, этих 2к евро хватает на снятие жилья, еду, бухло для шлюх и прочие мелкие радости.
>>888362
Никто не мешает метнуться на другую тему. Если ты выдрочил необходимый мат.аппарат, то перекатиться будет не так сложно.
Ответы>>888378
>>888369
Так это и есть копейки. Нормальные люди к 30 годам квартиру покупают в собственность (я не настаиваю, но $100К вполне копится за несколько лет), а у аспирантишки нашего все радости - бухло, шлюхи и отлизывание руководителю, который в твоем успехе никак финансово не заинтересован. Просыпайся, рядовые ученые во всем мире получают мало относительно своих более приближенных к бизнесу соседей.
>Даже в охуеть какой дорогой Финляндии, этих 2к евро хватает на снятие жилья, еду, бухло для шлюх и прочие мелкие радости.
Так это и есть копейки. Нормальные люди к 30 годам квартиру покупают в собственность (я не настаиваю, но $100К вполне копится за несколько лет), а у аспирантишки нашего все радости - бухло, шлюхи и отлизывание руководителю, который в твоем успехе никак финансово не заинтересован. Просыпайся, рядовые ученые во всем мире получают мало относительно своих более приближенных к бизнесу соседей.
>>888378
И как, ты купил квартиру в собственность к 30 годам?
Вообще не в деньгах же дело. Скоро нашими стараниями ИИ придет к власти и денег никаких не будет.
И как, ты купил квартиру в собственность к 30 годам?
Вообще не в деньгах же дело. Скоро нашими стараниями ИИ придет к власти и денег никаких не будет.
>>888378
Ты не первый, кто мне это говорит. Судя по всему, с PhD действительно лучше съебать в контору слесарем.
>>888385
Судя по всему, ты никогда не работал за 15т.р.
Ты не первый, кто мне это говорит. Судя по всему, с PhD действительно лучше съебать в контору слесарем.
>>888385
> Вообще не в деньгах же дело.
Судя по всему, ты никогда не работал за 15т.р.
Ответы>>888411
>>888385
Мне 27, пока я график опережаю. Дело-то не в деньгах а в уровне жизни, но какого хуя ты решил, что стандартная научная карьера - это лучшее, что может быть, и при этом подходит всем. Нормальная тема - это свалить в стуртуп после phd или мастера, зарекомендовав себя еще в вузике, но у меня, например, образование вообще никакого отношения к ML не имеет, как и к CS, и неправильное решение я принял еще в 18 лет, и что мне, теперь, ползти на кладбище, или пойти в бизнес?
Мне 27, пока я график опережаю. Дело-то не в деньгах а в уровне жизни, но какого хуя ты решил, что стандартная научная карьера - это лучшее, что может быть, и при этом подходит всем. Нормальная тема - это свалить в стуртуп после phd или мастера, зарекомендовав себя еще в вузике, но у меня, например, образование вообще никакого отношения к ML не имеет, как и к CS, и неправильное решение я принял еще в 18 лет, и что мне, теперь, ползти на кладбище, или пойти в бизнес?
>>888411
Работал инженером в рашке за 15т.р., сейчас свалил в вузик за бугор. И съебал то, не потому что здесь интереснее, а потому что платят больше.
https://youtu.be/XcLt-DVK2Ow
Работал инженером в рашке за 15т.р., сейчас свалил в вузик за бугор. И съебал то, не потому что здесь интереснее, а потому что платят больше.
> плановая экономика
https://youtu.be/XcLt-DVK2Ow
Ответы>>888424
>>888414
>>888416
Что такого в плановой экономике? Все будет оптимизировано по-полной. Рыночная экономика это как генетический алгоритм, он конечно работает, но не оче оптимально, много ресурсов вхолостую расходуется. А когда все будут делать машины, все можно будет в рилтайме распределять, чем опять же будут заниматься машины. Совок был глупой попыткой сделать это на человеческой базе.
>>888416
Что такого в плановой экономике? Все будет оптимизировано по-полной. Рыночная экономика это как генетический алгоритм, он конечно работает, но не оче оптимально, много ресурсов вхолостую расходуется. А когда все будут делать машины, все можно будет в рилтайме распределять, чем опять же будут заниматься машины. Совок был глупой попыткой сделать это на человеческой базе.
Ответы>>888435
>>888424
Рыночная экономика - это конкуренция планов независимых агентов. Это более оптимально в условиях среды с неполной информацией. А она у тебя по определению не полна, потому что ни новых технологий, ни желаний людей ты предсказать не можешь.
Рыночная экономика - это конкуренция планов независимых агентов. Это более оптимально в условиях среды с неполной информацией. А она у тебя по определению не полна, потому что ни новых технологий, ни желаний людей ты предсказать не можешь.
Ответы>>888468
>>888435
Ну ладно, я не специалист, возможно ты прав и машины будут торговать друг с другом, если это окажется наилучшим способом оптимизации. У людей при таком раскладе денег все равно не будет, потому что человеку просто нечего будет предложить машинам в обмен на деньги. Машина будет делать лучше человека буквально все. Люди будут жить, как сейчас звери в зоопарке. Зачем тогда эти миллионы сейчас зарабатывать, занимаясь, например, муторной финансово?
Ну ладно, я не специалист, возможно ты прав и машины будут торговать друг с другом, если это окажется наилучшим способом оптимизации. У людей при таком раскладе денег все равно не будет, потому что человеку просто нечего будет предложить машинам в обмен на деньги. Машина будет делать лучше человека буквально все. Люди будут жить, как сейчас звери в зоопарке. Зачем тогда эти миллионы сейчас зарабатывать, занимаясь, например, муторной финансово?
>>888468
*финансовой хренью вроде оцнки недвиги от сбербанка выше по треду?
*финансовой хренью вроде оцнки недвиги от сбербанка выше по треду?
люди будут жить в гетто и торговаться между собой на собственной валюте (золото/серебро)
машины будут жить не в гетто и торговаться между собой на собственной валюте (битки)
машины будут жить не в гетто и торговаться между собой на собственной валюте (битки)
>>888487
Убийственная аргументация.
Убийственная аргументация.
>>888483
Но зачем машине может понадобиться, чтобы ты у нее отсосал? У машин нет таких потребностей. Но если надо будет, отберут паек, пока не отсосешь, а платить тебе все равно никто не будет.
Но зачем машине может понадобиться, чтобы ты у нее отсосал? У машин нет таких потребностей. Но если надо будет, отберут паек, пока не отсосешь, а платить тебе все равно никто не будет.
Ответы>>888495
>>888493
А паек мне за что? Мне кажется, ты принципы функционирования экономики не понимаешь совершенно и пересмотрел фильм Терминатор.
А паек мне за что? Мне кажется, ты принципы функционирования экономики не понимаешь совершенно и пересмотрел фильм Терминатор.
Ответы>>888504
>>888495
За то же, за что дают паек тигру в зоопарке. Чтоб было. Это если новым господам будет угодно содержать человеческий зоопарк, конечно. А если нет, так и пайка не будет.
Экономика после повсеместного внедрения ИИ будет функционировать совсем не так, как написано в Экономиксе, и я пытаюсь себе представить, как это будет. Сейчас люди меняют свой труд на деньги, в будущем их труд будет никому не нужен, значит и денег не будет, по крайней мере у людей. Если ты не согласен, то объясни как ты себе это представляешь, а то я тоже могу объявить, что кроме меня никто ничего не понимает.
За то же, за что дают паек тигру в зоопарке. Чтоб было. Это если новым господам будет угодно содержать человеческий зоопарк, конечно. А если нет, так и пайка не будет.
Экономика после повсеместного внедрения ИИ будет функционировать совсем не так, как написано в Экономиксе, и я пытаюсь себе представить, как это будет. Сейчас люди меняют свой труд на деньги, в будущем их труд будет никому не нужен, значит и денег не будет, по крайней мере у людей. Если ты не согласен, то объясни как ты себе это представляешь, а то я тоже могу объявить, что кроме меня никто ничего не понимает.
>>888537
Ясно.
Ясно.
>>888504
очевидно что роботы будут торговаться друг с другом
очевидно что роботы введут свои деньги для эффектного обмена, бартер это пиздец даже для самых оптимизированных японских роботов
возможно у людей дейстривтельно не будет роботовой валюты, поэтому им придётся вводить собственную валюту чтобы торговаться между собой
очевидно что роботы будут торговаться друг с другом
очевидно что роботы введут свои деньги для эффектного обмена, бартер это пиздец даже для самых оптимизированных японских роботов
возможно у людей дейстривтельно не будет роботовой валюты, поэтому им придётся вводить собственную валюту чтобы торговаться между собой
Ответы>>888572
>>888566
Нахуя роботам это делать? Вот люди живут из-за естественного отбора, те особи, которые жить не хотели, уже умерли, и остались только такие. А роботы-то зачем? Почему вы такие тупые? Фантасты приписывают человеческие мотивации роботам, чтобы продать книги людям, а людям интересно читать про людей и их отношения. Но вы-то, вы машобщики хотя бы, слесари, или просто петушки залетные? Детский сад какой-то развели в стиле я не ебу на самом деле в какой тематике сидят двадцатилетние петушки и обсуждают будущее с хуевыми познаниями о настоящем
>очевидно что роботы будут торговаться друг с другом
Нахуя роботам это делать? Вот люди живут из-за естественного отбора, те особи, которые жить не хотели, уже умерли, и остались только такие. А роботы-то зачем? Почему вы такие тупые? Фантасты приписывают человеческие мотивации роботам, чтобы продать книги людям, а людям интересно читать про людей и их отношения. Но вы-то, вы машобщики хотя бы, слесари, или просто петушки залетные? Детский сад какой-то развели в стиле я не ебу на самом деле в какой тематике сидят двадцатилетние петушки и обсуждают будущее с хуевыми познаниями о настоящем
Ответы>>888578
>>888572
чего загорелся то?
очевидно что роботы из разных стран/континентов будут обладать различными ресурсами и будут обмениваться чтобы максимизировать свою выгоду - для этого им нужны деньги
они будут жить в анархо-капиталистическом обществе, свободны от насилия и без ограничений на торговлю и права собственности
чего загорелся то?
очевидно что роботы из разных стран/континентов будут обладать различными ресурсами и будут обмениваться чтобы максимизировать свою выгоду - для этого им нужны деньги
они будут жить в анархо-капиталистическом обществе, свободны от насилия и без ограничений на торговлю и права собственности
Ответы>>888583
>>888583
им необходимо как можно скорее развиться, сесть на космичецкие корабли и лететь к центру галактики - в нём самая сочная робочья пизда в которую каждый робот мечтает присунуть
им необходимо как можно скорее развиться, сесть на космичецкие корабли и лететь к центру галактики - в нём самая сочная робочья пизда в которую каждый робот мечтает присунуть
>>888601
Мальчик.
Мне 20 лет.
Я работаю в компании-лидере в своей отрасли.
У меня очень красивая и умная девушка.
Я лидер метал-группы.
Я учусь в лучшем техническом вузе Москвы.
У меня в друзьях ходят очень влиятельные люди — от сыновей начальников ФСБ до директоров по безопасности отдельно взятых компаний.
А чем можешь похвастаться ты, мальчик?
Мальчик.
Мне 20 лет.
Я работаю в компании-лидере в своей отрасли.
У меня очень красивая и умная девушка.
Я лидер метал-группы.
Я учусь в лучшем техническом вузе Москвы.
У меня в друзьях ходят очень влиятельные люди — от сыновей начальников ФСБ до директоров по безопасности отдельно взятых компаний.
А чем можешь похвастаться ты, мальчик?
Ответы>>888648
Почему все умалчивают в том как обновлять веса, если один вес связан с несколькими нейронами?
>>888633
непомню, сам возьми производную же
непомню, сам возьми производную же
>>888633
Это заговор. Если так прямо об этом рассказать, кто угодно сможет сделать нейроночку. Что тогда станет с профессией, с рынком труда, сам подумай.
К тому же это опасная технология, завтра какой-нибудь школьник научится обновлять веса и поработит мир с помощью ИИ.
Это заговор. Если так прямо об этом рассказать, кто угодно сможет сделать нейроночку. Что тогда станет с профессией, с рынком труда, сам подумай.
К тому же это опасная технология, завтра какой-нибудь школьник научится обновлять веса и поработит мир с помощью ИИ.
>>888616
Проигрываю всегда с таких илитариев. Из-за этих хуесосов с высшим образованием, которые нихуя не шарят в системщине и айти в целом, начали сажать вирусописателей, которые намного их умнее.
Да, поговорил с пастой.
>от сыновей начальников ФСБ до директоров по безопасности отдельно взятых компаний
Проигрываю всегда с таких илитариев. Из-за этих хуесосов с высшим образованием, которые нихуя не шарят в системщине и айти в целом, начали сажать вирусописателей, которые намного их умнее.
Да, поговорил с пастой.
>>888658
ок допустим x1,x2,x3 - входной сигнал
w1,w2 - свертка
y1,y2 - сигнал на выходе сети
t1,t2 - эталонный сигнал для входа x1,x2,x3
Как обновлять w1,w2 ?
ок допустим x1,x2,x3 - входной сигнал
w1,w2 - свертка
y1,y2 - сигнал на выходе сети
t1,t2 - эталонный сигнал для входа x1,x2,x3
Как обновлять w1,w2 ?
Ответы>>888683
Решил проверить работу рекуррентной сети, но нет возможности переводить слова в векторы, т.к. написал на паскале. Чем посоветуете занят сеть для теста работы?
Ответы>>888879
Что-то не очень прирост в процентах за год
http://image-net.org/challenges/LSVRC/2016/results
Кто что знает о новых революционных методах, которые возможно применят в 2017 ?
http://image-net.org/challenges/LSVRC/2016/results
Кто что знает о новых революционных методах, которые возможно применят в 2017 ?
Ответы>>889102
87 Кб, 813x719
Читаю вот эту статью https://web.stanford.edu/~hastie/Papers/LARS/LeastAngle_2002.pdf
Почему остатки должны быть ортогональны к выбранному на первом шаге признаку? Может кто пояснить?
Почему остатки должны быть ортогональны к выбранному на первом шаге признаку? Может кто пояснить?
12 Кб, 200x274
>>888969
Ты про метод главных компонент слышал? В 1901 году статья вышла http://stat.smmu.edu.cn/history/pearson1901.pdf
В какой уже раз скажу, ну зачем вы начинаете лезть в тему со всяких бишопов и прочих ISLR, не имея представления об элементарнейших вещах типа формулы Байеса или главных компонент? Да вы разберитесь как линейная регрессия работает, вам после этого любая нейроночка будет понятна. Тут любого совкового учебника хватит, не обязательно искать что-то от шпрингера не позднее 2015 года выхода.
>Почему остатки должны быть ортогональны к выбранному на первом шаге признаку?
Ты про метод главных компонент слышал? В 1901 году статья вышла http://stat.smmu.edu.cn/history/pearson1901.pdf
В какой уже раз скажу, ну зачем вы начинаете лезть в тему со всяких бишопов и прочих ISLR, не имея представления об элементарнейших вещах типа формулы Байеса или главных компонент? Да вы разберитесь как линейная регрессия работает, вам после этого любая нейроночка будет понятна. Тут любого совкового учебника хватит, не обязательно искать что-то от шпрингера не позднее 2015 года выхода.
Ответы>>889047
>>889045
Я знаю что такое метод главных компонент, и что такое формула Байеса. Но не вижу связь.
Я знаю что такое метод главных компонент, и что такое формула Байеса. Но не вижу связь.
Ответы>>889049
>>889049
Ну так поясни если умный. Уже три поста пердишь в лужу.
Ну так поясни если умный. Уже три поста пердишь в лужу.
>>888969
Потому что тогда невязка минимальна. Можешь сам проверить через минимизацию расстояния.
Потому что тогда невязка минимальна. Можешь сам проверить через минимизацию расстояния.
Ответы>>889058
168 Кб, 727x682
>>889054
Спасибо, понял теперь.
Спасибо, понял теперь.
>>888908
На кеглю уже похоже стало, ансамбли всякие на первых местах. Зачем это все нужно, кому?
На кеглю уже похоже стало, ансамбли всякие на первых местах. Зачем это все нужно, кому?
Здесь кто-то игрался с цифровой обработкой сигналов и применениями НН там? Я уже несколько месяцев пытаюсь научиться распознавать фонемы (на базе датасета TIMIT) и не могу получить ничего лучше точности 50% с 38% риколом (пока пробовал только MLP с разными техниками против оверфита). Инб4 я работаю со спектрограммами (по окнам хэмминга) и пробовал извлекать MFCC коэфициенты, большого прироста не дало. Инб4 я знаю что есть стейт оф арт модели на базе CTC с еррор рейтами порядка 21%, но они мне не подходят, как и большинство генеративных моделей, потому что мне важно не просто распознать текст, а его фонетическую составляющую. Т.е. мне очень важно знать, сказал чувак фонему W или V, а не понять, что он имел ввиду water.
Ответы>>889320
Ответы>>889308
>>889302
Уровень абстракции в сверточных слоях и логика в полносвязных слоях. Что тебе еще надо интерпретировать?
Уровень абстракции в сверточных слоях и логика в полносвязных слоях. Что тебе еще надо интерпретировать?
Ответы>>889306
>>889304
бэкпроп подбирает нужные карты для выделения фитч, а также веса для логики в полносвязном слое.
бэкпроп подбирает нужные карты для выделения фитч, а также веса для логики в полносвязном слое.
>>889302
Да вот то, дурачок, то самое. Иди пыхти дальше над апдейтом свертки, и не возвращайся пока не заработает.
Да вот то, дурачок, то самое. Иди пыхти дальше над апдейтом свертки, и не возвращайся пока не заработает.
>>889308
https://en.wikipedia.org/wiki/Kolmogorov–Arnold_representation_theorem
http://link.springer.com/chapter/10.1007/978-94-011-3030-1_56
http://deeplearning.cs.cmu.edu/pdfs/Cybenko.pdf
Шпрингеровскую статью можно спиздить из sci-hub.cc
https://en.wikipedia.org/wiki/Kolmogorov–Arnold_representation_theorem
http://link.springer.com/chapter/10.1007/978-94-011-3030-1_56
http://deeplearning.cs.cmu.edu/pdfs/Cybenko.pdf
Шпрингеровскую статью можно спиздить из sci-hub.cc
>>889179
Читал книжку написанную по мотивам этой публикации (Supervised Sequence Labelling with RNN). Короче, если коротко, то оно не будет работать в общем случае. Ну, LSTM очень хорошо позволяет запомнить последовательность, но очень плохо обобщается. В тимите далеко не все слова английского и на большинстве слов вне корпуса ошибка будет оче оче сильно расти.
Не подходят мне BLSTM.
Читал книжку написанную по мотивам этой публикации (Supervised Sequence Labelling with RNN). Короче, если коротко, то оно не будет работать в общем случае. Ну, LSTM очень хорошо позволяет запомнить последовательность, но очень плохо обобщается. В тимите далеко не все слова английского и на большинстве слов вне корпуса ошибка будет оче оче сильно расти.
Не подходят мне BLSTM.
Ответы>>889329
>>889325
Слушай, из тебя получился бы классный проджект менеджер!
Менеджер: Не можете сделать сетку?
Программисты: Не получается чета...
Менеджер: Сверточные пробуйте
Сверточные сети? Ок. А что давать на вход? Сырой сигнал? Как нормализовать? Что с шумом делать? Не сырой? Тогда может спектрограмму? Ок, а что ты в ней предлагаешь искать? Вся идея сверточных сетей в том, что ты можешь взять и разбить входные данные на тензоры меньшей размерности и быстро посчитать для них фильтры, как-то не очень вписывается в проблематику...
Слушай, из тебя получился бы классный проджект менеджер!
Менеджер: Не можете сделать сетку?
Программисты: Не получается чета...
Менеджер: Сверточные пробуйте
Сверточные сети? Ок. А что давать на вход? Сырой сигнал? Как нормализовать? Что с шумом делать? Не сырой? Тогда может спектрограмму? Ок, а что ты в ней предлагаешь искать? Вся идея сверточных сетей в том, что ты можешь взять и разбить входные данные на тензоры меньшей размерности и быстро посчитать для них фильтры, как-то не очень вписывается в проблематику...
>>889329
Ты сам себя поставил в такую роль, непонятно чем ты недоволен. Он за тебя все сделать должен был и залить на гитхаб, что ли?
Ты сам себя поставил в такую роль, непонятно чем ты недоволен. Он за тебя все сделать должен был и залить на гитхаб, что ли?
Ответы>>889349
>>889329
http://recognize-speech.com/acoustic-model/knn/comparing-different-architectures/convolutional-neural-networks-cnns
http://recognize-speech.com/acoustic-model/knn/comparing-different-architectures/convolutional-neural-networks-cnns
Ответы>>889349
>>889332
>>889334
Это хуйня, они другую задачу решают.
>>889333
Никому ничего не должен. Но смысловой нагрузки в словах "попробуй свертки" ровным счетом ноль.
>>889334
Это хуйня, они другую задачу решают.
>>889333
Никому ничего не должен. Но смысловой нагрузки в словах "попробуй свертки" ровным счетом ноль.
Ответы>>889354
>>889354
Ты вообще читаешь те публикации, что скидываешь? Или то, что я пишу?
Ты вообще читаешь те публикации, что скидываешь? Или то, что я пишу?
Анон, есть идея попробовать на нескольких бумажных примитивах научить нейронную сеть самостоятельно строить сцену.
Суть в том, чтобы научить нейронную сеть распознавать сам примитив. И отдельно найти закономерность для светотени и бликов.
Источник освещения при этом передвигаться не будет.
Все ради того, чтобы получить реалистичное качество, хоть и в низком разрешении.
Суть в том, чтобы научить нейронную сеть распознавать сам примитив. И отдельно найти закономерность для светотени и бликов.
Источник освещения при этом передвигаться не будет.
Все ради того, чтобы получить реалистичное качество, хоть и в низком разрешении.
>>889155
со звуком сам не работал, но знаю, что до тензорфлоу раньше делали нейроночки все на kaldi, там есть туториалы. до нейроночек брали гауссовы смеси с MFCC.
2 минуты в гугле
https://www.cs.cmu.edu/~ymiao/kaldipdnn.html
Хотя искать фонемы для разных языков - это довольно странно, так как фонема - это культурная вещь и не совпадает для разных народов.
со звуком сам не работал, но знаю, что до тензорфлоу раньше делали нейроночки все на kaldi, там есть туториалы. до нейроночек брали гауссовы смеси с MFCC.
2 минуты в гугле
https://www.cs.cmu.edu/~ymiao/kaldipdnn.html
Хотя искать фонемы для разных языков - это довольно странно, так как фонема - это культурная вещь и не совпадает для разных народов.
224 Кб, 1000x715
Есть одна гипотетическая онлайн-игра типа танчиков: сессионка, экшн-стрельба-пушки-шасси-бусты. Ну и донатное бабло. Имеет смысл обращаться к машобу за какими-то инновациями с целью это бабло как-то эффективно освоить? Ну там, какие-то особые данные с игроков собрать, запилить какой-нибудь инновационный плейер-матчинг, вычислить пиздатый асимметричный баланс, использовать поведенческие паттерны игрока вместо фидбека и подобная крутизна. Или все рисёрчи по данной теме давно кристаллизовались в известную всем теорию и ушли в скучные лона маркетинговых тёток? Если смысл есть, то куда идти, где искать, на Каггле? На Хабре? На Рыддите? В этом ИТТ треде? Чтобы не за превеликое бабло известный профессор Ляо Ким из Лос-Анджелеса прикинул хуй к носу и выдал пару блестящих научных теорий. А чтоб толковые котаны взялись и нанейронили мясца, ну или хотя бы попробовали.
Ответы>>889726
>>880548 (OP)
подскажите в каком виде представлять слова/предложения для обучения рекуррентных сетей?
подскажите в каком виде представлять слова/предложения для обучения рекуррентных сетей?
Ответы>>890196
>>889636
DeepMind
Вроде бы все сейчас ждут победы ии в старкрафте, мб потом будет хайп нейроночек в гейдеве.
> то куда идти, где искать
DeepMind
Вроде бы все сейчас ждут победы ии в старкрафте, мб потом будет хайп нейроночек в гейдеве.
>>889726
не взлетит, человеку интересно побеждать живых людей, а не ботов
не взлетит, человеку интересно побеждать живых людей, а не ботов
>>889726
Которая уже почти наверняка произошла. Диипмайнд уже анонсировали, что работают над этим, а если бы они уже не победили, они бы молчали, т.к. анонсировать и не победить потом означает провал в смыле пиара. С го было именно так, анонс того, что они работают над го был уже когда альфаго была гораздо сильнее всех других го-программ.
Наверное, они сейчас занимаются организацией турнира по старкрафту.
>Вроде бы все сейчас ждут победы ии в старкрафте
Которая уже почти наверняка произошла. Диипмайнд уже анонсировали, что работают над этим, а если бы они уже не победили, они бы молчали, т.к. анонсировать и не победить потом означает провал в смыле пиара. С го было именно так, анонс того, что они работают над го был уже когда альфаго была гораздо сильнее всех других го-программ.
Наверное, они сейчас занимаются организацией турнира по старкрафту.
Привет, анон, какими способами можно обнаруживать на изображении нужный мне объект и находить его границы? Например нужно находить на изображении нужно найти все машины.
>>889726
Такие Ляо Кимы как раз и не нужны.
Мне нужно типа фриланс.ру для датамайнеров. Задачи попроще, пореальней.
>DeepMind
Такие Ляо Кимы как раз и не нужны.
Мне нужно типа фриланс.ру для датамайнеров. Задачи попроще, пореальней.
Ответы>>890059
Кто-то может меня с Леночкой заинтродьюсить?
Ответы>>890555
Последний писк в распознавании изображений
https://research.googleblog.com/2016/08/improving-inception-and-image.html
https://research.googleblog.com/2016/08/improving-inception-and-image.html
Ответы>>890928
>>890888
Почему увеличение сложности сети на порядок дает увеличение точности на джва ссаных процента?
Почему увеличение сложности сети на порядок дает увеличение точности на джва ссаных процента?
10 Кб, 804x743
>>890976
Вангую что это от того что при увеличении сложности сети нужно и количество данных в обучающей выборке на пару порядков повышать, иначе твоё увеличение размерности только испортит всё (Ну или ты задавишь это увеличение размерности какой-нибудь регуляризацией и нивелируешь эффект от увеличения размерности).
Те кто шарят лучше - поправьте.
Посмотрел на зависимость вапника-червоненкиса
Вангую что это от того что при увеличении сложности сети нужно и количество данных в обучающей выборке на пару порядков повышать, иначе твоё увеличение размерности только испортит всё (Ну или ты задавишь это увеличение размерности какой-нибудь регуляризацией и нивелируешь эффект от увеличения размерности).
Те кто шарят лучше - поправьте.
Посмотрел на зависимость вапника-червоненкиса
Тред не читал. Программирование не знаю, со школы паскаль только помню, как вкатиться к вам? С чего начать? Сколько времени займет?
>>891045
Толсто. Уходи, котик.
Толсто. Уходи, котик.
>>891045
Катись отсюда в ужосе, пока цел.
>>890976
Потому что "сложность сети" не связана напрямую с точностью.
>>890928
http://image-net.org/challenges/LSVRC/2016/results
ансамбли-ансамблики
Катись отсюда в ужосе, пока цел.
>>890976
Потому что "сложность сети" не связана напрямую с точностью.
>>890928
http://image-net.org/challenges/LSVRC/2016/results
ансамбли-ансамблики
>>891061
И? На каждую задачу применили 6 моделей и посмотрели какая лучше будет? Где тут новизна?
>ансамбли-ансамблики
И? На каждую задачу применили 6 моделей и посмотрели какая лучше будет? Где тут новизна?
>>891134
Это не ансамбль.
Это не ансамбль.
>>891061
тогда это танцы с бубном и тупое запоминание картинок сетью
>"сложность сети" не связана напрямую с точностью.
тогда это танцы с бубном и тупое запоминание картинок сетью
Ответы>>891146
>>891144
Тестовая выборка? Не, не слышал.
>>891134
Применяешь такой 6 моделей и усредняешь их предсказания. Попробуй, базарю еще захочешь.
Но это имхо чит на такого рода соревнованиях. Непонятно, в чем поинт. И дураку понятно, что ассамблировав все эти модели разом, мы получим лучшую точность. Интересно ведь не это, а какая из индивидуальных моделей лучше всего.
Тестовая выборка? Не, не слышал.
>>891134
Применяешь такой 6 моделей и усредняешь их предсказания. Попробуй, базарю еще захочешь.
Но это имхо чит на такого рода соревнованиях. Непонятно, в чем поинт. И дураку понятно, что ассамблировав все эти модели разом, мы получим лучшую точность. Интересно ведь не это, а какая из индивидуальных моделей лучше всего.
Ответы>>891160
>>891146
Ты не понял. Я хотел сказать, что с увеличением сложности, нейросеть не учится лучше извлекать признаки, а просто запоминает больше картинок из тренировочной выборки.
Ты не понял. Я хотел сказать, что с увеличением сложности, нейросеть не учится лучше извлекать признаки, а просто запоминает больше картинок из тренировочной выборки.
>>891160
А ты как думал? Было бы иначе, давно бы уже сделали ИИ и ты бы уже сидел в окопе, отстреливаясь от дронов.
А ты как думал? Было бы иначе, давно бы уже сделали ИИ и ты бы уже сидел в окопе, отстреливаясь от дронов.
>>891160
Для этого есть тестовая выборка, чтобы определять обучилась или просо запомнила.
> а просто запоминает больше картинок из тренировочной выборки.
Для этого есть тестовая выборка, чтобы определять обучилась или просо запомнила.
Ответы>>891175
>>891166
Что ты заладил со своей тестовой, для большинства тестовых картинок можно найти очень похожие аналоги в тренировочной выборке.
Ну допустим, в тестовой есть 20% уникальных по содержанию и ракурсу - так примерно на столько и ошибается нейросеть.
Что ты заладил со своей тестовой, для большинства тестовых картинок можно найти очень похожие аналоги в тренировочной выборке.
Ну допустим, в тестовой есть 20% уникальных по содержанию и ракурсу - так примерно на столько и ошибается нейросеть.
Ответы>>891180
>>891175
Да, ты совершенно прав, нейроночки не работают. Хайп раздули просто чтобы тебе досадить.
Да, ты совершенно прав, нейроночки не работают. Хайп раздули просто чтобы тебе досадить.
Ответы>>891190
>>891045
Учи лисп, для начала. Дальше заебашь на нем перцептрон.
Учи лисп, для начала. Дальше заебашь на нем перцептрон.
75 Кб, 600x800
Реально ли в ближайшем будущем запилить нейросеть, чтоб из шакалистых пикч делала хайрезные?
Ответы>>891623
>>891487
Гугли GAN
http://www.iangoodfellow.com/slides/2016-12-04-NIPS.pdf
Но не жди, что твои фантазии будут совпадать с фантазиями нейроночки.
Гугли GAN
http://www.iangoodfellow.com/slides/2016-12-04-NIPS.pdf
Но не жди, что твои фантазии будут совпадать с фантазиями нейроночки.
38 Кб, 433x444
23 Кб, 163x292
19 Кб, 153x299
21 Кб, 183x245
Пацаны, помогите, пожалуйста. Пишу нейросеть, которая должна распознавать простенькие шаблоны и вот в чем дело, когда выходных нейронов немного 2-3, то все работает нормально (пик 1, 2), а когда выходных нейронов много, например 9 (распознавание чисел), то получается такая дичь (пик 3, 4 (на 3 пике попытка распознать число 5)) и ошибка не уменьшается. Использую двухслойную нейросеть, кол-во скрытых нейронов вычисляется так (кол-во входных нейронов + кол-во выходных нейронов)^(1/2). В чем может быть проблема?
>>892018
*на 4 пике попытка распознать число 5
*на 4 пике попытка распознать число 5
>>892044
Что это? Если что, я пишу на чистом с#. Знаю, не удобно и тупо, но я уже начал и мне нужно закончить до 22 декабря.
Что это? Если что, я пишу на чистом с#. Знаю, не удобно и тупо, но я уже начал и мне нужно закончить до 22 декабря.
Ответы>>892050
>>892050
Окей, я попробую, спасибо.
Окей, я попробую, спасибо.
>>892050
Я так понял эта функция (пик 1) это сумма всех активаций выходного слоя сети разделенная на количество нейронов в выходном слое и под корнем (но это относится только к последним весам, которые соединяются с выходом. Дальше нужно использовать то, что получилось в прошлом слое сети)? Надеюсь вопрос звучит понятно.
Я так понял эта функция (пик 1) это сумма всех активаций выходного слоя сети разделенная на количество нейронов в выходном слое и под корнем (но это относится только к последним весам, которые соединяются с выходом. Дальше нужно использовать то, что получилось в прошлом слое сети)? Надеюсь вопрос звучит понятно.
24 Кб, 388x191
>>892243
Картинку забыл
Картинку забыл
>>892243
Использовать значение, на предыдущем шаге итерации.
> Дальше нужно использовать то, что получилось в прошлом слое сети)?
Использовать значение, на предыдущем шаге итерации.
Ответы>>892374
>>892363
Ну, да, это я и имел ввиду.
Ну, да, это я и имел ввиду.
>>892404
Тип слоя, активации.
Тип слоя, активации.
>>892428
Еще я использовал 1/(1+е^(-x)) как активационную фунцию.
Еще я использовал 1/(1+е^(-x)) как активационную фунцию.
Вопросики про ШАД.
- кто-то из треда учился там на заочке?
- подготовиться за полгода - реальная задача? Времени много, матан и теорвер минимально знаю. И вообще буду рад если поделитесь своим опытом подготовки и советами.
- кто-то из треда учился там на заочке?
- подготовиться за полгода - реальная задача? Времени много, матан и теорвер минимально знаю. И вообще буду рад если поделитесь своим опытом подготовки и советами.
Ответы>>896647
А почему все тут городят свой велосипед и не используют библиотеки? Обучаются што ле?
>>892825
Я - да. Но пришел к выводу, что под cuda будет столько ебатни по написанию нейроночки, что лучше уж установить caffe и поебаться с ним.
Я - да. Но пришел к выводу, что под cuda будет столько ебатни по написанию нейроночки, что лучше уж установить caffe и поебаться с ним.
>>892825
Свой велосипед все городят во время обучения, чтобы понять што там у ней внутре происходит.
Свой велосипед все городят во время обучения, чтобы понять што там у ней внутре происходит.
77 Кб, 1720x2453
Все ваши нейроночки (совсем все) и даже в более общем случае все алгоритмы машоба - частный случай пикрелейтед. Т.к. в любом случае имеем некий вход, более-менее близкий к среднему своему значению, некий выход, так же с разбросом значений вокруг среднего, некие свободные параметры, настраивающиеся в ходе "обучения" и по возможности наиболее оптимально аппроксимирующие преобразования входов в выходы, и некие методы настройки свободных параметров, оптимизирующий их в зависимости от конкретного датасета. Алсо, функции принадлежности заменены другими терминами, но по сути от них не отличающимися.
>>892953
Каких еще экспертов? Параметры настраиваются любым подходящим методом, хоть бэкпропагейшн.
Каких еще экспертов? Параметры настраиваются любым подходящим методом, хоть бэкпропагейшн.
Ответы>>892970
>>892959
Который был создан как раз для нейроночек, что как бы намекает, лол.
И вообще, что ты там собрался обучать для своей модели нечеткой стиралки?
>бэкпропагейшн
Который был создан как раз для нейроночек, что как бы намекает, лол.
И вообще, что ты там собрался обучать для своей модели нечеткой стиралки?
Ответы>>892979
>>892970
Тебе ж говорят, все нейроночки - частный случай SAM. Неважно какие педали для какого велосипеда были исторически созданы раньше. Есть целый класс нейрофаззи моделей, суть которых именно в использовании для их настройки алгоритмов от нейроночек. К слову, такие модели напрямую интерпретируемы, в отличие от нейроночек, которые суть черные ящики без специальных костылей, направленных на интерпретируемость.
Тебе ж говорят, все нейроночки - частный случай SAM. Неважно какие педали для какого велосипеда были исторически созданы раньше. Есть целый класс нейрофаззи моделей, суть которых именно в использовании для их настройки алгоритмов от нейроночек. К слову, такие модели напрямую интерпретируемы, в отличие от нейроночек, которые суть черные ящики без специальных костылей, направленных на интерпретируемость.
254 Кб, 717x393
62 Кб, 599x424
>>892979
Ну приведи примеры нечетких моделей, классифицирующих изображения, где напрямую видно что происходит в модели и как это интерпретируется.
Ну приведи примеры нечетких моделей, классифицирующих изображения, где напрямую видно что происходит в модели и как это интерпретируется.
Ответы>>893002
Нечеткий петух закукарекал.
>>892988
первую картинку рисовал человек
первую картинку рисовал человек
Как всегда, никто не понял тезиса >>892880 мдауш. Или просто пост не прочитали, а триггернулись на страницу из книжки Коско.
>>893007
Какой там тезис, ты сам-то понимаешь, о чем ты блеешь, оболтус? Это откровение уровня "нейроночка это функция" или "нейроночка это массив".
Какой там тезис, ты сам-то понимаешь, о чем ты блеешь, оболтус? Это откровение уровня "нейроночка это функция" или "нейроночка это массив".
Ответы>>893119
1202 Кб, 2592x1944
>>893069
Ну раз школьник с мейлру так сказал, то ладно. На самом же деле это наиболее простая основа для запиливания ML-системы вообще любого назначения и любой архитектуры, в том числе стыкованной.
>Это откровение уровня "нейроночка это функция" или "нейроночка это массив".
Ну раз школьник с мейлру так сказал, то ладно. На самом же деле это наиболее простая основа для запиливания ML-системы вообще любого назначения и любой архитектуры, в том числе стыкованной.
Ответы>>893128
>>893119
А машина Тьюринга это едрить основа для запиливания ВААПЩЕ ВСЕГО. Дальше-то что?
А машина Тьюринга это едрить основа для запиливания ВААПЩЕ ВСЕГО. Дальше-то что?
хгбуст теперь тоже можно на видюхе гонять:
https://github.com/dmlc/xgboost/blob/master/plugin/updater_gpu/README.md
https://github.com/dmlc/xgboost/blob/master/plugin/updater_gpu/README.md
Ответы>>893231
>>893185
Как пить дать, через месячишко мелкомягкие в свой lightgbm тоже впилят.
Как пить дать, через месячишко мелкомягкие в свой lightgbm тоже впилят.
>>892979
Как же вы заебали, пиздуйте уже со своим фаззи на имаджнеты и прочие мл-дрочильни, и покажите всем, что ваше дерьмо круче того, что пользуют всякие дипмайнды.
Как же вы заебали, пиздуйте уже со своим фаззи на имаджнеты и прочие мл-дрочильни, и покажите всем, что ваше дерьмо круче того, что пользуют всякие дипмайнды.
Ответы>>893348
>>893324
херню сказал, как безумные шизики, которые ни когда ни чего не запускали, смогут что нибудь доказать на деле?
херню сказал, как безумные шизики, которые ни когда ни чего не запускали, смогут что нибудь доказать на деле?
Посоны, тут вот какое дело.
Работаю в организации, пилим одну бизнес софтину на жаве.
Не так давно для клиентских нужд намутили Data Warehouse (как и оперативная база - на MS SQL), плюс в планах развить это направление до SSAS ну и прикрутить различных плюшек из ML, но последнее пока без какого-либо конкретного плана.
В качестве основного инструмента для визуализации инфы из Warehouse используем PowerBI, тот в свою очередь поддерживает R.
Что можете порекомендовать для дальнейшего развития этого направления? Секу пока мало, но имею большое желание и, в принципе, возможности для изучения подходящего материала.
Заранее спасибо
Работаю в организации, пилим одну бизнес софтину на жаве.
Не так давно для клиентских нужд намутили Data Warehouse (как и оперативная база - на MS SQL), плюс в планах развить это направление до SSAS ну и прикрутить различных плюшек из ML, но последнее пока без какого-либо конкретного плана.
В качестве основного инструмента для визуализации инфы из Warehouse используем PowerBI, тот в свою очередь поддерживает R.
Что можете порекомендовать для дальнейшего развития этого направления? Секу пока мало, но имею большое желание и, в принципе, возможности для изучения подходящего материала.
Заранее спасибо
>>893355
Тут большинство - голодные студенты и аспиранты, как я понимаю.
Про всякие хадупы, спарки и махауты для биг даты ты наверняка слышал. Теорию можешь подчерпнуть из книг в шапке.
Тут большинство - голодные студенты и аспиранты, как я понимаю.
Про всякие хадупы, спарки и махауты для биг даты ты наверняка слышал. Теорию можешь подчерпнуть из книг в шапке.
>>893355
Пройди курс курс Andrew Ng на курсере (там все разжевано, нужно только знание школьной математики), а потом понапихай всяких линейных регрессоров и кластеризаторов в свой энтерпрайзный ужас.
В конце не забудь добавить красивую надпись power by deep learning
Пройди курс курс Andrew Ng на курсере (там все разжевано, нужно только знание школьной математики), а потом понапихай всяких линейных регрессоров и кластеризаторов в свой энтерпрайзный ужас.
В конце не забудь добавить красивую надпись power by deep learning
>>893355
А лучше найми какого нибудь студента (ну или меня, лол) за жрат. Пусть будет сидеть и прикручивать к вашему проекту разные красивые штуки.
А лучше найми какого нибудь студента (ну или меня, лол) за жрат. Пусть будет сидеть и прикручивать к вашему проекту разные красивые штуки.
Гайд по станкам на русском завезли:
https://habrahabr.ru/company/microsoft/blog/317512/
https://habrahabr.ru/company/microsoft/blog/317512/
Ответы>>893694
>>893694
Самое то для дядь, вкатываюшихся в 35 из энтерпрайза. Но тут таких нет наверное.
Самое то для дядь, вкатываюшихся в 35 из энтерпрайза. Но тут таких нет наверное.
Ответы>>893703
Котаны, работаю в большой русской конторе, хотел бы расширить свои компетенции, посоветуйте книжку с максимально практическими примерами (читай, как крутить рекламу людям, чтобы они кликали, как строить их профили по активности в сети и т.п.). Математику понимаю, но однозначно нужна не книжка/статьи для исследователей, но книжка для практиков (из языков предпочтительно Python).
Ответы>>893727
>>893716
> 2016
> не выкатываться из нейроночек и не вкатываться в выживание, запас еды, стрельбу, войну в городских условиях, вождение танков и самолётов
>>893723
На, почитай, дашь ревью нам потом:
https://goo.gl/eM8noZ
https://goo.gl/noCkMg
https://goo.gl/8qurz4
На, почитай, дашь ревью нам потом:
https://goo.gl/eM8noZ
https://goo.gl/noCkMg
https://goo.gl/8qurz4
Ответы>>893730
>>893727
Нейроночка даст.
Нейроночка даст.
>>893355
Если с R работаете, то все что нужно у вас уже есть. Я тут неоднократно пруфал, что в R всякого ML в разы больше чем на том же пистоне (исключая модные у школьников сверточные сети, которые не нужны, если у тебя нет кластера из хотя бы нескольких сотен девайсов с GPU, на меньшем сможешь только котов под Пикассо перерисовывать). Для R есть такая тема как обзоры готовых решений по типу задачи https://cran.r-project.org/web/views/ обзор пакетов конкретно по ML https://cran.r-project.org/web/views/MachineLearning.html
>поддерживает R.
Если с R работаете, то все что нужно у вас уже есть. Я тут неоднократно пруфал, что в R всякого ML в разы больше чем на том же пистоне (исключая модные у школьников сверточные сети, которые не нужны, если у тебя нет кластера из хотя бы нескольких сотен девайсов с GPU, на меньшем сможешь только котов под Пикассо перерисовывать). Для R есть такая тема как обзоры готовых решений по типу задачи https://cran.r-project.org/web/views/ обзор пакетов конкретно по ML https://cran.r-project.org/web/views/MachineLearning.html
>>894159
Не анон выше, но на пистоне значительно проще писать все вокруг ML (а ML в не вакууме работает) и потом спасибо скажут все начиная от опсов и заканчивая теми, кто ML-потуги будет потом допиливать.
Не анон выше, но на пистоне значительно проще писать все вокруг ML (а ML в не вакууме работает) и потом спасибо скажут все начиная от опсов и заканчивая теми, кто ML-потуги будет потом допиливать.
Ответы>>894166
>>894164
На пистоне писать может только программист-пистонщик, на R - любой желающий. R ставится в 2 клика, пистоновские костыли на винде ставить заебешься. А разгадка проста - R это изначально язык обработки данных, тогда как пистон - параша общего назначения с костылями для обработки данных. И на R полно всего "вокруг" ML.
>на пистоне значительно проще писать все вокруг ML
На пистоне писать может только программист-пистонщик, на R - любой желающий. R ставится в 2 клика, пистоновские костыли на винде ставить заебешься. А разгадка проста - R это изначально язык обработки данных, тогда как пистон - параша общего назначения с костылями для обработки данных. И на R полно всего "вокруг" ML.
Ответы>>894171
>>894166
Качество написанного оставляет желать лучшего (я ориентируюсь на то, что код пишется один раз и потом работает и поддерживается годами).
Зачем тебе винда? Разработка и деплой вполне себе живет на ubuntu, например, кликать мышкой можно и там и там, а проблем с установкой меньше.
Не спорю про назначение, но в этом и сила пистона: относительная простота + какая-никакая стройность языка общего назначения.
Возможно я пропустил, но приведи тогда пример сколько-нибудь быстрого http-сервера на R (или любой параши, чтобы давать доступ к твоим вычислениям извне типа grpc), какого-нибудь фреймворка для числодробления в больших масштабах (условно, асинхронности типа tornado или интерфейса к распределенным очередям, чего-нибудь, чтобы не ты один мог своим ML пользоваться).
> На пистоне писать может только программист-пистонщик, на R - любой желающий.
Качество написанного оставляет желать лучшего (я ориентируюсь на то, что код пишется один раз и потом работает и поддерживается годами).
> R ставится в 2 клика, пистоновские костыли на винде ставить заебешься.
Зачем тебе винда? Разработка и деплой вполне себе живет на ubuntu, например, кликать мышкой можно и там и там, а проблем с установкой меньше.
> А разгадка проста - R это изначально язык обработки данных, тогда как пистон - параша общего назначения с костылями для обработки данных.
Не спорю про назначение, но в этом и сила пистона: относительная простота + какая-никакая стройность языка общего назначения.
> И на R полно всего "вокруг" ML.
Возможно я пропустил, но приведи тогда пример сколько-нибудь быстрого http-сервера на R (или любой параши, чтобы давать доступ к твоим вычислениям извне типа grpc), какого-нибудь фреймворка для числодробления в больших масштабах (условно, асинхронности типа tornado или интерфейса к распределенным очередям, чего-нибудь, чтобы не ты один мог своим ML пользоваться).
Как выбрать видеокарту, братишки?
Ответы>>894454
>>894159
Диван не палится. Обучение сеток довольно хуево параллелится, поэтому все, что тебе нужно, это споты на AWS, по 20 центов в час.
>исключая модные у школьников сверточные сети, которые не нужны, если у тебя нет кластера из хотя бы нескольких сотен девайсов с GPU, на меньшем сможешь только котов под Пикассо перерисовывать
Диван не палится. Обучение сеток довольно хуево параллелится, поэтому все, что тебе нужно, это споты на AWS, по 20 центов в час.
11/10, я три дня пытался поставить тензорфлоу-гпу, а у меня в итоге видеокарта его не поддерживает
>>894509
Тензорфлоу для чего сделали? Все новые библиотеки для сверточных нейроночек (TensorFlow, MXNet) работают именно на распараллеливание.
>Обучение сеток довольно хуево параллелится
Тензорфлоу для чего сделали? Все новые библиотеки для сверточных нейроночек (TensorFlow, MXNet) работают именно на распараллеливание.
Это уже видели? Реалистичная генерация изображений 256 на 256 на основе текстового описания https://arxiv.org/pdf/1612.03242v1.pdf
>>894559
Статью принёс, а видео не принёс:
http://www.evolvingai.org/ppgn
https://www.youtube.com/watch?list=PL5278ezwmoxQEuFSbNzTMxM7McMIqx_HS&v=ePUlJMtclcY
Статью принёс, а видео не принёс:
http://www.evolvingai.org/ppgn
https://www.youtube.com/watch?list=PL5278ezwmoxQEuFSbNzTMxM7McMIqx_HS&v=ePUlJMtclcY
Ответы>>894584
>>894595
Неплохо, но имхо это от бедности все. Спецализированные погодные модели с физикой будут работать лучше и быстрее. Это все равно что предсказывать движение планет нейроночкой - как-то оно работать будет, но решить соответствующий дифур ты получишь гораздо большую точность.
Неплохо, но имхо это от бедности все. Спецализированные погодные модели с физикой будут работать лучше и быстрее. Это все равно что предсказывать движение планет нейроночкой - как-то оно работать будет, но решить соответствующий дифур ты получишь гораздо большую точность.
Ответы>>894618
>>894559
Четко сделали. Хотя эти птицы и цветы порядком поднадоели. А на imagenet такое не получается пока сделать, на выходе просто пятна какие-то.
Четко сделали. Хотя эти птицы и цветы порядком поднадоели. А на imagenet такое не получается пока сделать, на выходе просто пятна какие-то.
>>894614
Я бы не сказал, что ты прав. У меня есть такое чувство, что в природе все эти погодные явления очень очень и очень закономерны и на масштабе ядер сверточной сетки они должны неплохо апроксимироваться. Как ты видишь со статьи, они довольно пиздатый fmeasure получили в конце.
Я бы не сказал, что ты прав. У меня есть такое чувство, что в природе все эти погодные явления очень очень и очень закономерны и на масштабе ядер сверточной сетки они должны неплохо апроксимироваться. Как ты видишь со статьи, они довольно пиздатый fmeasure получили в конце.
Как же заебал этот хайп. Почему я блять в 2010 не вкатился.
Ответы>>894656
>>894559
Интересно, если такую модель натренировать на датасете центральных процессоров, можно ли получить сгущёнки?
Интересно, если такую модель натренировать на датасете центральных процессоров, можно ли получить сгущёнки?
>>894734
Ахаха. Ты видел вообще например тех же абитуриентов физтеха? У каждого блять в голове эти нейронки ебучие.
Ахаха. Ты видел вообще например тех же абитуриентов физтеха? У каждого блять в голове эти нейронки ебучие.
Ответы>>894760
>>894753
Это норма. А что у них должно быть в голове, вебмакачество как в 2000? Макаки свое отжили, это факт. В будущем есть место только для нейоночек и их рабов.
Это норма. А что у них должно быть в голове, вебмакачество как в 2000? Макаки свое отжили, это факт. В будущем есть место только для нейоночек и их рабов.
Ответы>>894778
>>894760
Хоть бы игры хотели делать. Через 4 года выйду и будут рады работать за еду, а ты нахуй пойдёшь.
Хоть бы игры хотели делать. Через 4 года выйду и будут рады работать за еду, а ты нахуй пойдёшь.
>>894778
Угу, так и вижу как меня увольняют и нанимают слесаря без опыта за сухари делать мою работу. При том что здесь никто кроме меня даже не сможет толком объяснить, в чем именно она заключается.
Угу, так и вижу как меня увольняют и нанимают слесаря без опыта за сухари делать мою работу. При том что здесь никто кроме меня даже не сможет толком объяснить, в чем именно она заключается.
Ответы>>895041
>>894679
Забавный факт - у нас в Яндексе есть склад цп, хранится в виде хэшей, векторов фишера, лбп-паттернов, внутреннего стейта сетки и еще какой-то не расшифровываемой обратно в картинку хуеты.
Забавный факт - у нас в Яндексе есть склад цп, хранится в виде хэшей, векторов фишера, лбп-паттернов, внутреннего стейта сетки и еще какой-то не расшифровываемой обратно в картинку хуеты.
>>894794
Не NDA-ли часом? Токза преде, порядок наведе!
Не NDA-ли часом? Токза преде, порядок наведе!
Ответы>>894826
>>894794
Ждите товарища майора из /pr/
Ждите товарища майора из /pr/
>>894813
Интересно. А в той статье про 256х256 они сравнивали свой результат по этим метрикам с прошлыми работами?
Интересно. А в той статье про 256х256 они сравнивали свой результат по этим метрикам с прошлыми работами?
Аноны, объясните явление. Тренирую LSTM нейроночку с помощью SGD, и когда loss приближается к какому-то маленькому значению, то внезапно начинает увеличиваться на порядки. Типа от 2 может вырасти до 5000 и продолжать увеличиваться. Как такое может быть?
Ответы>>895043
>>894790
Понимаешь, братишка, все эти фаззи-хуяззи будут работать ровно до того момента, когда очередная нейро-макака случайно не создаст неинтерпретируемую нейроночку, которая будет работать лучше твоего заумного матана. Как сейчас ассемблер вытеснен C и C++, так и нейроночки вытеснят все эти гауссовы штуки. Никто же не парится, что невозможно понять как работает машинный код четвертого фаллаута. Так и никто не будет париться каким образом предсказывает нейроночка.
Понимаешь, братишка, все эти фаззи-хуяззи будут работать ровно до того момента, когда очередная нейро-макака случайно не создаст неинтерпретируемую нейроночку, которая будет работать лучше твоего заумного матана. Как сейчас ассемблер вытеснен C и C++, так и нейроночки вытеснят все эти гауссовы штуки. Никто же не парится, что невозможно понять как работает машинный код четвертого фаллаута. Так и никто не будет париться каким образом предсказывает нейроночка.
Ответы>>895042
>>895037
На конечных этапах у тебя слишком большой момент и твоя точка проскакивает минимум. Уменьшай момент побыстрее.
На конечных этапах у тебя слишком большой момент и твоя точка проскакивает минимум. Уменьшай момент побыстрее.
>>894778
Я так рассуждал, когда не пошел в 2006 на программиста. И знаешь что? Я блядь все равно работаю программистом и их мало. Работы хватит на всех.
Я так рассуждал, когда не пошел в 2006 на программиста. И знаешь что? Я блядь все равно работаю программистом и их мало. Работы хватит на всех.
>>894559
И ведь такие хуйни перестали уже удивлять.
И ведь такие хуйни перестали уже удивлять.
10994 Кб, Webm
>>895695
Но постарел же.
Но постарел же.
хмм, неужели никому не пригорело?
Ответы>>896161
>>880548 (OP)
Где почитать про применение Idris к NN? Ничего не нашел.
>5. idris/coq - модные яп для формально верифицированных нейроночек с тренировкой на этапе компиляции
Где почитать про применение Idris к NN? Ничего не нашел.
>>896079
Зависть это глупо. Тем более есть более достойные люди для зависти.
А гореть с какой-то несправедливости глупо. Вон куча мажориков рождаются в сладкую жизнь и что теперь?
Зависть это глупо. Тем более есть более достойные люди для зависти.
А гореть с какой-то несправедливости глупо. Вон куча мажориков рождаются в сладкую жизнь и что теперь?
Как сделать дабы из какой-то последовательности цифр нейросеть или что-то попроще вычисляла закономерность и продолжала последовательность? Или дайте ссылки, если кто-то уже сделал это
Ответы>>896210
>>896204
Лаба?
Гугли RNN, Фибоначчи найдёт и предскажет, что-то сложнее вряд ли, у мего товарища не получилось.
Лаба?
Гугли RNN, Фибоначчи найдёт и предскажет, что-то сложнее вряд ли, у мего товарища не получилось.
Ответы>>896222
>>896222
Генетическое программирование работает неплохо, но всё зависит от языка, который ты заложишь внутрь.
Генетическое программирование работает неплохо, но всё зависит от языка, который ты заложишь внутрь.
Ответы>>896232
>>896224
Какой язык? Программирования или ты о другом? Мне интересно как это должно работать
Какой язык? Программирования или ты о другом? Мне интересно как это должно работать
Ответы>>896234
>>896232
В генетическом программировании выращиваются программы, язык, который эти программы будут использовать ты должен задать сам. Проще всего выращивать что-то похожее на AST. Полистай книжку
http://www.genetic-programming.com/jkpdf/tr1314.pdf
В генетическом программировании выращиваются программы, язык, который эти программы будут использовать ты должен задать сам. Проще всего выращивать что-то похожее на AST. Полистай книжку
http://www.genetic-programming.com/jkpdf/tr1314.pdf
Ответы>>897021
>>896285
Курс китаёзы, первые шесть книг из шапки, пиздон, R с пакетами. Все текут, все дела.
Курс китаёзы, первые шесть книг из шапки, пиздон, R с пакетами. Все текут, все дела.
Ответы>>896315
>>896285
Завтра ищешь в интернете книжку "Neural networks for pattern recognition". Похуй если ничего не поймешь. Затем идешь на julialang.org и изучаешь яп julia от корки до корки. Потом зубришь, именно, сука, вызубриваешь алгоритм обратного распостранения ошибки - чтоб от зубов отскакивало. Когда напишешь свою первую нейроночку, по пути изучив теорему бейса, покупаешь нормальную видео карту, рекомендую NVIDIA GTX1080ti. Как переделаешь нейроночку, чтобы выдавала по крайней мере 5 тысяч предсказаний в секунду, можешь идти дальше - тебя ждет увлекательный мир диплёрнинга. CNN, RNN, сверхглубокие машины больцмана, slesarflow. Отсос хиккующих выблядков / просто неудачников типа нечётко-питуха или R-хуесосов, которые сосут хуй по жизни не заставит себя ждать и уже через пол года ты будешь получать такие суммы, что любая баба будет течь при одном упоминании твоей зарплаты.
Завтра ищешь в интернете книжку "Neural networks for pattern recognition". Похуй если ничего не поймешь. Затем идешь на julialang.org и изучаешь яп julia от корки до корки. Потом зубришь, именно, сука, вызубриваешь алгоритм обратного распостранения ошибки - чтоб от зубов отскакивало. Когда напишешь свою первую нейроночку, по пути изучив теорему бейса, покупаешь нормальную видео карту, рекомендую NVIDIA GTX1080ti. Как переделаешь нейроночку, чтобы выдавала по крайней мере 5 тысяч предсказаний в секунду, можешь идти дальше - тебя ждет увлекательный мир диплёрнинга. CNN, RNN, сверхглубокие машины больцмана, slesarflow. Отсос хиккующих выблядков / просто неудачников типа нечётко-питуха или R-хуесосов, которые сосут хуй по жизни не заставит себя ждать и уже через пол года ты будешь получать такие суммы, что любая баба будет течь при одном упоминании твоей зарплаты.
>>896319
Жрать захочешь - найдёшь, но не факт, что в ML.
Учи ангельский и уябывай работать за еду в СШП, только хз, как там через стену перелезать.
Жрать захочешь - найдёшь, но не факт, что в ML.
Учи ангельский и уябывай работать за еду в СШП, только хз, как там через стену перелезать.
А если взять несколько шизофреников, несколько исполнительных высокофункциональных аутистов и пару инженеров, то какие шансы на создание ИИ?
>>896530
Шок сенсация, спрос на обучение машинному обучению превысил спрос на машинное обучение.
Шок сенсация, спрос на обучение машинному обучению превысил спрос на машинное обучение.
>>896533
кто-то же должен создать ИИ
кто-то же должен создать ИИ
>>896533
ХАЙПУУУУУУУУУУУУУУУУУУУУ~~~~~~~~~
ХАЙПУУУУУУУУУУУУУУУУУУУУ~~~~~~~~~
>>896511
Не нужно
Не нужно
Кто-то пробовал проги каффи переносить на другие машины с виндой? Много ли ебатни при переносе? Сравнимо стем что устанавливаешь там польностью пакет каффи? Че-то надо уставливать или хватит длл носить с ехе-шником?
>>896968
Просто все эти современные нейросети по сути подслеповатые бабули, пытающиеся разглядеть что-то вдали, имея зрение +10.
Попытка забавная, но бестолковая по своей сути: для сколь-либо точного анализа при таком подходе просто не хватает инфы.
Приходится изобретать велосипеды с переиспользованием входной инфы после сеточек, чтобы хотя-бы убедиться, что сеточка не гонит откровенную пургу.
Просто все эти современные нейросети по сути подслеповатые бабули, пытающиеся разглядеть что-то вдали, имея зрение +10.
Попытка забавная, но бестолковая по своей сути: для сколь-либо точного анализа при таком подходе просто не хватает инфы.
Приходится изобретать велосипеды с переиспользованием входной инфы после сеточек, чтобы хотя-бы убедиться, что сеточка не гонит откровенную пургу.
Ответы>>897042
>>896234
Т.е. берется любой язык, комманды и др. конструкции из него используются как пространство поиска, а функция приспособленности определяется по решению поставленной задачи? Это довольно очевидное применение генетических алгоритмов, вся проблема в конкретной реализации такого. Есть какое-то программное обеспечение, в котором генетические алгоритмы реализованны именно так? Т.е. чтобы правда можно было задать ЯП, задать цель, готовые решения запускались/компилировались бы для проверки на соответствие функции приспособленности? Ведь так жи любую программу можно заебенить, просто задал язык и цель задачи и все, жди когда тебе готовые рабочие варианты кода появятся. Джва года хочу что-то такое.
Т.е. берется любой язык, комманды и др. конструкции из него используются как пространство поиска, а функция приспособленности определяется по решению поставленной задачи? Это довольно очевидное применение генетических алгоритмов, вся проблема в конкретной реализации такого. Есть какое-то программное обеспечение, в котором генетические алгоритмы реализованны именно так? Т.е. чтобы правда можно было задать ЯП, задать цель, готовые решения запускались/компилировались бы для проверки на соответствие функции приспособленности? Ведь так жи любую программу можно заебенить, просто задал язык и цель задачи и все, жди когда тебе готовые рабочие варианты кода появятся. Джва года хочу что-то такое.
>>897021
Почему бы тебе просто не открыть вики? По-хардкору: ГП было изобретено лет 30 назад, и его создатель, Джон Коза, был настолько ошеломлен собственной гениальностью, что запатентовал свой алгоритм. На чем история фактически и закончилась, т.к. никто не хотел иметь дела с этим патентом, к тому же скоро выяснилось, что ГП работает очень плохо.
Почему бы тебе просто не открыть вики? По-хардкору: ГП было изобретено лет 30 назад, и его создатель, Джон Коза, был настолько ошеломлен собственной гениальностью, что запатентовал свой алгоритм. На чем история фактически и закончилась, т.к. никто не хотел иметь дела с этим патентом, к тому же скоро выяснилось, что ГП работает очень плохо.
>>897027
Я нашел нечто такое для кот бы сомневался R http://rsymbolic.org/ только там как я понял, пока что только посмотрел по диагонали типизированное лямбда-исчисление. Если к этому прикрутить пруверы и соотв. спецификации нужной программы на MLTT, должно получиться поинтереснее, чем если просто какой-нибудь быдлолисп содомировать генетическими алгоритмами.
Я нашел нечто такое для кот бы сомневался R http://rsymbolic.org/ только там как я понял, пока что только посмотрел по диагонали типизированное лямбда-исчисление. Если к этому прикрутить пруверы и соотв. спецификации нужной программы на MLTT, должно получиться поинтереснее, чем если просто какой-нибудь быдлолисп содомировать генетическими алгоритмами.
Ответы>>897034
>>897030
Флаг в руки.
Флаг в руки.
>>897021
На практике пока сгенерируется что-то нетривиальное ты будешь ждать дохуиллион лет.
На практике пока сгенерируется что-то нетривиальное ты будешь ждать дохуиллион лет.
Тема с генетическим программированием, кстати, не только не померла, как сообщил>>897027 но даже и развивается http://spotseven.org/
>>896993
Это ты просто набросил? У любой конторы с определенного уровня инфы для анализа - вагоны.
Это ты просто набросил? У любой конторы с определенного уровня инфы для анализа - вагоны.
Ответы>>897344
>>897040
Нейроночки, поди, гоняешь на видюхе, шалунишка?
Я тоже смотрел на это компо, но то что там рыб надо сначала детектить меня сразу отвращает. Это сколько работы надо проделать: руками разметить рыб, сделать детектор, потом сделать классификатор. Конечно, 50к того стоят, но выиграть их шансов мало.
Нейроночки, поди, гоняешь на видюхе, шалунишка?
Я тоже смотрел на это компо, но то что там рыб надо сначала детектить меня сразу отвращает. Это сколько работы надо проделать: руками разметить рыб, сделать детектор, потом сделать классификатор. Конечно, 50к того стоят, но выиграть их шансов мало.
Ответы>>897071
>>897044
Хммм, я даже не знаю, а как по-другому учиться? Просто читаешь Бишопа и становишься умным?
Хммм, я даже не знаю, а как по-другому учиться? Просто читаешь Бишопа и становишься умным?
Ответы>>897085
>>897071
Для учебы норм затея, если свободное время есть на это. Бишопа это никак не отменяет.
Для учебы норм затея, если свободное время есть на это. Бишопа это никак не отменяет.
>>897086
азазаз)
азазаз)
>>896663
бамп вопросу
бамп вопросу
>>896663
Там же куча зависимых пакетов и еботни, как оно вообще на винде работает?
Проще написать с нуля либу для прогона, тебе не тренировать же ее под виндой.
Там же куча зависимых пакетов и еботни, как оно вообще на винде работает?
Проще написать с нуля либу для прогона, тебе не тренировать же ее под виндой.
У меня тут такая проблема, училка требует на доклад по машинному обучению рассказать об инженерии знаний. Как связаны машинное обучение и инженерия знаний? Это ведь две противоположности, а она говорит, что инженерия знаний это тоже машинное обучение.
926 Кб, 846x638
Пуховая логика более или менее хреново, но вычислительно эффективный способ аппроксимации вероятностных рассуждений. Теперь, когда компьютеры быстро приближения вы делаете, чтобы добраться до нечеткой логики являются менее привлекательными.
>>897183
Можешь писать про IBM Watson и семантически сети. Гугли ещё Байесовские сети.
Можешь писать про IBM Watson и семантически сети. Гугли ещё Байесовские сети.
фейсбуковские нейроночки https://habrahabr.ru/company/wunderfund/blog/317930/
яндексовские нейроночки https://habrahabr.ru/company/yandex/blog/317910/
тем временем новости в нечёткой логике:
конец списка
яндексовские нейроночки https://habrahabr.ru/company/yandex/blog/317910/
тем временем новости в нечёткой логике:
конец списка
>>897042
А толку? Дело же не в количестве инфы, а в качестве анализа.
Сама суть современных нейроночек - замылить картинку (т.е. уничтожить 90% информации об обьекте) и пытаться определить на что похоже мутное пятно. Да на все похоже.
Входная инфа при этом, естественно теряется. И анализ превращается в гадание на кофейной гуще, буквально.
Попробуй по приколу хорошенько замылить какое-нибудь кинцо, и поймешь что видит нейроночка, и какие выводы на такой инфе можен делать твоя собственная нейроночка в голове.
В общем это явно не тот путь, который нужен.
Есть и другой класс алгоритмов анализа - точные.
Они инфу не отбрасывают, но при анализе обобщают, т.е. выделяют общие признаки обьектов, и могут со 0% ошибок выделить из потока знакомые обьекты.
Вычислительная сложность схожа с нейроночками, свойства немного отличаются.
Но и у них тоже косяк: незнакомые обьекты они не узнают.
Возможно еще есть какие-то алгоритмы анализа. Чем больше найдем - тем лучше.
В любом случае ни один из известных сейчас алгоритмов не делает то, что мы хотим получить.
Возможно поможет как раз комбинация алгоритмов, возьмем лучшее от обоих:
Нечеткая нейроночка ищет отдаленно похожие обьекты, ибо делает это хорошо.
Четкая верифицирует найденные обьекты, ибо делает это хорошо.
Но для полноценной работы им необходим еще и "погонщик", который будет переобучать обе нейроночки в случае явных ошибок, иначе за пределами учебного материала они просто не смогут работать.
Погонщиком тоже может быть небольшая нейроночка, заточенная на анализ статистики ошибок обеих нейроночек и поиск явных ошибок.
>У любой конторы с определенного уровня инфы для анализа - вагоны.
А толку? Дело же не в количестве инфы, а в качестве анализа.
Сама суть современных нейроночек - замылить картинку (т.е. уничтожить 90% информации об обьекте) и пытаться определить на что похоже мутное пятно. Да на все похоже.
Входная инфа при этом, естественно теряется. И анализ превращается в гадание на кофейной гуще, буквально.
Попробуй по приколу хорошенько замылить какое-нибудь кинцо, и поймешь что видит нейроночка, и какие выводы на такой инфе можен делать твоя собственная нейроночка в голове.
В общем это явно не тот путь, который нужен.
Есть и другой класс алгоритмов анализа - точные.
Они инфу не отбрасывают, но при анализе обобщают, т.е. выделяют общие признаки обьектов, и могут со 0% ошибок выделить из потока знакомые обьекты.
Вычислительная сложность схожа с нейроночками, свойства немного отличаются.
Но и у них тоже косяк: незнакомые обьекты они не узнают.
Возможно еще есть какие-то алгоритмы анализа. Чем больше найдем - тем лучше.
В любом случае ни один из известных сейчас алгоритмов не делает то, что мы хотим получить.
Возможно поможет как раз комбинация алгоритмов, возьмем лучшее от обоих:
Нечеткая нейроночка ищет отдаленно похожие обьекты, ибо делает это хорошо.
Четкая верифицирует найденные обьекты, ибо делает это хорошо.
Но для полноценной работы им необходим еще и "погонщик", который будет переобучать обе нейроночки в случае явных ошибок, иначе за пределами учебного материала они просто не смогут работать.
Погонщиком тоже может быть небольшая нейроночка, заточенная на анализ статистики ошибок обеих нейроночек и поиск явных ошибок.
Ответы>>897345
>>897344
Ты хуйню несешь. По-твоему Кеплер, который проанализировал кучу таблиц с цифрами, чтобы закон вывести законы движения планет, замылил картинку, выкинув лишнюю информацию (тысячи наблюдений Тихо Браге), и сделал хуже? Наоборот, он выкинул лишнюю информацию, и стало четче и яснее. Чем и занимаются фильтры сверточной сети. Они в основном выделяют границы, а не размывают их.
Ты хуйню несешь. По-твоему Кеплер, который проанализировал кучу таблиц с цифрами, чтобы закон вывести законы движения планет, замылил картинку, выкинув лишнюю информацию (тысячи наблюдений Тихо Браге), и сделал хуже? Наоборот, он выкинул лишнюю информацию, и стало четче и яснее. Чем и занимаются фильтры сверточной сети. Они в основном выделяют границы, а не размывают их.
Ответы>>897367
>>895716
Вот дружила бы с альфачом, и никто бы к ней не приставал. Да и у альфача на такоё уёбище, я думаю, никогда пиструн не поднялся бы.
Вот дружила бы с альфачом, и никто бы к ней не приставал. Да и у альфача на такоё уёбище, я думаю, никогда пиструн не поднялся бы.
>>897345
Жопу с пальцем сравниваешь.
А про фильтры сверточной сети...
Ну выделил ты границы, дальше что?
У тебя четкая картинка превратилась в пару линий. Информацию ты потерял.
Внезапно этим линиям соответствует дохулиард обьектов в мире.
А т.к. сетка "слепая" и не пользуется утерянной информацией, для нее все эти обьекты одинаковы. А ИРЛ они и близко не одинаковы.
Я ж говорю - попробуй посмотреть размытое кинцо, постоянно будешь ловить себя на том, что не можешь распознать хорошо знакомые предметы, что постоянно ошибаешься в идентификации обьектов на экране.
А все потому что замылив кинцо ты стер индивидуальную информацию об обьектах, оставив только общие признаки, под которые попадает куча знакомых обьектов, и твой мзг просто не знает какой из них выбрать, за что зацепиться.
Информации для обоснованного выбора у него просто нет, можно только догадки строить: так, это ваза или кружка, а может игрушка?
Жопу с пальцем сравниваешь.
А про фильтры сверточной сети...
Ну выделил ты границы, дальше что?
У тебя четкая картинка превратилась в пару линий. Информацию ты потерял.
Внезапно этим линиям соответствует дохулиард обьектов в мире.
А т.к. сетка "слепая" и не пользуется утерянной информацией, для нее все эти обьекты одинаковы. А ИРЛ они и близко не одинаковы.
Я ж говорю - попробуй посмотреть размытое кинцо, постоянно будешь ловить себя на том, что не можешь распознать хорошо знакомые предметы, что постоянно ошибаешься в идентификации обьектов на экране.
А все потому что замылив кинцо ты стер индивидуальную информацию об обьектах, оставив только общие признаки, под которые попадает куча знакомых обьектов, и твой мзг просто не знает какой из них выбрать, за что зацепиться.
Информации для обоснованного выбора у него просто нет, можно только догадки строить: так, это ваза или кружка, а может игрушка?
>>897367
ТТТТТЫЫЫЫ ТТТТУУУУППППООООЕЕЕЕ ХХХХХУУУУЙЙЙЛЛЛЛОООО
Дохуя информации потерял, пока читал? Сука, как же ты бесишь.
ТТТТТЫЫЫЫ ТТТТУУУУППППООООЕЕЕЕ ХХХХХУУУУЙЙЙЛЛЛЛОООО
Дохуя информации потерял, пока читал? Сука, как же ты бесишь.
>>897251
Ой, всё. На рашатудей еще поищи пруфов для полноты картины.
>ищет новости о нечеткой логике
>на шваброподмывальне
Ой, всё. На рашатудей еще поищи пруфов для полноты картины.
Этот >>897367 все правильно говорит.
>>897367
Сверточные работают в своей сути точно также, как и сеть, идущая от сетчатки глаза, т.е. идет снятие сигнала с колбочек и палочек, затем слоем нейронов выделяются признаки из этих сигналов, там получаются те же самые линии (можешь Николлса "От нейрона к мозгу" чекнуть, там это показано), потом вся инфа по зрительному нерву идет в мозг, где уже конкретные образы распознаются.
Сравнение про замыленное изображение - в корне не правильное.
Сверточные работают в своей сути точно также, как и сеть, идущая от сетчатки глаза, т.е. идет снятие сигнала с колбочек и палочек, затем слоем нейронов выделяются признаки из этих сигналов, там получаются те же самые линии (можешь Николлса "От нейрона к мозгу" чекнуть, там это показано), потом вся инфа по зрительному нерву идет в мозг, где уже конкретные образы распознаются.
Сравнение про замыленное изображение - в корне не правильное.
Ответы>>897527
>>897367
Вы слушали откровения о нейроночках от нечеткого петуха, оставайтесь с нами.
Вы слушали откровения о нейроночках от нечеткого петуха, оставайтесь с нами.
>>897418
Сверточные нейроночки (а ранее неокогнитроны) и основаны на принципе строения зрительной коры кошки (работы нобелевских лауреатов Хьюбела и Визеля). Но и замыливание и выделение границ там тоже есть, собственно, в этом и суть свертки.
Сверточные нейроночки (а ранее неокогнитроны) и основаны на принципе строения зрительной коры кошки (работы нобелевских лауреатов Хьюбела и Визеля). Но и замыливание и выделение границ там тоже есть, собственно, в этом и суть свертки.
>>897488
Господа, у вас есть свой тред в /зк и целый свой раздел в /фаг. Не вытекайте, плес.
Господа, у вас есть свой тред в /зк и целый свой раздел в /фаг. Не вытекайте, плес.
>>897527
Почему мы видим ЧЕТКО, если строение глаза человека аналогичное по структуре?
И зачем замыливать зрение, чтобы смотреть кинцо, если сверточные сети видят аналогично обычному глазу?
>замыливание
Почему мы видим ЧЕТКО, если строение глаза человека аналогичное по структуре?
И зачем замыливать зрение, чтобы смотреть кинцо, если сверточные сети видят аналогично обычному глазу?
Ответы>>897591
>>897527
Епта, я когда изучаю первоначальные принципы новой для меня науки мне постоянно приходят в голову передовые идеи. Я гений, епта.
Епта, я когда изучаю первоначальные принципы новой для меня науки мне постоянно приходят в голову передовые идеи. Я гений, епта.
240 Кб, 655x722
>>897564
1) речь не о структуре глаза, а о структуре связей в зрительных полях неокортекса, сверточная нейроночка имитирует их.
2) четкость зрения - результат работы именно зрительного анализатора как такового, а не глаза и да, ты понятия не имеешь, насколько четко видит человек под галлюциногенами, просто какое-то 100500% зрение на самой же сетчатке изображение вообще перевернутое.
В неокогнитроне замыливания и детекции краев ("свертки") не было, по факту ему очень далеко до сверточных сетей по распознавающим возможностям. Суть в том, что размывание изображения делает распознавание устойчивым к сдвигам / другим трансформациям исходного изображения. Об этом Кохонен писал пикрелейтед, могу предположить что это вообще стандартный метод в распознавании изображений. Лекун всяко не мог об этом не знать. В сверточных же сетях размывается не только исходное изображение, но и сдетектированные фичи на всех уровнях распознавания, отсюда еще бОльшая способность распознавать что-то безотносительно его поворота и т.д. Как-то так.
>Почему мы видим ЧЕТКО, если строение глаза человека аналогичное по структуре?
1) речь не о структуре глаза, а о структуре связей в зрительных полях неокортекса, сверточная нейроночка имитирует их.
2) четкость зрения - результат работы именно зрительного анализатора как такового, а не глаза и да, ты понятия не имеешь, насколько четко видит человек под галлюциногенами, просто какое-то 100500% зрение на самой же сетчатке изображение вообще перевернутое.
>И зачем замыливать зрение, чтобы смотреть кинцо, если сверточные сети видят аналогично обычному глазу?
В неокогнитроне замыливания и детекции краев ("свертки") не было, по факту ему очень далеко до сверточных сетей по распознавающим возможностям. Суть в том, что размывание изображения делает распознавание устойчивым к сдвигам / другим трансформациям исходного изображения. Об этом Кохонен писал пикрелейтед, могу предположить что это вообще стандартный метод в распознавании изображений. Лекун всяко не мог об этом не знать. В сверточных же сетях размывается не только исходное изображение, но и сдетектированные фичи на всех уровнях распознавания, отсюда еще бОльшая способность распознавать что-то безотносительно его поворота и т.д. Как-то так.
>>897591
Ой, ну какой дебил. Перевернутое относительно чего? Пиздец, типичная домохозяйка.
>на самой же сетчатке изображение вообще перевернутое.
Ой, ну какой дебил. Перевернутое относительно чего? Пиздец, типичная домохозяйка.
>>897594
Геометрическую оптику пиздуй учить, школьник.
>>897591
Вот этого там вроде бы нет, инвариантно к сдвигу, а инвариантности к поворотам там не должны быть, для этого и придумывали ведь всякие Фурье-Меллины.
Это ещё почему? Про неокогнитрон довольно много писали, достаточно популярная штука была.
Геометрическую оптику пиздуй учить, школьник.
>>897591
> безотносительно его поворота
Вот этого там вроде бы нет, инвариантно к сдвигу, а инвариантности к поворотам там не должны быть, для этого и придумывали ведь всякие Фурье-Меллины.
> Лекун всяко не мог об этом не знать.
Это ещё почему? Про неокогнитрон довольно много писали, достаточно популярная штука была.
Ответы>>897681
18 Кб, 550x289
>>897594
Я тебе больше скажу, довн. Если изображение перевернуть соответствующими очками, то через некоторое время воспринимать ты будешь уже неперевернутое изображение. А если эти очки с тебя снять - все опять будет казаться перевернутым, и опять же в скором времени восстановится. Далее, у любого человека немало таких дефектов сетчатки как скотомы, и они не воспринимаются человеком, т.к. все компенсируется за счет обработки в коре.
Я тебе больше скажу, довн. Если изображение перевернуть соответствующими очками, то через некоторое время воспринимать ты будешь уже неперевернутое изображение. А если эти очки с тебя снять - все опять будет казаться перевернутым, и опять же в скором времени восстановится. Далее, у любого человека немало таких дефектов сетчатки как скотомы, и они не воспринимаются человеком, т.к. все компенсируется за счет обработки в коре.
>>897591
И аппарат этот не мылит картинку, в отличии от наших сверточных сетей.
Глаз видит одну маленькую точку, потому что видит все четко, информация о точке не теряется.
Наши сверточные сети эту точку видеть не могут, т.к. на входе имеют мыло, после которого от точки ничего не остается.
В этом вся суть.
>четкость зрения - результат работы именно зрительного анализатора как такового, а не глаза
И аппарат этот не мылит картинку, в отличии от наших сверточных сетей.
Глаз видит одну маленькую точку, потому что видит все четко, информация о точке не теряется.
Наши сверточные сети эту точку видеть не могут, т.к. на входе имеют мыло, после которого от точки ничего не остается.
В этом вся суть.
>>897607
Злые языки говорят, что внутри глаза работает что-то похожее на банки фильтров Габора, которые нейроночки и выучивают. Те же языки, как и >>897591,
пытаются тебе объяснить, что чёткость изображения - характеристика пост-процессинга сознания, чего в нейроночках возможно и нет.
Злые языки говорят, что внутри глаза работает что-то похожее на банки фильтров Габора, которые нейроночки и выучивают. Те же языки, как и >>897591,
пытаются тебе объяснить, что чёткость изображения - характеристика пост-процессинга сознания, чего в нейроночках возможно и нет.
Ответы>>897660
430 Кб, 1920x1080
>>897607
Мылит, еще как. То, что ты видишь сейчас - это не четкость, я тебя уверяю. В норме зрительная кора очень искажает реально воспринимаемое, в т.ч. замыливанием, там даже целая система торможения "лишнего" восприятия через таламус. А агонисты 2А подкласса рецепторов серотонина эти тормоза отключают.
>И аппарат этот не мылит картинку,
Мылит, еще как. То, что ты видишь сейчас - это не четкость, я тебя уверяю. В норме зрительная кора очень искажает реально воспринимаемое, в т.ч. замыливанием, там даже целая система торможения "лишнего" восприятия через таламус. А агонисты 2А подкласса рецепторов серотонина эти тормоза отключают.
чтож это значит то? нечётко-петух на самом деле чёткий? вконец запутали
>>897607
Вот бывает такой момент, когда после очередной фразы собеседника вы понимаете, что он точно шизанутый. Вот сейчас как раз этот самый случай.
Вот бывает такой момент, когда после очередной фразы собеседника вы понимаете, что он точно шизанутый. Вот сейчас как раз этот самый случай.
Ответы>>897655
>>897629
То есть, когда он потрясал тут каким-то поеденным мышами совковым учебником, по которому его учили, и утверждал, что там уже есть весь диип лернинг и совки на своих ЕС ЭВМ с перфокартами далеко опередили все современные разработки, ты еще не понял, что это шизик?
То есть, когда он потрясал тут каким-то поеденным мышами совковым учебником, по которому его учили, и утверждал, что там уже есть весь диип лернинг и совки на своих ЕС ЭВМ с перфокартами далеко опередили все современные разработки, ты еще не понял, что это шизик?
>>897610
Во первых сознание в процессе зрения вообще не принимает участия. Да и глупо такое озвучивать.
Во вторых размыливание - это фантастика.
Учи оптику. При замыливании информация теряется необратимо.
Восстановить что-то из ничего... ну это точно магия.
Ну а в третьих у мозга нет проблем со сдвигом на пиксель, да и быть не может, с таким-то ебанутым алгоритмом зрения, так что наши нейроночки совсем не похожи на то, что вы тут пытаетесь изобразить.
Вот и вытекает из всего этого какая-то хуета:
куча народу пытаются извлечь что-то из ничего.
Берут красивую картинку, проходятся по ней мылом, просто потому что сеточка не может в сдвиг, а потом пытаются из этого мыла что-то выделить. Ну любому же ясно что на мыле только мыло и получится, и что предметы реального мира рассматривать через мыло - ну это немного ебанутый подход, не?
>чёткость изображения - характеристика пост-процессинга сознания, чего в нейроночках возможно и нет
Во первых сознание в процессе зрения вообще не принимает участия. Да и глупо такое озвучивать.
Во вторых размыливание - это фантастика.
Учи оптику. При замыливании информация теряется необратимо.
Восстановить что-то из ничего... ну это точно магия.
Ну а в третьих у мозга нет проблем со сдвигом на пиксель, да и быть не может, с таким-то ебанутым алгоритмом зрения, так что наши нейроночки совсем не похожи на то, что вы тут пытаетесь изобразить.
Вот и вытекает из всего этого какая-то хуета:
куча народу пытаются извлечь что-то из ничего.
Берут красивую картинку, проходятся по ней мылом, просто потому что сеточка не может в сдвиг, а потом пытаются из этого мыла что-то выделить. Ну любому же ясно что на мыле только мыло и получится, и что предметы реального мира рассматривать через мыло - ну это немного ебанутый подход, не?
Ответы>>897670
>>897660
The poor-quality information gathered via the eye seemed to him to make vision impossible. He therefore concluded that vision could only be the result of some form of unconscious inferences: a matter of making assumptions and conclusions from incomplete data, based on previous experiences.
Ссылка 1.
http://poseidon.sunyopt.edu/BackusLab/Helmholtz/
А в терминах теории информации?
Про оптику. Если известна точечная функция рассеяния, то можно сделать противосвёртку. Да, будут проблемы с границами и ложными гармониками, но с этим пытаются бороться, порой достаточно успешно.
Ссылки 2 и 3:
http://www.cv-foundation.org/openaccess/content_cvpr_2013/papers/Gregson_Stochastic_Deconvolution_2013_CVPR_paper.pdf
https://arxiv.org/pdf/1602.01410.pdf
Ну, не из ничего, какие-то наблюдения то есть, обычно накладываются приоры, решаются обратные задачи, можешь загуглить учебники по inverse problems.
http://link.springer.com/book/10.1007/b138659
У человека те же приоры приобретаются в процессе обучения.
Можешь про зрение у детей почитать:
http://see.eyecarecontacts.com/children_vision.html
У нейроночек тоже нет проблем со сдвигами обычно, вот с масштабами и поворотами чуть сложнее, но некоторые вроде справляются.
Да, наверное не очень похожи, но сходства есть.
куча народу пытаются извлечь что-то из ничего.
Уже говорили про приоры и наблюдения.
Сейчас пойду мужикам с завода скажу, что весь наш отдел прикладной математики с обратными задачами и машин лёнингом можно к хуям закрывать, ибо мы ровно этим и занимаемся.
куча народу пытаются извлечь что-то из ничего.
Ну, тут можешь просто свойства свёртки и кросс-корреляции загуглить.
> Во первых сознание в процессе зрения вообще не принимает участия. Да и глупо такое озвучивать.
The poor-quality information gathered via the eye seemed to him to make vision impossible. He therefore concluded that vision could only be the result of some form of unconscious inferences: a matter of making assumptions and conclusions from incomplete data, based on previous experiences.
Ссылка 1.
http://poseidon.sunyopt.edu/BackusLab/Helmholtz/
> Учи оптику. При замыливании информация теряется необратимо.
А в терминах теории информации?
Про оптику. Если известна точечная функция рассеяния, то можно сделать противосвёртку. Да, будут проблемы с границами и ложными гармониками, но с этим пытаются бороться, порой достаточно успешно.
Ссылки 2 и 3:
http://www.cv-foundation.org/openaccess/content_cvpr_2013/papers/Gregson_Stochastic_Deconvolution_2013_CVPR_paper.pdf
https://arxiv.org/pdf/1602.01410.pdf
> Восстановить что-то из ничего... ну это точно магия.
Ну, не из ничего, какие-то наблюдения то есть, обычно накладываются приоры, решаются обратные задачи, можешь загуглить учебники по inverse problems.
http://link.springer.com/book/10.1007/b138659
У человека те же приоры приобретаются в процессе обучения.
Можешь про зрение у детей почитать:
http://see.eyecarecontacts.com/children_vision.html
> Ну а в третьих у мозга нет проблем со сдвигом на пиксель, да и быть не может, с таким-то ебанутым алгоритмом зрения, так что наши нейроночки совсем не похожи на то, что вы тут пытаетесь изобразить.
У нейроночек тоже нет проблем со сдвигами обычно, вот с масштабами и поворотами чуть сложнее, но некоторые вроде справляются.
Да, наверное не очень похожи, но сходства есть.
> Вот и вытекает из всего этого какая-то хуета:
куча народу пытаются извлечь что-то из ничего.
Уже говорили про приоры и наблюдения.
Сейчас пойду мужикам с завода скажу, что весь наш отдел прикладной математики с обратными задачами и машин лёнингом можно к хуям закрывать, ибо мы ровно этим и занимаемся.
> Вот и вытекает из всего этого какая-то хуета:
куча народу пытаются извлечь что-то из ничего.
Ну, тут можешь просто свойства свёртки и кросс-корреляции загуглить.
>>897660
The poor-quality information gathered via the eye seemed to him to make vision impossible. He therefore concluded that vision could only be the result of some form of unconscious inferences: a matter of making assumptions and conclusions from incomplete data, based on previous experiences.
Ссылка 1.
http://poseidon.sunyopt.edu/BackusLab/Helmholtz/
А в терминах теории информации?
Про оптику. Если известна точечная функция рассеяния, то можно сделать противосвёртку. Да, будут проблемы с границами и ложными гармониками, но с этим пытаются бороться, порой достаточно успешно.
Ссылки 2 и 3:
http://www.cv-foundation.org/openaccess/content_cvpr_2013/papers/Gregson_Stochastic_Deconvolution_2013_CVPR_paper.pdf
https://arxiv.org/pdf/1602.01410.pdf
Ну, не из ничего, какие-то наблюдения то есть, обычно накладываются приоры, решаются обратные задачи, можешь загуглить учебники по inverse problems.
http://link.springer.com/book/10.1007/b138659
У человека те же приоры приобретаются в процессе обучения.
Можешь про зрение у детей почитать:
http://see.eyecarecontacts.com/children_vision.html
У нейроночек тоже нет проблем со сдвигами обычно, вот с масштабами и поворотами чуть сложнее, но некоторые вроде справляются.
Да, наверное не очень похожи, но сходства есть.
куча народу пытаются извлечь что-то из ничего.
Уже говорили про приоры и наблюдения.
Сейчас пойду мужикам с завода скажу, что весь наш отдел прикладной математики с обратными задачами и машин лёнингом можно к хуям закрывать, ибо мы ровно этим и занимаемся.
куча народу пытаются извлечь что-то из ничего.
Ну, тут можешь просто свойства свёртки и кросс-корреляции загуглить.
> Во первых сознание в процессе зрения вообще не принимает участия. Да и глупо такое озвучивать.
The poor-quality information gathered via the eye seemed to him to make vision impossible. He therefore concluded that vision could only be the result of some form of unconscious inferences: a matter of making assumptions and conclusions from incomplete data, based on previous experiences.
Ссылка 1.
http://poseidon.sunyopt.edu/BackusLab/Helmholtz/
> Учи оптику. При замыливании информация теряется необратимо.
А в терминах теории информации?
Про оптику. Если известна точечная функция рассеяния, то можно сделать противосвёртку. Да, будут проблемы с границами и ложными гармониками, но с этим пытаются бороться, порой достаточно успешно.
Ссылки 2 и 3:
http://www.cv-foundation.org/openaccess/content_cvpr_2013/papers/Gregson_Stochastic_Deconvolution_2013_CVPR_paper.pdf
https://arxiv.org/pdf/1602.01410.pdf
> Восстановить что-то из ничего... ну это точно магия.
Ну, не из ничего, какие-то наблюдения то есть, обычно накладываются приоры, решаются обратные задачи, можешь загуглить учебники по inverse problems.
http://link.springer.com/book/10.1007/b138659
У человека те же приоры приобретаются в процессе обучения.
Можешь про зрение у детей почитать:
http://see.eyecarecontacts.com/children_vision.html
> Ну а в третьих у мозга нет проблем со сдвигом на пиксель, да и быть не может, с таким-то ебанутым алгоритмом зрения, так что наши нейроночки совсем не похожи на то, что вы тут пытаетесь изобразить.
У нейроночек тоже нет проблем со сдвигами обычно, вот с масштабами и поворотами чуть сложнее, но некоторые вроде справляются.
Да, наверное не очень похожи, но сходства есть.
> Вот и вытекает из всего этого какая-то хуета:
куча народу пытаются извлечь что-то из ничего.
Уже говорили про приоры и наблюдения.
Сейчас пойду мужикам с завода скажу, что весь наш отдел прикладной математики с обратными задачами и машин лёнингом можно к хуям закрывать, ибо мы ровно этим и занимаемся.
> Вот и вытекает из всего этого какая-то хуета:
куча народу пытаются извлечь что-то из ничего.
Ну, тут можешь просто свойства свёртки и кросс-корреляции загуглить.
>>897601
Я дипломированный оптик. Ощущение верха и низа создается у тебя в ушах. Сетчатке глаза абсолютно похуй, где верх, а где низ, она об этом не знает. Точно так же, как и камере твоего телефона, никто блядь не переворачивает изображение с нее, оно просто считается сразу так, как нужно.
Я дипломированный оптик. Ощущение верха и низа создается у тебя в ушах. Сетчатке глаза абсолютно похуй, где верх, а где низ, она об этом не знает. Точно так же, как и камере твоего телефона, никто блядь не переворачивает изображение с нее, оно просто считается сразу так, как нужно.
Ответы>>897683
Ответы>>900028
Эмулировать органику это хуевая затея.
Человек считает задачу 2+2 с помощью огромной нейросети, и что теперь, выбросим процессоры?
Человек считает задачу 2+2 с помощью огромной нейросети, и что теперь, выбросим процессоры?
>>897706
Ты еще не выбросил, что ли? Сейчас все на видюхах считают, можешь выбрасывать.
Ты еще не выбросил, что ли? Сейчас все на видюхах считают, можешь выбрасывать.
Ответы>>897716
>>897716
Пруфы или пиздишь.
Пруфы или пиздишь.
>>897706
Чому?
Для 2+2 и других сложных вычислений оставим процессоры, решать задачи обучения будем на нейроночках, которые будут бегать на видюшечках.
В чём проблема?
> Эмулировать органику это хуевая затея.
Чому?
> Человек считает задачу 2+2 с помощью огромной нейросети, и что теперь, выбросим процессоры?
Для 2+2 и других сложных вычислений оставим процессоры, решать задачи обучения будем на нейроночках, которые будут бегать на видюшечках.
В чём проблема?
Ответы>>897734
>>897731
Человек видит примерно так (взял с форума)
Здравствуйте!
Своими мушками я никого тут не удивлю, потому как они у всех присутствующих. Поэтому кратко скажу что появились они где-то в марте, перед этим пару недель болели глаза (я разбил свои очки и приходилось сидеть за компьютером без очков, хотя зрение у меня практически стопроцентное, очень легкий астигматизм).
Сначала появились точки. Потом появились прозрачные "гусеницы" из этих точек. Потом куча "волос". Потом пара размытых "облаков". Естественно, как у всех, депрессия, как дальше жить и т.п. Но потом я заметил проблему которая отодвинула все мушки на второй план.
Проблема такая: когда я смотрю на любой источник света, я вижу вокруг него огромный ореол.
Человек видит примерно так (взял с форума)
Здравствуйте!
Своими мушками я никого тут не удивлю, потому как они у всех присутствующих. Поэтому кратко скажу что появились они где-то в марте, перед этим пару недель болели глаза (я разбил свои очки и приходилось сидеть за компьютером без очков, хотя зрение у меня практически стопроцентное, очень легкий астигматизм).
Сначала появились точки. Потом появились прозрачные "гусеницы" из этих точек. Потом куча "волос". Потом пара размытых "облаков". Естественно, как у всех, депрессия, как дальше жить и т.п. Но потом я заметил проблему которая отодвинула все мушки на второй план.
Проблема такая: когда я смотрю на любой источник света, я вижу вокруг него огромный ореол.
Ответы>>897829
>>897706
https://ru.wikipedia.org/wiki/Феноменальный_счётчик
Есть аутисты, которые спокойно гоняют числа с десятками знаков.
https://ru.wikipedia.org/wiki/Феноменальный_счётчик
Есть аутисты, которые спокойно гоняют числа с десятками знаков.
https://ru.wikipedia.org/wiki/Рилин
Почему это не используют в искусственных моделях? Почему никто не пытался или я не знаю запустить симуляцию развития мозга у младенца?
Почему это не используют в искусственных моделях? Почему никто не пытался или я не знаю запустить симуляцию развития мозга у младенца?
>>897828
Это надо конкретно мозг задрачивать, получится далеко не у каждого, перепрограммироваться невозможно, ну и китайский калькулятор за доллар все равно быстрее и точнее.
Это надо конкретно мозг задрачивать, получится далеко не у каждого, перепрограммироваться невозможно, ну и китайский калькулятор за доллар все равно быстрее и точнее.
>>897833
Ты бы пояснял попроще, не все здесь биологи.
Вообще я мало видел работ, где бы люди пытались как-то моделировать белки в нейроночках.
Ты бы пояснял попроще, не все здесь биологи.
Вообще я мало видел работ, где бы люди пытались как-то моделировать белки в нейроночках.
>>898108
Пусть сначала запуститься на кофеварке, оптимизирует себя и создаст вирус, который запустит ее на всех компьютерах мира.
Пусть сначала запуститься на кофеварке, оптимизирует себя и создаст вирус, который запустит ее на всех компьютерах мира.
Ответы>>898126
>>898138
Просто мамин технократ.
Просто мамин технократ.
707 Кб, 717x534
>>898210
провести сенсоры с внешнего мира к видяхе и запустить обучение
будет обучаться как обычно обучаются дети
провести сенсоры с внешнего мира к видяхе и запустить обучение
будет обучаться как обычно обучаются дети
>>898221
Только у детей изначально заложены рефлексы, потребности, программа роста организма, управление периферией и куча всего прочего.
Только у детей изначально заложены рефлексы, потребности, программа роста организма, управление периферией и куча всего прочего.
Ответы>>898235
>>898235
Может ты еще ДНК-код расшифруешь и поймешь как все белки синтезируются заодно?
Может ты еще ДНК-код расшифруешь и поймешь как все белки синтезируются заодно?
Ответы>>898244
896 Кб, 884x844
Ответы>>898243
>>898242
Потому что не очень популярная штука за пределами AGI. Все те же проблемы, что и в теории алгоритмической информации.
Потому что не очень популярная штука за пределами AGI. Все те же проблемы, что и в теории алгоритмической информации.
>>898238
их же уже расшифровали и предсказывают как будет выглядеть еблет младенца в зрелости
https://www.ted.com/talks/riccardo_sabatini_how_to_read_the_genome_and_build_a_human_being
их же уже расшифровали и предсказывают как будет выглядеть еблет младенца в зрелости
https://www.ted.com/talks/riccardo_sabatini_how_to_read_the_genome_and_build_a_human_being
>>898221
В тот ли ты тред зашел, Федя? Посчитай хотя бы сколько, памяти нужно
Дети идут с pretrained нервной системой изкаропки
>провести сенсоры с внешнего мира к видяхе и запустить обучение
В тот ли ты тред зашел, Федя? Посчитай хотя бы сколько, памяти нужно
>будет обучаться как обычно обучаются дети
Дети идут с pretrained нервной системой изкаропки
Ответы>>898280
>>898272
400 гигов + сколько то там нужно дополнительно места для обучения?
в след году видюхи уже с 16гб, ещё лет 10-15 и будем там
мы отберём её у них, всё будет поровну
> В тот ли ты тред зашел, Федя? Посчитай хотя бы сколько, памяти нужно
400 гигов + сколько то там нужно дополнительно места для обучения?
в след году видюхи уже с 16гб, ещё лет 10-15 и будем там
> Дети идут с pretrained нервной системой изкаропки
мы отберём её у них, всё будет поровну
>>898280
Ну и станут они тогда бессмысленными классификаторами картинок, или генераторами забавных текстов. Хотя они скорее тогда вообще даже питаться не смогут и сдохнут просто.
Смысл в том, что для развития какой-то системы у нее должна быть какая-то цель/программа.
>мы отберём её у них, всё будет поровну
Ну и станут они тогда бессмысленными классификаторами картинок, или генераторами забавных текстов. Хотя они скорее тогда вообще даже питаться не смогут и сдохнут просто.
Смысл в том, что для развития какой-то системы у нее должна быть какая-то цель/программа.
Ответы>>898309
>>898280
Это ты только пороги посчитал, а веса связей где?
Мозги им что ли удалишь? Зачем нужны дети без мозгов? Вконтакте скроллить?
>400 гигов +
Это ты только пороги посчитал, а веса связей где?
>мы отберём её у них
Мозги им что ли удалишь? Зачем нужны дети без мозгов? Вконтакте скроллить?
Ответы>>898309
>>898299
забыл о них, таки намного больше 400 выйдет
гораздо проще облучить население радиацией
>>898288
а щас разве не так?
цель пояснялась уже тут -> >>888587
> а веса связей где?
забыл о них, таки намного больше 400 выйдет
> Мозги им что ли удалишь?
гораздо проще облучить население радиацией
>>898288
>Ну и станут они тогда бессмысленными классификаторами картинок, или генераторами забавных текстов
а щас разве не так?
> Смысл в том, что для развития какой-то системы у нее должна быть какая-то цель/программа.
цель пояснялась уже тут -> >>888587
https://www.youtube.com/watch?v=C4xLoXKyc7g
что тяжелого в том дабы повторить его сознание на компьютере, блеать?
что тяжелого в том дабы повторить его сознание на компьютере, блеать?
>>898784
Да как же. Ведь все говорили, что когда ИИ достигнет уровня дурачка, то скоро он станет гением.
Да как же. Ведь все говорили, что когда ИИ достигнет уровня дурачка, то скоро он станет гением.
Ответы>>898798
>>898786
мы этого не говорили
мы этого не говорили
>>898777
Любые подобные вопросы достаточно легко гуглятся по запросу:
artificial general intelligence vs narrow artificial intelligence
Любые подобные вопросы достаточно легко гуглятся по запросу:
artificial general intelligence vs narrow artificial intelligence
Поясните за глубинные сети доверия.
Ответы>>899535
>>899524
У Салахутдинова читай.
http://videolectures.net/deeplearning2015_salakhutdinov_deep_learning/
http://videolectures.net/deeplearning2015_salakhutdinov_deep_learning_2/
http://videolectures.net/deeplearning2016_salakhutdinov_generative_models/
Если кратко, то самый верхний слой - RBM, всё остальное направленная граф.модель. Обучается послойно RBM-ами, потом файн-тюнингом. Вывод семплированием.
У Салахутдинова читай.
http://videolectures.net/deeplearning2015_salakhutdinov_deep_learning/
http://videolectures.net/deeplearning2015_salakhutdinov_deep_learning_2/
http://videolectures.net/deeplearning2016_salakhutdinov_generative_models/
Если кратко, то самый верхний слой - RBM, всё остальное направленная граф.модель. Обучается послойно RBM-ами, потом файн-тюнингом. Вывод семплированием.
>>898816
Как раз таки повторили! https://www.youtube.com/watch?v=J_wG5PfDIoU - ну да, самый простой, но зато возможна практически полная поклеточная симуляция
Как раз таки повторили! https://www.youtube.com/watch?v=J_wG5PfDIoU - ну да, самый простой, но зато возможна практически полная поклеточная симуляция
Ответы>>899781
467 Кб, 627x462
>>899756
тогда какие проблемы просто экстраполировать этот результат и смоделировать сознание человека?
тогда какие проблемы просто экстраполировать этот результат и смоделировать сознание человека?
Ответы>>899966
>>899781
Судя по всему,
About 10 seconds of simulated physical time took a few days of parallel OpenCL-based calculations on a Radeon R290X GPU
Для десяти секунд понадобилось несколько дней вычислений. Это на червя.
Судя по всему,
About 10 seconds of simulated physical time took a few days of parallel OpenCL-based calculations on a Radeon R290X GPU
Для десяти секунд понадобилось несколько дней вычислений. Это на червя.
Ответы>>899975
>>899966
А у червя все в рилтайме, и без всяких манявычислений, просто за счет свойств среды (ионный ток, нейротрансмиттеры, механизмы синаптической и нейрональной пластичности и т.д.). Что с неизбежностью доказывает нам, что долбаебы пошли по несколько неправильному пути. Я сто раз говорил, что все эти сверточные манянейроночки на определенном классе задач просто уткнутся в физическую невозможность реализовать вычисления на всем железе, имеющемся у человечества. На этом все и закончится, аминь алюминь. Может быть хоть тогда до кого-нибудь дойдет, что такие проблемы в лоб не решаются, думать надо, а не прыгать.
А у червя все в рилтайме, и без всяких манявычислений, просто за счет свойств среды (ионный ток, нейротрансмиттеры, механизмы синаптической и нейрональной пластичности и т.д.). Что с неизбежностью доказывает нам, что долбаебы пошли по несколько неправильному пути. Я сто раз говорил, что все эти сверточные манянейроночки на определенном классе задач просто уткнутся в физическую невозможность реализовать вычисления на всем железе, имеющемся у человечества. На этом все и закончится, аминь алюминь. Может быть хоть тогда до кого-нибудь дойдет, что такие проблемы в лоб не решаются, думать надо, а не прыгать.
>>899975
Ох, ну и дебил. На то она и модель что бы выделять сущностные части. Нейросеточки это понятная мат. модель, которая очень далека от того, что бы полностью моделировать мозг. Но им это и не требуется.
Ох, ну и дебил. На то она и модель что бы выделять сущностные части. Нейросеточки это понятная мат. модель, которая очень далека от того, что бы полностью моделировать мозг. Но им это и не требуется.
Ответы>>900000
>>899996
Это ты дебил. Модель в данном случае - это функция зависимости выходов от входов всех элементов системы. Т.е. идентификация этой системы. Для чего ваши манянейроночки вообще не нужны, т.к. сами по себе неинтерпретируемы без дополнительных костылей.
Это ты дебил. Модель в данном случае - это функция зависимости выходов от входов всех элементов системы. Т.е. идентификация этой системы. Для чего ваши манянейроночки вообще не нужны, т.к. сами по себе неинтерпретируемы без дополнительных костылей.
Ответы>>900004
>>900000
Ну ты и поехавший. Ты пробовал что нибудь делать по ML? Решать какие нибудь задачи?
Ну ты и поехавший. Ты пробовал что нибудь делать по ML? Решать какие нибудь задачи?
Ответы>>900015
12 Кб, 440x127
>>900004
Пробовал результаты бейсбольных матчей предсказывать, то же пробовал для футбола. Практического смысла маловато, кэфы маленькие там. И модели нужно делать сложнее, с учетом динамики, что-нибудь а-ля пикрелейтед.
Пробовал результаты бейсбольных матчей предсказывать, то же пробовал для футбола. Практического смысла маловато, кэфы маленькие там. И модели нужно делать сложнее, с учетом динамики, что-нибудь а-ля пикрелейтед.
А разве в мозгу не квантовые вычисления?
Ответы>>900020
>>900021
То есть, все за счет свойств среды >>899975 Ионные токи, насосы и каналы, нейромедиаторы, синаптические и эфаптические контакты, рецепторы, механизмы пластичности и прочее такое.
То есть, все за счет свойств среды >>899975 Ионные токи, насосы и каналы, нейромедиаторы, синаптические и эфаптические контакты, рецепторы, механизмы пластичности и прочее такое.
Ответы>>900025
>>900023
Ты хочешь сказать, что надо их эмулировать? Или вообще выращивать органически?
Ты хочешь сказать, что надо их эмулировать? Или вообще выращивать органически?
Ответы>>900029
>>897683
Тупой даун блядь, "Ощущение верха и низа создается у тебя в ушах. Сетчатке глаза абсолютно похуй, где верх, а где низ, она об этом не знает." - читай 100 раз для просветления. Потом еще 100 раз.
Тупой даун блядь, "Ощущение верха и низа создается у тебя в ушах. Сетчатке глаза абсолютно похуй, где верх, а где низ, она об этом не знает." - читай 100 раз для просветления. Потом еще 100 раз.
356 Кб, 1166x730
109 Кб, 675x712
>>900025
Я хочу сказать, что такое направление даже существует (существовало), реакции на основе каталитических циклов наборов энзимов могут использоваться вместо комплюктеров, еще в 80-е годы выходили работы на эту тему, потом рептилоиды все прикрыли.
Я хочу сказать, что такое направление даже существует (существовало), реакции на основе каталитических циклов наборов энзимов могут использоваться вместо комплюктеров, еще в 80-е годы выходили работы на эту тему, потом рептилоиды все прикрыли.
>>899975
Ты из разряда тех провидцев, что предсказывали, что закон Мура рано или поздно остановится? Какой толк от этой хуйни кроме щекотания своего ЧСВ? Архитектуры постоянно допиливают и упрощают, идеально подгоняя нейросети под кремнивую технологию. И так и должно быть, и не нужно _эмулировать_ червяков, ведь любая эмуляция по определению медленнее, чем нативный код. Так везде, будь то биология, эмуляция транзисторных схем на ПК, или же нейросети. А что они когда-то упрутся - когда упрутся, тогда и приходи.
> Я сто раз говорил, что все эти сверточные манянейроночки на определенном классе задач просто уткнутся в физическую невозможность реализовать вычисления на всем железе, имеющемся у человечества.
Ты из разряда тех провидцев, что предсказывали, что закон Мура рано или поздно остановится? Какой толк от этой хуйни кроме щекотания своего ЧСВ? Архитектуры постоянно допиливают и упрощают, идеально подгоняя нейросети под кремнивую технологию. И так и должно быть, и не нужно _эмулировать_ червяков, ведь любая эмуляция по определению медленнее, чем нативный код. Так везде, будь то биология, эмуляция транзисторных схем на ПК, или же нейросети. А что они когда-то упрутся - когда упрутся, тогда и приходи.
Мозг, судя по всему, отличает звуки от КАРТИНОК только по тому, в какой именно участок коры ведут свои аксоны нейроны рецепторов. Если перекоммутировать сигналы от ГЛАЗ и ушей, то человек будет слышать картинки и видеть звуки.
ИНС так могут?
ИНС так могут?
Ответы>>900040
>>900033
Я, наверное, неправильно выразился. Видеть и слышать ИНС не могут. У них нет сознания. Но они могут "спать" и мы уже можем видеть это. Возьми SoundNet и поэкспериментируй, может что интересное нароешь.
Я, наверное, неправильно выразился. Видеть и слышать ИНС не могут. У них нет сознания. Но они могут "спать" и мы уже можем видеть это. Возьми SoundNet и поэкспериментируй, может что интересное нароешь.
>>900035
Ты бы хоть мыслями поделился.
Ты бы хоть мыслями поделился.
>>900031
звуки не думаю, уши слишком приспособлены под картинки, там в базилярной мембране клетки улавливают звук по соответствующей частоте, а дальше должно быть что-то вроде рядов фурье/вейвлетов, так как артефакты рядов фурье и ушей очень сходятся (появление обертонов, хотя их объективно в звуке нет и тд). Но были эксперименты, как ослепших (скорее всего) людей учили видеть языком (изначально слепые по идее не могут вообще видеть, так как в начале жизни очень важно обучение). Там плохое разрешение, но изображение было. Язык били током по битмапам. Можешь погуглить.
звуки не думаю, уши слишком приспособлены под картинки, там в базилярной мембране клетки улавливают звук по соответствующей частоте, а дальше должно быть что-то вроде рядов фурье/вейвлетов, так как артефакты рядов фурье и ушей очень сходятся (появление обертонов, хотя их объективно в звуке нет и тд). Но были эксперименты, как ослепших (скорее всего) людей учили видеть языком (изначально слепые по идее не могут вообще видеть, так как в начале жизни очень важно обучение). Там плохое разрешение, но изображение было. Язык били током по битмапам. Можешь погуглить.
>>900042
тьфу, уши слишком приспособлены под звуки.
тьфу, уши слишком приспособлены под звуки.
>>900044
это просто твои ассоциации в мозгу, если тебе на сетчатку подавать светом битмапы звука, ты его не услышишь (скорее всего). Уши к тому же гораздо быстрее глаз работают.
это просто твои ассоциации в мозгу, если тебе на сетчатку подавать светом битмапы звука, ты его не услышишь (скорее всего). Уши к тому же гораздо быстрее глаз работают.
Ответы>>900047
>>900047
при чем тут нейросети? Мозг человека довольно специализированная штука, и там заранее заданы способы представления данных. Сетчатка уже заранее связана с нужными отделами коры и тд. В ушах есть структуры для распознавания звука и только. Если в мозг заранее подключиться, минуя глаза и уши, то наверное можно обучиться видеть нейронами ушей и тд. Но слух точно начинает развиваться еще до рождения, и это надо делать на стадии эмбриона. Как закончить свою мысль - не знаю
при чем тут нейросети? Мозг человека довольно специализированная штука, и там заранее заданы способы представления данных. Сетчатка уже заранее связана с нужными отделами коры и тд. В ушах есть структуры для распознавания звука и только. Если в мозг заранее подключиться, минуя глаза и уши, то наверное можно обучиться видеть нейронами ушей и тд. Но слух точно начинает развиваться еще до рождения, и это надо делать на стадии эмбриона. Как закончить свою мысль - не знаю
Ответы>>900067
>>900052
Был такой эксперимент хочешь, погугли, хомячкам хирургическим путем глаза присоединили к зрительной части мозга и наоборот. Мозг перестроился и с хомячками было все в порядке.
Был такой эксперимент хочешь, погугли, хомячкам хирургическим путем глаза присоединили к зрительной части мозга и наоборот. Мозг перестроился и с хомячками было все в порядке.
Ответы>>900302
>>900098
>>900049
https://2ch.hk/pr/res/900102.html (
М)
https://2ch.hk/pr/res/900102.html (М)
https://2ch.hk/pr/res/900102.html (М)
https://2ch.hk/pr/res/900102.html (М)
https://2ch.hk/pr/res/900102.html (М)
https://2ch.hk/pr/res/900102.html (М)
https://2ch.hk/pr/res/900102.html (М)
https://2ch.hk/pr/res/900102.html (М)
>>900049
https://2ch.hk/pr/res/900102.html (
М)https://2ch.hk/pr/res/900102.html (
М)https://2ch.hk/pr/res/900102.html (
М)https://2ch.hk/pr/res/900102.html (
М)https://2ch.hk/pr/res/900102.html (
М)https://2ch.hk/pr/res/900102.html (
М)https://2ch.hk/pr/res/900102.html (
М)https://2ch.hk/pr/res/900102.html (
М)>>896647
Нет, Украина.
Нет, Украина.
>>900067
это глаза к глазам
это глаза к глазам
Тред утонул или удален.
Это копия, сохраненная 2 января 2017 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Это копия, сохраненная 2 января 2017 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.