Этого треда уже нет.
Это копия, сохраненная 17 июля 2018 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Это копия, сохраненная 17 июля 2018 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Очередной тред про хипстерские технологии, которые не работают.
Продолжаем выяснять, кто двигает ноуку: толпы смузихлёбов или фундаментальные деды.
FAQ:
Я ничего не понимаю, что делать? Либо в тупую import slesarflow as sf по туториалам, либо идти изучать математику. Не нужно засирать тред вопросами типа "что такое сигма?".
Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.
Что почитать для вкатывания? http://www.deeplearningbook.org/
В чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai
Где набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/ | https://www.general-ai-challenge.org/ | https://corp.mail.ru/ru/press/events/452/
Где работать? https://www.indeed.com/q-deep-learning-jobs.html
Где узнать последние новости? https://www.reddit.com/r/MachineLearning/
Где посмотреть последние статьи? http://www.arxiv-sanity.com/
Где ещё можно поговорить про анализ данных? http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: персептроны и прочий мусор середины прошлого века действительно не работает на серьёзных задачах.
Архивач:
https://arhivach.org/thread/340653/
https://arhivach.org/thread/355442/
Там же можно найти треды 2016-2017 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
Предыдущий тред: >>1162357 (OP)
Продолжаем выяснять, кто двигает ноуку: толпы смузихлёбов или фундаментальные деды.
FAQ:
Я ничего не понимаю, что делать? Либо в тупую import slesarflow as sf по туториалам, либо идти изучать математику. Не нужно засирать тред вопросами типа "что такое сигма?".
Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.
Что почитать для вкатывания? http://www.deeplearningbook.org/
В чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai
Где набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/ | https://www.general-ai-challenge.org/ | https://corp.mail.ru/ru/press/events/452/
Где работать? https://www.indeed.com/q-deep-learning-jobs.html
Где узнать последние новости? https://www.reddit.com/r/MachineLearning/
Где посмотреть последние статьи? http://www.arxiv-sanity.com/
Где ещё можно поговорить про анализ данных? http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: персептроны и прочий мусор середины прошлого века действительно не работает на серьёзных задачах.
Архивач:
https://arhivach.org/thread/340653/
https://arhivach.org/thread/355442/
Там же можно найти треды 2016-2017 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
Предыдущий тред: >>1162357 (OP)
Как подготовить нейроночку к ЕГЭ? Почему это ещё не сделали? Ведь после сдачи ЕГЭ, человек может стать полноценным членом общества. А может и не стать.
>>76328
Бишоп же.
Бишоп же.
70 Кб, 947x946Ну надо же, самого Маэстро на оп-пик поставили, надо было еще правду жизни пикрелейтед. Тут в конце прошлого треда поступила претензия, что я только хипстеров заочно хуесосить могу, а сам ничего умного не предлагал, здесь бы помогли, бла-бла... Пиздежь же, ну. Я только за последний год не помню уже сколько раз пытался пояснить, как на типизированной лямбде вымутить растущее адаптивное ядро, которое бы не аппроксимировало, а точно представляло задачу любой сложности через суперпозицию наиболее подходящих в данном случае функций, хоть временнЫе ряды ебучие, с которыми любой диплернинх сосет и причмокивает. Толку-то. И то, что я якобы дрочу только на алгоритмы и идеи 60-х, тоже пиздежь. Я ни слова не сказал никогда против действительно прорывного открытия, неважно каких оно годов. Word2vec например, это просто революция по сравнению с тем что было до него в плане векторно-пространственных моделей представления текста.
Запилите мемес вапника в виде ватника плес
>>76358
аноны, можно ли делать предсказания по временным рядам на дипленинхе или нет?
нет времеи въезжать в регрессии все как всегда
аноны, можно ли делать предсказания по временным рядам на дипленинхе или нет?
нет времеи въезжать в регрессии все как всегда
>>76364
Я в самом начале прошлого треда пояснял, почему диплернинх в этом деле не может быть кардинально лучше какой-нибудь arima, хоть 100500 слоёв сделай и насилуй амазоновский кластер с 100500 gpu.
Я в самом начале прошлого треда пояснял, почему диплернинх в этом деле не может быть кардинально лучше какой-нибудь arima, хоть 100500 слоёв сделай и насилуй амазоновский кластер с 100500 gpu.
>>76358
А ведь когда-то давно он всегда там стоял, заметил такую тенденцию
1) Кто то видит новую технологию и создает тред с базовыми вопросами, подтягиваются новички
2) Аноны из треда матереют, тред обрастает подробной шапкой, кто-то даже находит работу
3) Т.к. вопросов становится мало начинается тупой срач, типа, какую картиночку поставить в шапку, тред постепенно загнивает, знающие аноны больше не заглядывают и он умирает
4) Вернись к пункту один
>Ну надо же, самого Маэстро на оп-пик поставили
А ведь когда-то давно он всегда там стоял, заметил такую тенденцию
1) Кто то видит новую технологию и создает тред с базовыми вопросами, подтягиваются новички
2) Аноны из треда матереют, тред обрастает подробной шапкой, кто-то даже находит работу
3) Т.к. вопросов становится мало начинается тупой срач, типа, какую картиночку поставить в шапку, тред постепенно загнивает, знающие аноны больше не заглядывают и он умирает
4) Вернись к пункту один
>>76358
Лол, а нахуя ты пытался пояснить? Не похоже, чтобы у его величества нарцисса были бы какие-то проблемы с реализацией. Взял датасет, те же ряды с форекса, написал, предсказал, что, что можно, разбил всех в пух и прах и получил почет и уважение. Однако этого не происходит. Поэтому на самом деле происходит следующее.
Лет десять-пять назад на бордах были такие же петушки как ты, только дрочили на хаскель и лисп. Ничего хорошего не писали, одни короткие программы с какими-то ебическими концепциями. Чуваки эти были днищем - один даже разъебал стекло в подъезде дома в рамках борьбы с системой, но в собственном манямирке они были величайшими хуями на свете. А так как реальность больно бьет по тому факту, что на деле никакого величия нет, то самое время закопаться в какую-нибудь антимейнстримную хуйню и из нее кукарекать.
В конце концов пришло новое поколение, придумало мем "борщехлебы", и хаскель-петушки испарились. На бордах вообще таких фриков дохуя, в любом разделе.
Ну и вот в этой атмосфере родился ты. Возразить тебе сходу не о чем, потому что для этого нужно читать те же рандомные статьи, что читал ты. Сам ты не делаешь ошибок, потому что нихуя не делаешь на публике. Даже с системных ученых, с которыми ты состоишь в переписке, ты считаешь говном, ведь они не читали те же рандомные статьи, а рандомных статей в интернете дохуя.
>Пиздежь же, ну. Я только за последний год не помню уже сколько раз пытался пояснить, как на типизированной лямбде вымутить растущее адаптивное ядро
Лол, а нахуя ты пытался пояснить? Не похоже, чтобы у его величества нарцисса были бы какие-то проблемы с реализацией. Взял датасет, те же ряды с форекса, написал, предсказал, что, что можно, разбил всех в пух и прах и получил почет и уважение. Однако этого не происходит. Поэтому на самом деле происходит следующее.
Лет десять-пять назад на бордах были такие же петушки как ты, только дрочили на хаскель и лисп. Ничего хорошего не писали, одни короткие программы с какими-то ебическими концепциями. Чуваки эти были днищем - один даже разъебал стекло в подъезде дома в рамках борьбы с системой, но в собственном манямирке они были величайшими хуями на свете. А так как реальность больно бьет по тому факту, что на деле никакого величия нет, то самое время закопаться в какую-нибудь антимейнстримную хуйню и из нее кукарекать.
В конце концов пришло новое поколение, придумало мем "борщехлебы", и хаскель-петушки испарились. На бордах вообще таких фриков дохуя, в любом разделе.
Ну и вот в этой атмосфере родился ты. Возразить тебе сходу не о чем, потому что для этого нужно читать те же рандомные статьи, что читал ты. Сам ты не делаешь ошибок, потому что нихуя не делаешь на публике. Даже с системных ученых, с которыми ты состоишь в переписке, ты считаешь говном, ведь они не читали те же рандомные статьи, а рандомных статей в интернете дохуя.
Что-то мне разонравилась курсера аж на 2-ой неделе. Половина вопросов обходится, половина простые - я такое на матстае изучал. В тестах непонятно как вводить ответы, их гайд перечитал дважды. Много воды и повторов. Скажите, продолжать превозмогать или поискать нормальные курсы?
>>76320 (OP)
Это как и что?
>>76320 (OP)
>Либо в тупую import slesarflow as sf по туториалам
Это как и что?
>>76389
Таких фриков в интернете толпы. Поехавших по темам квантмеха, теории относительности, различных тем в математике можно найти сотни сходу. Они все абсолютно одинаковые, пытаться вразумлять их бессмысленно и негуманно. У тебя и самого синдром "в интернете кто-то неправ". Какое тебе дело до нечеткого петуха, чо ты его вразумляешь? Ты думаешь, он сейчас такой скажет, мол, а ведь действительно, ты прав чувак, я кретин и постил тут пять (или сколько?) лет подряд ежедневно полную чушь?
Таких фриков в интернете толпы. Поехавших по темам квантмеха, теории относительности, различных тем в математике можно найти сотни сходу. Они все абсолютно одинаковые, пытаться вразумлять их бессмысленно и негуманно. У тебя и самого синдром "в интернете кто-то неправ". Какое тебе дело до нечеткого петуха, чо ты его вразумляешь? Ты думаешь, он сейчас такой скажет, мол, а ведь действительно, ты прав чувак, я кретин и постил тут пять (или сколько?) лет подряд ежедневно полную чушь?
>>76437
А у тебя какое дело до меня? Хочу и вразумляю. Ты же знаешь, фриков в интернете толпы.
А у тебя какое дело до меня? Хочу и вразумляю. Ты же знаешь, фриков в интернете толпы.
>>76389
Я не знаю о каких "рандомных статьях" ты говоришь, я если что-то упоминаю, то это достаточно общеизвестные вещи.
>>76437
Если бы это была чушь, я бы об этом знал. Или как минимум, это можно было бы доказать. Однако, ничего из этого я не увидел за все время, что тут сижу. Чья-то батрушка это не доказательство.
Я давно уже говорю, что нечёткие множества это будущее в т.ч машобчика. И вот, выясняется что квантовая логика (основа квантовых вычислений, за которыми будущее) выразима в терминах нечёткой. И выходим на два стула - использовать готовый математический аппарат, или изобретать полностью равнообьемный ему велосипед. Очевидно, что второе - абсолютно бесполезная потеря времени и сил, т.к все нужное давно существует.
Я не знаю о каких "рандомных статьях" ты говоришь, я если что-то упоминаю, то это достаточно общеизвестные вещи.
>>76437
> Ты думаешь, он сейчас такой скажет, мол, а ведь действительно, ты прав чувак, я кретин и постил тут пять (или сколько?) лет подряд ежедневно полную чушь?
Если бы это была чушь, я бы об этом знал. Или как минимум, это можно было бы доказать. Однако, ничего из этого я не увидел за все время, что тут сижу. Чья-то батрушка это не доказательство.
> нечеткого петуха,
Я давно уже говорю, что нечёткие множества это будущее в т.ч машобчика. И вот, выясняется что квантовая логика (основа квантовых вычислений, за которыми будущее) выразима в терминах нечёткой. И выходим на два стула - использовать готовый математический аппарат, или изобретать полностью равнообьемный ему велосипед. Очевидно, что второе - абсолютно бесполезная потеря времени и сил, т.к все нужное давно существует.
>>76488
Мамкин оракул в треде
>нечёткие множества это будущее
>квантовых вычислений, за которыми будущее
Мамкин оракул в треде
>>76369
я прям чувствую как я матерею здесь. Узнал что такое сумма. Ну а если серъёзно то зря вы на анона агритесь. Он хорошие вещи говорит за регрессии. И объясняет круто. Хороший он человек короче.
> Аноны из треда матереют
я прям чувствую как я матерею здесь. Узнал что такое сумма. Ну а если серъёзно то зря вы на анона агритесь. Он хорошие вещи говорит за регрессии. И объясняет круто. Хороший он человек короче.
>>76451
А я думаю, что он засирает мой уютный тред своей тупостью. Двойные стандарты такие двойные стандарты - тебе критиковать можно, а мне нет.
А я думаю, что он засирает мой уютный тред своей тупостью. Двойные стандарты такие двойные стандарты - тебе критиковать можно, а мне нет.
>>76571
Его просто еще не успели изговнякать
Его просто еще не успели изговнякать
>>76334
После изучения питона тебе потребуется минимум 6 месяцев, чтобы полноценно вкатиться в нейронные сети. Наверное хотя бы iq 100 нужен, но лучше больше, там так много логики.
После изучения питона тебе потребуется минимум 6 месяцев, чтобы полноценно вкатиться в нейронные сети. Наверное хотя бы iq 100 нужен, но лучше больше, там так много логики.
СУББОТА В ХАТУ, НЕЙРОНЫ В РАДОСТЬ
https://www.youtube.com/watch?v=hb7tjqhfDus
https://www.youtube.com/watch?v=hb7tjqhfDus
>>77719
Ты правда тупой или тупостью троллить решил? В обоих случаях дегрод, конечно, просто если правда веруешь в то, что написал, тебе самому должно быть стыдно.
Ты правда тупой или тупостью троллить решил? В обоих случаях дегрод, конечно, просто если правда веруешь в то, что написал, тебе самому должно быть стыдно.
>>77721
Ну смотри, есть нейрофизиология. Опровергнуть ее не сможет никто, т.к. это объективные данные. Всякая веруйня же на раз опровергается любой другой веруйней, т.к. одно слово против другого такого же. Ты даже смысла слова "каргокульт" не понимаешь, с чего ты решил, что понимаешь что-то более сложное?
Ну смотри, есть нейрофизиология. Опровергнуть ее не сможет никто, т.к. это объективные данные. Всякая веруйня же на раз опровергается любой другой веруйней, т.к. одно слово против другого такого же. Ты даже смысла слова "каргокульт" не понимаешь, с чего ты решил, что понимаешь что-то более сложное?
>>77722
Кокие данные? Если ебнуть там бабахнет здесь? Связь между мышлением и мозгом притянута за уши. Они могут сказать, что на какие то раздражители, будет активна какая то часть мозга, а может и не будет. И каргокульт очень даже подходит, особенно к адептам нейронных сетей.
>Опровергнуть ее не сможет никто, т.к. это объективные данные.
Кокие данные? Если ебнуть там бабахнет здесь? Связь между мышлением и мозгом притянута за уши. Они могут сказать, что на какие то раздражители, будет активна какая то часть мозга, а может и не будет. И каргокульт очень даже подходит, особенно к адептам нейронных сетей.
>>77722
он просто думает что мышление живой материи это настолько уникально что её ничем нельзя обьяснить
он просто думает что мышление живой материи это настолько уникально что её ничем нельзя обьяснить
>>77725
Ценное мнение рандомного клоуна с мейлру никому не интересно. Ты просто не знаком с темой, потому что мозгов не хватит, вот и несешь хуйню.
Ценное мнение рандомного клоуна с мейлру никому не интересно. Ты просто не знаком с темой, потому что мозгов не хватит, вот и несешь хуйню.
>>77728
Кококо, врети111 Мозг черный ящик и ни один вменяемый нейробиолог не скажет, что он знает как это работает. А вот матанопеткшня подменяет факты и хайпит нейронные сети, которые никакого оношения к биологическим нейронам не имеют. По факту, получается, что однозначно связывают нейроны и мышление, люди которые далеки от биологической тематики.
Кококо, врети111 Мозг черный ящик и ни один вменяемый нейробиолог не скажет, что он знает как это работает. А вот матанопеткшня подменяет факты и хайпит нейронные сети, которые никакого оношения к биологическим нейронам не имеют. По факту, получается, что однозначно связывают нейроны и мышление, люди которые далеки от биологической тематики.
>>77726
Ну почему, как насчет того, что живое существо является тонким клиентом, а весь процесс мышления лежит в ноосфере? Мозг только осуществляет связь.
Ну почему, как насчет того, что живое существо является тонким клиентом, а весь процесс мышления лежит в ноосфере? Мозг только осуществляет связь.
>>77730
Концепция простая есть входы и выходы, и нейронная сеть учится что-то делать, у живых существ много данных поступает, потому и ведут себя лучше чем нейронносеточные роботы.
>Кококо, врети111 Мозг черный ящик и ни один вменяемый нейробиолог не скажет, что он знает как это работает. А вот матанопеткшня подменяет факты и хайпит нейронные сети, которые никакого оношения к биологическим нейронам не имеют. По факту, получается, что однозначно связывают нейроны и мышление, люди которые далеки от биологической тематики.
>
Концепция простая есть входы и выходы, и нейронная сеть учится что-то делать, у живых существ много данных поступает, потому и ведут себя лучше чем нейронносеточные роботы.
>>77736
Это не как не объясняет связи нейрон-мышление.
Нет, она сохраняет состояние на основе статистики и рендомной магии.
> у живых существ много данных поступает
Это не как не объясняет связи нейрон-мышление.
>нейронная сеть учится что-то делать
Нет, она сохраняет состояние на основе статистики и рендомной магии.
>>77737
Ох нихуя, мамкин школотрон ворвался в тренд, высрал пару постов шизопоноса, и всех подебил. Круто, а? Учитесь у школотрона!
Ох нихуя, мамкин школотрон ворвался в тренд, высрал пару постов шизопоноса, и всех подебил. Круто, а? Учитесь у школотрона!
>>77738
нет, она не сохраняет состояние, а настраивает пропускную способность синопсисов. Это стало возможным благодаря тому что синопсисы стало возможно записывать на магнитные носители. Это твой ответ больше походит на рандом. А вообще жаль конечно что ты такой толстый.
В ряду хим элементов пополнение
> Нет, она сохраняет состояние на основе статистики и рендомной магии.
нет, она не сохраняет состояние, а настраивает пропускную способность синопсисов. Это стало возможным благодаря тому что синопсисы стало возможно записывать на магнитные носители. Это твой ответ больше походит на рандом. А вообще жаль конечно что ты такой толстый.
> не как не
В ряду хим элементов пополнение
>>77738
Нет никакого мышления, ты только реагироват на раздражители умеешь и делать то чему научился по сто раз, точно как нейронная сетка
Нет никакого мышления, ты только реагироват на раздражители умеешь и делать то чему научился по сто раз, точно как нейронная сетка
>>77745
пиздец а если это правда... и мы всего лишь движущиеся камни, собранные высшими существами и развивающиеся по программе
пиздец а если это правда... и мы всего лишь движущиеся камни, собранные высшими существами и развивающиеся по программе
>>77743
И в чем отличие от сохранения состояния и пропускной способностью?
И что? Ты можешь восстановить из надроченных манясинапсиах данные на которых они обучались?
ну марявановна, ну пазязя
>>77745
утверждаешь, что разумное существо не примет решение в ситуации с которой он никогда не сталкивался и не обучался?
>нет, она не сохраняет состояние, а настраивает пропускную способность синопсисов.
И в чем отличие от сохранения состояния и пропускной способностью?
> записывать на магнитные носители
И что? Ты можешь восстановить из надроченных манясинапсиах данные на которых они обучались?
>В ряду хим элементов пополнение
ну марявановна, ну пазязя
>>77745
>ты только реагироват на раздражители умеешь и делать то чему научился по сто раз
утверждаешь, что разумное существо не примет решение в ситуации с которой он никогда не сталкивался и не обучался?
подскажите куда катиться для изучения биг даты? Тут уроды спорят за нейроночки и прочее бесполезное говно. На хабре вообще ничего не происходит. А реддит по запросу биг дата - объединение двача и хабра, только на ангельском.
Форумы там, группы вк на крайний случай. Просто посыл на почту к какому-нибудь чуваку. Буду рад всему.
Форумы там, группы вк на крайний случай. Просто посыл на почту к какому-нибудь чуваку. Буду рад всему.
>>77774
всякое связное, односвязное, компактное трехмерное многообразие без края гомеоморфно сфере S3
>Откровения Преподобного Васяна
всякое связное, односвязное, компактное трехмерное многообразие без края гомеоморфно сфере S3
>>77776
Читал Бурбаки?
-----
Кремация состоится в субботу, 23 ноября 1968 в 15 часов на «Кладбище случайных величин», станции метро Марков и Гёдель. Сбор состоится перед баром «У прямых произведений», перекрёсток проективных резольвент, бывшая площадь Косуля.
Согласно воле покойного месса состоится в соборе «Богоматери универсальных конструкций», месса будет проведена кардиналом Алефом I в присутствии представителей всех классов эквивалентностей и алгебраически замкнутых тел. За минутой молчания будут наблюдать ученики Высшей нормальной школы и классов Чэня.
Поскольку Бог есть компактификация Александрова для Вселенной — Евангелие от Гротендика, IV,22
Читал Бурбаки?
-----
Кремация состоится в субботу, 23 ноября 1968 в 15 часов на «Кладбище случайных величин», станции метро Марков и Гёдель. Сбор состоится перед баром «У прямых произведений», перекрёсток проективных резольвент, бывшая площадь Косуля.
Согласно воле покойного месса состоится в соборе «Богоматери универсальных конструкций», месса будет проведена кардиналом Алефом I в присутствии представителей всех классов эквивалентностей и алгебраически замкнутых тел. За минутой молчания будут наблюдать ученики Высшей нормальной школы и классов Чэня.
Поскольку Бог есть компактификация Александрова для Вселенной — Евангелие от Гротендика, IV,22
>>77777
Не, я знаю статистику. Ну так, что проблем не возникает. Знаю вводные в биг дату, хадуп и пару алгоритмов. Максимум чято там используется это умножение матриц, что даже не линейная алгебра, нормы, просто определение, основы тервера, причем совсем простого и основы статистики, причем даже не какие-то оценки и прочее, а просто идея построения гипотез, даже не общих. И это я уже давно пытаюсь что-то откопать, а это вся математика, что мне встретилась.
Не, я знаю статистику. Ну так, что проблем не возникает. Знаю вводные в биг дату, хадуп и пару алгоритмов. Максимум чято там используется это умножение матриц, что даже не линейная алгебра, нормы, просто определение, основы тервера, причем совсем простого и основы статистики, причем даже не какие-то оценки и прочее, а просто идея построения гипотез, даже не общих. И это я уже давно пытаюсь что-то откопать, а это вся математика, что мне встретилась.
>>77782
ну так это так и есть. Хотя зависит от сортов бигдаты, вот поисковые машины тоже бигдата, но там основной упор на обработку текста и его хранение/поиск, а статистика дело десятое.
>а это вся математика, что мне встретилась.
ну так это так и есть. Хотя зависит от сортов бигдаты, вот поисковые машины тоже бигдата, но там основной упор на обработку текста и его хранение/поиск, а статистика дело десятое.
>>76320 (OP)
Выходить, нет смысла их изучать?
Что тогда изучать вместо них?
>персептроны действительно не работает
Выходить, нет смысла их изучать?
Что тогда изучать вместо них?
>>77787
Спасибо, конечно, за анализ, но есть что-то более общее? В смысле между основами и поисковыми машинами. Что читать и где?
Спасибо, конечно, за анализ, но есть что-то более общее? В смысле между основами и поисковыми машинами. Что читать и где?
>>77788
Ты кокой-то мамкин маняпитух, даже разговаривать нормально не умеешь. Поссал на тебя.
>матанопетушню
Ты кокой-то мамкин маняпитух, даже разговаривать нормально не умеешь. Поссал на тебя.
>>77775
почитай поковыряй sklearn. Всякое желание дальше ковырять тему биг даты пропадёт. И придёшь к нам в нейроночки
почитай поковыряй sklearn. Всякое желание дальше ковырять тему биг даты пропадёт. И придёшь к нам в нейроночки
>>77793
нету. это очень задротская тема
нету. это очень задротская тема
>>77775
Бигдата начинается там, где заканчивается оперативка. Только и всего. Речь о данных, которые не влезут в имеющуюся оперативу. Остальное ничем не отличается от небигдаты, алгоритмы работы с этим зависят от того, что за дата. Если текст, то NLP итд.
Бигдата начинается там, где заканчивается оперативка. Только и всего. Речь о данных, которые не влезут в имеющуюся оперативу. Остальное ничем не отличается от небигдаты, алгоритмы работы с этим зависят от того, что за дата. Если текст, то NLP итд.
55 Кб, 700x525>>77798
Я очень часто встречаю в этом треде слово nlp и очень редко , скажем кластаризация.
Еще раз, я понял что такое биг дата, да я и знал впрочем, с определением про оперативку не согласен, важнее время выполнения, а это не совсем одно и то же.
И самое главное, че читать то, куда идти, по каким запросам гуглить. Пока имею только вот это >>77792 но автор грозится, что это отобьет всякое желание вообще.
Я очень часто встречаю в этом треде слово nlp и очень редко , скажем кластаризация.
Еще раз, я понял что такое биг дата, да я и знал впрочем, с определением про оперативку не согласен, важнее время выполнения, а это не совсем одно и то же.
И самое главное, че читать то, куда идти, по каким запросам гуглить. Пока имею только вот это >>77792 но автор грозится, что это отобьет всякое желание вообще.
>>77795
По этому запросу меня выкенет на склуль и прочие непотребства, что мне придется знать, но улубляться в чем я совершенно не хочу.
По этому запросу меня выкенет на склуль и прочие непотребства, что мне придется знать, но улубляться в чем я совершенно не хочу.
77 Кб, 240x240>>77802
Склерн это просто пистоновская либа с алгоритмами типа SVM итд. Ничего специфического для бигдаты там нет. Ты скажи ты скажии че те надо, че те надо, может дам может дам че ты хошь у тебя задачи какие? Если бигдата как вещь в себе, то всякие хадупы кури, если что-то конкретное, то что именно? Кластеризация? Тогда склерн, ну или карты Кохонена, но векторное квантование сейчас не в моде, хипстеры на коворкинге засмеют.
> Пока имею только вот это >>77792 но автор грозится, что это отобьет всякое желание вообще.
Склерн это просто пистоновская либа с алгоритмами типа SVM итд. Ничего специфического для бигдаты там нет. Ты скажи ты скажии че те надо, че те надо, может дам может дам че ты хошь у тебя задачи какие? Если бигдата как вещь в себе, то всякие хадупы кури, если что-то конкретное, то что именно? Кластеризация? Тогда склерн, ну или карты Кохонена, но векторное квантование сейчас не в моде, хипстеры на коворкинге засмеют.
>>77803
бигдата работает с данными, а их где то нужно хранить, хранят их в сортах ов БД, вот и думай.
бигдата работает с данными, а их где то нужно хранить, хранят их в сортах ов БД, вот и думай.
>>77809
ну да непосредственно биг дату он рассматривает как часть обучения, когда даты сильно дохера и она занимает всю оперативку чтобы сфитить модель. И там предлагается некие стратегии как всё-таки всё содержимое твоего винта скормить модели. мимо нуб
ну да непосредственно биг дату он рассматривает как часть обучения, когда даты сильно дохера и она занимает всю оперативку чтобы сфитить модель. И там предлагается некие стратегии как всё-таки всё содержимое твоего винта скормить модели. мимо нуб
>>77802
на тебе, типичная биг дата с кучей всего, чего ты не осилишь:
https://github.com/Maxime2/dataparksearch
на тебе, типичная биг дата с кучей всего, чего ты не осилишь:
https://github.com/Maxime2/dataparksearch
>>77809
Найти призвание в жизни и заниматься им.
Мне нравится эта тема и я хочу работать в этой области.
>>77810
Еще раз, по запросу базы данных я стану мастером скуля, носкуля, еще какого говна, но ни на йоту не приближусь к большим данным. Машины тоже на бензине ездят, но гонщики почему-то на скаважины не ездят обучаться.
>ты скажии че те надо
Найти призвание в жизни и заниматься им.
Мне нравится эта тема и я хочу работать в этой области.
>>77810
Еще раз, по запросу базы данных я стану мастером скуля, носкуля, еще какого говна, но ни на йоту не приближусь к большим данным. Машины тоже на бензине ездят, но гонщики почему-то на скаважины не ездят обучаться.
>>77812
Это же не обучающие материалы.
Это же не обучающие материалы.
>>77813
Ну если так глобально, иди на либген и качай что там есть по бигдате. Из пары десятков книжек всяко что-то заинтересует.
> Найти призвание в жизни и заниматься им.
> Мне нравится эта тема и я хочу работать в этой области.
Ну если так глобально, иди на либген и качай что там есть по бигдате. Из пары десятков книжек всяко что-то заинтересует.
>>77847
Слушай больше всяких ебанашек. Перцептроны работают, только это очень неоптимальная хуйня, поэтому на сколько-нибудь сложной задаче встают раком. Ответ на вопрос "что изучать?" прямо вытекает из ответа на вопрос "что тебе надо?". Если машобчик как явление - то все подряд и изучай. ISLR, Бишоп, дальше сам разберешься что нужно, что нет.
Слушай больше всяких ебанашек. Перцептроны работают, только это очень неоптимальная хуйня, поэтому на сколько-нибудь сложной задаче встают раком. Ответ на вопрос "что изучать?" прямо вытекает из ответа на вопрос "что тебе надо?". Если машобчик как явление - то все подряд и изучай. ISLR, Бишоп, дальше сам разберешься что нужно, что нет.
80 Кб, 400x546>>77849
Окей, а какие именно серии комиксов нужно прочитать?
Окей, а какие именно серии комиксов нужно прочитать?
Ничоси у вас тут. Вот вы кормите тралов, думаете это все просто игра. А ведь на кормежку рано или поздно придет шизик из /ссы, и это будет конец треда опять. Он генерит тысячи постов про квалиа, семенит, спорит сам с собой и полностью вытесняет какой-либо другой контент. Я вполне понимаю, что данным сообщением вызову дополнительный интерес, но хочу сразу предостеречь пытливых - стоп. Остальные просто не найдут.
>>77881
Это ты не в тренде. Просвещайся: https://ru.wikipedia.org/wiki/Нооскоп
Занимается этим не кто-нибудь, а барин лично: https://ru.wikipedia.org/wiki/Вайно,_Антон_Эдуардович
Так что ты лучше того, варежку закрой, пока не обнаружил себя сидящим на бутылке.
Это ты не в тренде. Просвещайся: https://ru.wikipedia.org/wiki/Нооскоп
Занимается этим не кто-нибудь, а барин лично: https://ru.wikipedia.org/wiki/Вайно,_Антон_Эдуардович
Так что ты лучше того, варежку закрой, пока не обнаружил себя сидящим на бутылке.
>>77924
Ссылки бы вставлять научился. Что там? Богоскоп Лайно? Пиздуй с этой дурью на /по/рашу, к машобу это говнишко никакого отношения не имеет.
Ссылки бы вставлять научился. Что там? Богоскоп Лайно? Пиздуй с этой дурью на /по/рашу, к машобу это говнишко никакого отношения не имеет.
>>77929
А где можно пройти курсы по вставке ссылок на мейлач? Мне на русском надо.
Он самый.
Ты на кого батон крошишь, раб? Совсем рамсы попутал, черт. Твой хозяин сказал, что это надо.
Сказал так, будто хоть один пост ИТТ имеет какое-то отношение к машобу.
А где можно пройти курсы по вставке ссылок на мейлач? Мне на русском надо.
>Богоскоп Лайно?
Он самый.
>дурью
Ты на кого батон крошишь, раб? Совсем рамсы попутал, черт. Твой хозяин сказал, что это надо.
>к машобу это говнишко никакого отношения не имеет.
Сказал так, будто хоть один пост ИТТ имеет какое-то отношение к машобу.
да пиздец, за сто коментов еще не высрали ниодной формулы
>>77996
Гипер потому что это параметры, задаваемые пользователем (например, коэффициент обучения, число слоёв в нейроночке), а не настраиваемые самим алгоритмом (например синаптических веса) в процессе обучения. Т.е это параметры алгоритма, находящиеся над ним. Естественно, то что является гиперпараметром в одной модели, может быть параметром в другой, если он настраивается уже самой моделью.
> Что такое гиперпараметры? Почему они гипер, а не просто параметры?
Гипер потому что это параметры, задаваемые пользователем (например, коэффициент обучения, число слоёв в нейроночке), а не настраиваемые самим алгоритмом (например синаптических веса) в процессе обучения. Т.е это параметры алгоритма, находящиеся над ним. Естественно, то что является гиперпараметром в одной модели, может быть параметром в другой, если он настраивается уже самой моделью.
>>76358
Дебил иди учи уроки, по конечной выборке нельзя ничего точно предсказать, между точками может быть что угодно. PAC методы лучшее, что есть на данный момент, включает неронки. Сходимость по вероятности - это максимум на что можно рассчитывать.
>> которое бы не аппроксимировало, а точно представляло задачу любой сложности через суперпозицию наиболее подходящих в данном случае функций
Дебил иди учи уроки, по конечной выборке нельзя ничего точно предсказать, между точками может быть что угодно. PAC методы лучшее, что есть на данный момент, включает неронки. Сходимость по вероятности - это максимум на что можно рассчитывать.
>>78034
Он видимо хочет добиться охуительного оверфитинга, и типа вот, УНИВЕРСАЛЬНЫЙ АППРОКСИМАТОР.
Он видимо хочет добиться охуительного оверфитинга, и типа вот, УНИВЕРСАЛЬНЫЙ АППРОКСИМАТОР.
А правда, что нейроночки - смесь карго-культа и математики?
>>77770
Оно не решение принимает а реагирует на раздражитель, человек ничего не изобрел с нуля, все создавалось с помошью уже имеющегося опыта.
Оно не решение принимает а реагирует на раздражитель, человек ничего не изобрел с нуля, все создавалось с помошью уже имеющегося опыта.
>>77849
Сука, в оп-посте под спойлером и написано, что для сложной хуйни это говно не работает.
>Слушай больше всяких ебанашек
Сука, в оп-посте под спойлером и написано, что для сложной хуйни это говно не работает.
>>78144
спасибо. Пойду позову.
спасибо. Пойду позову.
11 Кб, 470x156>>78034
Ну и каково это, сначала кукарекать против Вапника, а затем ссылаться на сорта его теории? Шизики ебучие.
>PAC методы
Ну и каково это, сначала кукарекать против Вапника, а затем ссылаться на сорта его теории? Шизики ебучие.
>>78160
Кто посмел оскорбить Бога нашего шизика, кто совершил такое святотатство?
>Ну и каково это, сначала кукарекать против Вапника
Кто посмел оскорбить Бога нашего шизика, кто совершил такое святотатство?
>>78167
>>78034
Между точками не может быть "что угодно". Там может быть то же, что и в точках - в случае стохастического процесса / процессов - распределение вероятности этих процессов, причем в худшем случае - в виде суперпозиции в общем случае неизвестных случайных процессов. По конечной выборке их восстановить можно только в случае, если все эти процессы детерминированные, разумеется. Чего в реальности не бывает. Однако, их можно аппроксимировать не рандомной функцией, которая само собой не работает даже на минимальной эстраполяции, а суперпозицией функций, наиболее близких к реальному распределению.
>>78034
>по конечной выборке нельзя ничего точно предсказать, между точками может быть что угодно.
Между точками не может быть "что угодно". Там может быть то же, что и в точках - в случае стохастического процесса / процессов - распределение вероятности этих процессов, причем в худшем случае - в виде суперпозиции в общем случае неизвестных случайных процессов. По конечной выборке их восстановить можно только в случае, если все эти процессы детерминированные, разумеется. Чего в реальности не бывает. Однако, их можно аппроксимировать не рандомной функцией, которая само собой не работает даже на минимальной эстраполяции, а суперпозицией функций, наиболее близких к реальному распределению.
>>77775
scala (обычно ее используют), hadoop, h20, spark, kaffka, kubernetes и книжки издательства орайли (oreilly) по данным предметам, для нейронок часто используют всякие обертки на docker + какой-нибудь пакет для машоба (tensorflow, mxnet, pytorch)
scala (обычно ее используют), hadoop, h20, spark, kaffka, kubernetes и книжки издательства орайли (oreilly) по данным предметам, для нейронок часто используют всякие обертки на docker + какой-нибудь пакет для машоба (tensorflow, mxnet, pytorch)
185 Кб, 827x727Смотрите, чему китайских школьников учат - http://gen.lib.rus.ec/book/index.php?md5=3B640E408D2A9B3AB41CFE50788FC8A0
Вот поэтому Китай в области машобчика в обозримом будущем обгонит пиндосов.
>This basic book has been used at the middle schools in Shanghai, China for more than 10 years. The book presents carefully-selected contents in order to achieve the roles of enlightenment and popularization.
Вот поэтому Китай в области машобчика в обозримом будущем обгонит пиндосов.
>>78232
НЕЙРОНОЧКИ И МАШОБ ТРЕД. Новости.
В Китае обнаружена жежешечка артемия лебедева первая ферма по выращиванию нечётких петухов. Местный нечёткий петух уже ведёт переговоры с правительством Китая о поставках серийных петухов прямо в наш уютный тред. Мы будем следить за развитием событий.
НЕЙРОНОЧКИ И МАШОБ ТРЕД. Новости.
В Китае обнаружена жежешечка артемия лебедева первая ферма по выращиванию нечётких петухов. Местный нечёткий петух уже ведёт переговоры с правительством Китая о поставках серийных петухов прямо в наш уютный тред. Мы будем следить за развитием событий.
>>78171
Очень сильное предположение относительно просто выданной обучающей выборки.
Это типа перебрать гиперпараметры (семейство функций) по сетке и по CV замерить качество и выбрать лучший? Тогда зачем лямбда, которая здесь является лишней сущностью?
>> Между точками не может быть "что угодно". Там может быть то же, что и в точках - в случае стохастического процесса / процессов
Очень сильное предположение относительно просто выданной обучающей выборки.
>> их можно аппроксимировать не рандомной функцией, которая само собой не работает даже на минимальной эстраполяции, а суперпозицией функций, наиболее близких к реальному распределению.
Это типа перебрать гиперпараметры (семейство функций) по сетке и по CV замерить качество и выбрать лучший? Тогда зачем лямбда, которая здесь является лишней сущностью?
>>78237
Почему? Все равно любой процесс либо заметно влияет на выборку и т.о. его как минимум можно выявить, либо не влияет и т.о. в самой выборке никак не отражен.
Лямбда затем, чтобы эти внешние для модели гиперпараметры стали настраиваемыми параметрами модели, как в случае ядер в SVM. И чтобы структура нужной функции / суперпозиции функций подбиралась сама, а не выбиралась из чего-то априори заданного таблицами итд.
>Очень сильное предположение относительно просто выданной обучающей выборки.
Почему? Все равно любой процесс либо заметно влияет на выборку и т.о. его как минимум можно выявить, либо не влияет и т.о. в самой выборке никак не отражен.
>Это типа перебрать гиперпараметры (семейство функций) по сетке и по CV замерить качество и выбрать лучший? Тогда зачем лямбда, которая здесь является лишней сущностью?
Лямбда затем, чтобы эти внешние для модели гиперпараметры стали настраиваемыми параметрами модели, как в случае ядер в SVM. И чтобы структура нужной функции / суперпозиции функций подбиралась сама, а не выбиралась из чего-то априори заданного таблицами итд.
>>78302
Потому что это бессмысленное задротство ради жестяных кубков и циферок на малоизвестном сайте.
Потому что это бессмысленное задротство ради жестяных кубков и циферок на малоизвестном сайте.
>>78313
Как ты сейчас точно описал весь нейронодроч на MNIST-е.
>Потому что это бессмысленное задротство ради жестяных кубков и циферок на малоизвестном сайте.
Как ты сейчас точно описал весь нейронодроч на MNIST-е.
>>78410
1) Гуглокапчу для того и ввели, 2) средний двощер не осилит ничего сложнее программы с большой кнопкой "сделать заебись", 3) надо собирать тренировочный сет, 4) возможно, для массивного вайпа это не подойдёт из-за доп. нагрузки на систему (хотя, наверное, зависит от реализации), 5) все охуевшие ловят бан подсети, остальные сидят и не вякают.
1) Гуглокапчу для того и ввели, 2) средний двощер не осилит ничего сложнее программы с большой кнопкой "сделать заебись", 3) надо собирать тренировочный сет, 4) возможно, для массивного вайпа это не подойдёт из-за доп. нагрузки на систему (хотя, наверное, зависит от реализации), 5) все охуевшие ловят бан подсети, остальные сидят и не вякают.
>>78410
Чтобы школьники не вайпали, допетрив до скрипта постинга говна в цикле. Более же взрослым людям нахуй не всралось тратить время на вайп мочана.
Чтобы школьники не вайпали, допетрив до скрипта постинга говна в цикле. Более же взрослым людям нахуй не всралось тратить время на вайп мочана.
Где найти БД картинок машин, где видно номера? Пробну сделать распознаватель номеров.
>>78481
наркоман, где там искаженные? на развороте страницы при сканировании больше смещение
>искажённых данных
наркоман, где там искаженные? на развороте страницы при сканировании больше смещение
Подскажите как можно объединить точки с первой пикчи в линии идущие от левого края картинки к правому (лишние надо выкинуть).
Исходные данные - вторая пикча. Мне, по сути, надо распознать горизонтальные кривые линии на изображении. Подкиньте идей, вообще не пойму с чего начать.
На первом пике выделены "локальные максимумы" столбцов второго изображения.
Исходные данные - вторая пикча. Мне, по сути, надо распознать горизонтальные кривые линии на изображении. Подкиньте идей, вообще не пойму с чего начать.
На первом пике выделены "локальные максимумы" столбцов второго изображения.
Убер нехило ускорил нейроэволюцию на Атари: https://eng.uber.com/accelerated-neuroevolution/
>>78724
Математика, наверное.
Математика, наверное.
сделать бы каталок баз с картинками
>>78577
+15
+15
Кто-нибудь может прогнать у себя этот датасет?
У меня почему-то выдаёт только одну мышь.
ЧЯДНТ
https://yadi.sk/d/SJhYyKs_3UjRCb
У меня почему-то выдаёт только одну мышь.
ЧЯДНТ
https://yadi.sk/d/SJhYyKs_3UjRCb
Посоветуйте годных учебников по теории вероятностей и статистике!
Чтоб для самых маленьких и тупых. Мой бэкграунд: школа.
Чтоб для самых маленьких и тупых. Мой бэкграунд: школа.
>>79022 (Del)
Не нужно.
Не нужно.
Хочу пилить ИИ для игр (не танчики, а серьезные направленные на это проекты вроде http://www.botcolony.com , но для начала как-то попроще), и возникает вопрос на какой стул садиться. Большинство игровых проектов не ААА сейчас пишутся на луа, но тут проблема с библиотеками для нейроночек. Зато с ними все просто замечательно на питоне, на котором игорей не пишут. Правильный ли я делаю вывод что нужно вкатываться в торч на плюсах?
>>79517
Ты бы погуглил что-нибудь типа "game industry revenue", что ли. Или ты очередной илитист с пхд по серьёзности с двача?
мимохуй, не играющий в игры
Ты бы погуглил что-нибудь типа "game industry revenue", что ли. Или ты очередной илитист с пхд по серьёзности с двача?
мимохуй, не играющий в игры
>>79517
Почему-то не выдерживаю её взгляда. Про оригинальное видео вообще молчу, мне стыдно это смотреть.
Почему-то не выдерживаю её взгляда. Про оригинальное видео вообще молчу, мне стыдно это смотреть.
>>79521
ИИ для игорь это что то на уровне ясель
ИИ для игорь это что то на уровне ясель
>>79546
Теперь живем, мой милый на луа пишет, могу нейроночки приделывать!
Теперь живем, мой милый на луа пишет, могу нейроночки приделывать!
Что можно прочитать про обучение RNN? Посмотрел лекцию, там сказали, что обратное распространение ошибки не работает нихуя. В одной статье нашёл обучение через генетически алгоритм, лол.
>>79490
Всё в этом посте неправильно. Не программируй никогда.
Всё в этом посте неправильно. Не программируй никогда.
>>78665
Сам сделай, хули. Всего то надо на силуэт натянуть модельку голой тёлки.
Сам сделай, хули. Всего то надо на силуэт натянуть модельку голой тёлки.
>>79490
да тут больше инженерная задача. имхо есть смысл поэксперементировать с процессами и расшаренной паматью. например вкатываешься в питон, делаешь сервак в котором крутится модель. Игруля птшется на любом языке и просто имеет апи через который взаимодействует с процессом которым управляет змеиный интерпритатор. Еще сейчас намечается тенденция глобализации в програмаче. неисключено что популярные игровые фрйемворки выкатят некие инструменты по компилированию моделей из питоновсеих либ в свои экоситьемы. Так что если всерьез думаешь об ии начинать имеет смысл с питона ввиду большего количества обучалок и документации от сообщества
да тут больше инженерная задача. имхо есть смысл поэксперементировать с процессами и расшаренной паматью. например вкатываешься в питон, делаешь сервак в котором крутится модель. Игруля птшется на любом языке и просто имеет апи через который взаимодействует с процессом которым управляет змеиный интерпритатор. Еще сейчас намечается тенденция глобализации в програмаче. неисключено что популярные игровые фрйемворки выкатят некие инструменты по компилированию моделей из питоновсеих либ в свои экоситьемы. Так что если всерьез думаешь об ии начинать имеет смысл с питона ввиду большего количества обучалок и документации от сообщества
>>79697
Гугли LSTM и GRU.
Гугли LSTM и GRU.
Как же хочется стажировочку...
>>79697
диплернингбук и ссылки из нее.
Там коротко и про то, что градиенты нужно клипать, и немного других базовых вещей.
диплернингбук и ссылки из нее.
Там коротко и про то, что градиенты нужно клипать, и немного других базовых вещей.
>>79697
attention is all you need
attention is all you need
так же еще один тупой вопрос
можно ли натренировать нейронку на датасете из 15 картинок?
можно ли натренировать нейронку на датасете из 15 картинок?
>>79921
Короче бля, тебе дают массив весов размером 3 на 3, ты умножаешь на эти веса область данных 3 на 3, суммируешь, в среднюю записываешь результат. Так как ядер свёртки разное количество и всё это пуляется и прогоняется ещё раз, а потом ещё и накрывается посносвязным слоем, такие значения в итоге подают на нейроны как-то невъебенно перекодированную информацию об расположении значений, об их последовательностях.
Короче бля, тебе дают массив весов размером 3 на 3, ты умножаешь на эти веса область данных 3 на 3, суммируешь, в среднюю записываешь результат. Так как ядер свёртки разное количество и всё это пуляется и прогоняется ещё раз, а потом ещё и накрывается посносвязным слоем, такие значения в итоге подают на нейроны как-то невъебенно перекодированную информацию об расположении значений, об их последовательностях.
>>79939
Смотря какие картинки и что распознавать. Но вообще наврятли, скорее обучишь её распознавать эти 15 картинок.
Смотря какие картинки и что распознавать. Но вообще наврятли, скорее обучишь её распознавать эти 15 картинок.
>>79939
Да, можно.
Надо просто напихать побольше слоев, и сделать все нейроны линейными для ускорения обучения и избежания оверфитинга
Да, можно.
Надо просто напихать побольше слоев, и сделать все нейроны линейными для ускорения обучения и избежания оверфитинга
>>79970
Ты недооцениваешь интеллект ребенка. Он вполне сможет сделать вывод, что все что выглядит как живое и не является человеком, является животным.
Ты недооцениваешь интеллект ребенка. Он вполне сможет сделать вывод, что все что выглядит как живое и не является человеком, является животным.
>>79978
Перед этим ребенку нужно запомнить человека и окружающую среду, чтобы все незнакомые движущиеся объекты, методом исключения, отнести к живым.
нейросеть такой возможности не имеет.
Перед этим ребенку нужно запомнить человека и окружающую среду, чтобы все незнакомые движущиеся объекты, методом исключения, отнести к живым.
нейросеть такой возможности не имеет.
>>79982
Поэтому твоя аналогия не корректна.
Поэтому твоя аналогия не корректна.
>>79977
спасибо! Какие еще будут инструкции?
спасибо! Какие еще будут инструкции?
Что делать если меня взяли за жабры в универе? Мне задали сделать задачу регрессии с помощью нейронной сети. Я взял нейросетевую библиотеку Keras, пытался сделать 3-5 слоев с десятками нейронов. Нихуя не вышло, тогда я психанул и сделал 12 слоев и в каждом по нескольку сотен нейронов. Всё вышло охуенно, я показал результат в универе и старушка-препод была в восторге и думала, что я невъзебенный ботан и познал матан.
Теперь старушка-препод сказала, чтобы я описал нейронную сеть и описал сколько там слоев и нейронов.
А что теперь делать? Так и сказать, что у меня 12 слоев с тремя тысячами нейронов?
Теперь старушка-препод сказала, чтобы я описал нейронную сеть и описал сколько там слоев и нейронов.
А что теперь делать? Так и сказать, что у меня 12 слоев с тремя тысячами нейронов?
>>79962
Да.
>Можно ли научить тебя распознавать класс "животное", если тебе покажут только кота, ворону, жопу осла, и дохлую рыбину?
Да.
>>80017
Я выше написал для дегенератов - сравнение с другими известными образами и классификация методом исключения не считается.
Я выше написал для дегенератов - сравнение с другими известными образами и классификация методом исключения не считается.
>>80007
Да, построй еще графики ф-ии потерь на валидации и трейне и покажи бабуле, что не переобучился.
>> Так и сказать, что у меня 12 слоев с тремя тысячами нейронов?
Да, построй еще графики ф-ии потерь на валидации и трейне и покажи бабуле, что не переобучился.
>>80007
Вся суть диплернинга же.
>пытался сделать 3-5 слоев с десятками нейронов. Нихуя не вышло, тогда я психанул и сделал 12 слоев и в каждом по нескольку сотен нейронов. Всё вышло охуенно
Вся суть диплернинга же.
>>79939
См. работы по метаобучению. Популярный датасет omniglot, например, содержит всего несколько примеров для каждого класса.
См. работы по метаобучению. Популярный датасет omniglot, например, содержит всего несколько примеров для каждого класса.
>>80221
Никогда не поверю, что это какая-то военная тайна и на каждом углу (слесарьплов, керас, ...) нет конкретных примеров. Сдается мне мил человек, это тебя обучать как-то надо, а не эту нейрон очку.
Никогда не поверю, что это какая-то военная тайна и на каждом углу (слесарьплов, керас, ...) нет конкретных примеров. Сдается мне мил человек, это тебя обучать как-то надо, а не эту нейрон очку.
>>80226
Тащемта правда тайна. Найти можно только абстрактную хуйню про то, что нужно все веса по одному значению считать или что это возможно только с генетическими алгоритмами.
Тащемта правда тайна. Найти можно только абстрактную хуйню про то, что нужно все веса по одному значению считать или что это возможно только с генетическими алгоритмами.
>>80221
Ребята, не стоит вскрывать эту тему. Вы молодые, шутливые, вам все легко. Это не то. Это не Чикатило и даже не архивы спецслужб. Сюда лучше не лезть. Серьезно, любой из вас будет жалеть. Лучше закройте тему и забудьте, что тут писалось. Я вполне понимаю, что данным сообщением вызову дополнительный интерес, но хочу сразу предостеречь пытливых - стоп. Остальные просто не найдут.
Ребята, не стоит вскрывать эту тему. Вы молодые, шутливые, вам все легко. Это не то. Это не Чикатило и даже не архивы спецслужб. Сюда лучше не лезть. Серьезно, любой из вас будет жалеть. Лучше закройте тему и забудьте, что тут писалось. Я вполне понимаю, что данным сообщением вызову дополнительный интерес, но хочу сразу предостеречь пытливых - стоп. Остальные просто не найдут.
Здорова, пацаны. Перекатываюсь к вам из пхп. Заебало слесарить проблемы уровня «отчёт не пришёл пушо кто-то поломал статистику с индексами в базе». Хочу жить поближе к бизнесу.
Имейте в виду, короче, конкуренция растёт.
Имейте в виду, короче, конкуренция растёт.
>>80221
Есть смысл юзать только для последовательностей входных данных, и то периодически, например, в данных с финансовыми кривыми, иногда лучше использовать 1D свёрточные. А можно комбинировать.
Обучение просто работает через backprop in time, та же самая херня как с обычным backprop (Chain rule), только распространяется на время.
Но там трабл в том, что есть Vanishing gradient проблема, то есть если нейронов много, то градиент пидорасит и нейронка перестаёт вообще понимать, что происходит в этой ёбаной жизни. И для фикса этой проблемы юзают GRU\LSTM, которые с помощью специфичной реализации контроля запоминания\забывания входных данных могут блочить всякую ненужную инфу, которая в них попадает, при том ещё и запоминая далеко отстоящие связи.
Итого:
Гугли backprop in time, vanishing gradients. По ЛСТМам на архиве есть статья неплохая, вроде бы, с участием Bengio, но там довольно жоска, если не читал другой литературы.
Есть смысл юзать только для последовательностей входных данных, и то периодически, например, в данных с финансовыми кривыми, иногда лучше использовать 1D свёрточные. А можно комбинировать.
Обучение просто работает через backprop in time, та же самая херня как с обычным backprop (Chain rule), только распространяется на время.
Но там трабл в том, что есть Vanishing gradient проблема, то есть если нейронов много, то градиент пидорасит и нейронка перестаёт вообще понимать, что происходит в этой ёбаной жизни. И для фикса этой проблемы юзают GRU\LSTM, которые с помощью специфичной реализации контроля запоминания\забывания входных данных могут блочить всякую ненужную инфу, которая в них попадает, при том ещё и запоминая далеко отстоящие связи.
Итого:
Гугли backprop in time, vanishing gradients. По ЛСТМам на архиве есть статья неплохая, вроде бы, с участием Bengio, но там довольно жоска, если не читал другой литературы.
>>80354
Мдауш.
Мдауш.
>>80412
Знающий Си знает все языки программирования априори, ему ничего не стоит изучить новый, разве нет?
Знающий Си знает все языки программирования априори, ему ничего не стоит изучить новый, разве нет?
47 Кб, 512x680>>80429
Вот ты думаешь, что умный, раз Канта запостил, а на самом деле ты еблан, и я это докажу. ЦНС человека не с нуля появилась, а в ходе миллионов лет эволюции. И возможность априорных суждений это свойства ЦНС. Нейровизуализацией показано, что априорные интуиции пространства и времени зависят от предсуществующих структур в rIPC, нижней префронтальной коре. Да, все это работает у новорожденных и опыта не требует, вот только новорожденный это продукт взаимодействия геномов своих родителей, а не собранный с нуля биоробот. А вот веса нейрон очки это именно взятые более менее с потолка значения и не зависят от предсуществующих нейроночек. Поэтому сравнивать такие вещи с человеком это глупость либо толстота.
Вот ты думаешь, что умный, раз Канта запостил, а на самом деле ты еблан, и я это докажу. ЦНС человека не с нуля появилась, а в ходе миллионов лет эволюции. И возможность априорных суждений это свойства ЦНС. Нейровизуализацией показано, что априорные интуиции пространства и времени зависят от предсуществующих структур в rIPC, нижней префронтальной коре. Да, все это работает у новорожденных и опыта не требует, вот только новорожденный это продукт взаимодействия геномов своих родителей, а не собранный с нуля биоробот. А вот веса нейрон очки это именно взятые более менее с потолка значения и не зависят от предсуществующих нейроночек. Поэтому сравнивать такие вещи с человеком это глупость либо толстота.
>>80437
Так априорные синтетические суждения возможны или нет? Почему ты противоречишь сам себе?
>все создавалось с помошью уже имеющегося опыта.
>возможность априорных суждений это свойства ЦНС.
Так априорные синтетические суждения возможны или нет? Почему ты противоречишь сам себе?
>>80437
Как тогда люди учатся водить машины, допустим? Ведь у предков людей их не было. Точно так же могу сказать про чтение, письмо, сложение-вычитание, да и вообще про способность абстрактно мыслить - это уникально для человека, за исключением пары других видов у которых это развито примитивно.
Плюс, твои утверждения в корне ошибочны, ибо по твоей логике каждый человек по дефолту способен на все то на что способны другие люди, что в корне неверно. Ребенок выросший в лесу слабо похож на своих сверстников.
То что ты говоришь касается лимбической системы, допустим, она не осознана и выполняется в нашем мозгу как программа свернутая в трей, и формируется она еще со времен динозавров, но, так сказать, уровень сознания у каждого человека уникален, в т.ч потому-что для каждого индивида эволюция мозга своя, и каждый индивид проживает уникальную жизнь, только в общих чертах похожую на жизнь всех остальных.
Как тогда люди учатся водить машины, допустим? Ведь у предков людей их не было. Точно так же могу сказать про чтение, письмо, сложение-вычитание, да и вообще про способность абстрактно мыслить - это уникально для человека, за исключением пары других видов у которых это развито примитивно.
Плюс, твои утверждения в корне ошибочны, ибо по твоей логике каждый человек по дефолту способен на все то на что способны другие люди, что в корне неверно. Ребенок выросший в лесу слабо похож на своих сверстников.
То что ты говоришь касается лимбической системы, допустим, она не осознана и выполняется в нашем мозгу как программа свернутая в трей, и формируется она еще со времен динозавров, но, так сказать, уровень сознания у каждого человека уникален, в т.ч потому-что для каждого индивида эволюция мозга своя, и каждый индивид проживает уникальную жизнь, только в общих чертах похожую на жизнь всех остальных.
>>80451
Возможны. Только они представляют собой не то, что ты думаешь.
Это ты думаешь, что противоречу. На самом деле противоречия тут нет.
>>80457
Потому что кроме безусловнорефлекторной деятельности есть ещё условнорефлекторная.
Нет, конечно же.
Во-первых, это не мои утверждения, а данные нейровизуализации. Во-вторых, это твоя, а не моя логика, я ничего подобного не утверждал, и из приведенных мной фактов ничего подобного не следует.
> Так априорные синтетические суждения возможны или нет?
Возможны. Только они представляют собой не то, что ты думаешь.
> Почему ты противоречишь сам себе?
Это ты думаешь, что противоречу. На самом деле противоречия тут нет.
>>80457
> Как тогда люди учатся водить машины, допустим? Ведь у предков людей их не было.
Потому что кроме безусловнорефлекторной деятельности есть ещё условнорефлекторная.
> То что ты говоришь касается лимбической системы,
Нет, конечно же.
> Плюс, твои утверждения в корне ошибочны, ибо по твоей логике каждый человек по дефолту способен на все то на что способны другие люди, что в корне неверно.
Во-первых, это не мои утверждения, а данные нейровизуализации. Во-вторых, это твоя, а не моя логика, я ничего подобного не утверждал, и из приведенных мной фактов ничего подобного не следует.
>>80437
Но ведь всей этой писанины можно было избежать, ведь канта пидор...
Но ведь всей этой писанины можно было избежать, ведь канта пидор...
Няши, есть ли где-то исследования о: boosting vs bagging?
Не является ли bagging более продвинутым алгоритмом (хотя он и проще) хотя бы потому что он не может уйти в редкие цепочки вида (A>N1)&(B<N2)&(B>=N3)&(...) ? Покрывает ли boosting всё алгебраическое множество, когда положительные результаты в диаметрально противоположных углах пространства? Например (A>0.95)&(B>0.95) и (A<0.05)&(B<0.05) ?
Не является ли bagging более продвинутым алгоритмом (хотя он и проще) хотя бы потому что он не может уйти в редкие цепочки вида (A>N1)&(B<N2)&(B>=N3)&(...) ? Покрывает ли boosting всё алгебраическое множество, когда положительные результаты в диаметрально противоположных углах пространства? Например (A>0.95)&(B>0.95) и (A<0.05)&(B<0.05) ?
>>80457
Вот это научпоп.
Вот это научпоп.
771 Кб, 857x12001) Если набор фич x_train[:N] кажется мне более важным чем x_train[N:], как мне увеличить его вес при обучении нейроночки?
2) Как и чем лучше крутить ручки гиперпараметров? Стоит ли использовать что-то кроме RandomizedSearchCV? Как лучше определять в какую строну крутить?
3) Есть ли механизм нахождения важности фич менее топорный чем считать mean фичи и заменять им весь столбик чтобы проверить насколько упадет аккураси?
Дяденьки матаноняши, не набрасывайтесь на меня, как только научусь пользоваться тем что есть, так сразу ударюсь в теорию чтобы раздвигать горизонты самостоятельно.
2) Как и чем лучше крутить ручки гиперпараметров? Стоит ли использовать что-то кроме RandomizedSearchCV? Как лучше определять в какую строну крутить?
3) Есть ли механизм нахождения важности фич менее топорный чем считать mean фичи и заменять им весь столбик чтобы проверить насколько упадет аккураси?
Дяденьки матаноняши, не набрасывайтесь на меня, как только научусь пользоваться тем что есть, так сразу ударюсь в теорию чтобы раздвигать горизонты самостоятельно.
>>80614
1) Зачем? Нейронка сама определит, какие фичи важные, а какие нет, если собрана архитектурно адекватно. Если ты про диплёрнинг, конечно.
Если ты про простые модели, то тут очень важно тщательно продумывать, что нужно пихать в нейронку, а без чего можно обойтись.
! Вообще совет насчёт датасетов. Вникай в задачу логически как человек. С чем и что может объективно коррелировать. И там уже отбирай нужные фичи, выкидывай ненужные.
2) Уточни вопрос. Я, конечно, могу почитать эту тему, но скайкитом я не пользуюсь, поэтому быстрее будет, если ты объяснишь это абстрактно.
3) Логически думаешь, что важно, а что нет. Матлаб автоматически, например, пытается исключать определённые фичи и даже предлагает это вручную делать.
1) Зачем? Нейронка сама определит, какие фичи важные, а какие нет, если собрана архитектурно адекватно. Если ты про диплёрнинг, конечно.
Если ты про простые модели, то тут очень важно тщательно продумывать, что нужно пихать в нейронку, а без чего можно обойтись.
! Вообще совет насчёт датасетов. Вникай в задачу логически как человек. С чем и что может объективно коррелировать. И там уже отбирай нужные фичи, выкидывай ненужные.
2) Уточни вопрос. Я, конечно, могу почитать эту тему, но скайкитом я не пользуюсь, поэтому быстрее будет, если ты объяснишь это абстрактно.
3) Логически думаешь, что важно, а что нет. Матлаб автоматически, например, пытается исключать определённые фичи и даже предлагает это вручную делать.
>>80715
3) В датасетах с которыми я работаю какая-то часть фич вообще не интерпретируется, а влияние остальных невозможно предсказать логически, разве что объеденив в группы, которым я хочу задать разные веса.
1) Особенность задачи и то что я хочу предварительно натренировать нейронку на немного других данных.
2) Это то же самое что перебирать комбинации гиперпараметров из таблицы (как в GridSearchCV), только в RandomizedSearchCV ты задаешь количество комбинаций и можешь вводить параметры диапазонами.
Суть в том что находились статьи где описывались методы умнее чем тупо перебор без оптимизации поиска, но на практике никто (в статьях и коде на гитхабе не топ-уровня-такого-что-я-не-пойму) их не применяет.
3) В датасетах с которыми я работаю какая-то часть фич вообще не интерпретируется, а влияние остальных невозможно предсказать логически, разве что объеденив в группы, которым я хочу задать разные веса.
1) Особенность задачи и то что я хочу предварительно натренировать нейронку на немного других данных.
2) Это то же самое что перебирать комбинации гиперпараметров из таблицы (как в GridSearchCV), только в RandomizedSearchCV ты задаешь количество комбинаций и можешь вводить параметры диапазонами.
Суть в том что находились статьи где описывались методы умнее чем тупо перебор без оптимизации поиска, но на практике никто (в статьях и коде на гитхабе не топ-уровня-такого-что-я-не-пойму) их не применяет.
>>80796
Ну на самом деле как ты понимаешь, суть формирования модели это подгонка весов под некоторую оптимальную комбинацию.
Не знаю, есть ли что-то такое в скайките, но в Керасе\Тензоре можно настроить нетренируемость слоёв определённых. Если попробуешь поизвращаться с кодом на тензоре или будешь писать нейронку с фундамента, то сможешь залочить какие-то параметры после некоторого числа итераций.
Есть ещё опция с тем, что можно задать самому какие-то веса заранее, а можно вообще загрузить из некоторой стадии обучения.
1) Если хочешь на других данных - очень сильно зависит от типа нейронки, уточни. Потому что для тех же CNN можно какое-то число первых слоев свёртки и макс-пула оставить нетренируемыми после обучения на другом датасете, так как они содержат фильтры примитивов на картинке. А дальнейшие слои перетренировать, чтобы более специфичные для задачи паттерны выделить.
С теми же RNN это так скорее всего не сработает, но попытаться можно, маловероятно.
2) На самом деле всякие оптимизации по параметрам довольно сложно вычленять. Честно говоря это в основном приходит с опытом, видишь одну фичу на плоте - понимаешь, что то-то и то-то может быть проблемой. Обычно здесь говорят так: "Прочекайте основные логичные предположения, потом перебирайте"
Можешь почитать что-нибудь вроде книжки от создателя Кераса по МЛ, там есть пару фич. Или курс на курсере от Ынга глянуть, он тоже некоторые такие признаки выдаёт, что и где подкручивать.
Если признаки не помогают, то обычно тут помогает только тык с отсылками на логику задачи.
3) Можешь привести пример данных, которые нельзя интерпретировать? (Желательно ещё контекст задачи) Если хочешь разделить на несколько весовых групп, то попробуй просто в ручную загрузить веса с некоторой рандомизацией в каждый из твоих условных блоков. Только обязательно регуляризацию сделай, а то эффективность может люто упасть.
Ну на самом деле как ты понимаешь, суть формирования модели это подгонка весов под некоторую оптимальную комбинацию.
Не знаю, есть ли что-то такое в скайките, но в Керасе\Тензоре можно настроить нетренируемость слоёв определённых. Если попробуешь поизвращаться с кодом на тензоре или будешь писать нейронку с фундамента, то сможешь залочить какие-то параметры после некоторого числа итераций.
Есть ещё опция с тем, что можно задать самому какие-то веса заранее, а можно вообще загрузить из некоторой стадии обучения.
1) Если хочешь на других данных - очень сильно зависит от типа нейронки, уточни. Потому что для тех же CNN можно какое-то число первых слоев свёртки и макс-пула оставить нетренируемыми после обучения на другом датасете, так как они содержат фильтры примитивов на картинке. А дальнейшие слои перетренировать, чтобы более специфичные для задачи паттерны выделить.
С теми же RNN это так скорее всего не сработает, но попытаться можно, маловероятно.
2) На самом деле всякие оптимизации по параметрам довольно сложно вычленять. Честно говоря это в основном приходит с опытом, видишь одну фичу на плоте - понимаешь, что то-то и то-то может быть проблемой. Обычно здесь говорят так: "Прочекайте основные логичные предположения, потом перебирайте"
Можешь почитать что-нибудь вроде книжки от создателя Кераса по МЛ, там есть пару фич. Или курс на курсере от Ынга глянуть, он тоже некоторые такие признаки выдаёт, что и где подкручивать.
Если признаки не помогают, то обычно тут помогает только тык с отсылками на логику задачи.
3) Можешь привести пример данных, которые нельзя интерпретировать? (Желательно ещё контекст задачи) Если хочешь разделить на несколько весовых групп, то попробуй просто в ручную загрузить веса с некоторой рандомизацией в каждый из твоих условных блоков. Только обязательно регуляризацию сделай, а то эффективность может люто упасть.
Гиперпараметры потому так и называются, что нет алгоритма для их эффективного подбора. Иначе бы это были просто параметры алгоритма. Даже такую простую вещь как learning rate невозможно определить заранее, нужно пробовать разные и смотреть как получается, т.е. фактически перебором. С опытом начинаешь замечать признаки, по которым можно определить некоторые стандартные проблемы, например слишком высокий learning rate. Для SOTA результатов все равно решает перебор, в т.ч. перебор по архитектурам, которые тоже на самом деле гиперпараметры. В частности, на кагле суть работы сводится к feature engineering и подбору гиперпараметров, довольно нудное занятие как по мне.
>>80929
Это проблема функции потерь на самом деле. Если использовать полтора стандартных варианта ,известных хипстерам, то да, задача не то чтобы нерешаема, просто решение скажем не будет поражать качеством. Нужны более комплексные оценки качества решения задачи, чтобы не только среднеквадратичные отклонения считал, но и устойчивость решения на экстраполяциях итд. Что-то по типу комбинированных критериев Ивахненко. Но это для хипстров сложна.
> Гиперпараметры потому так и называются, что нет алгоритма для их эффективного подбора.
Это проблема функции потерь на самом деле. Если использовать полтора стандартных варианта ,известных хипстерам, то да, задача не то чтобы нерешаема, просто решение скажем не будет поражать качеством. Нужны более комплексные оценки качества решения задачи, чтобы не только среднеквадратичные отклонения считал, но и устойчивость решения на экстраполяциях итд. Что-то по типу комбинированных критериев Ивахненко. Но это для хипстров сложна.
>>80932
Ну и как тебе более другая функция оценки качества решения поможет подобрать значения десятков гиперпараметров, таких как количество слоев, типов слоев, нейронов в слоях (и это мы еще даже не затрагиваем более экзотические архитектуры, не укладывающиеся в концепцию слоев), типы нелинейных преобразований, проценты дропаута, тип оптимизатора и его параметры, вид схемы инициализации весов сети и ее параметры? Установи любой из этих гиперпараметров неправильно, и вообще ничего не натренируется.
Ну и как тебе более другая функция оценки качества решения поможет подобрать значения десятков гиперпараметров, таких как количество слоев, типов слоев, нейронов в слоях (и это мы еще даже не затрагиваем более экзотические архитектуры, не укладывающиеся в концепцию слоев), типы нелинейных преобразований, проценты дропаута, тип оптимизатора и его параметры, вид схемы инициализации весов сети и ее параметры? Установи любой из этих гиперпараметров неправильно, и вообще ничего не натренируется.
>>80940
Очевидно, что все это говнишко не нужно, все равно там одно шаманство, для которого даже vc-размерность не найдешь. Можно взять простую модель, скажем SVM, и усложнять только ядро, так чтобы оно возможно более точно представляло функции идентифицируемой системы. С другой стороны, если человек с опытом может подобрать гиперпараметры нейроночки, значит это алгоритмически разрешимая задача и решается подходящими эвристиками (а не тупо брутфорсом).
> Ну и как тебе более другая функция оценки качества решения поможет подобрать значения десятков гиперпараметров, таких как количество слоев, типов слоев, нейронов в слоях (и это мы еще даже не затрагиваем более экзотические архитектуры, не укладывающиеся в концепцию слоев)
Очевидно, что все это говнишко не нужно, все равно там одно шаманство, для которого даже vc-размерность не найдешь. Можно взять простую модель, скажем SVM, и усложнять только ядро, так чтобы оно возможно более точно представляло функции идентифицируемой системы. С другой стороны, если человек с опытом может подобрать гиперпараметры нейроночки, значит это алгоритмически разрешимая задача и решается подходящими эвристиками (а не тупо брутфорсом).
2,2 Мб, 1400x1000>>80901
С таким функционалом как я хочу попробовать, кажется, проще действительно переписать модели самостоятельно.
1) В моем случае нейронка тоже гиперпараметр, вот попробую и посмотрю что взлетит.
2) Кажется, в тех случаях что ты написал все советы можно свести к тому чтобы построить гистрограммы метрики каждой фичи по хистори поиска гиперпараметров и если максимальное значение не в середине - то раздвинуть поиск в нужном направлении. Тоесть, если подбирается 5 гиперпараметров, то рассматривается каждый отдельно и если для какой-то условной С = [0.01, 0.1, 1, 10, 100] выше всего значения метрик были не при С = 1, а при С = 100, то добавить еще С = 1000 и С = 10000, затем повторить наблюдение.
3) Например, нельзя интерпретировать хеши. Были какие-то строки разного размера, по которым я специальным алгоритмом строю бинарные репрезентации длинной ровно N бит. Теперь нельзя сказать что означает значение какого-то конкретного бита. Плюс к этим хешам добавляются еще варианты репрезентаций тех же строк, какие-то я считаю более важными, какие-то менее, но все же необходимыми. Плюс, я знаю что нейронка вероятно будет забивать на какую-то часть фич, потому что она разделяет данные не так явно (на начальных этапах), поэтому нужно реализовать например дропаут сильной части фич, чтобы модель училась и на слабой.
>>80929
Про алгоритм я понимаю, но может быть можно как-то оптимизировать процесс чисто инженерными решениями, например, тот же GridSeachCV из dask-ml возможно работает быстрее чем из sklearn. Таким образом, мой вопрос сводится к тому какую функцию какой библиотеки выбрать для того чтобы находить гиперпараметры в моем манкикоде.
>>80944
Знаешь почему хипстеры заполонили? Потому что когда кто-то новенький пытается вкатиться, он не идет сразу на арксив читать последние фундаментальные исследования, он хочет попробовать написать что-то по понятным инструкциям, повторить с какими-то незначительными вариациями для своих данных что-то подробно описанное. И когда он ищет эти инструкции, ими оказываются исключительно хипстерские поделки от реддита до видосиков на ютубе где школьник поясняет за шмот и то как напихать слоев чтобы получился диплернинг. Знаешь что тогда делает ньюфаг? Он повторяет хипстеркий подход и тут же описывает свой опыт в бложеке чтобы остальные могли повторить. Матаноняш, я какое-то время слежу за тредом и ты никому не помог и не написал ни одного гайда по которому можно было бы вкатиться в твою религию.
Пожалуйста, напиши что-то конструктивное чтобы помогло и работало (например, что делать со страшной SVM кроме хипстерского перебора гиперпараметров из вариантов в sklearn, хотя бы как найти нужное ядро), или начни подписываться чтобы тебя можно было скрыть.
А вообще я хочу чтобы хоть кто-то меня учил, а не только показывал насколько больше знает чем я. Или хотя бы чтобы учился вместе со мной.
С таким функционалом как я хочу попробовать, кажется, проще действительно переписать модели самостоятельно.
1) В моем случае нейронка тоже гиперпараметр, вот попробую и посмотрю что взлетит.
2) Кажется, в тех случаях что ты написал все советы можно свести к тому чтобы построить гистрограммы метрики каждой фичи по хистори поиска гиперпараметров и если максимальное значение не в середине - то раздвинуть поиск в нужном направлении. Тоесть, если подбирается 5 гиперпараметров, то рассматривается каждый отдельно и если для какой-то условной С = [0.01, 0.1, 1, 10, 100] выше всего значения метрик были не при С = 1, а при С = 100, то добавить еще С = 1000 и С = 10000, затем повторить наблюдение.
3) Например, нельзя интерпретировать хеши. Были какие-то строки разного размера, по которым я специальным алгоритмом строю бинарные репрезентации длинной ровно N бит. Теперь нельзя сказать что означает значение какого-то конкретного бита. Плюс к этим хешам добавляются еще варианты репрезентаций тех же строк, какие-то я считаю более важными, какие-то менее, но все же необходимыми. Плюс, я знаю что нейронка вероятно будет забивать на какую-то часть фич, потому что она разделяет данные не так явно (на начальных этапах), поэтому нужно реализовать например дропаут сильной части фич, чтобы модель училась и на слабой.
>>80929
Про алгоритм я понимаю, но может быть можно как-то оптимизировать процесс чисто инженерными решениями, например, тот же GridSeachCV из dask-ml возможно работает быстрее чем из sklearn. Таким образом, мой вопрос сводится к тому какую функцию какой библиотеки выбрать для того чтобы находить гиперпараметры в моем манкикоде.
>>80944
Знаешь почему хипстеры заполонили? Потому что когда кто-то новенький пытается вкатиться, он не идет сразу на арксив читать последние фундаментальные исследования, он хочет попробовать написать что-то по понятным инструкциям, повторить с какими-то незначительными вариациями для своих данных что-то подробно описанное. И когда он ищет эти инструкции, ими оказываются исключительно хипстерские поделки от реддита до видосиков на ютубе где школьник поясняет за шмот и то как напихать слоев чтобы получился диплернинг. Знаешь что тогда делает ньюфаг? Он повторяет хипстеркий подход и тут же описывает свой опыт в бложеке чтобы остальные могли повторить. Матаноняш, я какое-то время слежу за тредом и ты никому не помог и не написал ни одного гайда по которому можно было бы вкатиться в твою религию.
Пожалуйста, напиши что-то конструктивное чтобы помогло и работало (например, что делать со страшной SVM кроме хипстерского перебора гиперпараметров из вариантов в sklearn, хотя бы как найти нужное ядро), или начни подписываться чтобы тебя можно было скрыть.
А вообще я хочу чтобы хоть кто-то меня учил, а не только показывал насколько больше знает чем я. Или хотя бы чтобы учился вместе со мной.
2,2 Мб, 1400x1000>>80901
С таким функционалом как я хочу попробовать, кажется, проще действительно переписать модели самостоятельно.
1) В моем случае нейронка тоже гиперпараметр, вот попробую и посмотрю что взлетит.
2) Кажется, в тех случаях что ты написал все советы можно свести к тому чтобы построить гистрограммы метрики каждой фичи по хистори поиска гиперпараметров и если максимальное значение не в середине - то раздвинуть поиск в нужном направлении. Тоесть, если подбирается 5 гиперпараметров, то рассматривается каждый отдельно и если для какой-то условной С = [0.01, 0.1, 1, 10, 100] выше всего значения метрик были не при С = 1, а при С = 100, то добавить еще С = 1000 и С = 10000, затем повторить наблюдение.
3) Например, нельзя интерпретировать хеши. Были какие-то строки разного размера, по которым я специальным алгоритмом строю бинарные репрезентации длинной ровно N бит. Теперь нельзя сказать что означает значение какого-то конкретного бита. Плюс к этим хешам добавляются еще варианты репрезентаций тех же строк, какие-то я считаю более важными, какие-то менее, но все же необходимыми. Плюс, я знаю что нейронка вероятно будет забивать на какую-то часть фич, потому что она разделяет данные не так явно (на начальных этапах), поэтому нужно реализовать например дропаут сильной части фич, чтобы модель училась и на слабой.
>>80929
Про алгоритм я понимаю, но может быть можно как-то оптимизировать процесс чисто инженерными решениями, например, тот же GridSeachCV из dask-ml возможно работает быстрее чем из sklearn. Таким образом, мой вопрос сводится к тому какую функцию какой библиотеки выбрать для того чтобы находить гиперпараметры в моем манкикоде.
>>80944
Знаешь почему хипстеры заполонили? Потому что когда кто-то новенький пытается вкатиться, он не идет сразу на арксив читать последние фундаментальные исследования, он хочет попробовать написать что-то по понятным инструкциям, повторить с какими-то незначительными вариациями для своих данных что-то подробно описанное. И когда он ищет эти инструкции, ими оказываются исключительно хипстерские поделки от реддита до видосиков на ютубе где школьник поясняет за шмот и то как напихать слоев чтобы получился диплернинг. Знаешь что тогда делает ньюфаг? Он повторяет хипстеркий подход и тут же описывает свой опыт в бложеке чтобы остальные могли повторить. Матаноняш, я какое-то время слежу за тредом и ты никому не помог и не написал ни одного гайда по которому можно было бы вкатиться в твою религию.
Пожалуйста, напиши что-то конструктивное чтобы помогло и работало (например, что делать со страшной SVM кроме хипстерского перебора гиперпараметров из вариантов в sklearn, хотя бы как найти нужное ядро), или начни подписываться чтобы тебя можно было скрыть.
А вообще я хочу чтобы хоть кто-то меня учил, а не только показывал насколько больше знает чем я. Или хотя бы чтобы учился вместе со мной.
С таким функционалом как я хочу попробовать, кажется, проще действительно переписать модели самостоятельно.
1) В моем случае нейронка тоже гиперпараметр, вот попробую и посмотрю что взлетит.
2) Кажется, в тех случаях что ты написал все советы можно свести к тому чтобы построить гистрограммы метрики каждой фичи по хистори поиска гиперпараметров и если максимальное значение не в середине - то раздвинуть поиск в нужном направлении. Тоесть, если подбирается 5 гиперпараметров, то рассматривается каждый отдельно и если для какой-то условной С = [0.01, 0.1, 1, 10, 100] выше всего значения метрик были не при С = 1, а при С = 100, то добавить еще С = 1000 и С = 10000, затем повторить наблюдение.
3) Например, нельзя интерпретировать хеши. Были какие-то строки разного размера, по которым я специальным алгоритмом строю бинарные репрезентации длинной ровно N бит. Теперь нельзя сказать что означает значение какого-то конкретного бита. Плюс к этим хешам добавляются еще варианты репрезентаций тех же строк, какие-то я считаю более важными, какие-то менее, но все же необходимыми. Плюс, я знаю что нейронка вероятно будет забивать на какую-то часть фич, потому что она разделяет данные не так явно (на начальных этапах), поэтому нужно реализовать например дропаут сильной части фич, чтобы модель училась и на слабой.
>>80929
Про алгоритм я понимаю, но может быть можно как-то оптимизировать процесс чисто инженерными решениями, например, тот же GridSeachCV из dask-ml возможно работает быстрее чем из sklearn. Таким образом, мой вопрос сводится к тому какую функцию какой библиотеки выбрать для того чтобы находить гиперпараметры в моем манкикоде.
>>80944
Знаешь почему хипстеры заполонили? Потому что когда кто-то новенький пытается вкатиться, он не идет сразу на арксив читать последние фундаментальные исследования, он хочет попробовать написать что-то по понятным инструкциям, повторить с какими-то незначительными вариациями для своих данных что-то подробно описанное. И когда он ищет эти инструкции, ими оказываются исключительно хипстерские поделки от реддита до видосиков на ютубе где школьник поясняет за шмот и то как напихать слоев чтобы получился диплернинг. Знаешь что тогда делает ньюфаг? Он повторяет хипстеркий подход и тут же описывает свой опыт в бложеке чтобы остальные могли повторить. Матаноняш, я какое-то время слежу за тредом и ты никому не помог и не написал ни одного гайда по которому можно было бы вкатиться в твою религию.
Пожалуйста, напиши что-то конструктивное чтобы помогло и работало (например, что делать со страшной SVM кроме хипстерского перебора гиперпараметров из вариантов в sklearn, хотя бы как найти нужное ядро), или начни подписываться чтобы тебя можно было скрыть.
А вообще я хочу чтобы хоть кто-то меня учил, а не только показывал насколько больше знает чем я. Или хотя бы чтобы учился вместе со мной.
>>80982
2) Да, можно сделать в таком духе.
3) Думаю, что можно попробовать сделать две нейронки сходной архитектуры, в одну впихнуть важные параметры, в другую те, что ты считаешь менее важными. Потом присоедить эти две нейронки к общему слою и вывести.
Так будет проще искусственно подогнать веса в нейронке с важными параметрами, возможно даже искусственно сможешь их просто домножать при попадании в выходную нейронку. Такой подход позволит наверняка выделить то, что тебе важно, если ты подобрал "важность фич" корректных образом.
2) Да, можно сделать в таком духе.
3) Думаю, что можно попробовать сделать две нейронки сходной архитектуры, в одну впихнуть важные параметры, в другую те, что ты считаешь менее важными. Потом присоедить эти две нейронки к общему слою и вывести.
Так будет проще искусственно подогнать веса в нейронке с важными параметрами, возможно даже искусственно сможешь их просто домножать при попадании в выходную нейронку. Такой подход позволит наверняка выделить то, что тебе важно, если ты подобрал "важность фич" корректных образом.
>>81021
2) В таком духе работает не лучшим образом, это самый примитивный подход который получилось реализовать.
3) У меня есть какое-то подсознательное чувство что это кисленькое решение. Еще нужно подумать что делать с классическими моделями вроде SVM и лесов.
2) В таком духе работает не лучшим образом, это самый примитивный подход который получилось реализовать.
3) У меня есть какое-то подсознательное чувство что это кисленькое решение. Еще нужно подумать что делать с классическими моделями вроде SVM и лесов.
>>80944
SVM слишком вычислительно сложный для большого (а по нынешним меркам крошечного) количества данных, как говорит Ын, и сложное ядро тоже дорого вычислять, а если дорого, - значит это не работает, и поэтому сразу все ушли с SVM на нейроночки, несмотря на все их минусы
SVM слишком вычислительно сложный для большого (а по нынешним меркам крошечного) количества данных, как говорит Ын, и сложное ядро тоже дорого вычислять, а если дорого, - значит это не работает, и поэтому сразу все ушли с SVM на нейроночки, несмотря на все их минусы
>>80944
Жду очередной порции нелепых кривляний нечеткого петуха в оправдание своей никчемности.
>подобрать гиперпараметры эффективно нельзя
>нет можно, надо другую функцию потерь
>как?
>гиперпараметры нинужны!
Жду очередной порции нелепых кривляний нечеткого петуха в оправдание своей никчемности.
>>81093
Мань, я ж написал про эвристики. Если это может сделать человек, то может и алгоритм.
>>81059
Негров распознавать? Да, для такого SVM малоприменимы. Но можно ограничиться временными рядами, лично мне это интереснее, чем негры и разрисованные под Пикассо котики.
> Жду очередной порции нелепых кривляний нечеткого петуха в оправдание своей никчемности.
Мань, я ж написал про эвристики. Если это может сделать человек, то может и алгоритм.
>>81059
> SVM слишком вычислительно сложный для большого (а по нынешним меркам крошечного) количества данных, как говорит Ын, и сложное ядро тоже дорого вычислять,
Негров распознавать? Да, для такого SVM малоприменимы. Но можно ограничиться временными рядами, лично мне это интереснее, чем негры и разрисованные под Пикассо котики.
185 Кб, 1013x800>>81145
Я не буду расстраиваться только потому что нечетконяша меня проигнорировал.
Зато мною была разгадана тайна почему тебя не любят в треде. Задача плохая потому что твой любимый метод с ней не справляется? Серьезно? Можно ограничиться тем что у тебя получается делать? Все что не получается это ненужно и для хипстеров? Да ты же ограниченный!
Я не буду расстраиваться только потому что нечетконяша меня проигнорировал.
Зато мною была разгадана тайна почему тебя не любят в треде. Задача плохая потому что твой любимый метод с ней не справляется? Серьезно? Можно ограничиться тем что у тебя получается делать? Все что не получается это ненужно и для хипстеров? Да ты же ограниченный!
>>80437
Можно провести параллель с натренированной сетью в которой пользователю (вернее разработчику) предлагается самостоятельно натренировать последний слой на собственной выборке.
Можно провести параллель с натренированной сетью в которой пользователю (вернее разработчику) предлагается самостоятельно натренировать последний слой на собственной выборке.
>>81145
Ну и зачем нужны твои временные люди? Сверхчеловеки живут вне пространства и времени и смотрят на картины Пикассо с котиками-неграми.
Ну и зачем нужны твои временные люди? Сверхчеловеки живут вне пространства и времени и смотрят на картины Пикассо с котиками-неграми.
>>81176
Плохих задач нет, есть плохие подходы к решению. Всякое хипстерство с нейрон очками как раз из этой области.
> Задача плохая потому что твой любимый метод с ней не справляется? Серьезно?
Плохих задач нет, есть плохие подходы к решению. Всякое хипстерство с нейрон очками как раз из этой области.
>>81283
Чего? Временные ряды это задача, с которой ни один существующий подход не может справиться. Никакие хипстерские диплернинхи на топовых видюхах не дают качества заметно выше какой-нибудь arima из 80х. Ящитаю, это пиздец. А проблема только в том, что нет понимания этой задачи.
> Ну и зачем нужны твои временные люди?
Чего? Временные ряды это задача, с которой ни один существующий подход не может справиться. Никакие хипстерские диплернинхи на топовых видюхах не дают качества заметно выше какой-нибудь arima из 80х. Ящитаю, это пиздец. А проблема только в том, что нет понимания этой задачи.
>>81145
дак для временных рядов (я только про звук знаю и не очень хорошо) нейроночки тоже много где заменили svm, так как для svm для звука нужны всякие костыли вроде гауссовских смесей, которые являются довольно приближенной и грубой штукой, ну и для звука хорошо заходят сверточки и рекурсия, я не уверен, можно ли сделать для svm рекуррентное ядро (думаю, можно).
Ну, а для части временных рядов и марковских процессов хватит даже и логрегов.
Ну и основной хайп для потребителя в звуке.
дак для временных рядов (я только про звук знаю и не очень хорошо) нейроночки тоже много где заменили svm, так как для svm для звука нужны всякие костыли вроде гауссовских смесей, которые являются довольно приближенной и грубой штукой, ну и для звука хорошо заходят сверточки и рекурсия, я не уверен, можно ли сделать для svm рекуррентное ядро (думаю, можно).
Ну, а для части временных рядов и марковских процессов хватит даже и логрегов.
Ну и основной хайп для потребителя в звуке.
>>81410
Я имею в виду предсказания временных рядов, скажем финансовых. Хотя бы дальнейшего их направления при минимальной экстраполяции. Как пример, для бинарных опционов хватило бы правильного предсказания направления значения, т е будет ли цена выше или ниже текущей через минуту, с точностью хотя бы 30%, т.е чтобы не было больше 3-4 неправильных предсказаний подряд. Даже такие скромные требования не гарантирует любой алгоритм. Лично я вижу в этом всю суть нынешнего машобчика. А негров распознавать, да они мне в хуй не стучат. Как и котики.
Я имею в виду предсказания временных рядов, скажем финансовых. Хотя бы дальнейшего их направления при минимальной экстраполяции. Как пример, для бинарных опционов хватило бы правильного предсказания направления значения, т е будет ли цена выше или ниже текущей через минуту, с точностью хотя бы 30%, т.е чтобы не было больше 3-4 неправильных предсказаний подряд. Даже такие скромные требования не гарантирует любой алгоритм. Лично я вижу в этом всю суть нынешнего машобчика. А негров распознавать, да они мне в хуй не стучат. Как и котики.
>>81389
Очевидно это индуктивная машинка, на нее подаются данные, она считает вероятность удачного исхода.
Очевидно это индуктивная машинка, на нее подаются данные, она считает вероятность удачного исхода.
>>81414
Ну байесовский вывод. В R дохуя такого. Только вся возможная неточность к вероятности не сводится, возможны и другие варианты. На основе большинства из которых системы вывода вообще никем и никогда не делались, поэтому невозможно сказать даже что из этого может оказаться полезным. Хипстеры в это не могут, так и живём.
> Очевидно это индуктивная машинка, на нее подаются данные, она считает вероятность удачного исхода.
Ну байесовский вывод. В R дохуя такого. Только вся возможная неточность к вероятности не сводится, возможны и другие варианты. На основе большинства из которых системы вывода вообще никем и никогда не делались, поэтому невозможно сказать даже что из этого может оказаться полезным. Хипстеры в это не могут, так и живём.
>>81419
Ты хоть что-то делаешь кроме того что ноешь? Покажи свой гитхаб или пейперы.
Ты хоть что-то делаешь кроме того что ноешь? Покажи свой гитхаб или пейперы.
Сап, тяночки. Вот пытаюсь делать тутор по распознанию прямоугольника на картинке. https://github.com/jrieke/shape-detection/blob/master/single-rectangle.ipynb . Застрял на первлм же абзаце. Вкратце кун генерит датасет из овер 40000 семплов с одним единственным черным прямоугольником и тренит модель. Чую это какой-то бесполезный подход к стратегии распознавания предметов. Скиньте пожалуйста годный тутор на ваш перцептрон что-ли.
58 Кб, 848x480>>81487
Конечно! Как насчет дружеского совета? Свали.
Конечно! Как насчет дружеского совета? Свали.
>>81457
Распознавание нейрон очками так и работает. Берётся миллион фоток негров, тренируется сеть, затем сети предъявляется миллионпервый негр, сеть выдаёт ответ что это горилла, у негра попито бомбито whomst da fak faking gugle, my friends not a gorilla
> Чую это какой-то бесполезный подход к стратегии распознавания предметов
Распознавание нейрон очками так и работает. Берётся миллион фоток негров, тренируется сеть, затем сети предъявляется миллионпервый негр, сеть выдаёт ответ что это горилла, у негра попито бомбито whomst da fak faking gugle, my friends not a gorilla
>>81507
ну с классификацией блять понятно. Меня сейчас дико интересует что именно на картинке в области 0х0х100х100 негр а 50х50х100х100 кот...
ну с классификацией блять понятно. Меня сейчас дико интересует что именно на картинке в области 0х0х100х100 негр а 50х50х100х100 кот...
>>81514
Оно само может в сегментацию. Поэтому если на картинке есть и негр и кот, распознаётся и то и другое.
Оно само может в сегментацию. Поэтому если на картинке есть и негр и кот, распознаётся и то и другое.
Аноны, почему статистики все такие красивые уберменши как в американских фильмах?
>>81524
Сделай нейроночку трёхканальной )))
Сделай нейроночку трёхканальной )))
>>81606
А что не так, мань? Там определённо есть распределение (или некая суперпозиция распределений) отличное от нормального, т.е не чистый рандом , в чем очень легко убедиться (мартингейл не работает, а в случае нормального распределения заходил бы идеально).
А что не так, мань? Там определённо есть распределение (или некая суперпозиция распределений) отличное от нормального, т.е не чистый рандом , в чем очень легко убедиться (мартингейл не работает, а в случае нормального распределения заходил бы идеально).
>>81622
Хуяпределение. А еще твое нейронное говно не поддается отладке.
>Там определённо есть распределение
Хуяпределение. А еще твое нейронное говно не поддается отладке.
>>81673
Тебе лет сколько? 12? Что ты сказать пытаешься, хуесос? Рюсське изика можешь, нихт? Или пиши по-человечески или иди нахуй уже.
> А еще твое нейронное говно не поддается отладку.
Тебе лет сколько? 12? Что ты сказать пытаешься, хуесос? Рюсське изика можешь, нихт? Или пиши по-человечески или иди нахуй уже.
87 Кб, 605x578>>81681
Пикча отклеилась
Пикча отклеилась
>>81622
Не, ты точно ебанутый. Т.е. ты считаешь, что возможно предсказать, например, что через минуту кто-нибудь по какому-нибудь инсайду от тёти Сраки начнёт распродавать свои активы? А для того, что ты выше написал, не нужно ничего, кроме макаки и графика курса - она такой же процент точности выдаст. И это тебе нихуя не даст, лол.
>не чистый рандом
Не, ты точно ебанутый. Т.е. ты считаешь, что возможно предсказать, например, что через минуту кто-нибудь по какому-нибудь инсайду от тёти Сраки начнёт распродавать свои активы? А для того, что ты выше написал, не нужно ничего, кроме макаки и графика курса - она такой же процент точности выдаст. И это тебе нихуя не даст, лол.
9 Кб, 211x239>>80944
>если человек с опытом может подобрать гиперпараметры нейроночки, значит это алгоритмически разрешимая задача
>>81859
Ну посчитай количество повышений и количество понижений цены, если так непонятно... случайные там данные, ясно?
Ну посчитай количество повышений и количество понижений цены, если так непонятно... случайные там данные, ясно?
Сап. У моего друга есть майнинг-ферма на 48 1080ti. Спрашивает можно ли извлечь из них профит с помощью ML?
Мои варианты:
- разгадывание капч за 0.00005 копеек сразу нахуй
- покер-бот потратить несколько месяцев на обучение, а потом выяснить что он умеет играть только сам с собой, но не с людьми
- предсказания курсов валют/акций смущает что на уолл-стрит сидит куча профессоров-математиков с гигантскими саляри и до сих пор ни у кого не получилось
- конкурсы на kaggle опять же конкурировать с командами суперзадротов, а у меня бекграунд пара курсов по TF
Что скажете?
Мои варианты:
- разгадывание капч за 0.00005 копеек сразу нахуй
- покер-бот потратить несколько месяцев на обучение, а потом выяснить что он умеет играть только сам с собой, но не с людьми
- предсказания курсов валют/акций смущает что на уолл-стрит сидит куча профессоров-математиков с гигантскими саляри и до сих пор ни у кого не получилось
- конкурсы на kaggle опять же конкурировать с командами суперзадротов, а у меня бекграунд пара курсов по TF
Что скажете?
>>81884
Продать и пропить.
Продать и пропить.
>>81861
Пиздец ты тёмный. С москвасранска поди, лол. Я ещё раз скажу, при чистом рандома, т.е. нормальном распределении, наилучшая стратегия это мартингейл. Но, очень легко убедиться что это не так. Достаточно зарегаться на каком-нибудь биномо и слить тестовый счёт. Можно поумнее - посчитать для временных рядов сечение Пуанкаре и т.п вещи, по которым опять же, наглядно увидим, что там не рандом. Это же азы, кем надо быть чтобы не знать очевидного.
> случайные там данные, ясно?
Пиздец ты тёмный. С москвасранска поди, лол. Я ещё раз скажу, при чистом рандома, т.е. нормальном распределении, наилучшая стратегия это мартингейл. Но, очень легко убедиться что это не так. Достаточно зарегаться на каком-нибудь биномо и слить тестовый счёт. Можно поумнее - посчитать для временных рядов сечение Пуанкаре и т.п вещи, по которым опять же, наглядно увидим, что там не рандом. Это же азы, кем надо быть чтобы не знать очевидного.
>>81884
Я уже писал, почему ни один диплернинх временные ряды не возьмёт. Можешь сам попробовать, архивы курсов валют есть на TrueFX с миллисекундным разрешением, попробуй на этой ферме и убедись, что нихуя не вышло.
> предсказания курсов валют/акций смущает что на уолл-стрит сидит куча профессоров-математиков с гигантскими саляри и до сих пор ни у кого не получилось
Я уже писал, почему ни один диплернинх временные ряды не возьмёт. Можешь сам попробовать, архивы курсов валют есть на TrueFX с миллисекундным разрешением, попробуй на этой ферме и убедись, что нихуя не вышло.
>>81884
Эх, на такой ферме почти ИИ можно обучать
Эх, на такой ферме почти ИИ можно обучать
>>81894
Нужно быть матанодебилом вроде тебя чтобы полностью игнорировать саму предметную область задачи. Какой же ты тупой, весь тред загадил.
Нужно быть матанодебилом вроде тебя чтобы полностью игнорировать саму предметную область задачи. Какой же ты тупой, весь тред загадил.
>>81945
А, понятно, ты тот деградант, копротивляющийся против математики и здравого смысла. Так бы сразу и сказал, вопросов больше не имею.
> Нужно быть матанодебилом вроде тебя
А, понятно, ты тот деградант, копротивляющийся против математики и здравого смысла. Так бы сразу и сказал, вопросов больше не имею.
>>81884
Хуячить порн с селебами на заказ. Гугли deepfakes.
Хуячить порн с селебами на заказ. Гугли deepfakes.
>>81859
Ну да. Биржи зависят от скрытых факторов, которые ты физически не можешь для модели взять. У меня кореш из дойчебанка, он там какой хуйни только не вертел - в итоге никакого стабильного выигрыша, даже маленького.
Ну да. Биржи зависят от скрытых факторов, которые ты физически не можешь для модели взять. У меня кореш из дойчебанка, он там какой хуйни только не вертел - в итоге никакого стабильного выигрыша, даже маленького.
>>81995
Ты про теханализ не слышал? Так я тебе расскажу. Сколь угодно скрытые факторы, вплоть до секретных указаний аннунаков с Нибиру, либо отражаются на показателях рынка (т.к. приводят к каким-то действиям на рынке), либо не отражаются (и тогда физически не могут влиять на рынок). Не согласен? Тогда расскажи, как можно влиять на рынок, не влияя на его показатели.
>Биржи зависят от скрытых факторов, которые ты физически не можешь для модели взять.
Ты про теханализ не слышал? Так я тебе расскажу. Сколь угодно скрытые факторы, вплоть до секретных указаний аннунаков с Нибиру, либо отражаются на показателях рынка (т.к. приводят к каким-то действиям на рынке), либо не отражаются (и тогда физически не могут влиять на рынок). Не согласен? Тогда расскажи, как можно влиять на рынок, не влияя на его показатели.
>>81995
Я еще раз скажу. Ни в одном существующем методе задача не ставится так, как надо. Потому что мы имеем дело с суперпозицией неизвестной структуры неизвестных же распределений. С простой аппроксимацией тут и делать нечего, нужны методы "развернуть" эту суперпозицию без априорных знаний об ее структуре. Такая задача в машобчике вообще не ставилась никем кроме Ивахненко, но он соснул, т.к. не имел достаточных вычислительных мощностей + не учитывал того, что эта задача с вероятностью 146% некорректнопоставленная + предлагал довольно деревянные методы подбора суперпозиций т.н. "полиномов Ивахненко", хотя сама структура этих его полиномов, как и метод представления через них полного степенного VKG полинома Вольтерры-Колсогорова-Габора, это очевиднейший вин. Я тут описывал, как эти ограничения можно попытаться обойти - вместо таблиц полиномов Ивахненко использовать генетическое программирование с типизированной лямбдой, вместо обычных лоссов использовать комбинированные критерии Ивахненко, а вместо OLS взять SVM.
>У меня кореш из дойчебанка, он там какой хуйни только не вертел - в итоге никакого стабильного выигрыша, даже маленького.
Я еще раз скажу. Ни в одном существующем методе задача не ставится так, как надо. Потому что мы имеем дело с суперпозицией неизвестной структуры неизвестных же распределений. С простой аппроксимацией тут и делать нечего, нужны методы "развернуть" эту суперпозицию без априорных знаний об ее структуре. Такая задача в машобчике вообще не ставилась никем кроме Ивахненко, но он соснул, т.к. не имел достаточных вычислительных мощностей + не учитывал того, что эта задача с вероятностью 146% некорректнопоставленная + предлагал довольно деревянные методы подбора суперпозиций т.н. "полиномов Ивахненко", хотя сама структура этих его полиномов, как и метод представления через них полного степенного VKG полинома Вольтерры-Колсогорова-Габора, это очевиднейший вин. Я тут описывал, как эти ограничения можно попытаться обойти - вместо таблиц полиномов Ивахненко использовать генетическое программирование с типизированной лямбдой, вместо обычных лоссов использовать комбинированные критерии Ивахненко, а вместо OLS взять SVM.
>>81999
https://www.vedomosti.ru/technology/news/2018/04/02/755633-kotirovki-intel
И как это предсказать? Получил инсайд от друга из апла - поднял шекелей, не получил и решил закупиться прямо перед падением - соснул хуйцов.
https://www.vedomosti.ru/technology/news/2018/04/02/755633-kotirovki-intel
>отображаются
И как это предсказать? Получил инсайд от друга из апла - поднял шекелей, не получил и решил закупиться прямо перед падением - соснул хуйцов.
>>82005
Инсайд чего?
>Получил инсайд от друга из апла - поднял шекелей, не получил и решил закупиться прямо перед падением - соснул хуйцов.
Инсайд чего?
>>82004
Ты кукарекаешь годами, но сам так ничего и не сделал.
Ты кукарекаешь годами, но сам так ничего и не сделал.
>>82004
Так а какого хуя ты ничего не делаешь, если у тебя в голове потенциальная идея на миллионы?
>>82006
Блять, иди ты нахуй. Ты же у нас спец по рынкам или нет? Это настолько детский вопрос, что просто охуеть.
Так а какого хуя ты ничего не делаешь, если у тебя в голове потенциальная идея на миллионы?
>>82006
Блять, иди ты нахуй. Ты же у нас спец по рынкам или нет? Это настолько детский вопрос, что просто охуеть.
>Ты про теханализ не слышал? Так я тебе расскажу
>подрубил менторский тон
>мозги не подрубил
>>82010
Я не просто так спросил, ты не понимаешь, о чем говоришь. Рынок ты не развернешь за 1 секунду так,чтобы те, кто закупился уже через 2 секунды соснул. Такого даже в бинарных опционах не бывает. Задача - определить направление изменения рынка по изменениям основных показателей. Инсайд поможет разве что заработать больше шекелей, но не радикально всех переиграть.
>>82010
Потому что во-первых, хуй знает как это реализовать, я даже R не настолько знаю, во-вторых, у меня идеи и получше есть.
>Ты же у нас спец по рынкам или нет? Это настолько детский вопрос, что просто охуеть.
Я не просто так спросил, ты не понимаешь, о чем говоришь. Рынок ты не развернешь за 1 секунду так,чтобы те, кто закупился уже через 2 секунды соснул. Такого даже в бинарных опционах не бывает. Задача - определить направление изменения рынка по изменениям основных показателей. Инсайд поможет разве что заработать больше шекелей, но не радикально всех переиграть.
>>82010
>какого хуя ты ничего не делаешь, если у тебя в голове потенциальная идея на миллионы?
Потому что во-первых, хуй знает как это реализовать, я даже R не настолько знаю, во-вторых, у меня идеи и получше есть.
http://www.dataminingbook.info/pmwiki.php/Main/BookPathUploads?action=downloadman&upname=book-20160121.pdf
Почему нет в шапке? Самое то для абсолютных нубов.
Почему нет в шапке? Самое то для абсолютных нубов.
>>82083
Для абсолютных нубов надо с арифметики начинать.
Для абсолютных нубов надо с арифметики начинать.
>>76320 (OP)
С чего начать? Знаю только, что такое производная и как ее считать. Начать с mathprofi, а потом уже углубляться?
>алгебра, теорвер и матстат, базовый матан calculus многих переменных
С чего начать? Знаю только, что такое производная и как ее считать. Начать с mathprofi, а потом уже углубляться?
Уважаемые ученые, как вы думаете, можно ли поручить подобную работу не человеку, а компьютерному боту?
https://geektimes.com/post/300445/
Что-то вроде программы ELIZA, но способной к самообучению?
https://geektimes.com/post/300445/
Что-то вроде программы ELIZA, но способной к самообучению?
>>82123
Ты хочешь, чтобы он возненавидел математику?
Ты хочешь, чтобы он возненавидел математику?
Матан у вас сейчас тоже в моде хипстерский? Чем Фихтенгольц не угодил?
>>81895
Напиши еще раз про временные ряды
Напиши еще раз про временные ряды
На работе вместо няшных алгоритмов начали применять нейроночки.
Вроде все просто, импортим с пацанами из кераса и слесарьфлоу, радуемся жизни, но сам алгоритм не нравится мне. Этакий блек-бокс, который хуй знает какие закономерности ищет. Особенно cnn не люблю, люди как сильвер буллет себе их представляют.
Мне кажется нейронки хороший алгоритм наравне с другими(HMM, бустинги, svm), но на всех конкурсах, конфах и статьях нейроночки практически везде рвут "обычные" алгоритмы.
Неужели это и правда так, что старые модели больше не нужны?
Вроде все просто, импортим с пацанами из кераса и слесарьфлоу, радуемся жизни, но сам алгоритм не нравится мне. Этакий блек-бокс, который хуй знает какие закономерности ищет. Особенно cnn не люблю, люди как сильвер буллет себе их представляют.
Мне кажется нейронки хороший алгоритм наравне с другими(HMM, бустинги, svm), но на всех конкурсах, конфах и статьях нейроночки практически везде рвут "обычные" алгоритмы.
Неужели это и правда так, что старые модели больше не нужны?
>>82383
Для грязных данных без структуры еще рулит ГБМ, см. тот же кагл где всякие предсказания кликов и прочая бурда. Все остальное - нейроночки.
Для грязных данных без структуры еще рулит ГБМ, см. тот же кагл где всякие предсказания кликов и прочая бурда. Все остальное - нейроночки.
пасаны, пасаны а чё у этой хуйни есть апи? https://pixabay.com/ru/service/about/api/
мож захуярим че нить типа приложухи которая бут скачивать сет по тегам? тип слонёнок или обезьяна
мож захуярим че нить типа приложухи которая бут скачивать сет по тегам? тип слонёнок или обезьяна
>>82543
Ты один проходишь или с кем-то общаешься на эту тему? Я, к сожалению, всю учёбу учил французский, сейчас вот на ходу вникаю в технический ? английский, возникают проблемы с пониманием смысла, хотя до 5 недели без проблем в одиночку дошёл.
Ты один проходишь или с кем-то общаешься на эту тему? Я, к сожалению, всю учёбу учил французский, сейчас вот на ходу вникаю в технический ? английский, возникают проблемы с пониманием смысла, хотя до 5 недели без проблем в одиночку дошёл.
>>82555
Один. Английский понимаю хорошо, т.к. уже второй год как погрузился в чтение англонета и тех. литературы, просмотр фильмов в оригинальной озвучке. Пишу и говорю плохо потому что негде тренироваться.
Один. Английский понимаю хорошо, т.к. уже второй год как погрузился в чтение англонета и тех. литературы, просмотр фильмов в оригинальной озвучке. Пишу и говорю плохо потому что негде тренироваться.
Аноны, я заканчиваю 3 курс бакалавра и хочу начать готовиться к сдаче диплома
Собственно вопрос, достаточно ли 6-8 месяцев для того чтобы вкатиться в нейрончики и написать по ним дипломную работу
Опыт в программировании есть, но с машинным обучением не сталкивался до этого. Хочется попробовать себя в этом направлении, но есть опасения что я просто не осилю за такой срок что то освоить на приемлемом уровне
Собственно вопрос, достаточно ли 6-8 месяцев для того чтобы вкатиться в нейрончики и написать по ним дипломную работу
Опыт в программировании есть, но с машинным обучением не сталкивался до этого. Хочется попробовать себя в этом направлении, но есть опасения что я просто не осилю за такой срок что то освоить на приемлемом уровне
>>82612
Очевидно же, сверточная - не полносвязная. Т.е. последующий слой связан не со всеми нейронами предыдущего. Перцептрон полносвязный, а в сверточной сети связи по типу зрительной коры кошки.
>В чём разница между полносвязной и свёрточной сетью?
Очевидно же, сверточная - не полносвязная. Т.е. последующий слой связан не со всеми нейронами предыдущего. Перцептрон полносвязный, а в сверточной сети связи по типу зрительной коры кошки.
>>82616
Не помогай откровенному быдлу.
Не помогай откровенному быдлу.
>>82616
а вот положим мы натренировали полносвязную сеть и свёрточную сеть. И просим распознать изображение. Время работы свёрточной сети будет меньше времени работы полносвязной? Или одинаково?
а вот положим мы натренировали полносвязную сеть и свёрточную сеть. И просим распознать изображение. Время работы свёрточной сети будет меньше времени работы полносвязной? Или одинаково?
>>82456
Нет.
Нет.
>>82596
Смотря что такое приемлемый уровень. Статьи читать не сможешь, не говоря уж о писать. Использовать керас для тренировки простых архитектур можно научиться.
Смотря что такое приемлемый уровень. Статьи читать не сможешь, не говоря уж о писать. Использовать керас для тренировки простых архитектур можно научиться.
Хватит ли сотни фото с номерами машин для обучения находить эти номера? Больше просто ломает размечивать, да и найти проблематично.
>>82660
Генерируй сам.
Генерируй сам.
>>82660
могу помочь с размечиванием. За день могу наразмечивать фоток 300 если затея стоящая
могу помочь с размечиванием. За день могу наразмечивать фоток 300 если затея стоящая
>>82678
Идея распознавать рос и укр номера. Сначала с камеры находт табличку, потом пытается из вырезанного номера распознать символы.
Идея распознавать рос и укр номера. Сначала с камеры находт табличку, потом пытается из вырезанного номера распознать символы.
>>82660
Для дииплернинга хотя бы 10000 нужно.
>>82652
По-хорошему ты должен отлично разбираться в теме своего диплома, так что с нуля я бы не брался. Нейроночки на уровне современных исследований все равно слишком сложны для уровня бакалавра. Можешь прицелиться на магистрскую работу, как раз два года более-менее достаточный срок для нормального вката.
Для дииплернинга хотя бы 10000 нужно.
>>82652
По-хорошему ты должен отлично разбираться в теме своего диплома, так что с нуля я бы не брался. Нейроночки на уровне современных исследований все равно слишком сложны для уровня бакалавра. Можешь прицелиться на магистрскую работу, как раз два года более-менее достаточный срок для нормального вката.
5,6 Мб, mp4,1280x720, 0:50
>>82682
И если номер украинский, то владельцу, найденному по базе, на телефон скидывается пикрелейтед? Ты пограничник штоле? Сколько распилили на этом прожекте, если тебя отправили на мейлру искать халявных исполнителей?
>распознавать рос и укр номера. Сначала с камеры находт табличку, потом пытается из вырезанного номера распознать символы.
И если номер украинский, то владельцу, найденному по базе, на телефон скидывается пикрелейтед? Ты пограничник штоле? Сколько распилили на этом прожекте, если тебя отправили на мейлру искать халявных исполнителей?
>>82706
разной компилируемой парашей
разной компилируемой парашей
>>82682
Специально обученный человек (обучение не так долго) может распознать вырезанный номер лучше.
Специально обученный человек (обучение не так долго) может распознать вырезанный номер лучше.
>>82731
russia-way
russia-way
53 Кб, 326x500>>76320 (OP)
Поясните ньюфагу, а что там принципиально нового появилось, кроме пердсертронов и "прочего мусора" ?
Если положить что любая комбинация или модификация персертрона тот же персертрон.
>Напоминание ньюфагам: персептроны и прочий мусор середины прошлого века действительно не работает на серьёзных задачах.
Поясните ньюфагу, а что там принципиально нового появилось, кроме пердсертронов и "прочего мусора" ?
Если положить что любая комбинация или модификация персертрона тот же персертрон.
>>82915
Ню-фагу читать нужно. Учиться, учиться и еще раз учиться, как завещал Великий Дедушка Ленин.
Ню-фагу читать нужно. Учиться, учиться и еще раз учиться, как завещал Великий Дедушка Ленин.
>>82458
Во всей голосовой индустрии. ASR, SV, Spoofing.
Не говоря уж про картинки, там дефакто cnn стандарт.
Во всей голосовой индустрии. ASR, SV, Spoofing.
Не говоря уж про картинки, там дефакто cnn стандарт.
>>82915
Ничего. Функции активации поменяли, полносвязность выпилили, ещё косметические мелочи. Главные недостатки никуда не делись, данные все так же обрабатываются квадратно-гнездовым методом при том, что 90% из них вообще не участвуют в формировании решающих правил классификации итд., т.к не лежат на границах, разделяющих классы (для классификации опять же).
> Поясните ньюфагу, а что там принципиально нового появилось, кроме пердсертронов и "прочего мусора" ?
Ничего. Функции активации поменяли, полносвязность выпилили, ещё косметические мелочи. Главные недостатки никуда не делись, данные все так же обрабатываются квадратно-гнездовым методом при том, что 90% из них вообще не участвуют в формировании решающих правил классификации итд., т.к не лежат на границах, разделяющих классы (для классификации опять же).
>>82917
Это не ответ по существу.
Это не ответ по существу.
>>82915
Имеются в виду оригинальные сетки, без модификаций. Тут иногда проскакивают нюфани, которые плачут "накрутил миллиард линейных слоёв, ничего не работает, что делать".
Имеются в виду оригинальные сетки, без модификаций. Тут иногда проскакивают нюфани, которые плачут "накрутил миллиард линейных слоёв, ничего не работает, что делать".
>>83028
Зачем они это делают?
> Тут иногда проскакивают нюфани, которые плачут "накрутил миллиард линейных слоёв, ничего не работает, что делать".
Зачем они это делают?
>>82915
batch norm, ReLU, cross entropy loss вместо квадратичной, конволюции, resnet, рекуррентные сети, автоэнкодеры, attention механизмы, GAN
batch norm, ReLU, cross entropy loss вместо квадратичной, конволюции, resnet, рекуррентные сети, автоэнкодеры, attention механизмы, GAN
84 Кб, 350x486>>83158
Но ведь это все мусор из средины прошлого века.
>batch norm, ReLU, cross entropy loss вместо квадратичной, конволюции, resnet, рекуррентные сети, автоэнкодеры, attention механизмы, GAN
Но ведь это все мусор из средины прошлого века.
>>83193
Это не мусор. Это косметические изменения перцептрона. Которые не меняют уебищной сути обработки данных, при которых обсчитывается все оптом, хотя это не требуется для построения правил классификации итд.
> Но ведь это все мусор из средины прошлого века.
Это не мусор. Это косметические изменения перцептрона. Которые не меняют уебищной сути обработки данных, при которых обсчитывается все оптом, хотя это не требуется для построения правил классификации итд.
>>83241
Человекство
Человекство
>>83289
Будь добр, объясни тогда основной принцип доказательства простым языком.
Как мы переходим от «есть произведение n скобок (a+b)» к известной сумме комбинаций a и b с различными степенями и коэффициентами?
Будь добр, объясни тогда основной принцип доказательства простым языком.
Как мы переходим от «есть произведение n скобок (a+b)» к известной сумме комбинаций a и b с различными степенями и коэффициентами?
>>83291
Да
Да
Датасет:
X - входная строка для машины тьюринга
Y - что мт выдала на выход
Какие нейроночки такому обучатся (построят из своих слоев этот алгоритм) и будут хорошо предсказывать?
X - входная строка для машины тьюринга
Y - что мт выдала на выход
Какие нейроночки такому обучатся (построят из своих слоев этот алгоритм) и будут хорошо предсказывать?
>>83524
В такой формулировке безразлично, машина ли у тебя Тьюринга, программа на С++ или Вася с листочком бумаги и ручкой.
Естественно, все зависит от преобразования. Если у тебя там просто каждый второй символ удаляется из входа, то простейшая RNN сможет сделать. Если у тебя там какое-то шифрование, то никак. И полный спектр возможностей между этими двумя крайностями.
В такой формулировке безразлично, машина ли у тебя Тьюринга, программа на С++ или Вася с листочком бумаги и ручкой.
Естественно, все зависит от преобразования. Если у тебя там просто каждый второй символ удаляется из входа, то простейшая RNN сможет сделать. Если у тебя там какое-то шифрование, то никак. И полный спектр возможностей между этими двумя крайностями.
>>83526
Хотя нет, с удалением символов тоже будет гемор, т.к. длина входа и выхода разная, лол. Нужна будет неограниченная память, что невозможно, либо какая-то нетривиальная схема для вывода.
Хотя нет, с удалением символов тоже будет гемор, т.к. длина входа и выхода разная, лол. Нужна будет неограниченная память, что невозможно, либо какая-то нетривиальная схема для вывода.
Если вдуматься, то почти все нетривиальные задачи не будут решаемы, т.к. у МТ бесконечная память, а у нейроночки конечная и обычно маленькая. Тут уместнее с конечными автоматами сравнивать. Если КА может решить задачу, то есть шанс что нейроночка тоже сможет.
>>83524
Любые. Важно только чтобы датасет содержал все возможные входы и выходы. Можешь хоть линейную регрессию использовать, входы и выходы же полностью детерминированы и представляют собой правила МТ, даже аппроксимировать ничего не требуется.
> Какие нейроночки такому обучатся (построят из своих слоев этот алгоритм) и будут хорошо предсказывать?
Любые. Важно только чтобы датасет содержал все возможные входы и выходы. Можешь хоть линейную регрессию использовать, входы и выходы же полностью детерминированы и представляют собой правила МТ, даже аппроксимировать ничего не требуется.
>>76320 (OP)
Аноны, вот у меня есть очень шумные данные и классификатор.
Меряю его ф1 на случайном разбиении - получил, допустим, 0.9.
Меряю его на 2-fold, получаю условные mean = 0.9 (так же) и стандартное отклонение 0.05.
Меряю его на 100-fold и получаю тот же meam = 0.9, но стандартное отклонение 0.1
Есть ли метрика, которая определяет confidence level результатов? Для малошумных данных наверное это не так важно, но у меня все очень сильно зависит от того, как разбить сет на трейнинг и тест сеты.
Это не промышленное применение, а пруф оф концепт в научный журнал, рецензент на мажор ревижоне спрашивает, почему я для кросс валидации выбрал k=10. А мне похуй если честно какое выбирать, кросс-валидация в принципе нужна только для того, чтобы показать, что это у меня не ошибка переобучения, а классификатор в принципе работает.
Аноны, вот у меня есть очень шумные данные и классификатор.
Меряю его ф1 на случайном разбиении - получил, допустим, 0.9.
Меряю его на 2-fold, получаю условные mean = 0.9 (так же) и стандартное отклонение 0.05.
Меряю его на 100-fold и получаю тот же meam = 0.9, но стандартное отклонение 0.1
Есть ли метрика, которая определяет confidence level результатов? Для малошумных данных наверное это не так важно, но у меня все очень сильно зависит от того, как разбить сет на трейнинг и тест сеты.
Это не промышленное применение, а пруф оф концепт в научный журнал, рецензент на мажор ревижоне спрашивает, почему я для кросс валидации выбрал k=10. А мне похуй если честно какое выбирать, кросс-валидация в принципе нужна только для того, чтобы показать, что это у меня не ошибка переобучения, а классификатор в принципе работает.
>>83797
Попроси их не шуметь. В смысле denoising autoencoder наверни какой-нибудь.
Ну так и шли его основы изучать.
Вообще, в том же sklearn, например, кросс-валидацию можно было разную получать, рандомно "тасуя" данные (shuffle). Но я точно не помню.
>очень шумные данные
Попроси их не шуметь. В смысле denoising autoencoder наверни какой-нибудь.
>спрашивает, почему я для кросс валидации выбрал k=10
Ну так и шли его основы изучать.
Вообще, в том же sklearn, например, кросс-валидацию можно было разную получать, рандомно "тасуя" данные (shuffle). Но я точно не помню.
>>83797
Чем больше фолдов, тем точнее оценка метрики, но при этом ее дисперсия растет, например LOO дает самую точную оценку, но при этом имеет наибольшую дисперсию
Чем больше фолдов, тем точнее оценка метрики, но при этом ее дисперсия растет, например LOO дает самую точную оценку, но при этом имеет наибольшую дисперсию
>>83814
Ну рецензентов нельзя нахуй слать. Надо вылизать жопу и доказать со ссылкой на цитируемый источник почему я прав. А я хуй знает почему - тут обычно как инженер решил что норм, так и есть. На стекэксчейндже люди берут значения k потому что они привыкли и делали так раньше, но на это не сошлешься.
Мне бы в идеале методику по которой можно получить доверительные интервалы и аргументировать, мол, что выбрав к=10 я попал в 99 перцентиль, чего я и добивался.
Расшумливать данные на лету нельзя, расшумливать только тренировочную выборку можно, но мне если честно не хочется такие серьезные изменения делать сейчас, все картинки в статье переделывать придется и как-то объяснять рецензентам такие маневры.
Ну рецензентов нельзя нахуй слать. Надо вылизать жопу и доказать со ссылкой на цитируемый источник почему я прав. А я хуй знает почему - тут обычно как инженер решил что норм, так и есть. На стекэксчейндже люди берут значения k потому что они привыкли и делали так раньше, но на это не сошлешься.
Мне бы в идеале методику по которой можно получить доверительные интервалы и аргументировать, мол, что выбрав к=10 я попал в 99 перцентиль, чего я и добивался.
Расшумливать данные на лету нельзя, расшумливать только тренировочную выборку можно, но мне если честно не хочется такие серьезные изменения делать сейчас, все картинки в статье переделывать придется и как-то объяснять рецензентам такие маневры.
>>83825
Да, это я и понимаю. Но для этой точности есть ли какая-нибудь формальная методика? Доверительный интервал или что-то в таком духе.
Да, это я и понимаю. Но для этой точности есть ли какая-нибудь формальная методика? Доверительный интервал или что-то в таком духе.
>>83829
Метрика*
Метрика*
>>83838
А теперь представь, что данные очень шумные и нам охуенно повезло с разбиением и тестсетом. На другом тестсете ввиду шумности данных классификатор покажет худшую производительность.
Множество фолдов поможет этого избежать, на к=2 у меня низкое стд и на к=100 оно высокое.
Вот как мне доказать, какое к достаточно, чтобы в мин плюс/минус стд входил 99 перцентиль, условно говоря.
Я доказываю пруф оф концепт, в реальных применениях данные будут другими и классификатор придется обучать на них каждый раз.
А теперь представь, что данные очень шумные и нам охуенно повезло с разбиением и тестсетом. На другом тестсете ввиду шумности данных классификатор покажет худшую производительность.
Множество фолдов поможет этого избежать, на к=2 у меня низкое стд и на к=100 оно высокое.
Вот как мне доказать, какое к достаточно, чтобы в мин плюс/минус стд входил 99 перцентиль, условно говоря.
Я доказываю пруф оф концепт, в реальных применениях данные будут другими и классификатор придется обучать на них каждый раз.
>>83904
Спасибо, анон. Это не то, что я реквестировал, но то, что мне надо.
Спасибо, анон. Это не то, что я реквестировал, но то, что мне надо.
Аноны,
насколько вообще питон реально подходит для сурового продакшена? У кого какой опыт? Имеет ли смысл разворачивать хадуп кластер, если данных относительно немного (десятки гигов, но не террабайты), но нужна надёжность/возможность раскидать вычисления на пару машин и сохранять результаты в HDFS, чтобы не бояться, что они умрут вместе с hdd? cloud storage не предлагать
насколько вообще питон реально подходит для сурового продакшена? У кого какой опыт? Имеет ли смысл разворачивать хадуп кластер, если данных относительно немного (десятки гигов, но не террабайты), но нужна надёжность/возможность раскидать вычисления на пару машин и сохранять результаты в HDFS, чтобы не бояться, что они умрут вместе с hdd? cloud storage не предлагать
Непонятно нихуя ни по доками, ни по гайдам как работает рекурентная сеть на TensorFlow. Там какие-то собственные библиотечные оболочки. Они что, однослойные?
Как в бэкпропогэйшн во времени определяется какие веса с какими ошибками нейрона перезаписи ячейки памяти и нейрона извлечения из ячейки памяти?
Как в бэкпропогэйшн во времени определяется какие веса с какими ошибками нейрона перезаписи ячейки памяти и нейрона извлечения из ячейки памяти?
>>84151
те имеет идти на форум тенсора, это уже попахивает инжиниренгом. Тут чисто матаноэлита
те имеет идти на форум тенсора, это уже попахивает инжиниренгом. Тут чисто матаноэлита
>>84151
Попахивает тем, что кто-то не осилил базу и пытается прыгнуть выше головы. Похоже на многотредовую эпопею какого-то дауна (это не ты был?) несколько месяцев назад про "ну кок жи щитать гродент сверточной сити?????"
Попахивает тем, что кто-то не осилил базу и пытается прыгнуть выше головы. Похоже на многотредовую эпопею какого-то дауна (это не ты был?) несколько месяцев назад про "ну кок жи щитать гродент сверточной сити?????"
Почему все только на обучении с учителем сосредоточены? А не на обучении с подкреплением?
Есть примеры эффективного использования сверточных сетей для приближенных математических вычислений?
>>84314
Хипстеры только в этом году про уравнения Хебба узнали. Так что все будет, но не сразу.
> Почему все только на обучении с учителем сосредоточены? А не на обучении с подкреплением?
Хипстеры только в этом году про уравнения Хебба узнали. Так что все будет, но не сразу.
>>84320
Помню две работы: в одной погоду обсчитывали на нейроночке, вроде был выигрыш по сравнению со стандартными решателями дифуров, которые обычно там используются. В другой обсчитывали квантовое состояние какой-то сложной системы, которое напрямую было считать слишком долго. Вторая работа в нейчер была.
Помню две работы: в одной погоду обсчитывали на нейроночке, вроде был выигрыш по сравнению со стандартными решателями дифуров, которые обычно там используются. В другой обсчитывали квантовое состояние какой-то сложной системы, которое напрямую было считать слишком долго. Вторая работа в нейчер была.
>>84374
А у Перельмана где деньги? Или Ашот с рынка на лексусе умнее? Что-то не сходится в твоей манятеории. Может быть то, что ты пытаешься пиндосскую поговорку использовать применительно к Африке со снегом?
> Если ты такой умный, то где же тогда твои деньги?
А у Перельмана где деньги? Или Ашот с рынка на лексусе умнее? Что-то не сходится в твоей манятеории. Может быть то, что ты пытаешься пиндосскую поговорку использовать применительно к Африке со снегом?
>>84431
Да хуйня поговорка, даже в Пиндостане. Можно быть невъебенно умным, просто в Пиндостане доедать хуйцы не будешь или будешь. Вон, сколько в Тесле инженеров, а богатеет только Маск.
Да хуйня поговорка, даже в Пиндостане. Можно быть невъебенно умным, просто в Пиндостане доедать хуйцы не будешь или будешь. Вон, сколько в Тесле инженеров, а богатеет только Маск.
>>84431
Ой-вей, гои поверили, что наш человек будет жить на 15 тысяч и есть одну гречу. Гриша таки в Швеции программистом работал (и в Швейцарии до этого, если мне память не изменяет). Но ты продолжай верить в свои сверхсилы и нихуя не делать.
>Перельман
Ой-вей, гои поверили, что наш человек будет жить на 15 тысяч и есть одну гречу. Гриша таки в Швеции программистом работал (и в Швейцарии до этого, если мне память не изменяет). Но ты продолжай верить в свои сверхсилы и нихуя не делать.
Анончи, накидайте ссылок на датасеты и корпуса великого и могучего русского языка.
КРЯ жадные пидарасы
КРЯ жадные пидарасы
Но считать градиент слишом сложно. Я нашёл функцию попроще.
wij = wij + lerning_rateinput_valuesum(activation_value(1 - activation_value)sum(error*wjj+1))
wij = wij + lerning_rateinput_valuesum(activation_value(1 - activation_value)sum(error*wjj+1))
>>84748
бля вакаба
wij = wij + lerning_rate&input_value&sum(activation_value(1 - activation_value)&sum(error&wjj+1))
бля вакаба
wij = wij + lerning_rate&input_value&sum(activation_value(1 - activation_value)&sum(error&wjj+1))
>>84758
Сейчас мне кажется это просто ебучая формула прямого подсчёта на сколько эта хуйня возможно должна измениться. То есть тупо и прямо. Но градиент, который даёт чистое и правильное значение, я всё равно не понимаю.
Сейчас мне кажется это просто ебучая формула прямого подсчёта на сколько эта хуйня возможно должна измениться. То есть тупо и прямо. Но градиент, который даёт чистое и правильное значение, я всё равно не понимаю.
>>84917
Ну. Пусть тренирует на более важном сете больше раз
Ну. Пусть тренирует на более важном сете больше раз
>>84758
Один из вариантов стохастической аппроксимации Роббинса-Монро. Собственно, как и в картах Кохонена. И чем вам в таком случае векторное квантование не нравится? А я скажу, вы просто не понимаете, чем занимаетесь.
> wij = wij + lerning_rate&input_value&sum(activation_value(1 - activation_value)&sum(error&wjj+1))
Один из вариантов стохастической аппроксимации Роббинса-Монро. Собственно, как и в картах Кохонена. И чем вам в таком случае векторное квантование не нравится? А я скажу, вы просто не понимаете, чем занимаетесь.
>>85037
Читать, писать что-нибудь. Учиться, учиться и учиться но не коммунизму.
> Как из мимокрокодила стать машоббоярином?
Читать, писать что-нибудь. Учиться, учиться и учиться но не коммунизму.
>>76568
Пиздец, лучше останусь в своём уютном энтерпрайзе
Пиздец, лучше останусь в своём уютном энтерпрайзе
https://www.coursera.org/specializations/machine-learning-data-analysis
Эта специализация от мфти и Яндекса - хороший вариант для вката неофиту?
Математику курю отдельно и глубже (там ее как-то совсем поверхностно дают).
Эта специализация от мфти и Яндекса - хороший вариант для вката неофиту?
Математику курю отдельно и глубже (там ее как-то совсем поверхностно дают).
>>85191
не знаю, нахер эта курсера вообще нужна? С матскилами вкатится ты можешь просто почитав старт гайд от sklearn, а дальше есть божественные статьи того же Стенфорта например и вообще материалов очень много. Вот например http://colah.github.io
>https://www.coursera.org/specializations/machine-learning-data-analysis
не знаю, нахер эта курсера вообще нужна? С матскилами вкатится ты можешь просто почитав старт гайд от sklearn, а дальше есть божественные статьи того же Стенфорта например и вообще материалов очень много. Вот например http://colah.github.io
>>85295
Не, матскиллов у меня пока нет.
Не, матскиллов у меня пока нет.
Я в машобе не секу, но по работе нужно просчитать как одна штука во временном ряде коррелирует с другой.
Правильно-ли понимаю что если знать заранее что с чем должно коррелировать то именно машинное обучение здесь это overkill?
Правильно-ли понимаю что если знать заранее что с чем должно коррелировать то именно машинное обучение здесь это overkill?
>>85930
смотри автокореляцию для ВР
смотри автокореляцию для ВР
Представим две рекурентные нейросети. Для представления значений в стандартных рекурентных сетях для обработки текста используют словарь из векторов, соответствующих словам. Но в нашем случае необходимо получать не слова, а символы, а на выход получать слова (неупорядоченые векторы, но имеющие несколько диапазонов) в строгом порядке, далее эти векторы необходимо извлекать и обрабатывать именно в том порядке ({t0, t1, ... tn}). В таком случае упираемся в проблему того, что для этого потребуется просто огромное количество нейронов, ввиду более двух тысяч слов, которые небходимы для адекватной обработки. В стандартном случае также меньше затрат, ведь векторы упорядочены. Но далее нам паралельно с хард-кодом нужно обрабатывать выходные векторы в ещё одной сети, на выход которой должны поступать значения определённых векторов и также близкие к нулевым значения. Выход обрабатывается хард-кодом. Тут ещё сложнее, потому что определённый диапазон векторов записывается ещё раз, а также их связи. Вопрос - как мне считать дохулиард нейронов и где хранить все веса? Это ещё при учёте, что дальше на основе работы этих сетей будет построена ещё одна система, чтобы этот текст восстанавливать. То есть ещё столько же дохуя.
>>86681
Для таких случаев используют иерархический софтмакс (тогда обрабатывать приходится не дохулиард нейронов, а логарифмическое их количество от этого дохулиарда). Конкретные архитектуры - CBOW и skipgram, реализовано в word2vec, но все нужное есть и в слесарьплове. Если нужно именно для отдельных символов в словах, то SISG (subword information skipgram), есть в пейсбуковском fasttext.
Для таких случаев используют иерархический софтмакс (тогда обрабатывать приходится не дохулиард нейронов, а логарифмическое их количество от этого дохулиарда). Конкретные архитектуры - CBOW и skipgram, реализовано в word2vec, но все нужное есть и в слесарьплове. Если нужно именно для отдельных символов в словах, то SISG (subword information skipgram), есть в пейсбуковском fasttext.
>>86689
Ещё кое что непонятно. При обучении RNN бэкпропогэйшн во времени ведь может моделировать ошибку до начала работы самой сети. Как на улететь в бесконечный зацикленный алгоритм в первой же итерации?
Ещё кое что непонятно. При обучении RNN бэкпропогэйшн во времени ведь может моделировать ошибку до начала работы самой сети. Как на улететь в бесконечный зацикленный алгоритм в первой же итерации?
1,6 Мб, 2697x2672Здравствуйте машорбщики, у меня для вас прикладная задача: посчитать количество жуков на фотографии. На этой качество говно, но я смогу сделать получше, если надо.
>>86773
червяков вообще анирал почситать
червяков вообще анирал почситать
>>86784
видево жи
видево жи
>>86789
Эти тоже кормовые, но тут мне скорее нужно контролировать их численность чтобы выкидывать лишнее. Оверпопуляция только ухудшает их положение - загрязнение подстилки и банки, нехватка корма личинкам.
Эти тоже кормовые, но тут мне скорее нужно контролировать их численность чтобы выкидывать лишнее. Оверпопуляция только ухудшает их положение - загрязнение подстилки и банки, нехватка корма личинкам.
>>86796
ищи контуры, и попроси их не лезть друг на друга. тебе достаточно определить всего лишь олну дугу для детекта.
ищи контуры, и попроси их не лезть друг на друга. тебе достаточно определить всего лишь олну дугу для детекта.
>>86806
Я не занимаюсь машобом, я только дал прикладную задачу. Если кто-то хочет взяться, буду рад посодействовать. Если нет... то нет.
Я не занимаюсь машобом, я только дал прикладную задачу. Если кто-то хочет взяться, буду рад посодействовать. Если нет... то нет.
>>86796
Ну считать ты их никак не посчитаешь через нейросеть. Можно их распознавать через нейросеть. Хотя, конечно, можно собрать ебенейшую архитектуру чтобы она считала через несколько, но легче взять картинку и распознавать где находится один жук, а в следующую итерациюпросто затирать это место на картинке белым цветом. Таким образом понадобится только одна маленькая сеть и пара функций обработки изображений.
Ну считать ты их никак не посчитаешь через нейросеть. Можно их распознавать через нейросеть. Хотя, конечно, можно собрать ебенейшую архитектуру чтобы она считала через несколько, но легче взять картинку и распознавать где находится один жук, а в следующую итерациюпросто затирать это место на картинке белым цветом. Таким образом понадобится только одна маленькая сеть и пара функций обработки изображений.
>>86811
Ты мне предлагаешь каждые 2-3 дня вылавливать каждого жука ради взвешивания? Я бы тогда их считал просто так.
Ты мне предлагаешь каждые 2-3 дня вылавливать каждого жука ради взвешивания? Я бы тогда их считал просто так.
>>86820
неплохо
неплохо
>>86821
кучку взял и взвесил, можно с гнездом взвешивать, даже доставать не нужно. у тебя хуйня с постановкой задачи, 2 маленьких жука и один большой будут жрать как четыре маленьких, плюс большой даст им пизды и поебет самочек
кучку взял и взвесил, можно с гнездом взвешивать, даже доставать не нужно. у тебя хуйня с постановкой задачи, 2 маленьких жука и один большой будут жрать как четыре маленьких, плюс большой даст им пизды и поебет самочек
>>86820
правда в этом случае нужно найти очень маленькие фичерсы жука, как например клювик, или чтобы сеть могла определить заднюю и переднюю лапку жука (и посчитав между ними расстояние понять что это жук), потому что при таком подходе от низлежащих жуков будут оставаться только маленькие кусочки. Так же вопрос а если на картинке тысяча жуков как нейросеть из них выберет того единственного, которого она опознает?
правда в этом случае нужно найти очень маленькие фичерсы жука, как например клювик, или чтобы сеть могла определить заднюю и переднюю лапку жука (и посчитав между ними расстояние понять что это жук), потому что при таком подходе от низлежащих жуков будут оставаться только маленькие кусочки. Так же вопрос а если на картинке тысяча жуков как нейросеть из них выберет того единственного, которого она опознает?
Весело вы рофлите конечно, но если кто захочет взяться и нужны будут еще материалы пишите в телегу - @aatof
>>86849
Загон им из картонки сделай.
Загон им из картонки сделай.
>>86834
Да вообще без проблем. Говорит нам где жук - затираем его там и прибавляем ещё единичку в счётчик. Распознавать то всё зачем? Тут по пятнадцать свёрток в два слоя, полносвязку с выходом на координаты, этого хватит. Хотя этого много для такой простой жучары. Обучать на картинках в гигле, которые скачиваются специальными программами.
Да вообще без проблем. Говорит нам где жук - затираем его там и прибавляем ещё единичку в счётчик. Распознавать то всё зачем? Тут по пятнадцать свёрток в два слоя, полносвязку с выходом на координаты, этого хватит. Хотя этого много для такой простой жучары. Обучать на картинках в гигле, которые скачиваются специальными программами.
Простите за нубство.
Есть 180 входов, 4 выхода и 1 tensorflow на питонах.
Помогите описать занесение входов и получение выходов. Обучение не нужно, веса задать случайными значениями.
Есть 180 входов, 4 выхода и 1 tensorflow на питонах.
Помогите описать занесение входов и получение выходов. Обучение не нужно, веса задать случайными значениями.
>>86996
weights = tf.variable((180,4))
x = tf.placeholder()
y = activation_function(какая-то хуйня я дальше не помню, но суть в том, что нужно перемножить все x со всей строкой весов и это суммировать)
sess = tf.session()
sess.run(опять забыл)
weights = tf.variable((180,4))
x = tf.placeholder()
y = activation_function(какая-то хуйня я дальше не помню, но суть в том, что нужно перемножить все x со всей строкой весов и это суммировать)
sess = tf.session()
sess.run(опять забыл)
>>87003
Оп-а, ситуация теперь прорисовывается. Спасибо больше. Если никто не распишет подробней, буду гуглить.
Оп-а, ситуация теперь прорисовывается. Спасибо больше. Если никто не распишет подробней, буду гуглить.
>>87007
Короче, не гугли гайды на русском. Они все полнейшее говно. Нужно постараться чтобы сделать хуже, серьёзно. Лучше прочти документацию, даже через гугл переводчик если не знаешь ангельский.
Короче, не гугли гайды на русском. Они все полнейшее говно. Нужно постараться чтобы сделать хуже, серьёзно. Лучше прочти документацию, даже через гугл переводчик если не знаешь ангельский.
>>87011
С ангельским знаком, но на сайте tensor меня мучают или распознаванием по MNIST, или фотографиями ирисов(
Простого, для недалёких людей, не нашёл.
С ангельским знаком, но на сайте tensor меня мучают или распознаванием по MNIST, или фотографиями ирисов(
Простого, для недалёких людей, не нашёл.
>>87017
Хоспаде. Простое для недалёких макак это Keras. Не мучай себя брат макак.
> Простого, для недалёких людей, не нашёл.
Хоспаде. Простое для недалёких макак это Keras. Не мучай себя брат макак.
>>87017
output = []
x = tf.placeholder(dtype = tf.int32, shape = [None, 180])
w = tf.variable(tf.random_normal([180, 4]))
func = map(activation_function, matmul(x,w))
with tf.Session() as sess:
------output = sess.run(func)
Может сработает, а может нет, хуй знает, но тут множатся матрицы так что возможно форма стоит не в правильном порядке и строки нужно поменять со столбцами.
>>87019
А тебе хуй за шиворот.
output = []
x = tf.placeholder(dtype = tf.int32, shape = [None, 180])
w = tf.variable(tf.random_normal([180, 4]))
func = map(activation_function, matmul(x,w))
with tf.Session() as sess:
------output = sess.run(func)
Может сработает, а может нет, хуй знает, но тут множатся матрицы так что возможно форма стоит не в правильном порядке и строки нужно поменять со столбцами.
>>87019
А тебе хуй за шиворот.
>>87056
Исходники открой и охуей, сколько там строчек кода. Это просто удобная либа.
Исходники открой и охуей, сколько там строчек кода. Это просто удобная либа.
103 Кб, 550x550>>87056
Да. Без обучения и с одним слоем. С обучением 9 будет, каждый слой +3 строки.
Лол, нет, это же полносвязка на фреймворке.
Да. Без обучения и с одним слоем. С обучением 9 будет, каждый слой +3 строки.
Лол, нет, это же полносвязка на фреймворке.
>>87066
так, а в чем тогда еба? я могу и 12 строк написать, где мяготка, вы фреймворкоебы?
>9 будет, каждый слой +3 строки.
так, а в чем тогда еба? я могу и 12 строк написать, где мяготка, вы фреймворкоебы?
>>87072
Дальше начинается вообще самый смак. Ты можешь написать в те же 6 строчек ультраклёвую сеть с одним слоем просто импортировав её оболочку из либы.
Дальше начинается вообще самый смак. Ты можешь написать в те же 6 строчек ультраклёвую сеть с одним слоем просто импортировав её оболочку из либы.
>>87074
если все так просто, почему это не работает? где там вменяемые автономус вехикалс или окр?
если все так просто, почему это не работает? где там вменяемые автономус вехикалс или окр?
>>87085
ну в общем да. А чё еще надо? Модели валяются на гитхабе в екзамплах кераса. Там и анализ картинок, и лексика. Да блять я вот собрал модель из хеловорд туториала в три строки и до се ей пользуюсь для всего. Надеюсь, что когда нибудь пойму что она делает.
ну в общем да. А чё еще надо? Модели валяются на гитхабе в екзамплах кераса. Там и анализ картинок, и лексика. Да блять я вот собрал модель из хеловорд туториала в три строки и до се ей пользуюсь для всего. Надеюсь, что когда нибудь пойму что она делает.
>>87081
Ало, да потому что эти оболочки и фреймворки разрабатывают топовые учёные топовых корпораций. Нахуй ты меришь способность местных по докам кнопки нажимать как способность разработки передовых технологий?
Ало, да потому что эти оболочки и фреймворки разрабатывают топовые учёные топовых корпораций. Нахуй ты меришь способность местных по докам кнопки нажимать как способность разработки передовых технологий?
>>87090
ученые в говне моченые, оставим проблему распознования негров, а возьмем к примеру окр русских слов с ударением, файнридер виляет жопой и не монгут, тезеракт сосет с проглотом и без ударений, где ваша магия?
ученые в говне моченые, оставим проблему распознования негров, а возьмем к примеру окр русских слов с ударением, файнридер виляет жопой и не монгут, тезеракт сосет с проглотом и без ударений, где ваша магия?
>>87115
А, ну да, там фиддикт нужен. В сессию когда запускаешь нужно засунуть {x:[твоя хуйня]}
А, ну да, там фиддикт нужен. В сессию когда запускаешь нужно засунуть {x:[твоя хуйня]}
>>87134
И при этом надо ещё указать что это аргумент feed_dict конечно.
И при этом надо ещё указать что это аргумент feed_dict конечно.
>>87111
Предпочитаю heptapod b.
Предпочитаю heptapod b.
>>87115
Вот кстати, да. В туториалах это самое сложное.
Вот кстати, да. В туториалах это самое сложное.
>>87160
То что ии так не делается. Никто сейчас не может высрать ничего лучше распознавания видео.
То что ии так не делается. Никто сейчас не может высрать ничего лучше распознавания видео.
>>86766
Можно наверное по бликам на панцырях детектить.
Можно наверное по бликам на панцырях детектить.
Чувак из Дипмайнд поясняет за новые концепции в ИИ, над которыми они работают: https://www.youtube.com/watch?v=N5oZIO8pE40
>>87440
Это всё тупые хипстеры, лучше бы ватника навернули
Это всё тупые хипстеры, лучше бы ватника навернули
>>87440
Как вы на англопараше слушаете, это же не язык, это говно
Как вы на англопараше слушаете, это же не язык, это говно
>>87440
Это не ИИ.
Это не ИИ.
Анон я только начинаю свой путь программиста. Подскажи к какому классу задач относиться моя, и порекомендуй направление дальнейших изысканий. В общем:
Мини задача, есть пользователь, который хочет посмотреть аниме. Каждую серию и каждый тайтл сопровождает 10 источников. Например 10 разных озвучек, или 10 переводов сабов от разных команд. Вот я хочу, чтобы пользователю не пришлось каждый раз выбирать озвучку, а построить список предпочитаемых пользователем источников (источник может включать в себя такие параметры как "команда озвучки", "разрешение видео", возможно что-то ещё). То есть на выходе должен быть тайтл с оптимальным параметрами для пользователя, без необходимости выбирать каждый раз вручную, смотреть ли в разрешении 1080р но озвучкой от васяна с мерзким голосом, или посмотреть 720 но в той озвучке, которую хочет пользователь. То есть необходима оценка приоритетов, что важнее для пользователя, любимая озвучка, или высокое разрешение, например.
Дело также в том, что не у каждого тайтла есть озвучка или Сабы от любимой команды, и нужно автоматически выбирать наиболее подходящий вариант на основе прошлых выборов. В общем такая задача, решил выбрать ее чтобы попробовать что такое машоб, если он подходит под эти задачи. Но ее нужно решить
Мини задача, есть пользователь, который хочет посмотреть аниме. Каждую серию и каждый тайтл сопровождает 10 источников. Например 10 разных озвучек, или 10 переводов сабов от разных команд. Вот я хочу, чтобы пользователю не пришлось каждый раз выбирать озвучку, а построить список предпочитаемых пользователем источников (источник может включать в себя такие параметры как "команда озвучки", "разрешение видео", возможно что-то ещё). То есть на выходе должен быть тайтл с оптимальным параметрами для пользователя, без необходимости выбирать каждый раз вручную, смотреть ли в разрешении 1080р но озвучкой от васяна с мерзким голосом, или посмотреть 720 но в той озвучке, которую хочет пользователь. То есть необходима оценка приоритетов, что важнее для пользователя, любимая озвучка, или высокое разрешение, например.
Дело также в том, что не у каждого тайтла есть озвучка или Сабы от любимой команды, и нужно автоматически выбирать наиболее подходящий вариант на основе прошлых выборов. В общем такая задача, решил выбрать ее чтобы попробовать что такое машоб, если он подходит под эти задачи. Но ее нужно решить
>>87857
В общем мне хотя бы сначала определить, является ли моя задача областью решения которой является машоб
В общем мне хотя бы сначала определить, является ли моя задача областью решения которой является машоб
>>87885
Смотри все очень просто. Скачиваешь питон и керас (это такая библеотека). Читаешь официальный туториал, там все просто и примеры есть. Затем делаешь нейрал нетворк из слоев количеством примерно сколько у тебя бывает разных озвучек. Каждый слой состоит из н нейронов где н это байтовый размер озвучки. Потом ты просто прогоняешь сетку по всем озвучкам и получаешь ризультат.
Изи пизи, как говорил Линус тарвальдс
Смотри все очень просто. Скачиваешь питон и керас (это такая библеотека). Читаешь официальный туториал, там все просто и примеры есть. Затем делаешь нейрал нетворк из слоев количеством примерно сколько у тебя бывает разных озвучек. Каждый слой состоит из н нейронов где н это байтовый размер озвучки. Потом ты просто прогоняешь сетку по всем озвучкам и получаешь ризультат.
Изи пизи, как говорил Линус тарвальдс
84 Кб, 350x486Есть метод обучения фид-форвард рециркуляцией.
Не могу заставить его работать.
Есть у кого удачные примеры?
Не могу заставить его работать.
Есть у кого удачные примеры?
>>88174
Давайте назовём старые методы новыми именами для того, чтобы ими все пользовались.
Давайте назовём старые методы новыми именами для того, чтобы ими все пользовались.
Анонсы, что скажите про топологический анализ данных? У меня топологии в универе не было, стоит вкатываться?
>>76320 (OP)
Можно в 28 без вышки вкатиться в машоб?
Можно в 28 без вышки вкатиться в машоб?
>>88630
Нет, не разрешаю.
Нет, не разрешаю.
А как дела у байесовской нейронной сети с распознаванием картинок, а не только тестовых MNIST ?
>>88759
Или там дела как и с капсульными НС ?
Или там дела как и с капсульными НС ?
>>88981
Щас бы 5 лет учится, что бы матанопетуханские каракули разбирать
Щас бы 5 лет учится, что бы матанопетуханские каракули разбирать
Сап. Надо распознать капчу майлру. Использую python + tensorflow, пробовал модели с гитхаба, типа https://github.com/JackonYang/captcha-tensorflow, но нормального ничего не получается. Обучал и на картинках без предобработки, и алгоритм писал удаляющий линию и кадрирующий капчу - на результат особо не повлияло. Что можете подсказать?
В идеале хочу что то такое - https://habr.com/post/343222/ но не могу додуматься, как должны работать карты центров, и в гугле информации по ним нету.
В идеале хочу что то такое - https://habr.com/post/343222/ но не могу додуматься, как должны работать карты центров, и в гугле информации по ним нету.
И сразу ламерский вопрос. Почему в этой статье когда объясняется про ядра свёрточной сети, говорят что они квадратные. Разве на вход в такую сеть мы подаём не одномерный массив а двумерный?
>>89181
Повтори, я не расслышал.
Повтори, я не расслышал.
97 Кб, 400x400>>89181
а есть ли в этом профит? Почему нельзя просто сделать Dense и радоваться?
а есть ли в этом профит? Почему нельзя просто сделать Dense и радоваться?
>>89180
Тензоры, вообще-то. И они хоть сколько мерные, но в случае картинок обычно 3хмерные - R, G и B каналы. Пошто ж вы негр амотные такие, слесарьплов для вас же именно так назвали, что он тензоры считает. Ну в машобчике тензор не то же что в физике, в целом и скаляр, и вектор и матрица это тензоры, речь скорее про общий подход к массивам.
> Сверточным сетям на вход, как правило, подают картинки, а они двумерные
Тензоры, вообще-то. И они хоть сколько мерные, но в случае картинок обычно 3хмерные - R, G и B каналы. Пошто ж вы негр амотные такие, слесарьплов для вас же именно так назвали, что он тензоры считает. Ну в машобчике тензор не то же что в физике, в целом и скаляр, и вектор и матрица это тензоры, речь скорее про общий подход к массивам.
>>89217
Минуточку, 3 в данном случае это длинна последней размерности. лол
Под размерностью я имею ввиду длину самой формы массива.
например форма массива
[[211,211,211], [211,211,211]]
есть (2, 3), значит его мерность 2
> 3хмерные - R, G и B каналы
Минуточку, 3 в данном случае это длинна последней размерности. лол
Под размерностью я имею ввиду длину самой формы массива.
например форма массива
[[211,211,211], [211,211,211]]
есть (2, 3), значит его мерность 2
>>89217
Я простой слесарь, для меня массив - это массив, а матанопетухи пусть как хотят его называют.
>Тензоры, вообще-то
Я простой слесарь, для меня массив - это массив, а матанопетухи пусть как хотят его называют.
>>89331
Так ты не слесарь тогда, ты макака. Разница огромная. Алсо, макакам ИТТ слово не давали.
Так ты не слесарь тогда, ты макака. Разница огромная. Алсо, макакам ИТТ слово не давали.
>>89388
Да я и так молчу, тут разговаривать не с кем, одни шизики-теоретики. Что вы вообще в /pr забыли, вам прямая дорога в /сцы
Да я и так молчу, тут разговаривать не с кем, одни шизики-теоретики. Что вы вообще в /pr забыли, вам прямая дорога в /сцы
Нейронки на жаваскрипте реально ли? В жс ведь реальны многомерные массивы и операции над ними.
>>89446
Что не отменяет, что реально.
Что не отменяет, что реально.
>>89449
А капснет тогда что?
А капснет тогда что?
>>89448
И он полностью на жс, в браузере работает? Или просто обёртка для пистоновского слесарьплова?
> есть Слесарьплов.жс
И он полностью на жс, в браузере работает? Или просто обёртка для пистоновского слесарьплова?
>>89166
Потому что как бы ты не подавал данные, преобразовываешь ты их согласно квадратному ядру.
Потому что как бы ты не подавал данные, преобразовываешь ты их согласно квадратному ядру.
>>89443
Так это один массив нужен и цикл. Всё.
Так это один массив нужен и цикл. Всё.
>>89549
Прямоугольные же.
Прямоугольные же.
>>89190
Пиздец блядь, такую громозкую хуйню делают только ради того, чтобы буковку s распознать, пиздец.
Пиздец блядь, такую громозкую хуйню делают только ради того, чтобы буковку s распознать, пиздец.
>>89619
Если что-то нехипстерское добавить, мало кто поймёт. А с хипстерского толку мало, после такого чтива поциент идёт сюда и спрашивает, хуле сотни слоёв не хватает для линейной регрессии. Лично мне неизвестны книжки, в которых и теория давалась бы нормально, и последние достижения. Скорее всего, таких просто нет. С одной стороны Вапник, который с первых страниц ебашит вариационное исчисление, с другой хуйня уровня import slesarplow as sp. С третьей вроде норм книшки, но написаны в 90е годы и про всякий диплернинх там нету.
> Пишите предложения по шапке, господа.
Если что-то нехипстерское добавить, мало кто поймёт. А с хипстерского толку мало, после такого чтива поциент идёт сюда и спрашивает, хуле сотни слоёв не хватает для линейной регрессии. Лично мне неизвестны книжки, в которых и теория давалась бы нормально, и последние достижения. Скорее всего, таких просто нет. С одной стороны Вапник, который с первых страниц ебашит вариационное исчисление, с другой хуйня уровня import slesarplow as sp. С третьей вроде норм книшки, но написаны в 90е годы и про всякий диплернинх там нету.
>>89620
Ну ты же циферку пять не распознал на картинке. Такую громоздкую хуйню родили, а она с такой простой задачей не справилась, пиздец.
Ну ты же циферку пять не распознал на картинке. Такую громоздкую хуйню родили, а она с такой простой задачей не справилась, пиздец.
>>89621
Согласен. Это какой-то пиздец. Прочитал статью какой-то тянки для макак об Convolution, бля лучшеб вообще не читал. Вот это мания писать просто о сложном иногда совершенно лишняя и уводит в неправильное понимание вещей.
>А с хипстерского толку мало, после такого чтива поциент идёт сюда и спрашивает, хуле сотни слоёв не хватает для линейной регрессии.
Согласен. Это какой-то пиздец. Прочитал статью какой-то тянки для макак об Convolution, бля лучшеб вообще не читал. Вот это мания писать просто о сложном иногда совершенно лишняя и уводит в неправильное понимание вещей.
>>89633
Чё вы доебались до этой S. Тут вопрос нахуя нужны Conv слои? Когда Dense вполне справляются с битмапами расшейпенными до одномерного массива?
Чё вы доебались до этой S. Тут вопрос нахуя нужны Conv слои? Когда Dense вполне справляются с битмапами расшейпенными до одномерного массива?
Почему не детектируют символы в тексте или на табличках? Это очень сложно?
>>89635
Дурень, блять, как же ты надоел.
Они вполне не справляются. Развернул ты картинку в строку - что там ловить? Даже свёртку после этого поставь с кернелом 1xn - нихуя фич не словишь. Свёртка с первого слоя видит целый кусок картинки, а не хуй пойми как расположенный.
Дурень, блять, как же ты надоел.
>вполне справляются
Они вполне не справляются. Развернул ты картинку в строку - что там ловить? Даже свёртку после этого поставь с кернелом 1xn - нихуя фич не словишь. Свёртка с первого слоя видит целый кусок картинки, а не хуй пойми как расположенный.
>>89644
спасибо
спасибо
>>89635
Для больших Dense у тебя будет дохулион параметров, которые просто не влезут в память. Поэтому берут маленький Dense и построчно его водят по картинке, получают 2D фичи - это и есть свертка. По полученным фичам снова водят сверткой, и получают новые фичи. В какой-то момент 2D у фич нам уже не нужно (например, для классификации похуй, где котик, главное что он есть) - тогда фичи растягивают в 1D массив.
Для больших Dense у тебя будет дохулион параметров, которые просто не влезут в память. Поэтому берут маленький Dense и построчно его водят по картинке, получают 2D фичи - это и есть свертка. По полученным фичам снова водят сверткой, и получают новые фичи. В какой-то момент 2D у фич нам уже не нужно (например, для классификации похуй, где котик, главное что он есть) - тогда фичи растягивают в 1D массив.
>>89667
Звучит охуенно. Спасибо.
Звучит охуенно. Спасибо.
>>89667
То есть по сути из одной большой фичи - фотографии кота с собакой мы делаем несколько фич - глаз кота, нос собаки, лапка кота?
То есть по сути из одной большой фичи - фотографии кота с собакой мы делаем несколько фич - глаз кота, нос собаки, лапка кота?
>>89697
Нет. Фичи кота это более сложная тема. Но в сверточных нейроночках их можно визуализировать на разных уровнях. Так же как в зрительном анализаторе, самый простой уровень это части контура объекта, потом уже всякие совокупности и контуры этих контуров итд.
> То есть по сути из одной большой фичи - фотографии кота с собакой мы делаем несколько фич - глаз кота, нос собаки, лапка кота?
Нет. Фичи кота это более сложная тема. Но в сверточных нейроночках их можно визуализировать на разных уровнях. Так же как в зрительном анализаторе, самый простой уровень это части контура объекта, потом уже всякие совокупности и контуры этих контуров итд.
>>89697
Да. Чем глубже фича от начала, те выше уровень абстракции.
Упрощенно говоря, на первом уровне ядра свертки реагируют на края (контуры), текстуры (типа "шерсть") и дают на выходе карты активации этих фич.
На следующем уровне свертки, исходя из сочетания предыдущих фич, можно уже задетектить глаза кота, нос кота, и так далее.
Следующее ядро свертки видит, что вот тут глаза кота, тут уши кота, тут нос кота - значит можно сказать, что это голова кота, и выдает фичу расположения головы.
Еще глубже сверткой можно сопоставить голову кота с туловищем и остальными частями, и выдать фичу расположения всего кота. Так решается задача детектирования - где именно на фото кот.
Для собаки некоторые простые фичи могут быть общие с котом (линия, контур, текстура), а некоторые нет (у кота уши не такие, как у спаниеля)
Да. Чем глубже фича от начала, те выше уровень абстракции.
Упрощенно говоря, на первом уровне ядра свертки реагируют на края (контуры), текстуры (типа "шерсть") и дают на выходе карты активации этих фич.
На следующем уровне свертки, исходя из сочетания предыдущих фич, можно уже задетектить глаза кота, нос кота, и так далее.
Следующее ядро свертки видит, что вот тут глаза кота, тут уши кота, тут нос кота - значит можно сказать, что это голова кота, и выдает фичу расположения головы.
Еще глубже сверткой можно сопоставить голову кота с туловищем и остальными частями, и выдать фичу расположения всего кота. Так решается задача детектирования - где именно на фото кот.
Для собаки некоторые простые фичи могут быть общие с котом (линия, контур, текстура), а некоторые нет (у кота уши не такие, как у спаниеля)
>>89739
Что в ней такого? Судя по содержанию, обычный первый семестр первого курса матфака. То же было у меня в универе, то же есть в курсе MIT, например. Гуглится на раз по очевидному запросу "linear algebra course". Проще добавить, чтобы для всей матхуйни смотрели эти курсы.
Что в ней такого? Судя по содержанию, обычный первый семестр первого курса матфака. То же было у меня в универе, то же есть в курсе MIT, например. Гуглится на раз по очевидному запросу "linear algebra course". Проще добавить, чтобы для всей матхуйни смотрели эти курсы.
Может знаете какие-нибудь ОБЗОРНЫЕ работы хотя бы по части того что напридумывали за всё это чудное время хайпа чтобы вкатывающиеся хоть как-то сориентировались что-куда и вот их и запихнёте в шапку?
>>90024
Ммм, даже не знаю... как насчет первой ссылки из шапки? Как насчет того, чтобы вообще прочесть шапку? Если ты не осилил шапку, то почему ты думаешь, что осилишь обзорную работу?
Ммм, даже не знаю... как насчет первой ссылки из шапки? Как насчет того, чтобы вообще прочесть шапку? Если ты не осилил шапку, то почему ты думаешь, что осилишь обзорную работу?
>>89619
Предлагаю оставить только ссылку на диплернинбук, все остальное нахрен не нужно. Большую шапку никто не читает, а так хоть будет бросаться в глаза. Нубам нужна только эта ссылка, вкатившиеся господа все сами знают. Если я буду перекатывать, так и сделаю.
Предлагаю оставить только ссылку на диплернинбук, все остальное нахрен не нужно. Большую шапку никто не читает, а так хоть будет бросаться в глаза. Нубам нужна только эта ссылка, вкатившиеся господа все сами знают. Если я буду перекатывать, так и сделаю.
https://www.youtube.com/watch?v=lXUQ-DdSDoE
Как называются такие диалоговые системы? Как их тренируют или это не НС ?
Как называются такие диалоговые системы? Как их тренируют или это не НС ?
>>90033
HINDUSTAN
Forward meditating.
>Как называются такие диалоговые системы?
HINDUSTAN
> Как их тренируют или это не НС ?
Forward meditating.
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
ПЕРЕКАТ
ПЕРЕКАТ
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
ПЕРЕКАТ
ПЕРЕКАТ
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
>>1190173 (OP) (OP)
Тред утонул или удален.
Это копия, сохраненная 17 июля 2018 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Это копия, сохраненная 17 июля 2018 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.