Этого треда уже нет.
Это копия, сохраненная 13 декабря 2020 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Это копия, сохраненная 13 декабря 2020 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Очередной тред про хипстерские технологии, которые не работают.
Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее keras и pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus.
Почему python?
Исторически сложилось
Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials
Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.
Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел
Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся
Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском
Где ещё можно поговорить про анализ данных?
http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. На март 2020 Google Colab дает бесплатно аналог GPU среднего ценового уровня (что-то между 1050 и 1080) на несколько часов с возможностью продления.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь
Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущий:
https://2ch.hk/pr/res/1665515.html (
М)
Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее keras и pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus.
Почему python?
Исторически сложилось
Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials
Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.
Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел
Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся
Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском
Где ещё можно поговорить про анализ данных?
http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. На март 2020 Google Colab дает бесплатно аналог GPU среднего ценового уровня (что-то между 1050 и 1080) на несколько часов с возможностью продления.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь
Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущий:
https://2ch.hk/pr/res/1665515.html (
М)
30 Кб, 500x331>>04037 (OP)
Репостну.
...расскажите, какие есть альтернативы указанным в шапке сайтам для тренировки?
Что касается Каггла: ныне он что-то ударился в большие датасеты, да обработку изображений, что требует бόльших вычислительных мощностей, что не всегда возможно.
Если говорить, про http://mltrainings.ru/ , то, во-первых, он редиректит на https://ods.ai/competitions - поменяйте в шапке, во-вторых, нативных соревнований там очень не много, а остальные - это ссылки на тот же Каггл, TianChi и прочие ресурсы.
В общем да, реквестирую ресурс где можно попрактиковаться в машобе бесплатно без смс и лишнего геморроя.
Репостну.
...расскажите, какие есть альтернативы указанным в шапке сайтам для тренировки?
Что касается Каггла: ныне он что-то ударился в большие датасеты, да обработку изображений, что требует бόльших вычислительных мощностей, что не всегда возможно.
Если говорить, про http://mltrainings.ru/ , то, во-первых, он редиректит на https://ods.ai/competitions - поменяйте в шапке, во-вторых, нативных соревнований там очень не много, а остальные - это ссылки на тот же Каггл, TianChi и прочие ресурсы.
В общем да, реквестирую ресурс где можно попрактиковаться в машобе бесплатно без смс и лишнего геморроя.
В прошлом треде вскрыли интересную тему - современные соевые технологии машобчика ВНЕЗАПНО не обязательно и не всегда лучшее решение всего, дидовские технологии из 60х в некоторых случаях легко дают пососать новомодным диблернинхам. Я даже уже писал, почему такое может быть, при дедах машобом занимались академики, а не лгбт куколды. Но, про дидов давно забыли. Наткнулся на интересную статью
Evolutionary algorithm outperforms deep-learning machines at video games https://www.technologyreview.com/2018/07/18/104191/evolutionary-algorithm-outperforms-deep-learning-machines-at-video-games/
Вы вдумайтесь, генетические алгоритмы из 60-х. Зумера про такое и не слышали.
Evolutionary algorithm outperforms deep-learning machines at video games https://www.technologyreview.com/2018/07/18/104191/evolutionary-algorithm-outperforms-deep-learning-machines-at-video-games/
Вы вдумайтесь, генетические алгоритмы из 60-х. Зумера про такое и не слышали.
> Зумера про такое и не слышали.
Скорее шизы не в курсе что генетические алгоритмы и ренфорсмент лёрнинг всегда рука об руку шли.
Если просмотреть оригинальную статью
https://arxiv.org/pdf/1806.05695.pdf
а не желтуху которую шизы читают то видно что эти генетические алгоритмы (то что они называют CGP) это просто какое-то очередное велосипедное переложение бандитов
Проблемы генетических алгоритмов в вычислительной сложности, что для атариевских игр может и не так важно, а вообще это одна из мотиваций для развития rl. Пусть старкрафт так же решат, короче, и поговорим потом
>>04438
Проебавший аспирантуру недокандидат вкатывается в тредис.
Ну дык генетические алгоритмы имеют под собой весьма солидный матан, который анализирует как какие алго осуществляют поиск оптимальных решений в пространстве. Как алгоритмы могут / не могут залипнуть в локальным оптимуме решений и проебать глобальный итп.
А что такое современные нейросеточки - это какой-то блядский шаманизм и подбор коэффициентов притом, что никто не знает что там внутри и как происходит. Соответственно у вас нет никакой гарантии, что вы не залипните в хуевом оптимуме. Вы даже и знать не будете что вы в жопе.
Проебавший аспирантуру недокандидат вкатывается в тредис.
Ну дык генетические алгоритмы имеют под собой весьма солидный матан, который анализирует как какие алго осуществляют поиск оптимальных решений в пространстве. Как алгоритмы могут / не могут залипнуть в локальным оптимуме решений и проебать глобальный итп.
А что такое современные нейросеточки - это какой-то блядский шаманизм и подбор коэффициентов притом, что никто не знает что там внутри и как происходит. Соответственно у вас нет никакой гарантии, что вы не залипните в хуевом оптимуме. Вы даже и знать не будете что вы в жопе.
205 Кб, mp4,480x360, 0:04
Через Гильбертово пространство можно линейно выразить любую нелинейную функцию?
>>04474
У тебя устаревшие знания. Сейчас уже более-менее умеют доказывать, что градиентный спуск с шумом сходится к глобальному оптимуму при достаточно мягких ограничениях (правда, может это делать медленно). В нейроночках используют стохастичческий градиентный спуск без доплнительного шума, но этого хватает, так как шум получается обычно из стохастичности.
>никто не знает что там внутри и как происходит.
У тебя устаревшие знания. Сейчас уже более-менее умеют доказывать, что градиентный спуск с шумом сходится к глобальному оптимуму при достаточно мягких ограничениях (правда, может это делать медленно). В нейроночках используют стохастичческий градиентный спуск без доплнительного шума, но этого хватает, так как шум получается обычно из стохастичности.
>>04478
Но базисные функции нелинейные же. А теперь докажи, что не существует базиса кусочнолинейных непрерывных функций, с помощью которых можно представить любую непрерывную функцию
Но базисные функции нелинейные же. А теперь докажи, что не существует базиса кусочнолинейных непрерывных функций, с помощью которых можно представить любую непрерывную функцию
>>04812
В какой норме? Если ты говоришь о непрерывных функциях, то они вообще гильбертово пространство не образуют (если базовое пространство бесконечно, лол). А в стандартной супремум-норме кусочно-линейные функции плотны среди непрерывных.
> А теперь докажи, что не существует базиса кусочнолинейных непрерывных функций, с помощью которых можно представить любую непрерывную функцию
В какой норме? Если ты говоришь о непрерывных функциях, то они вообще гильбертово пространство не образуют (если базовое пространство бесконечно, лол). А в стандартной супремум-норме кусочно-линейные функции плотны среди непрерывных.
>>04438
С таким же успехом можно написать "арабские цифры из средневековья, арабы умели в машоб". Манямирок петуха как есть.
>Вы вдумайтесь, генетические алгоритмы из 60-х.
С таким же успехом можно написать "арабские цифры из средневековья, арабы умели в машоб". Манямирок петуха как есть.
>>04836
Вы там реально на серьезных щах такой маняфантазией занимаетесь? Ржал бы в голосину
>супремум-норме
>гильбертово пространство
Вы там реально на серьезных щах такой маняфантазией занимаетесь? Ржал бы в голосину
>>04474
Сколько научных статей по матану в ГА ты прочитал?
Сколько статей по нейросетям ты читаешь в месяц?
>Ну дык генетические алгоритмы имеют под собой весьма солидный матан
Сколько научных статей по матану в ГА ты прочитал?
>А что такое современные нейросеточки - это какой-то блядский шаманизм и подбор коэффициентов
Сколько статей по нейросетям ты читаешь в месяц?
>>04940
Мне интересно, на чем основаны такие охуительные утверждения. Если это не статьи, а собственный опыт, то какой он, мол, была задача, нейронки не справились (такие-то модели), заюзал то-то и то-то.
Вообще вру, мне неинтересно, потому что понятно, что это очередная пиздлявая манька.
Мне интересно, на чем основаны такие охуительные утверждения. Если это не статьи, а собственный опыт, то какой он, мол, была задача, нейронки не справились (такие-то модели), заюзал то-то и то-то.
Вообще вру, мне неинтересно, потому что понятно, что это очередная пиздлявая манька.
>>04956
Когда очередному вговнемоченому нужно налабать 10 статей, что бы не урезали бюджет/грант, очевидно что ценность их нулевая.
>Если это не статьи
Когда очередному вговнемоченому нужно налабать 10 статей, что бы не урезали бюджет/грант, очевидно что ценность их нулевая.
Как же забавно читать всех этих озлобленных завистливых программистишек.
Вы хоть понимаете что скоро теоретические основы под то что вы называете "практика эмпирика тупые вговнемочёные теоретики ничево не панимают нинужные статейки ))" будут подведены настолько что все ваши охуительные знания о том какой макакинг перед фитпредиктом сделать просто обесценятся?
Вы хоть понимаете что скоро теоретические основы под то что вы называете "практика эмпирика тупые вговнемочёные теоретики ничево не панимают нинужные статейки ))" будут подведены настолько что все ваши охуительные знания о том какой макакинг перед фитпредиктом сделать просто обесценятся?
>>06034
Далеко не факт. Скорее факт того, что мы можем точно посчитать какую нибудь херню, которую раньше приходилось подбирать просто толкнет эмпириков в зоны, которые без такой базы были недоступны и они продолжат там ковырять новую ебу без готовой теории. В физике по крайней мере я вижу такую тенденцию.
>эмпирика обесценится перед расчётом.
Далеко не факт. Скорее факт того, что мы можем точно посчитать какую нибудь херню, которую раньше приходилось подбирать просто толкнет эмпириков в зоны, которые без такой базы были недоступны и они продолжат там ковырять новую ебу без готовой теории. В физике по крайней мере я вижу такую тенденцию.
>>06815
Чито это?
Чито это?
>>04836
>Если ты говоришь о непрерывных функциях, то они вообще гильбертово пространство не образуют
>Векторное пространство можно наделить дополнительными структурами, например, нормой или скалярным произведением. Подобные пространства естественным образом появляются в математическом анализе, преимущественно в виде бесконечномерных функциональных пространств (англ.), где в качестве векторов выступают функции.
Есть ли какие-нибудь статьи, где идет детальное сравнение обучения с fp32 и fp16? Типа на каких задачах это важно, а на каких нет?
>>07316
Я не про ускорение вычислений, а про точность. Меня интересует, будет ли польза, допустим, от fp8 или fp4 в nlp или работе с изображениями. И если будет, то почему это еще не реализовали.
Я не про ускорение вычислений, а про точность. Меня интересует, будет ли польза, допустим, от fp8 или fp4 в nlp или работе с изображениями. И если будет, то почему это еще не реализовали.
>>07327
Хуёльза только будет
Хуёльза только будет
>>07327
Просто перепиши это на js
Просто перепиши это на js
>>07551
Блядь, ну ты сам подумай. Если это нечто прорывное, то над этим работали люди уровня PhD. Или ты думаешь, что имея в арсенале стандартные модули кераса или торча ты сможешь захуярить нечто, превосходящее существующие модели? Нужно знать каждый шаг до мельчайших нюансов.
Пусть в статье написана некая новая формула. От тебя требуется понимание того, что она делает и способность это реализовать в ходе. Первое составляет 99% успеха. Вот и оцени, насколько хорошо нужно шарить.
Блядь, ну ты сам подумай. Если это нечто прорывное, то над этим работали люди уровня PhD. Или ты думаешь, что имея в арсенале стандартные модули кераса или торча ты сможешь захуярить нечто, превосходящее существующие модели? Нужно знать каждый шаг до мельчайших нюансов.
Пусть в статье написана некая новая формула. От тебя требуется понимание того, что она делает и способность это реализовать в ходе. Первое составляет 99% успеха. Вот и оцени, насколько хорошо нужно шарить.
>>07560
Прорывное аххахха да
Прорывное аххахха да
>>07538
Матана мало, матан это просто базовая грамотность любого технаря, чисто чтобы понимать смысл формул. Нужно еще понять специфику. Несмотря на то, что по идее статья должна содержать все для воспроизведения, дохуя чего опускается. Даже код содержит не все.
Ща пошла ебанутая мода, мол, раз во фронтэнд можно за полгода вкатиться, значит высшее образование отменяется, хуяк-хуяк и ты специалист. На деле конечно нихуя не так. Даже шаря в матане на уровне техвуза, более-менее что-то из себя представлять ты будешь только через пару лет.
Матана мало, матан это просто базовая грамотность любого технаря, чисто чтобы понимать смысл формул. Нужно еще понять специфику. Несмотря на то, что по идее статья должна содержать все для воспроизведения, дохуя чего опускается. Даже код содержит не все.
Ща пошла ебанутая мода, мол, раз во фронтэнд можно за полгода вкатиться, значит высшее образование отменяется, хуяк-хуяк и ты специалист. На деле конечно нихуя не так. Даже шаря в матане на уровне техвуза, более-менее что-то из себя представлять ты будешь только через пару лет.
>>07699
Лечи башку нахуй
Что сказать то хотел?
Жс-формошлепу матан, как собаке пятая нога, он ему не через месяц, не через два года после вката не понадобится.
До седых мудей он будет натягивать один фреймворк на другой, склеивая это динамически типизированной хуйней.
Для этих обезьян максимум это лычка ПТУ,
И потолок зарплаты должен быть - работа за еду.
Лечи башку нахуй
>жс за 1.5 года, во отменяется
>даже шаря в матане будешь что-то представлять через пару лет
Что сказать то хотел?
Жс-формошлепу матан, как собаке пятая нога, он ему не через месяц, не через два года после вката не понадобится.
До седых мудей он будет натягивать один фреймворк на другой, склеивая это динамически типизированной хуйней.
Для этих обезьян максимум это лычка ПТУ,
И потолок зарплаты должен быть - работа за еду.
>>07708
Во дела. Стоило только упомянуть слово "фронтэнд" в посте, как в тред протекло это.
Во дела. Стоило только упомянуть слово "фронтэнд" в посте, как в тред протекло это.
>>07897
петух ты гнилостный короч
петух ты гнилостный короч
Почитал статьи про градиентный спуск. Там в примерах берут производную от функции ошибки типа х^2. А как берут производную от реальной ф-ии, которая похожа на рельеф местности, а не на кривую из учебников по математике?
Поясните на пальцах как предсказывать сезонный спрос?
у меня есть реальные многолетние данные потребления телефонных услуг по дням или неделям. Потребление сезонное и пропорционально спросу.
Есть какая-то готовая модель, которая находит многолетние коэффициенты и далее предсказывает значение с учетом скользящего среднего?
Я просто построил линейную регрессию по статье и охуел как это просто.
Можно так же просто разобраться с предсказанием спроса?
у меня есть реальные многолетние данные потребления телефонных услуг по дням или неделям. Потребление сезонное и пропорционально спросу.
Есть какая-то готовая модель, которая находит многолетние коэффициенты и далее предсказывает значение с учетом скользящего среднего?
Я просто построил линейную регрессию по статье и охуел как это просто.
Можно так же просто разобраться с предсказанием спроса?
Такой нищеёбский вопрос: надо купить ноут, недорого, до 50к, можно ли при таких данных ещё и соптимизировать его конфигурацию для занятий (естественно не сильно тяжёлым) машобом?
55 Кб, 700x466>>08032
Никогда не задумывался почему матанопетушня и нейродебилы такие нищие?
>предсказывать сезонный спрос
Никогда не задумывался почему матанопетушня и нейродебилы такие нищие?
>>08068
меня просто просят предсказывать сколько денег резервировать под услуги телефонии каждый месяц или пару недель. Ошибки почти никакой не будет, но начальство считает "метод ларька" тупым.
меня просто просят предсказывать сколько денег резервировать под услуги телефонии каждый месяц или пару недель. Ошибки почти никакой не будет, но начальство считает "метод ларька" тупым.
>>08071
Что делать, если я нищий студент и хочу в него вкатиться? Математику-то я и на некроноуте могу учить, а вот остальное...
Что делать, если я нищий студент и хочу в него вкатиться? Математику-то я и на некроноуте могу учить, а вот остальное...
>>08092
Я написал, что делать, лол, бери любой. Вкатиться в машоб можно и на железе десятилетней давности. Для нищих студентов google придумал colab. Поэтому бери любой ноут, при желании погонять простые нейронки - с дискретной видюхой nvidia, amd не бери. Главное это качество сборки, клавиатуры, экрана, время работы. В 50к это будет однозначно так себе железо. Зато оно тебе прослужит до тех пор, пока ты работу не найдешь.
А так, по-хорошему, у тебя должен быть сервер, жужжащий в углу, и либо dynamic dns, либо еще какая йоба для доступа через инет. Потому что ноуты это не апгрейдабельная хуита и точно не для нищих. Но это не для студентов, для студентов есть colab.
Я написал, что делать, лол, бери любой. Вкатиться в машоб можно и на железе десятилетней давности. Для нищих студентов google придумал colab. Поэтому бери любой ноут, при желании погонять простые нейронки - с дискретной видюхой nvidia, amd не бери. Главное это качество сборки, клавиатуры, экрана, время работы. В 50к это будет однозначно так себе железо. Зато оно тебе прослужит до тех пор, пока ты работу не найдешь.
А так, по-хорошему, у тебя должен быть сервер, жужжащий в углу, и либо dynamic dns, либо еще какая йоба для доступа через инет. Потому что ноуты это не апгрейдабельная хуита и точно не для нищих. Но это не для студентов, для студентов есть colab.
>>08677
Если ты про ARIMA-методы не знал, то нахуй ты вообще нужен? Кидай линк на тяночку, а после проваливай из треда. С такими овощами желания общаться нет.
Если ты про ARIMA-методы не знал, то нахуй ты вообще нужен? Кидай линк на тяночку, а после проваливай из треда. С такими овощами желания общаться нет.
>>08677
как найти ее ? )
как найти ее ? )
>>08092
Раз ты не можешь заработать 150-200к на компьютер для машоба, значит ты недостаточно хорошо умеешь программировать, и у тебя все равно не получится вкатиться. Так что для начала учись писать код.
>Что делать, если я нищий студент и хочу в него вкатиться?
Раз ты не можешь заработать 150-200к на компьютер для машоба, значит ты недостаточно хорошо умеешь программировать, и у тебя все равно не получится вкатиться. Так что для начала учись писать код.
53 Кб, 659x611>>08706
Вот поэтому.
На русском. Четвертая ссылка.
Далеко ходить не надо.
Раз ты не можешь даже такое нагуглить, то у меня просто слов нет.
> хули ты сразу не ответил
Вот поэтому.
На русском. Четвертая ссылка.
Далеко ходить не надо.
Раз ты не можешь даже такое нагуглить, то у меня просто слов нет.
>>1682444 →
Не поделишься моделькой для раздевания? Или хотя бы скажи откуда достал столько пар одетая<->не одетая. 7000 картинок с nude filter на Gelbooru?
https://gelbooru.com/index.php?page=post&s=list&tags=nude_filter
Не поделишься моделькой для раздевания? Или хотя бы скажи откуда достал столько пар одетая<->не одетая. 7000 картинок с nude filter на Gelbooru?
https://gelbooru.com/index.php?page=post&s=list&tags=nude_filter
>>08786
На хуй со своей шваброй иди.
На хуй со своей шваброй иди.
>>08802
Извини, бро, я не дам просто так плод своего годового труда. Он слишком дорого мне обходится. Это такой опус магнум обезьяннего труда, у которого нету конца и я бы продавал его за много денег.
Извини, бро, я не дам просто так плод своего годового труда. Он слишком дорого мне обходится. Это такой опус магнум обезьяннего труда, у которого нету конца и я бы продавал его за много денег.
>>08706
Потому что лично я не сталкивался, а погуглить ты сам можешь.
Главное в твоей задаче это не само предсказание, а доверительный интервал, который определяется исходя из стоимости ошибки. Не ебу может ли эта арима в это.
Потому что лично я не сталкивался, а погуглить ты сам можешь.
Главное в твоей задаче это не само предсказание, а доверительный интервал, который определяется исходя из стоимости ошибки. Не ебу может ли эта арима в это.
>>08820
Годового труда в каком смысле? Ты когда собирал картинки или ты год настраивал параметры обучения? Куда ушел этот год?
Сколько вычислительных часов ушло?
Годового труда в каком смысле? Ты когда собирал картинки или ты год настраивал параметры обучения? Куда ушел этот год?
Сколько вычислительных часов ушло?
>>08889
собирать по закоулкам интернетов- по часу минимум каждый день в среднем по два, последние дни- больше + время на тотальную сортировку по частям тела в кадре, по углу поворота тела, и это еще без чета размера грудей там, цвета кожи, а по хорошем следовало бы делать и так. Параметры- с нуля учился всему, тоже, методом тыка. До сих пор модель считаю недопиленной, потому что она "нормально" делает только прямой ракурс и еще кучу параметров следует подбирать. Сейчас проверяю, лучше ли работает на 5 слоев и 3 слоя skip connection чем на 4 слоя генератора и 14 skip. Последние 30 дней две карточки работаю без остановки. До этого работала одна, когда делал первые эксперименты. Сейчас обе карты делают каждая свою модель- одна бедер, другая грудей 512 на 512. Потом буду пилить еще один вариант модели единый для всего тела в 512. Это совсем не стремно тут писать, потому что это по сравнению с поиском изображений- менее 1% времени, да и тут мне давали советы. Я в вычислительных часах не меряю, не так много жрет это в электричестве для хобби. А вот время на поиск и сортировку- очень много.
собирать по закоулкам интернетов- по часу минимум каждый день в среднем по два, последние дни- больше + время на тотальную сортировку по частям тела в кадре, по углу поворота тела, и это еще без чета размера грудей там, цвета кожи, а по хорошем следовало бы делать и так. Параметры- с нуля учился всему, тоже, методом тыка. До сих пор модель считаю недопиленной, потому что она "нормально" делает только прямой ракурс и еще кучу параметров следует подбирать. Сейчас проверяю, лучше ли работает на 5 слоев и 3 слоя skip connection чем на 4 слоя генератора и 14 skip. Последние 30 дней две карточки работаю без остановки. До этого работала одна, когда делал первые эксперименты. Сейчас обе карты делают каждая свою модель- одна бедер, другая грудей 512 на 512. Потом буду пилить еще один вариант модели единый для всего тела в 512. Это совсем не стремно тут писать, потому что это по сравнению с поиском изображений- менее 1% времени, да и тут мне давали советы. Я в вычислительных часах не меряю, не так много жрет это в электричестве для хобби. А вот время на поиск и сортировку- очень много.
![[Leopard-Raws] Keijo!!!!!!!! - 10 RAW (BS11 1280x720 x264 A[...].png](https://2ch.hk//pr/src/1704037/15909247744871.png)
>>08990
Она у тебя только сиськи умеет? А задницы? Вон на твоем примере живот тоже огалила.
Зачем сортировку делал?
Для угла поворота: почему не берёшь свой же датасет и просто не поворачиваешь его на все 360 градусов с шагом по 10 градусов?
Какие видухи стоят? Сколько там памяти?
Сетка же обрабатывает не квадратные изображения? Что будет, если подать ей скриншот из аниме? Например те два кадра, которые я дал?
Ты пытался ей скармливать последовательные кадры? Взять вырезку на 5 секунд из аниме, сделать из неё примерно 150 кадров, отдать сети и собрать все кадры обратно?
Она у тебя только сиськи умеет? А задницы? Вон на твоем примере живот тоже огалила.
Зачем сортировку делал?
Для угла поворота: почему не берёшь свой же датасет и просто не поворачиваешь его на все 360 градусов с шагом по 10 градусов?
Какие видухи стоят? Сколько там памяти?
Сетка же обрабатывает не квадратные изображения? Что будет, если подать ей скриншот из аниме? Например те два кадра, которые я дал?
Ты пытался ей скармливать последовательные кадры? Взять вырезку на 5 секунд из аниме, сделать из неё примерно 150 кадров, отдать сети и собрать все кадры обратно?
>>08990
Ты реально думаешь, что у тебя УКРАДУТ ИДЕЮ, лол?
Самое умное, что бы ты мог сделать, это хайпануть и найти работу
>Это совсем не стремно тут писать
Ты реально думаешь, что у тебя УКРАДУТ ИДЕЮ, лол?
Самое умное, что бы ты мог сделать, это хайпануть и найти работу
>>09009
Ну мы про детали имплементации очевидно
Ну мы про детали имплементации очевидно
>>09008
для тебя это может и идея. Я вижу в старой версии дипнуда очень кривую реализацию.
>>09003
одна умеет сиськи другая письки. Умеет оче плохо по углам, вот тебе плохой пример после 120 поколений по 15к картинок каждое.
Сортировку не только по углу поворота изображения, а также по углу поворота тела в кадре. + угол с которого сделано изображение -сверху снизу посередине. В итоговой папке, где я храню отсортированные изображения- около 16 тысяч папок только со всеми рзветвлениями. Из 50к картинок для тренинга и там и там использую после ручной модерации, поворота повернутых к ровному углу и еще кое-чего- 15к.
для тебя это может и идея. Я вижу в старой версии дипнуда очень кривую реализацию.
>>09003
одна умеет сиськи другая письки. Умеет оче плохо по углам, вот тебе плохой пример после 120 поколений по 15к картинок каждое.
Сортировку не только по углу поворота изображения, а также по углу поворота тела в кадре. + угол с которого сделано изображение -сверху снизу посередине. В итоговой папке, где я храню отсортированные изображения- около 16 тысяч папок только со всеми рзветвлениями. Из 50к картинок для тренинга и там и там использую после ручной модерации, поворота повернутых к ровному углу и еще кое-чего- 15к.
7,3 Мб, 448x128>>09016
А зачем так много разветвлений. Когда твоей сети будут подавать рандомное изображение, она же не будет знать что ей подали. Вона как, с любого угла может.
Кстати, а ты кормил своей сети картинки без людей вообще? Я имею в виду фотки зданий, пустые пляжи и так далее. Одну и ту же картинку на вход и на выход, чтобы сеть видела, что иногда ничего не надо менять
А зачем так много разветвлений. Когда твоей сети будут подавать рандомное изображение, она же не будет знать что ей подали. Вона как, с любого угла может.
Кстати, а ты кормил своей сети картинки без людей вообще? Я имею в виду фотки зданий, пустые пляжи и так далее. Одну и ту же картинку на вход и на выход, чтобы сеть видела, что иногда ничего не надо менять
>>09024
Сколько весит пак? 40 гб? 50? Заархивируй (можешь с паролем) и залей куда-нибудь в облачное хранилище. Например на гугл драйв. От греха подальше
Сколько весит пак? 40 гб? 50? Заархивируй (можешь с паролем) и залей куда-нибудь в облачное хранилище. Например на гугл драйв. От греха подальше
>>09016
У тебя сеть умеет обрабатывать картинки без GPU? Первая монетизация, которая в голову приходит это сайт с подпиской доллара в $2-$5 в месяц. Сервер на Хецнере стоит 40-50 евро в месяц. 10-20 чуваков уже окупят. А внизу сайта "по предложениям обращаться сюда"
У тебя сеть умеет обрабатывать картинки без GPU? Первая монетизация, которая в голову приходит это сайт с подпиской доллара в $2-$5 в месяц. Сервер на Хецнере стоит 40-50 евро в месяц. 10-20 чуваков уже окупят. А внизу сайта "по предложениям обращаться сюда"
>>09016
Для меня ценно то, что ты архитектуру назвал, на саму идею поебать. А так понятно, что 99% твоей интеллектуальной собственности это датасет.
>для тебя это может и идея. Я вижу в старой версии дипнуда очень кривую реализацию.
Для меня ценно то, что ты архитектуру назвал, на саму идею поебать. А так понятно, что 99% твоей интеллектуальной собственности это датасет.
>>09025
да, есть и такие купальники, которые как две нитки, и такие которые открывают грудь и закрывают живот, например. Я скорее наоборот фильтровал чтобы обучение шло, а не кручение пустого места. На входе ведь все же будет то, что надо раздеть, а не пустое в порожнее перелить. Скорее да, чем нет, вобщем.
>>09026
Я про объем думал сразу. 80, причем сначала я приводил изображения к одному формату по глупости, уменьшая или увеличивая до 1400 пикселей по минимальной стороне. Надо было сохранять в оригинале. На гугл драйве только 15 гигов.
>>09031
да ты прямо читаешь мои мысли. Все будет по другому- дешевле и быстрее. Не хотел чего-то анонсить, пока не начнет работать нормально.
>>09034
Так, по архитектуре. Как видишь я до сих пор кручу сутки на пролет модель и ищу новые места, где можно быстро нахапать изображения, чтобы не оверфидить модель, да и вообще разнообразие не мешает. Так. архитектура- я еще не пришел к выводу, как это делать лучше, а если бы и пришел, может и не сказал бы. Пробую по разному слои, как видишь. У меня есть очень хорошая идея по поводу того, как это должно выглядеть в конце, но я вам эту идею не дам.
Чем убог дипнуд- там запускается два раза модель- первый раз она помечает зеленкой те места, где нужно что-то дорисовать, вторая сеть рисует поверх зеленки стандартыне сиськи. Делалось это давно, разрешение 512- мне кажется маленьким. А если в качестве входа используется одежда, то сеть, обученная распознавать ее, будет делать результат лучше, чем просто используя зеленку, смекаешь? Тень не теряется. Может быть получается, что я пытаюсь впихнуть невпихуемое в 8гб 1080 карточки, но я же по фану. Если ты читал ранее,то разрешение 256 на 256 в итоге получалось очень хорошо и быстро. Вот сижу и жду, что там будет в конце на 5 слоях с 512 на 512. Вот тебе еще примеры 512 на 512 на 4 слоя 14 скипов. Плохой и хороший.
>>09034
я вообще питон не знаю, лол., там 0.00001 процента интеллектуального труда.
да, есть и такие купальники, которые как две нитки, и такие которые открывают грудь и закрывают живот, например. Я скорее наоборот фильтровал чтобы обучение шло, а не кручение пустого места. На входе ведь все же будет то, что надо раздеть, а не пустое в порожнее перелить. Скорее да, чем нет, вобщем.
>>09026
Я про объем думал сразу. 80, причем сначала я приводил изображения к одному формату по глупости, уменьшая или увеличивая до 1400 пикселей по минимальной стороне. Надо было сохранять в оригинале. На гугл драйве только 15 гигов.
>>09031
да ты прямо читаешь мои мысли. Все будет по другому- дешевле и быстрее. Не хотел чего-то анонсить, пока не начнет работать нормально.
>>09034
Так, по архитектуре. Как видишь я до сих пор кручу сутки на пролет модель и ищу новые места, где можно быстро нахапать изображения, чтобы не оверфидить модель, да и вообще разнообразие не мешает. Так. архитектура- я еще не пришел к выводу, как это делать лучше, а если бы и пришел, может и не сказал бы. Пробую по разному слои, как видишь. У меня есть очень хорошая идея по поводу того, как это должно выглядеть в конце, но я вам эту идею не дам.
Чем убог дипнуд- там запускается два раза модель- первый раз она помечает зеленкой те места, где нужно что-то дорисовать, вторая сеть рисует поверх зеленки стандартыне сиськи. Делалось это давно, разрешение 512- мне кажется маленьким. А если в качестве входа используется одежда, то сеть, обученная распознавать ее, будет делать результат лучше, чем просто используя зеленку, смекаешь? Тень не теряется. Может быть получается, что я пытаюсь впихнуть невпихуемое в 8гб 1080 карточки, но я же по фану. Если ты читал ранее,то разрешение 256 на 256 в итоге получалось очень хорошо и быстро. Вот сижу и жду, что там будет в конце на 5 слоях с 512 на 512. Вот тебе еще примеры 512 на 512 на 4 слоя 14 скипов. Плохой и хороший.
>>09034
я вообще питон не знаю, лол., там 0.00001 процента интеллектуального труда.
>>09025
и еще- подразумевается, что она все же будет знать, мы не будем фидить сети на сиськи жепы и наоборот. И еще -выучить что такое конь- сетка может. Но, потом к коню она присовокупит и Путина верхом. Я все же стараюсь создать не стольк универсальный инструмент, а такой, котоырй бы работал четко, даже с ручным вводом параметров типа с какого угла мы смотрим. Универсальное- это самое плохое для выполнения какого-то конкретного задания.
и еще- подразумевается, что она все же будет знать, мы не будем фидить сети на сиськи жепы и наоборот. И еще -выучить что такое конь- сетка может. Но, потом к коню она присовокупит и Путина верхом. Я все же стараюсь создать не стольк универсальный инструмент, а такой, котоырй бы работал четко, даже с ручным вводом параметров типа с какого угла мы смотрим. Универсальное- это самое плохое для выполнения какого-то конкретного задания.
>>09052
Оплати один месяц гугл драйва и залей туда всё. После того как месяц кончится, у тебя будет выделено 80 гб из 15 гб, ты не сможешь заливать новое, но всё старое останется, это никто не будет удалять. Я так сделал с куском данных на 500 гб. Уже 8 лет там лежат
Ну и да, я вот по 750 рублей за 2 ТБ гдрайв плачу. Мало ли что: а тут всё сохранено
Оплати один месяц гугл драйва и залей туда всё. После того как месяц кончится, у тебя будет выделено 80 гб из 15 гб, ты не сможешь заливать новое, но всё старое останется, это никто не будет удалять. Я так сделал с куском данных на 500 гб. Уже 8 лет там лежат
Ну и да, я вот по 750 рублей за 2 ТБ гдрайв плачу. Мало ли что: а тут всё сохранено
>>09059
Чувак, у тебя должна быть полная автоматизация
> котоырй бы работал четко, даже с ручным вводом параметров типа с какого угла мы смотрим
Чувак, у тебя должна быть полная автоматизация
>>09062
во-первых не должна никому ничего.
во вторых- это можно реализовать очень просто, сделав каскад сетей, чтобы первая определяла позу персонажа, аки любимый ваш цифровой гулаг, и уже направляла к нужной сетке. Не зря же я сортирую все файлы в 16 к папок по углу поворота тела и по углу с которого мы смотрим, смекаешь? Но я пока что не хочу этим заниматься, всему свое время. Если бы существовал алгоритм для аниме-персонажей по определению поз, как определение скелета человека, то эту информацию тоже можно было бы использовать, но такого пока что нету, только 3д людишки.
>>09060
хм, спасибо, как сделаю последнюю ревизию, отсортирую еще 3к картинок по папкам в течении недели- возможно залью, если не забуду.
во-первых не должна никому ничего.
во вторых- это можно реализовать очень просто, сделав каскад сетей, чтобы первая определяла позу персонажа, аки любимый ваш цифровой гулаг, и уже направляла к нужной сетке. Не зря же я сортирую все файлы в 16 к папок по углу поворота тела и по углу с которого мы смотрим, смекаешь? Но я пока что не хочу этим заниматься, всему свое время. Если бы существовал алгоритм для аниме-персонажей по определению поз, как определение скелета человека, то эту информацию тоже можно было бы использовать, но такого пока что нету, только 3д людишки.
>>09060
хм, спасибо, как сделаю последнюю ревизию, отсортирую еще 3к картинок по папкам в течении недели- возможно залью, если не забуду.
>>09052
Я бы больше и не делал, а остальное добивал уже с помощью отдельной super resolution сетки. Ну либо поверх уже натренированой 256х256 в духе progressive gan добавил бы новый слой. А начал бы с идеальной работы 128х128, для быстрых итераций. Потому что если она сосок не рисует на 128х128, то и на 512х512 он не появится, не из чего
>Если ты читал ранее,то разрешение 256 на 256 в итоге получалось очень хорошо и быстро
Я бы больше и не делал, а остальное добивал уже с помощью отдельной super resolution сетки. Ну либо поверх уже натренированой 256х256 в духе progressive gan добавил бы новый слой. А начал бы с идеальной работы 128х128, для быстрых итераций. Потому что если она сосок не рисует на 128х128, то и на 512х512 он не появится, не из чего
>>09107
я знаю, что есть варианты, когда включают по одному слою, замораживая предыдущие.Так, а что если... если я буду включать по новому слою в pix2pixhd, не замораживая предыдущий и увеличивая размер изображения с 128 3 слоя -256 4 слоя-512 5 слоев (я не умею прогать и не хочу лезть каждый разв код, хотя можно было бы впринципе..., а в самом pix2pix такой функции заморозки нету же?!)... Надо попробовать.
По поводу надстройки супер резолюшен- в какой-то момент я думал, что можно результат работы одной сетки обрабатывать еще одной, натренированной превращать выход первой сетки в оригинал, так сказать разбить сетку на два слоя. Это немного не то, но похоже. А по поводу разрешения- я не хочу терять информацию, хочу нормально делать.
я знаю, что есть варианты, когда включают по одному слою, замораживая предыдущие.Так, а что если... если я буду включать по новому слою в pix2pixhd, не замораживая предыдущий и увеличивая размер изображения с 128 3 слоя -256 4 слоя-512 5 слоев (я не умею прогать и не хочу лезть каждый разв код, хотя можно было бы впринципе..., а в самом pix2pix такой функции заморозки нету же?!)... Надо попробовать.
По поводу надстройки супер резолюшен- в какой-то момент я думал, что можно результат работы одной сетки обрабатывать еще одной, натренированной превращать выход первой сетки в оригинал, так сказать разбить сетку на два слоя. Это немного не то, но похоже. А по поводу разрешения- я не хочу терять информацию, хочу нормально делать.
>>09118
В SR сетку можно на вход давать не 3 RGB канала, а 6, 3 с голым изображением и мутную, и 3 с оригиналом. Скорее всего она обучится комбинировать в единое четкое голое изображение.
Вообще моя мысль в том, что прямо работает shit in -> shit out. Если у тебя сетка 128х128 выдает плохой результат на своем разрешении, на более высоком разрешении этот результат будет просто красиво оформляться, дорисовывая детали поверх кривизны. Поэтому имеет смысл добиться идеального результата на низком разрешении и уже потом думать, как это отмасштабировать. Если у тебя 256х256 идеально работает, к этому нет вопросов.
>А по поводу разрешения- я не хочу терять информацию, хочу нормально делать.
В SR сетку можно на вход давать не 3 RGB канала, а 6, 3 с голым изображением и мутную, и 3 с оригиналом. Скорее всего она обучится комбинировать в единое четкое голое изображение.
Вообще моя мысль в том, что прямо работает shit in -> shit out. Если у тебя сетка 128х128 выдает плохой результат на своем разрешении, на более высоком разрешении этот результат будет просто красиво оформляться, дорисовывая детали поверх кривизны. Поэтому имеет смысл добиться идеального результата на низком разрешении и уже потом думать, как это отмасштабировать. Если у тебя 256х256 идеально работает, к этому нет вопросов.
>>09148
запускаю 128 на 128 3 слоя кароче, буду потом добавлять разрешение и слои, и будь что будет. Ниче не понял что ты там про sr пишешь, пиши как для дебича.
запускаю 128 на 128 3 слоя кароче, буду потом добавлять разрешение и слои, и будь что будет. Ниче не понял что ты там про sr пишешь, пиши как для дебича.
вопрос оффтопный:
кто знает как устроен отбор на интервью в ШАД в последние годы?
раньше я так понимаю на третий этап набирали всех кто решает три или более задач в письменном экзамене.
но сейчас к нему добавили контест.
как учитывается результат контеста при приёме, насколько сильно?
кто знает как устроен отбор на интервью в ШАД в последние годы?
раньше я так понимаю на третий этап набирали всех кто решает три или более задач в письменном экзамене.
но сейчас к нему добавили контест.
как учитывается результат контеста при приёме, насколько сильно?
>>09171
1. Меняешь число входных каналов с 3 до 6
2. Готовишь датасет:
на вход две картинки, одна 128х128 апсейленная в 4 раза, голая (мутная из нейронки 128х128)
вторая 512х512 одетый оригинал
на выходе голый оригинал
Далее средствами питона из 2-х RGB картинок делаешь одну RGBRGB картинку. Мне лень писать, как это сделать, сорян, но так можно.
1. Меняешь число входных каналов с 3 до 6
2. Готовишь датасет:
на вход две картинки, одна 128х128 апсейленная в 4 раза, голая (мутная из нейронки 128х128)
вторая 512х512 одетый оригинал
на выходе голый оригинал
Далее средствами питона из 2-х RGB картинок делаешь одну RGBRGB картинку. Мне лень писать, как это сделать, сорян, но так можно.
>>09225
а не предлагаешь ли ты потом делать вручную дополнительно разметку тела под моделью? Ведь входные значения будут только 3 канала с одеждой, а где модели еще 3 канала с примерным изображение наготы брать? Вручную размечать не хочется.
а не предлагаешь ли ты потом делать вручную дополнительно разметку тела под моделью? Ведь входные значения будут только 3 канала с одеждой, а где модели еще 3 канала с примерным изображение наготы брать? Вручную размечать не хочется.
>>09315
Нет, 3 канала это входная картинка, еще 3 канала это выхлоп твоей low res GAN 128x128
Как вариант можно попробовать
Нет, 3 канала это входная картинка, еще 3 канала это выхлоп твоей low res GAN 128x128
Как вариант можно попробовать
>>09370
а понял. 128 нейронка работает хорошо, ее ресайзим и присовокупляем ко входу, чтобы получить от нее хорошие признаки в хайрезе.
а понял. 128 нейронка работает хорошо, ее ресайзим и присовокупляем ко входу, чтобы получить от нее хорошие признаки в хайрезе.
>>08134
Окей, а из ноута за 90-100к можно какую-нибудь пользу выжать для машоба или всё равно нет?
Окей, а из ноута за 90-100к можно какую-нибудь пользу выжать для машоба или всё равно нет?
>>09451
Ты в палатке живешь и каждое утро в маке заряжать его думаешь?
Ты в палатке живешь и каждое утро в маке заряжать его думаешь?
>>09451
Покупай самый дешевый и тренируй на коллабе. Иначе залипнешь в игрулях.
Покупай самый дешевый и тренируй на коллабе. Иначе залипнешь в игрулях.
Что с макабой? Уже второй раз тред помечается как удаленный, а потом восстанавливается
>>09531
256 на 256 пойдет, по крайней мере можно будет некоторые параметры уменьшить, но это будет долго учиться в любом случае
256 на 256 пойдет, по крайней мере можно будет некоторые параметры уменьшить, но это будет долго учиться в любом случае
>>09531
Я с такой начинал в 2015, лол. Теорию и фреймворки осваивать можно, но тренировать на такой ооочень сложно.
Я с такой начинал в 2015, лол. Теорию и фреймворки осваивать можно, но тренировать на такой ооочень сложно.
>>09451
Если у тебя есть 100к, ты можешь купить хороший бук с 8 часами автономной работы за 60к, а за 40к собрать ATX-корпус с 1080, подключить его к интернету и работать из любой точки мира на этом самом буке, впоследствии пару раз заменив видюху на более новое поколение. Если не выебываться, этой конфигурации хватит на много лет вперед, если разъем для видеокарт не поменяют. Можно даже не ставить на рабочую машину линукс, оставив его только на этом сервере.
А покупать ноут со впаянной "дорогой видюхой" это так себе решение, и по деньгам, и по производительности (80к за какой-нибудь сраный сетап с 1660), и по долговременности вложений, и по удобству. Запустил обучение и вместо того, чтобы лежать на кровати и дрочить, пока огромный кулер тихо охлажает эту байду, которая стоит где-то на балконе, твой ноут-утюг будет блядски греться и шуметь мелкими кулерами, недовольно реагируя на попытки запустить hd видео на ютубе. И в конце концов в его блоке питания что-то сгорит, а пластмасса погнется от жары, потому что они не рассчитаны на работу 24/7.
Если у тебя есть 100к, ты можешь купить хороший бук с 8 часами автономной работы за 60к, а за 40к собрать ATX-корпус с 1080, подключить его к интернету и работать из любой точки мира на этом самом буке, впоследствии пару раз заменив видюху на более новое поколение. Если не выебываться, этой конфигурации хватит на много лет вперед, если разъем для видеокарт не поменяют. Можно даже не ставить на рабочую машину линукс, оставив его только на этом сервере.
А покупать ноут со впаянной "дорогой видюхой" это так себе решение, и по деньгам, и по производительности (80к за какой-нибудь сраный сетап с 1660), и по долговременности вложений, и по удобству. Запустил обучение и вместо того, чтобы лежать на кровати и дрочить, пока огромный кулер тихо охлажает эту байду, которая стоит где-то на балконе, твой ноут-утюг будет блядски греться и шуметь мелкими кулерами, недовольно реагируя на попытки запустить hd видео на ютубе. И в конце концов в его блоке питания что-то сгорит, а пластмасса погнется от жары, потому что они не рассчитаны на работу 24/7.
>>09666
Долго это сколько? Нужно 100+ поколений обсчета, так? Сколько уходит на одно поколение с, допустим, 5000 картинками на входе?
После какого поколения можно паузить сеть и посмотреть до чего она уже дошла?
Долго это сколько? Нужно 100+ поколений обсчета, так? Сколько уходит на одно поколение с, допустим, 5000 картинками на входе?
После какого поколения можно паузить сеть и посмотреть до чего она уже дошла?
>>09779
смотреть можно по ходу тренировки. Предположу, что датасет фасады твой корч будет обрабатывать несколько дней. Важно количество ядер CUDA.
смотреть можно по ходу тренировки. Предположу, что датасет фасады твой корч будет обрабатывать несколько дней. Важно количество ядер CUDA.
>>09787
https://www.nvidia.com/ru-ru/nvem4/geforce-gtx-970/#pdpContent=2
1664 ядер CUDA
На все 100 поколение или на одно поколение? Если на все 100, то это просто идеальная скорость. Эту штуку ведь можно паузить, а потом стартовать с того же места?
https://www.nvidia.com/ru-ru/nvem4/geforce-gtx-970/#pdpContent=2
1664 ядер CUDA
> обрабатывать несколько дней
На все 100 поколение или на одно поколение? Если на все 100, то это просто идеальная скорость. Эту штуку ведь можно паузить, а потом стартовать с того же места?
>>09809
да, можно продолжать. Ядер много, быстрее будет чем 1 день, но на 4 гб это только лоу рез, (зависит от сложности архитектуры сетки).
да, можно продолжать. Ядер много, быстрее будет чем 1 день, но на 4 гб это только лоу рез, (зависит от сложности архитектуры сетки).
>>09852
Сделай свои
Сделай свои
Как правильно распараллеливать обучение неиронки? Допустим, я параллельно буду тренировать на нескольких пакетах данных, потом для каждого пакета найду среднее значение изменения весов, потом сложу средние значения пакетов, поделю на количество пакетов и плюсану к весам. Это правильный подход, или можно сделать лучше?
>>09966
Распараллеливание универсальная задача. Простую неиронку достаточно просто написать, потом механизм передачи данных и изменения весов менять не обязательно.
Распараллеливание универсальная задача. Простую неиронку достаточно просто написать, потом механизм передачи данных и изменения весов менять не обязательно.
>>09975
Потому что это вообще не проблема.
Пусть нейронка это y=f(x, w), где x и y - вход, w - веса
Обучаешь ты ее, минимизируя функцию l = l(y, f(x,w)), которая возращает скаляр.
Для этого ты находишь градиент dl/dw.
Далее ты предлагаешь вместо этого находить
l1 = l(y1, f(x1,w))
l2 = l(y2, f(x2,w))
l3 = l(y2, f(x3,w))
Далее найти dl1/dw, dl2/dw, dl3/dw, после этого посчитать (dl1/dw + dl2/dw + dl3/dw)/3, а затем я запутался, что ты хочешь, находя средние значения пакетов, это тебе не нужно уже. Ты просто делаешь w = w - alpha (dl1/dw + dl2/dw + dl3/dw)/3 и все.
Так делать можно, но на самом деле это то же самое, что найти градиент у
l_parallel = l(y1, f(x1,w))/3+l(y3, f(x3,w))/3+l(y3, f(x3,w))/3
И это более правильный путь, ты просто записываешь нужную тебе целевую функцию, и у нее уже находишь градиент, а не ебешь себе мозги с тем, что ты написал в посте. Фреймворк тебе найдет этот градиент автоматически.
Но и это в целом неправильно, потому что у тебя сама нейронка должна уметь пропускать через себя сразу все примеры и выдавать ответ, то есть
l = l([y1; y2; y3], f([x1; x2; x3], w))
И так делает любой фреймворк. Потому что параллелить удобнее послойно, а не целыми сетями. А написать параллельное перемножение стопки матриц не сложнее, чем перемножение одной пары матриц.
Функция l при этом усредняет результат, чтобы на выходе у нее был скаляр.
Потому что это вообще не проблема.
Пусть нейронка это y=f(x, w), где x и y - вход, w - веса
Обучаешь ты ее, минимизируя функцию l = l(y, f(x,w)), которая возращает скаляр.
Для этого ты находишь градиент dl/dw.
Далее ты предлагаешь вместо этого находить
l1 = l(y1, f(x1,w))
l2 = l(y2, f(x2,w))
l3 = l(y2, f(x3,w))
Далее найти dl1/dw, dl2/dw, dl3/dw, после этого посчитать (dl1/dw + dl2/dw + dl3/dw)/3, а затем я запутался, что ты хочешь, находя средние значения пакетов, это тебе не нужно уже. Ты просто делаешь w = w - alpha (dl1/dw + dl2/dw + dl3/dw)/3 и все.
Так делать можно, но на самом деле это то же самое, что найти градиент у
l_parallel = l(y1, f(x1,w))/3+l(y3, f(x3,w))/3+l(y3, f(x3,w))/3
И это более правильный путь, ты просто записываешь нужную тебе целевую функцию, и у нее уже находишь градиент, а не ебешь себе мозги с тем, что ты написал в посте. Фреймворк тебе найдет этот градиент автоматически.
Но и это в целом неправильно, потому что у тебя сама нейронка должна уметь пропускать через себя сразу все примеры и выдавать ответ, то есть
l = l([y1; y2; y3], f([x1; x2; x3], w))
И так делает любой фреймворк. Потому что параллелить удобнее послойно, а не целыми сетями. А написать параллельное перемножение стопки матриц не сложнее, чем перемножение одной пары матриц.
Функция l при этом усредняет результат, чтобы на выходе у нее был скаляр.
Почему для ML-работы над изображением используется RGB пространство? HSV же намного интуитивнее
>>10067
Вот я и говорю, что будет последней проблемой. Это производная, а если ты этого не понял, значит матана у тебя не было.
Вот платиновая ссылка https://cs231n.github.io/optimization-2/ , изучай
>Скаляр делишь на веса
Вот я и говорю, что будет последней проблемой. Это производная, а если ты этого не понял, значит матана у тебя не было.
Вот платиновая ссылка https://cs231n.github.io/optimization-2/ , изучай
>>10046
YUV я использовал, потому что там можно эксплуатировать человеческую особенность, что к изменениям яркости человек чувствительнее, поэтому для U и V можно считать все в половинном разрешении, прямо как аналоговый телевизор.
HSV не представляю, нахуя. На наглядность компьютерам похуй. Нейронки же вообще первым же слоем твои 3 цвета распидорасят в 16-32-64 "цвета", и им похуй с чем работать, можешь попробовать HSV кормить, хуже вряд ли будет, как и лучше.
YUV я использовал, потому что там можно эксплуатировать человеческую особенность, что к изменениям яркости человек чувствительнее, поэтому для U и V можно считать все в половинном разрешении, прямо как аналоговый телевизор.
HSV не представляю, нахуя. На наглядность компьютерам похуй. Нейронки же вообще первым же слоем твои 3 цвета распидорасят в 16-32-64 "цвета", и им похуй с чем работать, можешь попробовать HSV кормить, хуже вряд ли будет, как и лучше.
>>10037
Как такой метод обучения называется? В градиентном спуске используется обратное распространение ошибки, те мы ищем разницу между выходным значением и тем, которое требуется, и через веса распространяем ее на предыдущие слои, по крайней мере, я такой способ делаю. Для каждого слоя получаются свои коэффициенты, к тому же, если какие-то веса на каких-то слоях заморожены, мы не имеем права их менять.
Как я понял, ты предлагаешь искать общее значение производных функций ошибки каждого слоя в отдельности и потом на него менять веса всех слоев, но не понимаю, как это делать, тем более параллельно, когда выход l1 служит для входа l2 и тд.
Как такой метод обучения называется? В градиентном спуске используется обратное распространение ошибки, те мы ищем разницу между выходным значением и тем, которое требуется, и через веса распространяем ее на предыдущие слои, по крайней мере, я такой способ делаю. Для каждого слоя получаются свои коэффициенты, к тому же, если какие-то веса на каких-то слоях заморожены, мы не имеем права их менять.
Как я понял, ты предлагаешь искать общее значение производных функций ошибки каждого слоя в отдельности и потом на него менять веса всех слоев, но не понимаю, как это делать, тем более параллельно, когда выход l1 служит для входа l2 и тд.
Нейрон - это кольцо.
https://ru.wikipedia.org/wiki/Кольцо_(математика)
https://ru.wikipedia.org/wiki/Кольцо_(математика)
>>10213
Яйцо
Яйцо
>>10188
Это и есть градиентный спуск в более удобных обозначениях, очищенных от веков поиска, говна, пота и крови дидов.
Нейронка - это ПРОСТО функция многих переменных.
Целевая функия (loss) - это тоже ПРОСТО функция многих переменных, но которая всегда возвращает скаляр.
Градиентный спуск - это w_new = w_old - alpha градиент_l_по_w
Обратное распространение ошибки - это ПРОСТО школьное правило (f(g(x))'=f'(g(x)) g'(x)
В случае персептрона у тебя f(x,w)=g(x,w)=w@x, где @ - произведение матрицы на вектор
Соответственно f'(x,w)=g'(x, w)=x'@
В случае персептрона, который может принимать твой "пакет" из стопки векторов (aka матрицы длиной с твой вектор и высотой с размер твоего пакета) [x1 x2 x3] у тебя будет просто
f([x1 x2 x3],w)=g([x1 x2 x3],w)=[w@x1 w@x2 w@x3]
f'(x,w)=g'(x, w)=тоже чему-то равно
То есть принял на вход стопку, выдал на выход стопку. С градиентом то же самое, принял сразу кучу входных данных, выдал сразу кучу входных данных.
Двуслойный персептрон это f'(g(x)) g'(x) - то есть видно, что порядок вычислений у тебя это
t1 = g'(x)
t2 = g(x)
t3 = f'(t2)
ответ = t1t3
Как видно, чтобы вычислить f, тебе нужно вычислить g. Поэтому это и называется обратным проходом - ты большую сложную функцию вида f(g(h(yoba(x)))) раскручиваешь с конца в начала.
Обратным распространением и делать. Допустим у тебя лосс это L2, то есть
l(x,y)=mean((x-y)^2)
Где ты сначала вычитаешь выходной вектор из образца, возводишь разницу в квадрат, а потом находишь среднее. Здесь может быть любой другой лосс, сигмоид, softmax, что хочешь.
Тогда для "пакета" ты хочешь усреднять
l([x1 x2 x3],[y1 y2 y3])=(sum(x1-y1)^2 + sum(x2-y2)^2 + sum(x3-y3)^2)/3 - примерно то, что ты себе представлял
Какой градиент у этой байды? Можешь вывести сам, но я воспользуюсь http://www.matrixcalculus.org/ и получу, что
l'(x,y) по x = 2 mean(x1-y1) + 2 mean(x2-y2) + 2 mean(x2-y2)
Тогда итоговая формула это - l(нейронка(x, w), y). Проходим по нейронке, получаем результат, подставляем в l, получаем число.
В параллельном случае это l(нейронка([x1 x2 x3], w), [y1 y2 y3]) - нихуя особо не изменилось на самом деле, так как параллельность закодирована в каждом слое.
Применяя chain rule
l'(нейронка(x), y)=l'(нейронка(x),y)нейронка'(x), где ты вычисляешь сначала
1. нейронка(x, w)
2. нейронка'(x, w) по w (здесь chain rule нужно применять рекурсивно)
3. l'(нейронка(x,w),y)*нейронка'(x,w)
Так как все это делать вручную ебань, люди представляют нейронки в виде вычислительного графа, по которому сначала идет прямой проход, и собираются все слой(x), а потом делается обратный проход и собираются все слой'(x) с помощью chain rule. А после этого, как мы вычислили градиент для каждого из весов, можно пройтись и отапдейтить все веса. Поэтому смысла все это хардкодить я не вижу. Более хорошим специалистом это тебя не сделает. Гораздо эффективнее с помощью ручки и бумажки освоить matrix calculus и понять, например, какая размерность у градиента функции многих переменных, чему равен градиент свертки, какая у него размерность, и так далее.
>Как такой метод обучения называется
Это и есть градиентный спуск в более удобных обозначениях, очищенных от веков поиска, говна, пота и крови дидов.
Нейронка - это ПРОСТО функция многих переменных.
Целевая функия (loss) - это тоже ПРОСТО функция многих переменных, но которая всегда возвращает скаляр.
Градиентный спуск - это w_new = w_old - alpha градиент_l_по_w
Обратное распространение ошибки - это ПРОСТО школьное правило (f(g(x))'=f'(g(x)) g'(x)
В случае персептрона у тебя f(x,w)=g(x,w)=w@x, где @ - произведение матрицы на вектор
Соответственно f'(x,w)=g'(x, w)=x'@
В случае персептрона, который может принимать твой "пакет" из стопки векторов (aka матрицы длиной с твой вектор и высотой с размер твоего пакета) [x1 x2 x3] у тебя будет просто
f([x1 x2 x3],w)=g([x1 x2 x3],w)=[w@x1 w@x2 w@x3]
f'(x,w)=g'(x, w)=тоже чему-то равно
То есть принял на вход стопку, выдал на выход стопку. С градиентом то же самое, принял сразу кучу входных данных, выдал сразу кучу входных данных.
Двуслойный персептрон это f'(g(x)) g'(x) - то есть видно, что порядок вычислений у тебя это
t1 = g'(x)
t2 = g(x)
t3 = f'(t2)
ответ = t1t3
Как видно, чтобы вычислить f, тебе нужно вычислить g. Поэтому это и называется обратным проходом - ты большую сложную функцию вида f(g(h(yoba(x)))) раскручиваешь с конца в начала.
>но не понимаю, как это делать, тем более параллельно, когда выход l1 служит для входа l2 и тд.
Обратным распространением и делать. Допустим у тебя лосс это L2, то есть
l(x,y)=mean((x-y)^2)
Где ты сначала вычитаешь выходной вектор из образца, возводишь разницу в квадрат, а потом находишь среднее. Здесь может быть любой другой лосс, сигмоид, softmax, что хочешь.
Тогда для "пакета" ты хочешь усреднять
l([x1 x2 x3],[y1 y2 y3])=(sum(x1-y1)^2 + sum(x2-y2)^2 + sum(x3-y3)^2)/3 - примерно то, что ты себе представлял
Какой градиент у этой байды? Можешь вывести сам, но я воспользуюсь http://www.matrixcalculus.org/ и получу, что
l'(x,y) по x = 2 mean(x1-y1) + 2 mean(x2-y2) + 2 mean(x2-y2)
Тогда итоговая формула это - l(нейронка(x, w), y). Проходим по нейронке, получаем результат, подставляем в l, получаем число.
В параллельном случае это l(нейронка([x1 x2 x3], w), [y1 y2 y3]) - нихуя особо не изменилось на самом деле, так как параллельность закодирована в каждом слое.
Применяя chain rule
l'(нейронка(x), y)=l'(нейронка(x),y)нейронка'(x), где ты вычисляешь сначала
1. нейронка(x, w)
2. нейронка'(x, w) по w (здесь chain rule нужно применять рекурсивно)
3. l'(нейронка(x,w),y)*нейронка'(x,w)
Так как все это делать вручную ебань, люди представляют нейронки в виде вычислительного графа, по которому сначала идет прямой проход, и собираются все слой(x), а потом делается обратный проход и собираются все слой'(x) с помощью chain rule. А после этого, как мы вычислили градиент для каждого из весов, можно пройтись и отапдейтить все веса. Поэтому смысла все это хардкодить я не вижу. Более хорошим специалистом это тебя не сделает. Гораздо эффективнее с помощью ручки и бумажки освоить matrix calculus и понять, например, какая размерность у градиента функции многих переменных, чему равен градиент свертки, какая у него размерность, и так далее.
>>10188
Это и есть градиентный спуск в более удобных обозначениях, очищенных от веков поиска, говна, пота и крови дидов.
Нейронка - это ПРОСТО функция многих переменных.
Целевая функия (loss) - это тоже ПРОСТО функция многих переменных, но которая всегда возвращает скаляр.
Градиентный спуск - это w_new = w_old - alpha градиент_l_по_w
Обратное распространение ошибки - это ПРОСТО школьное правило (f(g(x))'=f'(g(x)) g'(x)
В случае персептрона у тебя f(x,w)=g(x,w)=w@x, где @ - произведение матрицы на вектор
Соответственно f'(x,w)=g'(x, w)=x'@
В случае персептрона, который может принимать твой "пакет" из стопки векторов (aka матрицы длиной с твой вектор и высотой с размер твоего пакета) [x1 x2 x3] у тебя будет просто
f([x1 x2 x3],w)=g([x1 x2 x3],w)=[w@x1 w@x2 w@x3]
f'(x,w)=g'(x, w)=тоже чему-то равно
То есть принял на вход стопку, выдал на выход стопку. С градиентом то же самое, принял сразу кучу входных данных, выдал сразу кучу входных данных.
Двуслойный персептрон это f'(g(x)) g'(x) - то есть видно, что порядок вычислений у тебя это
t1 = g'(x)
t2 = g(x)
t3 = f'(t2)
ответ = t1t3
Как видно, чтобы вычислить f, тебе нужно вычислить g. Поэтому это и называется обратным проходом - ты большую сложную функцию вида f(g(h(yoba(x)))) раскручиваешь с конца в начала.
Обратным распространением и делать. Допустим у тебя лосс это L2, то есть
l(x,y)=mean((x-y)^2)
Где ты сначала вычитаешь выходной вектор из образца, возводишь разницу в квадрат, а потом находишь среднее. Здесь может быть любой другой лосс, сигмоид, softmax, что хочешь.
Тогда для "пакета" ты хочешь усреднять
l([x1 x2 x3],[y1 y2 y3])=(sum(x1-y1)^2 + sum(x2-y2)^2 + sum(x3-y3)^2)/3 - примерно то, что ты себе представлял
Какой градиент у этой байды? Можешь вывести сам, но я воспользуюсь http://www.matrixcalculus.org/ и получу, что
l'(x,y) по x = 2 mean(x1-y1) + 2 mean(x2-y2) + 2 mean(x2-y2)
Тогда итоговая формула это - l(нейронка(x, w), y). Проходим по нейронке, получаем результат, подставляем в l, получаем число.
В параллельном случае это l(нейронка([x1 x2 x3], w), [y1 y2 y3]) - нихуя особо не изменилось на самом деле, так как параллельность закодирована в каждом слое.
Применяя chain rule
l'(нейронка(x), y)=l'(нейронка(x),y)нейронка'(x), где ты вычисляешь сначала
1. нейронка(x, w)
2. нейронка'(x, w) по w (здесь chain rule нужно применять рекурсивно)
3. l'(нейронка(x,w),y)*нейронка'(x,w)
Так как все это делать вручную ебань, люди представляют нейронки в виде вычислительного графа, по которому сначала идет прямой проход, и собираются все слой(x), а потом делается обратный проход и собираются все слой'(x) с помощью chain rule. А после этого, как мы вычислили градиент для каждого из весов, можно пройтись и отапдейтить все веса. Поэтому смысла все это хардкодить я не вижу. Более хорошим специалистом это тебя не сделает. Гораздо эффективнее с помощью ручки и бумажки освоить matrix calculus и понять, например, какая размерность у градиента функции многих переменных, чему равен градиент свертки, какая у него размерность, и так далее.
>Как такой метод обучения называется
Это и есть градиентный спуск в более удобных обозначениях, очищенных от веков поиска, говна, пота и крови дидов.
Нейронка - это ПРОСТО функция многих переменных.
Целевая функия (loss) - это тоже ПРОСТО функция многих переменных, но которая всегда возвращает скаляр.
Градиентный спуск - это w_new = w_old - alpha градиент_l_по_w
Обратное распространение ошибки - это ПРОСТО школьное правило (f(g(x))'=f'(g(x)) g'(x)
В случае персептрона у тебя f(x,w)=g(x,w)=w@x, где @ - произведение матрицы на вектор
Соответственно f'(x,w)=g'(x, w)=x'@
В случае персептрона, который может принимать твой "пакет" из стопки векторов (aka матрицы длиной с твой вектор и высотой с размер твоего пакета) [x1 x2 x3] у тебя будет просто
f([x1 x2 x3],w)=g([x1 x2 x3],w)=[w@x1 w@x2 w@x3]
f'(x,w)=g'(x, w)=тоже чему-то равно
То есть принял на вход стопку, выдал на выход стопку. С градиентом то же самое, принял сразу кучу входных данных, выдал сразу кучу входных данных.
Двуслойный персептрон это f'(g(x)) g'(x) - то есть видно, что порядок вычислений у тебя это
t1 = g'(x)
t2 = g(x)
t3 = f'(t2)
ответ = t1t3
Как видно, чтобы вычислить f, тебе нужно вычислить g. Поэтому это и называется обратным проходом - ты большую сложную функцию вида f(g(h(yoba(x)))) раскручиваешь с конца в начала.
>но не понимаю, как это делать, тем более параллельно, когда выход l1 служит для входа l2 и тд.
Обратным распространением и делать. Допустим у тебя лосс это L2, то есть
l(x,y)=mean((x-y)^2)
Где ты сначала вычитаешь выходной вектор из образца, возводишь разницу в квадрат, а потом находишь среднее. Здесь может быть любой другой лосс, сигмоид, softmax, что хочешь.
Тогда для "пакета" ты хочешь усреднять
l([x1 x2 x3],[y1 y2 y3])=(sum(x1-y1)^2 + sum(x2-y2)^2 + sum(x3-y3)^2)/3 - примерно то, что ты себе представлял
Какой градиент у этой байды? Можешь вывести сам, но я воспользуюсь http://www.matrixcalculus.org/ и получу, что
l'(x,y) по x = 2 mean(x1-y1) + 2 mean(x2-y2) + 2 mean(x2-y2)
Тогда итоговая формула это - l(нейронка(x, w), y). Проходим по нейронке, получаем результат, подставляем в l, получаем число.
В параллельном случае это l(нейронка([x1 x2 x3], w), [y1 y2 y3]) - нихуя особо не изменилось на самом деле, так как параллельность закодирована в каждом слое.
Применяя chain rule
l'(нейронка(x), y)=l'(нейронка(x),y)нейронка'(x), где ты вычисляешь сначала
1. нейронка(x, w)
2. нейронка'(x, w) по w (здесь chain rule нужно применять рекурсивно)
3. l'(нейронка(x,w),y)*нейронка'(x,w)
Так как все это делать вручную ебань, люди представляют нейронки в виде вычислительного графа, по которому сначала идет прямой проход, и собираются все слой(x), а потом делается обратный проход и собираются все слой'(x) с помощью chain rule. А после этого, как мы вычислили градиент для каждого из весов, можно пройтись и отапдейтить все веса. Поэтому смысла все это хардкодить я не вижу. Более хорошим специалистом это тебя не сделает. Гораздо эффективнее с помощью ручки и бумажки освоить matrix calculus и понять, например, какая размерность у градиента функции многих переменных, чему равен градиент свертки, какая у него размерность, и так далее.
>>10277
и все равно проебался где-то со звездочками
и все равно проебался где-то со звездочками
>>10277
Вроде понял, спасибо за пояснение.
Вроде понял, спасибо за пояснение.
А в cv принято все ml кейворды совать, или numpy/scipy/pandas/matplotlib в резюме это баян и маркер салаги?
294 Кб, 1197x593>>10623
Ты тупой, когда война начнётся мы тя портянки нам стирать подрядим
Ты тупой, когда война начнётся мы тя портянки нам стирать подрядим
>>10622
На сайте суй все, это же seo для хрюш банальное, при отправке конторе нужно любое резюме переделывать под вакансию
На сайте суй все, это же seo для хрюш банальное, при отправке конторе нужно любое резюме переделывать под вакансию
Поясните, есть ли жизнь в машобе вне питухона?
Хочу вкатиться, но писать на питухоне - себя не уважать, трудно придумать более мерзкий язык.
Знаю, что tensorflow изначально написан на плюсах, но на плюсах не особо удобно работать с данными на высоком уровне.
Можно ли заниматься машобом например на шарпе, участвовать в kaggle, или там всё под питухон заточено?
Хочу вкатиться, но писать на питухоне - себя не уважать, трудно придумать более мерзкий язык.
Знаю, что tensorflow изначально написан на плюсах, но на плюсах не особо удобно работать с данными на высоком уровне.
Можно ли заниматься машобом например на шарпе, участвовать в kaggle, или там всё под питухон заточено?
![Rprogramming[1].jpg](https://2ch.hk//pr/src/1704037/15911874150330.jpg)
Ущербные итт не понимают, что тред называется "НЕЙРОНОЧКИ", а не "на чем импортить slesarplow".
>>12162
Тред должен называться "нейроночки и шизики" так-то
Тред должен называться "нейроночки и шизики" так-то
Нейроночки стали такой же больной темой для шизы, как квантмех, теория относительности, холодный термояд, теорема Кантора, вечные двигатели и проч.
нейроночки стали отличной темой для знающих людей получить немного больше информации об окружающем нас мире.
>>12132
Удачи найти имплементацию какой-нибудь работы не на питоне. А на язык всем наплевать. Если кто-то задаст моду и начнет писать прорывные модели на Джулии или каком-нибудь Хаскеле, то все на них перейдут.
Удачи найти имплементацию какой-нибудь работы не на питоне. А на язык всем наплевать. Если кто-то задаст моду и начнет писать прорывные модели на Джулии или каком-нибудь Хаскеле, то все на них перейдут.
>>12741
Б, пидор
Б, пидор
А какие кейсы для применения svm сейчас, кроме легаси?
>>12132
В Amazon и Spotify используют Python для анализа пользовательских данных, информации о продажах и разработки персонализированных рекомендаций.
В Walt Disney применяют этот язык в качестве скриптового для анимации.
YouTube и Instagram… Эти проекты полностью написаны на Python. Кроме того, холдинг Alphabet использует «питон» для скрейпинга в Google — извлечения данных со страниц веб-ресурсов.
Netflix создала свой рекомендательный сервис с нуля на Python.
Autodesk в своём редакторе 3D-анимации Maya с помощью Python создаёт мультипликацию. Так же язык использует студия Pixar.
JPMorgan Chase, крупный американский финансовый холдинг, применяет Python для прогнозирования рынка.
NASA работает с проектами на этом языке программирования, чтобы проводить научные вычисления.
В этом списке собрана лишь незначительная часть компаний и сервисов, которые работают с Python. В их числе также Mail.ru, Яндекс, Yahoo, Facebook, Dropbox, Quora и многие другие.
В Amazon и Spotify используют Python для анализа пользовательских данных, информации о продажах и разработки персонализированных рекомендаций.
В Walt Disney применяют этот язык в качестве скриптового для анимации.
YouTube и Instagram… Эти проекты полностью написаны на Python. Кроме того, холдинг Alphabet использует «питон» для скрейпинга в Google — извлечения данных со страниц веб-ресурсов.
Netflix создала свой рекомендательный сервис с нуля на Python.
Autodesk в своём редакторе 3D-анимации Maya с помощью Python создаёт мультипликацию. Так же язык использует студия Pixar.
JPMorgan Chase, крупный американский финансовый холдинг, применяет Python для прогнозирования рынка.
NASA работает с проектами на этом языке программирования, чтобы проводить научные вычисления.
В этом списке собрана лишь незначительная часть компаний и сервисов, которые работают с Python. В их числе также Mail.ru, Яндекс, Yahoo, Facebook, Dropbox, Quora и многие другие.
>>13235
Ну а что, нет, машоб уже рисует картины лучше тебя.
Не говоря о том что симулировать например речь шизиков вроде тебя он умел ещё давно.
Ну а что, нет, машоб уже рисует картины лучше тебя.
Не говоря о том что симулировать например речь шизиков вроде тебя он умел ещё давно.
>>13357
Я и говорю, очень полезными вещами занимается, прогресс на лицо.
Во 50х лабали медицинские диагностические системы, в 2020х рисуют картинки.
Я и говорю, очень полезными вещами занимается, прогресс на лицо.
Во 50х лабали медицинские диагностические системы, в 2020х рисуют картинки.
>>13388
все более чем логично- шизиков развелось, уже лечить негде, а картины- это вечное.
все более чем логично- шизиков развелось, уже лечить негде, а картины- это вечное.
>>13388
Их и сейчас делают. Просто код и датасеты не попадают в свободный доступ, а статьи публикуются в медицинских журналах, которые смузихлебам не интересны.
>Во 50х лабали медицинские диагностические системы
Их и сейчас делают. Просто код и датасеты не попадают в свободный доступ, а статьи публикуются в медицинских журналах, которые смузихлебам не интересны.
>>13420
Там статьи уровня грантосоства, поскольку трясунам черных ящиков никто диагностику никогда не доверит.
>а статьи публикуются в медицинских журналах
Там статьи уровня грантосоства, поскольку трясунам черных ящиков никто диагностику никогда не доверит.
>>13487
Шизики очень любят основания математики.
Вообще сценарий один, взять какой-нибудь научный спор столетней давности, по которому ни у одного мимокрокодила не может быть мнения, и давай его форсить, мол, наука свернула не туда из-за жидов.
Дальше возникает простой манямирок -
1. Мимокроки говорят - о, пиздит о чем-то, разбирается видимо, и идут мимо
2. Новичков, дающих ответы в духе школьной программы, шизик разбивает бомбардировкой аргументов из того спора столетней давности, которые поднять и выучить в принципе несложно. В итоге новичок идет мимо, будучи пораженным, какого глубокого и эрудированного человека он встретил
3. Специалисты тупо шизика игнорируют
В таком манямирке комфортно, потому что спорить особо не скем.
Кефирщики - это опыт Майкельсона, конец 19 века. Что там с Кантором множествами не знаю, но шизики очень неравнодушны, золотце тот же, лет 10 назад заебывал все борды с "покажи мне бесконечность", вечные двигатели это хуйня еще старше.
Конкретно вот эта шиза про черные ящики - это отрыжка https://www.liquisearch.com/connectionism/connectionism_vs_computationalism_debate
Шизики очень любят основания математики.
Вообще сценарий один, взять какой-нибудь научный спор столетней давности, по которому ни у одного мимокрокодила не может быть мнения, и давай его форсить, мол, наука свернула не туда из-за жидов.
Дальше возникает простой манямирок -
1. Мимокроки говорят - о, пиздит о чем-то, разбирается видимо, и идут мимо
2. Новичков, дающих ответы в духе школьной программы, шизик разбивает бомбардировкой аргументов из того спора столетней давности, которые поднять и выучить в принципе несложно. В итоге новичок идет мимо, будучи пораженным, какого глубокого и эрудированного человека он встретил
3. Специалисты тупо шизика игнорируют
В таком манямирке комфортно, потому что спорить особо не скем.
Кефирщики - это опыт Майкельсона, конец 19 века. Что там с Кантором множествами не знаю, но шизики очень неравнодушны, золотце тот же, лет 10 назад заебывал все борды с "покажи мне бесконечность", вечные двигатели это хуйня еще старше.
Конкретно вот эта шиза про черные ящики - это отрыжка https://www.liquisearch.com/connectionism/connectionism_vs_computationalism_debate
>>13525
Но пукнуть своим школьным мнением считаешь обязательным, да?
Шизики очень любят искать кругом шизиков.
> Что там с Кантором множествами не знаю, но
Но пукнуть своим школьным мнением считаешь обязательным, да?
> Шизики очень любят основания математики.
Шизики очень любят искать кругом шизиков.
>>14132
Вот это манямир, лол. Конечно если кто-то пишет что-то неприятное тебе - это школьник. Таблетки прими.
Вот это манямир, лол. Конечно если кто-то пишет что-то неприятное тебе - это школьник. Таблетки прими.
>>14203
Если ты не школьник, тогда все ещё хуже. Для 12летнего твой предыдущий пост ещё сойдёт, но если тебе больше, это пиздец какой-то. Стыдно должно быть нести такую херню
Если ты не школьник, тогда все ещё хуже. Для 12летнего твой предыдущий пост ещё сойдёт, но если тебе больше, это пиздец какой-то. Стыдно должно быть нести такую херню
>>12455
всё с тобой ясно, судя по манере общения - наивные провокации и просьбы, просьбы без уважения..
всё с тобой ясно, судя по манере общения - наивные провокации и просьбы, просьбы без уважения..
>>15320
Да ты и просто говно сожрёшь.
Да ты и просто говно сожрёшь.
Запускаю свою модель на колабе, но при каждом новом запуске приходится вводить ключ, чтобы оно подключило гугл диск. Какие есть варианты загрузки модели без этих свистоплясок?
>>15597
Лол, только сейчас увидел, что это говно закрыли. А за что? Дохода не приносил?
Лол, только сейчас увидел, что это говно закрыли. А за что? Дохода не приносил?
Я правильно понимаю, то в densenet каждый слой получает карты признаков со всех предыдущих слоёв, а в resnet - только с непосредственно предыдущего?
>>04037 (OP)
Аноны, есть какие-то материалы по машинному обучению(сетки и всё связанное с ИИ тоже) в информационной безопасности? Я нахожу какие-то статьи или какие-то теоритические обоснования, но я не могу что-то практическое, а ещё лучше что-то что разобрано подробно. Возможно анон знает какие-нибудь курсы или видео, книги, связанные с МБ в ИБ. Был бы очень благодарен за инфу
Аноны, есть какие-то материалы по машинному обучению(сетки и всё связанное с ИИ тоже) в информационной безопасности? Я нахожу какие-то статьи или какие-то теоритические обоснования, но я не могу что-то практическое, а ещё лучше что-то что разобрано подробно. Возможно анон знает какие-нибудь курсы или видео, книги, связанные с МБ в ИБ. Был бы очень благодарен за инфу
>>16075
Читай классику Edward Zhopenschmulzer
Читай классику Edward Zhopenschmulzer
![stat-100[1].png](https://2ch.hk//pr/src/1704037/15916102721830.png)
Распределение вероятностей это плотность вероятности или функция распределения?
>>16679
Плотность вероятности, синяя линия
Плотность вероятности, синяя линия
Пацаны, колаб перестал давать халявные 25 гигов оперативы если крашнуть сессию с дефолтными 12 гигами.
Есть ли какая-нибудь альтернатива? Нужен юпитер интерфейс и не менее 20 гигов рамы.
Есть ли какая-нибудь альтернатива? Нужен юпитер интерфейс и не менее 20 гигов рамы.
>>16739
А там memmap нельзя делать?
А там memmap нельзя делать?
>>16973
Интересно, что он будет делать когда столкнется с датасетом в несколько терабайт.
>Нахуя тебе 25 гигов оперативы? Датасет целиком хранить? О зумера, о нравы
Интересно, что он будет делать когда столкнется с датасетом в несколько терабайт.
>>16973
нужно катбуст прогнать на датасете, который около гига весит, но там проблема в том, что когда глубина и кол-во деревьев (а я прогоняю по гриду параметров, итого получается 100+ моделей) большое оно жрет всю оперативу и дохнет
я не особо зумер, скорее думер, но не просвящен как местная элита. Был бы рад совету
нужно катбуст прогнать на датасете, который около гига весит, но там проблема в том, что когда глубина и кол-во деревьев (а я прогоняю по гриду параметров, итого получается 100+ моделей) большое оно жрет всю оперативу и дохнет
я не особо зумер, скорее думер, но не просвящен как местная элита. Был бы рад совету
>>17030
А, ну это грустно.
Я бы посоветовал заюзать халявные $300 на гуглоклауде, или сколько они там дают сейчас.
>катбуст
А, ну это грустно.
Я бы посоветовал заюзать халявные $300 на гуглоклауде, или сколько они там дают сейчас.
>>17122
Это рил грустно, особенно учитывая то что с LightGBM вообще нет проблем - не жрет оперативу.
Спасибо за совет
Это рил грустно, особенно учитывая то что с LightGBM вообще нет проблем - не жрет оперативу.
Спасибо за совет
а помните, как тред начинался?
https://youtu.be/O9l5NVIjv94
и чем все закончилось? сидите эпохи ждете и веса балансируете тьху
https://youtu.be/O9l5NVIjv94
и чем все закончилось? сидите эпохи ждете и веса балансируете тьху
>>17030
В смысле даже одна модель всё жрёт? Если что в python можно del делать и даже мусор собрать, отученные и отвалидированные модели можно удалять из памяти
В смысле даже одна модель всё жрёт? Если что в python можно del делать и даже мусор собрать, отученные и отвалидированные модели можно удалять из памяти
>>17190
Я помню в каком-то древнем керасе был баг с утечкой памяти у меня в коде был кусок где я сначала делаю del всего, потом делаю gc.collect(), и так пару раз. Только в таком формате перестало рандомно падать с OOM
Я помню в каком-то древнем керасе был баг с утечкой памяти у меня в коде был кусок где я сначала делаю del всего, потом делаю gc.collect(), и так пару раз. Только в таком формате перестало рандомно падать с OOM
>>17171
хм, но это нарушает их правила
Section 3, "Geographic Restrictions. The Paid Services are currently available only in some countries. You will not present any false, inaccurate or misleading information in an effort to misrepresent yourself as a resident of a supported country, and you will not attempt to circumvent any restrictions on access to or availability of the Paid Services or content available within the Paid Services."
хм, но это нарушает их правила
Section 3, "Geographic Restrictions. The Paid Services are currently available only in some countries. You will not present any false, inaccurate or misleading information in an effort to misrepresent yourself as a resident of a supported country, and you will not attempt to circumvent any restrictions on access to or availability of the Paid Services or content available within the Paid Services."
>>17200
Кто-то говорил, что прописка это устаревшее совковое говно и пережиток ГУЛАГа.
Без прописочки официально залупа на воротник, но это ДРУГОЕ, конечно же.
Кто-то говорил, что прописка это устаревшее совковое говно и пережиток ГУЛАГа.
> Section 3, "Geographic Restrictions. The Paid Services are currently available only in some countries. You will not present any false, inaccurate or misleading information in an effort to misrepresent yourself as a resident of a supported country,
Без прописочки официально залупа на воротник, но это ДРУГОЕ, конечно же.
>>04037 (OP)
Аноны, есть какие-то материалы по машинному обучению(сетки и всё связанное с ИИ тоже) в информационной безопасности? Я нахожу какие-то статьи или какие-то теоритические обоснования, но я не могу что-то практическое, а ещё лучше что-то что разобрано подробно. Возможно анон знает какие-нибудь курсы или видео, книги, связанные с МБ в ИБ. Был бы очень благодарен за инфу
Аноны, есть какие-то материалы по машинному обучению(сетки и всё связанное с ИИ тоже) в информационной безопасности? Я нахожу какие-то статьи или какие-то теоритические обоснования, но я не могу что-то практическое, а ещё лучше что-то что разобрано подробно. Возможно анон знает какие-нибудь курсы или видео, книги, связанные с МБ в ИБ. Был бы очень благодарен за инфу
>>18070
http://www.arxiv-sanity.com/search?q=stat.ML+network+intrusion
https://paperswithcode.com/search?q_meta=&q=network+intrusion
Обе ссылки есть в шапке
>Аноны, есть какие-то материалы по машинному обучению
http://www.arxiv-sanity.com/search?q=stat.ML+network+intrusion
>но я не могу что-то практическое
https://paperswithcode.com/search?q_meta=&q=network+intrusion
Обе ссылки есть в шапке
>>18082
Боже дай бГ тебе всего!
Боже дай бГ тебе всего!
Я так и не понял зачем для бустинга с категорными фичами нужно что-то дополнительно делать (аля тот же катбуст)
Если бустинговая моделька это тупо сумма if-else блоков с весами, разве if-elsам не должно быть всё равно категорные фичи или не категорные?
Если бустинговая моделька это тупо сумма if-else блоков с весами, разве if-elsам не должно быть всё равно категорные фичи или не категорные?
>>17297
Прописка - это когда не уведомительная, а разрешительная. (Когда милиционер решает вписать ли тебя на новое место или отказать и вернуть в колхоз)
Прописка - это когда не уведомительная, а разрешительная. (Когда милиционер решает вписать ли тебя на новое место или отказать и вернуть в колхоз)
>>18268
Нет, потому что категорные фичи не упорядочены, а бинарные деревья это не просто ифы, это какая-то операция сравнения. Допустим, у тебя есть датасет с ужами и ежами, и что ты будешь делать if еж < 0.5? Это нонсенс.
А вот если ты вместо ежей и ужей сделаешь ежовость и ужовость, и установишь ежовость=1 и ужовость=0 у ежа, а ужа наоборот 0 и 1, то тогда ты сможешь делать что-то типа if ежовость<0.5
Уже неплохо.
> разве if-elsам не должно быть всё равно категорные фичи или не категорные
Нет, потому что категорные фичи не упорядочены, а бинарные деревья это не просто ифы, это какая-то операция сравнения. Допустим, у тебя есть датасет с ужами и ежами, и что ты будешь делать if еж < 0.5? Это нонсенс.
А вот если ты вместо ежей и ужей сделаешь ежовость и ужовость, и установишь ежовость=1 и ужовость=0 у ежа, а ужа наоборот 0 и 1, то тогда ты сможешь делать что-то типа if ежовость<0.5
Уже неплохо.
>>18288
Ну у меня будет ужоежовость = 0 и ужа и ужоежовость = 1 у ежа, разбиение ужоежовость < 0.5 даст разделение на ужей и ежей в ветках
> и что ты будешь делать if еж < 0.5
Ну у меня будет ужоежовость = 0 и ужа и ужоежовость = 1 у ежа, разбиение ужоежовость < 0.5 даст разделение на ужей и ежей в ветках
>>18268
Ты бы хотя бы минут двадцать теме уделил, а потом задавал вопросы
https://youtu.be/7VeUPuFGJHk
Ты бы хотя бы минут двадцать теме уделил, а потом задавал вопросы
https://youtu.be/7VeUPuFGJHk
>>04037 (OP)
Анончики, подскажите тупому, а почему U-net назыавют нейросетью, если нигде не написано где там нейроны? Я понимаю обычные сверточные, там на последнем слое нейроны, а Unet на какое-то шарлатанство похоже.
Анончики, подскажите тупому, а почему U-net назыавют нейросетью, если нигде не написано где там нейроны? Я понимаю обычные сверточные, там на последнем слое нейроны, а Unet на какое-то шарлатанство похоже.
![1037901044[1].jpg](https://2ch.hk//pr/src/1704037/15918061080370.jpg)
>>18608
Там короче каждый пиксель и есть нейрон
Там короче каждый пиксель и есть нейрон
>>18747
Мало того, что избавился, еще и споришь как даун. Спорь о чем-нибудь умном
Мало того, что избавился, еще и споришь как даун. Спорь о чем-нибудь умном
>>04037 (OP)
Всем привет
Есть одна задача для души
Дальше речь про некоторую игру:
Есть сложная функция, описывающая урон персонажа, в которой есть х и у, известна сумма этих х и у, а еще есть некоторое дерево талантов, которое влияет на эту самую формулу. Дерево по своей сути простое (просто меняет количество х, у или какой-то множитель формулы), но это именно дерево, т.е. некоторые таланты незлья взять, пока не взяты другие. и еще они выглядят, сука, похоже.
Подскажите, как оценить максимальное значение функции при заданных х,у и числе талантов?
Как вообще такое гуглить? Подскажите, в какую сторону смотреть. Наверняка есть какое-то типовое (хотя бы чуть-чуть) решение, чтобы хоть как-то сузить количество циклов.
Пока что мне прило в голову только следующее: для всех возможных комбинаций талантов просчитать формулу и выбрать соответствующее значение, но при количестве талантов от 50 это будет по меньшей мере больше 10 к вариантов
И вообще, я по адресу?
Всем привет
Есть одна задача для души
Дальше речь про некоторую игру:
Есть сложная функция, описывающая урон персонажа, в которой есть х и у, известна сумма этих х и у, а еще есть некоторое дерево талантов, которое влияет на эту самую формулу. Дерево по своей сути простое (просто меняет количество х, у или какой-то множитель формулы), но это именно дерево, т.е. некоторые таланты незлья взять, пока не взяты другие. и еще они выглядят, сука, похоже.
Подскажите, как оценить максимальное значение функции при заданных х,у и числе талантов?
Как вообще такое гуглить? Подскажите, в какую сторону смотреть. Наверняка есть какое-то типовое (хотя бы чуть-чуть) решение, чтобы хоть как-то сузить количество циклов.
Пока что мне прило в голову только следующее: для всех возможных комбинаций талантов просчитать формулу и выбрать соответствующее значение, но при количестве талантов от 50 это будет по меньшей мере больше 10 к вариантов
И вообще, я по адресу?
>>19329
Генетическое программирование (скорее) или генетические алгоритмы же. На пистоне - DEAP.
Генетическое программирование (скорее) или генетические алгоритмы же. На пистоне - DEAP.
Пиздежь или aqualife действительно задизайнили свой новый бренд fantola спомощью нейроночек. Мне даже реклама вылезла сразу после покупки, хотя у ютьюба и свой алгоритм.
>>19329
У тебя формулы-то на руках? Капай в сторону генетических алгоритмов. Тебе вроде их уже подсказали
У тебя формулы-то на руках? Капай в сторону генетических алгоритмов. Тебе вроде их уже подсказали
>>19451
пиздёж у тебя в штанах
пиздёж у тебя в штанах
Почему телефон за 5 тыщ распознает лицо за наносекунду, а моя сверточная сеть гадает 256х256 rgb около 20 секунд на среднем компе без gpu, еще и комп наровит сгореть? Я думал максимум секунда будет. Нахуй мне эти нейронные сети тогда если они адекватно работают тока с видюхами от 20к
>>15683
хз у меня никаких ключей не просит, 3 клика и всё работает и диск есть
хз у меня никаких ключей не просит, 3 клика и всё работает и диск есть
У кого из больших корпораций можно снять под ML сервера с видеокартами и загрузить их куд-кудой? Сколько стоит сколько видух? Можно ли туда залить гигабайты моих входных/выходных данных? Сколько стоит час/день/неделя ренты?
>>19957
Для того чтобы немного поиграться есть бесплатный гугл колаб. В остальных случаях дешевле купить видеокарту.
Для того чтобы немного поиграться есть бесплатный гугл колаб. В остальных случаях дешевле купить видеокарту.
>>19957
Если тебе не нужно в краткий срок сделать десятки экспериментов, покупай железо. Если нужно, советую гугловские TPU, на момент октября 2019 это было на порядок дешевле видеокарт. Правда у меня одна компиляция модели на них шла 40 минут, так что тут тоже не все однозначно
Если тебе не нужно в краткий срок сделать десятки экспериментов, покупай железо. Если нужно, советую гугловские TPU, на момент октября 2019 это было на порядок дешевле видеокарт. Правда у меня одна компиляция модели на них шла 40 минут, так что тут тоже не все однозначно
>>19899
Потому что архитектуру сети в телефоне выбирали не дауны типа тебя
Потому что архитектуру сети в телефоне выбирали не дауны типа тебя
>>19957
60 центов - несколько долларов в час, если не preemptible (сам погуглишь, что это такое). Смотри aws и gcloud, как сверху написали.
60 центов - несколько долларов в час, если не preemptible (сам погуглишь, что это такое). Смотри aws и gcloud, как сверху написали.
>>19202
Теория есть, первые страниц 80 только она. Дальше теория + разбор примеров на керасе
Теория есть, первые страниц 80 только она. Дальше теория + разбор примеров на керасе
>>19329
Это типичная задача дискретной оптимизации, к машобу не имеет отношения. У них частая проблема - либо они сводятся к хорошо известной (типа максимального потока или задачи о назначениях), либо NP-полные, и лучше чем перебором не получится. Так что гугли основные задачи дискретной оптимизации и думай, можно ли свести к ним твою.
Это типичная задача дискретной оптимизации, к машобу не имеет отношения. У них частая проблема - либо они сводятся к хорошо известной (типа максимального потока или задачи о назначениях), либо NP-полные, и лучше чем перебором не получится. Так что гугли основные задачи дискретной оптимизации и думай, можно ли свести к ним твою.
>>19329
10к вариантов это хуйня, любой другой метод ты будешь кодировать дольше, чем эти 10к вариантов переберутся.
Вот когда вариантов несколько миллиардов, это может стать проблемой.
>Пока что мне прило в голову только следующее: для всех возможных комбинаций талантов просчитать формулу и выбрать соответствующее значение, но при количестве талантов от 50 это будет по меньшей мере больше 10 к вариантов
10к вариантов это хуйня, любой другой метод ты будешь кодировать дольше, чем эти 10к вариантов переберутся.
Вот когда вариантов несколько миллиардов, это может стать проблемой.
>>04037 (OP)
Привет, трясуны. Как дела?
Привет, трясуны. Как дела?
>>04037 (OP)
Кто нибудь делал детектор либирашек?
Кто нибудь делал детектор либирашек?
>>20559
Мсье, пожалуйста, ссылочку в студию.
Мсье, пожалуйста, ссылочку в студию.
>>19329
Звучит похоже на всякие минмаксы в шахматах (только без мин части). ( Возможно, это и называется генетическим программированием, я не шарю). Но, мне кажется, что тут нужно просто перебором решать и прунить дерево не получится , так как в играх у самой убогой ветки может быть в конце имбовый талант.
Звучит похоже на всякие минмаксы в шахматах (только без мин части). ( Возможно, это и называется генетическим программированием, я не шарю). Но, мне кажется, что тут нужно просто перебором решать и прунить дерево не получится , так как в играх у самой убогой ветки может быть в конце имбовый талант.
15 Кб, 250x250>>21238
Если я правильно понял, что ему надо (есть конечный притом очень небольшой набор функций и аргументов, из них нужно получить дерево, максимизирующее опять же известную целевую функцию, т.е есть от чего плясать с определением лосса), то это 100% задача генетического программирования, даже ничего выдумывать не надо, все уже готово https://deap.readthedocs.io/en/master/tutorials/advanced/gp.html
Если я правильно понял, что ему надо (есть конечный притом очень небольшой набор функций и аргументов, из них нужно получить дерево, максимизирующее опять же известную целевую функцию, т.е есть от чего плясать с определением лосса), то это 100% задача генетического программирования, даже ничего выдумывать не надо, все уже готово https://deap.readthedocs.io/en/master/tutorials/advanced/gp.html
Допустим я запилю AGI, как сделать так, чтобы он не уничтожил человеков?
>>19329
Нихуя не понял, но предполагаю тебе скорее всего поможет Q-learning. Это даже не обязательно нейронки. Короче копай туда, это по сути математический способ выбора оптимальной стратегии.
Нихуя не понял, но предполагаю тебе скорее всего поможет Q-learning. Это даже не обязательно нейронки. Короче копай туда, это по сути математический способ выбора оптимальной стратегии.
>>20850
Где я говорю про графы? Повторяю, это задача дискретной оптимизации. Если получится свести её к какой-нибудь традиционной задаче - будет хорошо. Если не выйдет - ну, придётся перебор с эвристиками применять, типа A-star или альфа-бета-отсечения.
Вообще, попробуй динамическое программирование, по виду как раз оно подойдёт.
Где я говорю про графы? Повторяю, это задача дискретной оптимизации. Если получится свести её к какой-нибудь традиционной задаче - будет хорошо. Если не выйдет - ну, придётся перебор с эвристиками применять, типа A-star или альфа-бета-отсечения.
Вообще, попробуй динамическое программирование, по виду как раз оно подойдёт.
>>21358
По-моему там дерево уже есть, в каждой вершине которой своя функция урона, нужно найти максимум при заданных значения параметров. Вообще не понятно как без дополнительных предположений найти максимум на конечном множестве кроме полного перебора, причём здесь генетические алгоритмы и кулёрненхи всякие вообще?
>есть конечный притом очень небольшой набор функций и аргументов, из них нужно получить дерево, максимизирующее опять же известную целевую функцию
По-моему там дерево уже есть, в каждой вершине которой своя функция урона, нужно найти максимум при заданных значения параметров. Вообще не понятно как без дополнительных предположений найти максимум на конечном множестве кроме полного перебора, причём здесь генетические алгоритмы и кулёрненхи всякие вообще?
>>21460
ГА могут быстро и без геморного кодирования дать псевдомаксимум, довольно близкий к истинному максимуму. Если перебирать долго, то ГА дают тебе быстрое приблизительное решение с довольно большой скоростью и кодозатратами примерно как у перебора.
А вообще у него там есть дополнительные предположения - скорее всего на некоторые ветки можно наложить верхние границы, и таким образом быстро отсекать большие ветки.
ГА могут быстро и без геморного кодирования дать псевдомаксимум, довольно близкий к истинному максимуму. Если перебирать долго, то ГА дают тебе быстрое приблизительное решение с довольно большой скоростью и кодозатратами примерно как у перебора.
А вообще у него там есть дополнительные предположения - скорее всего на некоторые ветки можно наложить верхние границы, и таким образом быстро отсекать большие ветки.
>>21816
Генетические алгоритмы это же просто umbrella term для кучи похожих идей, т.е. никакого строго доказательства этому нет?
>ГА могут быстро и без геморного кодирования дать псевдомаксимум, довольно близкий к истинному максимуму.
Генетические алгоритмы это же просто umbrella term для кучи похожих идей, т.е. никакого строго доказательства этому нет?
>>21889
Хоспаде, ещё Холланд в 70х начал эту тему с доказательства теоремы о схемах https://en.m.wikipedia.org/wiki/Holland's_schema_theorem#:~:text=Holland's schema theorem, also called,in frequency in successive generations.
> т.е. никакого строго доказательства этому нет?
Хоспаде, ещё Холланд в 70х начал эту тему с доказательства теоремы о схемах https://en.m.wikipedia.org/wiki/Holland's_schema_theorem#:~:text=Holland's schema theorem, also called,in frequency in successive generations.
>>04037 (OP)
Приветики, трясунишки в штанишках, как дела, как котики?
Приветики, трясунишки в штанишках, как дела, как котики?
>>21460
Я о генетическом программировании. Это хотя и ГА, но со своей спецификой. Оно лучше полного перебора тем, что это направленный перебор, с поиском в сторону максимально возможного увеличения или уменьшения целевой функции, а не тупо квадратногнездовой брутфорс от забора и до обеда. Кулернинх не об этом, как и в случае простых ГА там придется саму задачу ставить так чтобы решения выдавались в виде дерева, а это дополнительный мартышкин труд, ибо в ГП все уже сделано.
> Вообще не понятно как без дополнительных предположений найти максимум на конечном множестве кроме полного перебора, причём здесь генетические алгоритмы и кулёрненхи всякие вообще?
Я о генетическом программировании. Это хотя и ГА, но со своей спецификой. Оно лучше полного перебора тем, что это направленный перебор, с поиском в сторону максимально возможного увеличения или уменьшения целевой функции, а не тупо квадратногнездовой брутфорс от забора и до обеда. Кулернинх не об этом, как и в случае простых ГА там придется саму задачу ставить так чтобы решения выдавались в виде дерева, а это дополнительный мартышкин труд, ибо в ГП все уже сделано.
391 Кб, 652x562>>21816
Сам то понимаешь вообще все эти баззворды, которые в кучу кидаешь, зумерок?
Сам то понимаешь вообще все эти баззворды, которые в кучу кидаешь, зумерок?
>>22158
Насколько же сильно на тебе отдохнула природа. У меня в посте нет ни одного баззворда, а вот в твоем посте есть два, во-первых - это слово "баззворд", значение которого ты не понимаешь, во-вторых, слово "зумер", с которым ты откровенно заебал.
Насколько же сильно на тебе отдохнула природа. У меня в посте нет ни одного баззворда, а вот в твоем посте есть два, во-первых - это слово "баззворд", значение которого ты не понимаешь, во-вторых, слово "зумер", с которым ты откровенно заебал.
100 Кб, 774x761Какие ошибки в архитектуре могут приводить к таким расхождениям в точностях?
>>22212
Это overfitting же.
Это overfitting же.
>>22212
Маленький датасет, оверфиттинг.
Маленький датасет, оверфиттинг.
>>22212
У тебя биморф
У тебя биморф
Отведите от экрана зумерков, начинается психологическая атака.
https://www.youtube.com/watch?v=sbCINv93nrY
https://www.youtube.com/watch?v=sbCINv93nrY
473 Кб, 2144x1398В машинлернинг не хочу, там надо модели оверфитить. А если не заоверфитишь, то получишь метрики дерьмовые и тебя уволят. Под музыку, как в фильмах американских. А модель то все равно в прод выкатят. Заквантизированную, парадную. С аксельбантом. Ребята идите в дейта сайенс!
Ребятишкам молодым на кагле дата лики в трейн подсыпают. Совсем молодым ребятам. У них потом CatBoost перформит как часовой с берданкой. И до приватного лидерборда они на ods друг с другом метриками меряются, seed подбирают как гиперпараметр. Любят нарядиться Андреем Карпатым и про индакшн байес порассуждать.
Если ты попал в NLP - считай твои дни сочтены. Утром файнтюнишь language model. Перед обедом фистинг от заказчика. На обед смузи. После обеда сокращение. Без ужина оставили. Пидоры суки. У меня там модель не сошлась еще, а меня выгоняют. Блядь
Когда новую модель в прод выкатывали, датасайентистов загнали в переговорку. Закрыли, начали "по собственному желанию" оформлять. А они не знают ничего, r/MachineLearning скроллят. Лид на продакшене поды повалил - его заломали и выебали. Почему? Да потому что он размер батча на входе не ограничил и с OOM все повалил, сука. А CTO с CFO смеются. У CTO припадок, глаза закатил, про serverless бормотать начал. Уволился. Тех, кому дела он передавал тоже уволили.
Алерты из графаны посыпались - всем похуй. Твоя модель заоверфитилась - ты знаешь что делать. Если датасайентиста попросили сделать доклад на митапе - значит он провинился. Его надо в секции вопросов пнуть. Или выебать это уже от чедловека зависит.
Сегодня на NIPS всех отправили новые перспективные архитектуры изучать. Наебали. Суки. Показывали новый трансформер на ахулиард параметров. А датасайентистам прикладными задачами теперь заниматься. Они же там весь бюджет месячный за ночь спустят блядь! Решили поставить квоты на сервис аккаунты всем. Так эти доблаебы на Google Collab TPU прожрали весь годовой бюджет на ML. Запустили миллион ноутбуков в параллель и гридсерчили. Но мне бюджет не жалко, все равно бы проебали
Кто-то focal loss к bert-у пришивает, кто-то XGBoost'ы утюгом стакает. В даталейке насрано. Плакат с ЛиКуном. Под ним книжка Николаенко. Подписанная. Кто подписал - неизвестно. Всю предыдущую команду разогнали, так никто и не признался. Горько вспомниать.
Зачем нужно машин лернингом заниматься? Чтоб индусов автоматизиорвать. Будут они по колцентру ходить на ломаном английском клиентов отпугивать. Попросит клиента boobs and vegana прислать, а че ты ему скажешь? Он же по английски не понимает. Пидоры, все индусы пидоры. И машинлернеры тоже
У кого на GPU бюджетов нету тому два стула дают. Один говно квазилинейное, другой градиентный бустинг на деревьях. Вот и гадай: либо в четверг пятницу не предскажешь, либо заоверфитишься. Но там большинство на GPU инференсятся. Как тут в deep learning не ударишься, когда тебе заказчик deep throat устраивает
Кто на рабочих мощностях в кагл играется - тот грандмастер. Имеет право носить корону. С ним всегда свита японцев-индусов хейтеров. Он выступает на дата конфах первым. CTO при встрече ему кланяется и обращается "князь крендель". Грандмастер всегда деплоит сразу на прод. Как волк или собака им виднее. После отбоя грандмастера всегда ебут и пиздят. Почему? Да потому что он test set приватный заскрапил, пидарас пассивный.
Правильно говорят, что кто сетки не тренил - тот не сайентист. Или неправильно. Я в хуй не тарабанил. "Кто до лида в DS дожил - тот огурчики полил". Выглядит как чушь? Это сгенерил GPT-3. Кто лидом в дейта сайенсе стал, у того кукушка отбита, и срака как у дональда дака.
Заперформим еще. Так Chief Data Officer говорил. Потом уволился, или уволили, хуй его знает.
Ребятишкам молодым на кагле дата лики в трейн подсыпают. Совсем молодым ребятам. У них потом CatBoost перформит как часовой с берданкой. И до приватного лидерборда они на ods друг с другом метриками меряются, seed подбирают как гиперпараметр. Любят нарядиться Андреем Карпатым и про индакшн байес порассуждать.
Если ты попал в NLP - считай твои дни сочтены. Утром файнтюнишь language model. Перед обедом фистинг от заказчика. На обед смузи. После обеда сокращение. Без ужина оставили. Пидоры суки. У меня там модель не сошлась еще, а меня выгоняют. Блядь
Когда новую модель в прод выкатывали, датасайентистов загнали в переговорку. Закрыли, начали "по собственному желанию" оформлять. А они не знают ничего, r/MachineLearning скроллят. Лид на продакшене поды повалил - его заломали и выебали. Почему? Да потому что он размер батча на входе не ограничил и с OOM все повалил, сука. А CTO с CFO смеются. У CTO припадок, глаза закатил, про serverless бормотать начал. Уволился. Тех, кому дела он передавал тоже уволили.
Алерты из графаны посыпались - всем похуй. Твоя модель заоверфитилась - ты знаешь что делать. Если датасайентиста попросили сделать доклад на митапе - значит он провинился. Его надо в секции вопросов пнуть. Или выебать это уже от чедловека зависит.
Сегодня на NIPS всех отправили новые перспективные архитектуры изучать. Наебали. Суки. Показывали новый трансформер на ахулиард параметров. А датасайентистам прикладными задачами теперь заниматься. Они же там весь бюджет месячный за ночь спустят блядь! Решили поставить квоты на сервис аккаунты всем. Так эти доблаебы на Google Collab TPU прожрали весь годовой бюджет на ML. Запустили миллион ноутбуков в параллель и гридсерчили. Но мне бюджет не жалко, все равно бы проебали
Кто-то focal loss к bert-у пришивает, кто-то XGBoost'ы утюгом стакает. В даталейке насрано. Плакат с ЛиКуном. Под ним книжка Николаенко. Подписанная. Кто подписал - неизвестно. Всю предыдущую команду разогнали, так никто и не признался. Горько вспомниать.
Зачем нужно машин лернингом заниматься? Чтоб индусов автоматизиорвать. Будут они по колцентру ходить на ломаном английском клиентов отпугивать. Попросит клиента boobs and vegana прислать, а че ты ему скажешь? Он же по английски не понимает. Пидоры, все индусы пидоры. И машинлернеры тоже
У кого на GPU бюджетов нету тому два стула дают. Один говно квазилинейное, другой градиентный бустинг на деревьях. Вот и гадай: либо в четверг пятницу не предскажешь, либо заоверфитишься. Но там большинство на GPU инференсятся. Как тут в deep learning не ударишься, когда тебе заказчик deep throat устраивает
Кто на рабочих мощностях в кагл играется - тот грандмастер. Имеет право носить корону. С ним всегда свита японцев-индусов хейтеров. Он выступает на дата конфах первым. CTO при встрече ему кланяется и обращается "князь крендель". Грандмастер всегда деплоит сразу на прод. Как волк или собака им виднее. После отбоя грандмастера всегда ебут и пиздят. Почему? Да потому что он test set приватный заскрапил, пидарас пассивный.
Правильно говорят, что кто сетки не тренил - тот не сайентист. Или неправильно. Я в хуй не тарабанил. "Кто до лида в DS дожил - тот огурчики полил". Выглядит как чушь? Это сгенерил GPT-3. Кто лидом в дейта сайенсе стал, у того кукушка отбита, и срака как у дональда дака.
Заперформим еще. Так Chief Data Officer говорил. Потом уволился, или уволили, хуй его знает.
473 Кб, 2144x1398В машинлернинг не хочу, там надо модели оверфитить. А если не заоверфитишь, то получишь метрики дерьмовые и тебя уволят. Под музыку, как в фильмах американских. А модель то все равно в прод выкатят. Заквантизированную, парадную. С аксельбантом. Ребята идите в дейта сайенс!
Ребятишкам молодым на кагле дата лики в трейн подсыпают. Совсем молодым ребятам. У них потом CatBoost перформит как часовой с берданкой. И до приватного лидерборда они на ods друг с другом метриками меряются, seed подбирают как гиперпараметр. Любят нарядиться Андреем Карпатым и про индакшн байес порассуждать.
Если ты попал в NLP - считай твои дни сочтены. Утром файнтюнишь language model. Перед обедом фистинг от заказчика. На обед смузи. После обеда сокращение. Без ужина оставили. Пидоры суки. У меня там модель не сошлась еще, а меня выгоняют. Блядь
Когда новую модель в прод выкатывали, датасайентистов загнали в переговорку. Закрыли, начали "по собственному желанию" оформлять. А они не знают ничего, r/MachineLearning скроллят. Лид на продакшене поды повалил - его заломали и выебали. Почему? Да потому что он размер батча на входе не ограничил и с OOM все повалил, сука. А CTO с CFO смеются. У CTO припадок, глаза закатил, про serverless бормотать начал. Уволился. Тех, кому дела он передавал тоже уволили.
Алерты из графаны посыпались - всем похуй. Твоя модель заоверфитилась - ты знаешь что делать. Если датасайентиста попросили сделать доклад на митапе - значит он провинился. Его надо в секции вопросов пнуть. Или выебать это уже от чедловека зависит.
Сегодня на NIPS всех отправили новые перспективные архитектуры изучать. Наебали. Суки. Показывали новый трансформер на ахулиард параметров. А датасайентистам прикладными задачами теперь заниматься. Они же там весь бюджет месячный за ночь спустят блядь! Решили поставить квоты на сервис аккаунты всем. Так эти доблаебы на Google Collab TPU прожрали весь годовой бюджет на ML. Запустили миллион ноутбуков в параллель и гридсерчили. Но мне бюджет не жалко, все равно бы проебали
Кто-то focal loss к bert-у пришивает, кто-то XGBoost'ы утюгом стакает. В даталейке насрано. Плакат с ЛиКуном. Под ним книжка Николаенко. Подписанная. Кто подписал - неизвестно. Всю предыдущую команду разогнали, так никто и не признался. Горько вспомниать.
Зачем нужно машин лернингом заниматься? Чтоб индусов автоматизиорвать. Будут они по колцентру ходить на ломаном английском клиентов отпугивать. Попросит клиента boobs and vegana прислать, а че ты ему скажешь? Он же по английски не понимает. Пидоры, все индусы пидоры. И машинлернеры тоже
У кого на GPU бюджетов нету тому два стула дают. Один говно квазилинейное, другой градиентный бустинг на деревьях. Вот и гадай: либо в четверг пятницу не предскажешь, либо заоверфитишься. Но там большинство на GPU инференсятся. Как тут в deep learning не ударишься, когда тебе заказчик deep throat устраивает
Кто на рабочих мощностях в кагл играется - тот грандмастер. Имеет право носить корону. С ним всегда свита японцев-индусов хейтеров. Он выступает на дата конфах первым. CTO при встрече ему кланяется и обращается "князь крендель". Грандмастер всегда деплоит сразу на прод. Как волк или собака им виднее. После отбоя грандмастера всегда ебут и пиздят. Почему? Да потому что он test set приватный заскрапил, пидарас пассивный.
Правильно говорят, что кто сетки не тренил - тот не сайентист. Или неправильно. Я в хуй не тарабанил. "Кто до лида в DS дожил - тот огурчики полил". Выглядит как чушь? Это сгенерил GPT-3. Кто лидом в дейта сайенсе стал, у того кукушка отбита, и срака как у дональда дака.
Заперформим еще. Так Chief Data Officer говорил. Потом уволился, или уволили, хуй его знает.
Ребятишкам молодым на кагле дата лики в трейн подсыпают. Совсем молодым ребятам. У них потом CatBoost перформит как часовой с берданкой. И до приватного лидерборда они на ods друг с другом метриками меряются, seed подбирают как гиперпараметр. Любят нарядиться Андреем Карпатым и про индакшн байес порассуждать.
Если ты попал в NLP - считай твои дни сочтены. Утром файнтюнишь language model. Перед обедом фистинг от заказчика. На обед смузи. После обеда сокращение. Без ужина оставили. Пидоры суки. У меня там модель не сошлась еще, а меня выгоняют. Блядь
Когда новую модель в прод выкатывали, датасайентистов загнали в переговорку. Закрыли, начали "по собственному желанию" оформлять. А они не знают ничего, r/MachineLearning скроллят. Лид на продакшене поды повалил - его заломали и выебали. Почему? Да потому что он размер батча на входе не ограничил и с OOM все повалил, сука. А CTO с CFO смеются. У CTO припадок, глаза закатил, про serverless бормотать начал. Уволился. Тех, кому дела он передавал тоже уволили.
Алерты из графаны посыпались - всем похуй. Твоя модель заоверфитилась - ты знаешь что делать. Если датасайентиста попросили сделать доклад на митапе - значит он провинился. Его надо в секции вопросов пнуть. Или выебать это уже от чедловека зависит.
Сегодня на NIPS всех отправили новые перспективные архитектуры изучать. Наебали. Суки. Показывали новый трансформер на ахулиард параметров. А датасайентистам прикладными задачами теперь заниматься. Они же там весь бюджет месячный за ночь спустят блядь! Решили поставить квоты на сервис аккаунты всем. Так эти доблаебы на Google Collab TPU прожрали весь годовой бюджет на ML. Запустили миллион ноутбуков в параллель и гридсерчили. Но мне бюджет не жалко, все равно бы проебали
Кто-то focal loss к bert-у пришивает, кто-то XGBoost'ы утюгом стакает. В даталейке насрано. Плакат с ЛиКуном. Под ним книжка Николаенко. Подписанная. Кто подписал - неизвестно. Всю предыдущую команду разогнали, так никто и не признался. Горько вспомниать.
Зачем нужно машин лернингом заниматься? Чтоб индусов автоматизиорвать. Будут они по колцентру ходить на ломаном английском клиентов отпугивать. Попросит клиента boobs and vegana прислать, а че ты ему скажешь? Он же по английски не понимает. Пидоры, все индусы пидоры. И машинлернеры тоже
У кого на GPU бюджетов нету тому два стула дают. Один говно квазилинейное, другой градиентный бустинг на деревьях. Вот и гадай: либо в четверг пятницу не предскажешь, либо заоверфитишься. Но там большинство на GPU инференсятся. Как тут в deep learning не ударишься, когда тебе заказчик deep throat устраивает
Кто на рабочих мощностях в кагл играется - тот грандмастер. Имеет право носить корону. С ним всегда свита японцев-индусов хейтеров. Он выступает на дата конфах первым. CTO при встрече ему кланяется и обращается "князь крендель". Грандмастер всегда деплоит сразу на прод. Как волк или собака им виднее. После отбоя грандмастера всегда ебут и пиздят. Почему? Да потому что он test set приватный заскрапил, пидарас пассивный.
Правильно говорят, что кто сетки не тренил - тот не сайентист. Или неправильно. Я в хуй не тарабанил. "Кто до лида в DS дожил - тот огурчики полил". Выглядит как чушь? Это сгенерил GPT-3. Кто лидом в дейта сайенсе стал, у того кукушка отбита, и срака как у дональда дака.
Заперформим еще. Так Chief Data Officer говорил. Потом уволился, или уволили, хуй его знает.
>>22650
but then I lol'd
>У кого на GPU бюджетов нету тому два стула дают. Один говно квазилинейное, другой градиентный бустинг на деревьях.
but then I lol'd
545 Кб, 2160x1620Приветствую, мейлач
Заинтересовался применением нейросетей для прогнозирования свойств металлов
Сейчас присматриваю ищу материал, присматриваю курсы
По математике заинтересовал этот курс:
https://www.coursera.org/specializations/mathematics-machine-learning#about
Может кто занимался подобным применением? Может даже изучал какой курс? Чтобы по минимуму было машинного зрения и всяких там анализов содержания текстов
В экселе делал модель одну для статьи. Предсказание электропроводности сплава от состава. В принципе работало.
Правда сплавы были простые, а хотелось бы что-то эдакое. Сам не знаю что. Как понимаете, параметров очень много и на свойства они влияют по разному
Заинтересовался применением нейросетей для прогнозирования свойств металлов
Сейчас присматриваю ищу материал, присматриваю курсы
По математике заинтересовал этот курс:
https://www.coursera.org/specializations/mathematics-machine-learning#about
Может кто занимался подобным применением? Может даже изучал какой курс? Чтобы по минимуму было машинного зрения и всяких там анализов содержания текстов
В экселе делал модель одну для статьи. Предсказание электропроводности сплава от состава. В принципе работало.
Правда сплавы были простые, а хотелось бы что-то эдакое. Сам не знаю что. Как понимаете, параметров очень много и на свойства они влияют по разному
>>22665
Начни с собирания датасета, даже если ты его просто опубликуешь, это будет неплохой буст тематики. Если, конечно, это уже кто-то не сделал
Начни с собирания датасета, даже если ты его просто опубликуешь, это будет неплохой буст тематики. Если, конечно, это уже кто-то не сделал
>>22674
нейронщик вкатывальщик интересуется, а как собственно такой датасет собрать можно?
нейронщик вкатывальщик интересуется, а как собственно такой датасет собрать можно?
>>22743
Ну или экспериментальные данные
Которых у меня за годы учебы собралось немерено, а ещё можно подтянуть научника, который свои бы скинул
Ну или экспериментальные данные
Которых у меня за годы учебы собралось немерено, а ещё можно подтянуть научника, который свои бы скинул
344 Кб, 553x735Есть ли у кого то ссылки на статьи. рассказываюшие, почему не стоит использовать, или наоборот стоит использовать машинное обучение нейроночки? Или кто то просто расскажет своё мнение по поводу этого?
>>23190
А нахуя тебе их использовать если не разбираешься?
А почему ты не будешь их использовать если разбираешься?
А нахуя тебе их использовать если не разбираешься?
А почему ты не будешь их использовать если разбираешься?
Как в гридсёрчсэвэ катбуста указать категорные фичи?
Правил треда не знаю, но попробую. Тут часто вообще ищут начинающие датасаентисты себе менторов? Мне вот бы найти, хочу вкатиться в машинку
>>24024
Да даже не знаю, что может предложить новичок опытному работяге. Задаром конечно никто не будет, тут по идее только либо за деньги, либо по знакомству. Ни того ни другого у меня нет, поэтому есть одна лишь надежда, что меня подберет с помойки кто-нибудь шарящий в этом деле
Да даже не знаю, что может предложить новичок опытному работяге. Задаром конечно никто не будет, тут по идее только либо за деньги, либо по знакомству. Ни того ни другого у меня нет, поэтому есть одна лишь надежда, что меня подберет с помойки кто-нибудь шарящий в этом деле
>>23958
начинай сам, задавай вопросы конкретные, мне тут давали годные советы.
начинай сам, задавай вопросы конкретные, мне тут давали годные советы.
>>24047
А ты няшный?
А ты няшный?
71 Кб, 796x142прямо как в жизни...
глубоко...
глубоко...
Уважаемые, есть ли среди вас любители nlp
Подскажите какие нибудь статьи/ноутбуки/что угодно, где гугловский берт ТОТ САМЫЙ СТЭЙТ ОФ АРТ приворачивают для работы с русским текстом и он дает нормальный результат
Я вот попытался его использовать, но в итоге получилось всего лишь чуть лучше, чем простой word2vec.
Спасибо
Подскажите какие нибудь статьи/ноутбуки/что угодно, где гугловский берт ТОТ САМЫЙ СТЭЙТ ОФ АРТ приворачивают для работы с русским текстом и он дает нормальный результат
Я вот попытался его использовать, но в итоге получилось всего лишь чуть лучше, чем простой word2vec.
Спасибо
А как на выходе у нейросетей которые рисуют что-нибудь или там текстуру с одной картинки, на объект на другой так ровно накладывают. Почему такая четкость? Настолько умные?
>>24782
Учатся же. И они не "умные", ум это про когнитивные способности и абстрактное мышление. Они все до сих пор сидят в китайской комнате
Учатся же. И они не "умные", ум это про когнитивные способности и абстрактное мышление. Они все до сих пор сидят в китайской комнате
>>24641
Это норма. Где-то читал что диплернинх в NLP не даёт никакого значимого улучшения результатов по сравнению с shallow моделями типа word2vec.
> Я вот попытался его использовать, но в итоге получилось всего лишь чуть лучше, чем простой word2vec.
Это норма. Где-то читал что диплернинх в NLP не даёт никакого значимого улучшения результатов по сравнению с shallow моделями типа word2vec.
>>24999
Когда уже за слово зумер будут расстреливать
Когда уже за слово зумер будут расстреливать
>>24999
Обоим этим понятиям (кит. комната и философский зомби) больше лет чем тебе, чмоня. Без этих понятий тебе в этом треде делать нечего
> зумерш
Обоим этим понятиям (кит. комната и философский зомби) больше лет чем тебе, чмоня. Без этих понятий тебе в этом треде делать нечего
Можно ли написать бота для телеги на питоне, чтобы он заменил мне живое общение с тян? Какие либы юзать?
>>24994
А kmeans даёт значимое улучшение в кластеризации по сравнению с knn?
А kmeans даёт значимое улучшение в кластеризации по сравнению с knn?
>>25150
Поставь алису лучше, она тебе ещё и картин нарисует
Поставь алису лучше, она тебе ещё и картин нарисует
>>25053
Какая разница сколько лет всяким гуманитарным сказочкам для зумерш? Они от этого не перестают быть сказочками, характеризующими уровень веровающих в них.
И как эта хуета связана с темой треда?
> Обоим этим понятиям (кит. комната и философский зомби) больше лет чем тебе, чмоня.
Какая разница сколько лет всяким гуманитарным сказочкам для зумерш? Они от этого не перестают быть сказочками, характеризующими уровень веровающих в них.
> Без этих понятий тебе в этом треде делать нечего
И как эта хуета связана с темой треда?
>>25053
В том и дело, болван. Это всё примитивные концепты, которые преподают полуобезьянам, которых называют вежливо студентами. Устаревшая гипотеза, выдуманная через пару лет после появления самого направления.
В том и дело, болван. Это всё примитивные концепты, которые преподают полуобезьянам, которых называют вежливо студентами. Устаревшая гипотеза, выдуманная через пару лет после появления самого направления.
>>25607
>>25800
Два долбаёба спалили себя с потрохами.
Это не "сказочка", это абстрактные концепции для описания принципа
Они от этого не начинают ими быть
В абстрактную концепцию нельзя верить или нет, это концепция, блядь
Ты вообще не читал что сверху было что ли? Человек спросил как ган-сети так красиво перерисовывают картинки, учатся ли они, понимают ли они что там нарисовано, на что я ответил, что ган-сети просто ищут паттерны пикселей и по ним пытаются перерисовать, вообще не понимая, что изображено на картинке, прямо как в классической китайской комнате
Это не гипотеза, ты на предложение выше сам назвал это концепцией. У тебя память как у рыбки что ли? Гипотеза, блядь. Ты реально думаешь, что кто-то верит, что какой-то чувак сидит в комнате с китайскими иероглифами и пытается их перебрать? Пиздец просто
Оба на хуй вон из треда. Здесь вам слишком сложно. Попробуйте себя в кондом снортин челледж
>>25800
Два долбаёба спалили себя с потрохами.
> гуманитарным сказочкам
Это не "сказочка", это абстрактные концепции для описания принципа
> от этого не перестают быть сказочками
Они от этого не начинают ими быть
> веровающих
В абстрактную концепцию нельзя верить или нет, это концепция, блядь
> как эта хуета связана с темой треда?
Ты вообще не читал что сверху было что ли? Человек спросил как ган-сети так красиво перерисовывают картинки, учатся ли они, понимают ли они что там нарисовано, на что я ответил, что ган-сети просто ищут паттерны пикселей и по ним пытаются перерисовать, вообще не понимая, что изображено на картинке, прямо как в классической китайской комнате
> Устаревшая гипотеза
Это не гипотеза, ты на предложение выше сам назвал это концепцией. У тебя память как у рыбки что ли? Гипотеза, блядь. Ты реально думаешь, что кто-то верит, что какой-то чувак сидит в комнате с китайскими иероглифами и пытается их перебрать? Пиздец просто
Оба на хуй вон из треда. Здесь вам слишком сложно. Попробуйте себя в кондом снортин челледж
>>25802
Понимание - это лишняя сущность. Никакого понимания не существует. Точнее, это эмоция, которую испытавает мозг.
Поэтому в этой фразе столько же смысла, сколько во фразе "у негров нет души". Можно долго обсуждать эту фразу, но ответ в том, что души нет ни у кого.
>вообще не понимая, что изображено на картинке
Понимание - это лишняя сущность. Никакого понимания не существует. Точнее, это эмоция, которую испытавает мозг.
Поэтому в этой фразе столько же смысла, сколько во фразе "у негров нет души". Можно долго обсуждать эту фразу, но ответ в том, что души нет ни у кого.
>>24641
Открой любое соревнование, где выиграл берт и попробуй побить его на ворд2век + что угодно. Соснешь.
Открой любое соревнование, где выиграл берт и попробуй побить его на ворд2век + что угодно. Соснешь.
>>25807
Ясно. Юрий Степаныч, уйдите пожалуйста. Вам в zog-тред, он на соседней доске
>>25808
Когнитивные способности, анализ контента, разбор контента на более простые абстракции, возможность изменить контент, не порушив семантику и возможность сделать контент такого же типа с нуля с похожей семантикой или похожим наполнением
> Никакого понимания не существует
Ясно. Юрий Степаныч, уйдите пожалуйста. Вам в zog-тред, он на соседней доске
>>25808
Когнитивные способности, анализ контента, разбор контента на более простые абстракции, возможность изменить контент, не порушив семантику и возможность сделать контент такого же типа с нуля с похожей семантикой или похожим наполнением
>>25811
Набор слов. Ни у одного из этих гуманитарных фуфлосовских манятерминов нет даже внятного определения. "Ну тип там душа, квалиа, коковалиа)))". Ясно все с тобой.
> Когнитивные способности, анализ контента, разбор контента на более простые абстракции, возможность изменить контент, не порушив семантику и возможность сделать контент такого же типа с нуля с похожей семантикой или похожим наполнением
Набор слов. Ни у одного из этих гуманитарных фуфлосовских манятерминов нет даже внятного определения. "Ну тип там душа, квалиа, коковалиа)))". Ясно все с тобой.
>>25802
Ты шизик? Покажи справку из пнд что здоров.
Ты шизик? Покажи справку из пнд что здоров.
195 Кб, 400x400Удовлетворяет ли условиям теоремы Мерсера композиция (суперпозиция) функций, удовлетворяющих условиям теоремы Мерсера?
>>25813
Ну например:
>>25818
Ты мамкин маргинал. Твой предел это вилкой чистить очко. Такие как ты ничего за свою жизнь не добиваются, потому что идут наперекор цивилизованному обществу и отрицают идеалы и идеи общества. Ты небось ещё и сознание отрицаешь. Пошёл отсюда на хуй короче
> И что ганы из этого не делают, лол?
Ну например:
> анализ контента
> разбор контента на более простые абстракции
> возможность сделать контент такого же типа с нуля с похожим наполнением
>>25818
Ты мамкин маргинал. Твой предел это вилкой чистить очко. Такие как ты ничего за свою жизнь не добиваются, потому что идут наперекор цивилизованному обществу и отрицают идеалы и идеи общества. Ты небось ещё и сознание отрицаешь. Пошёл отсюда на хуй короче
24 Кб, 300x374>>25919
> идут наперекор цивилизованному обществу и отрицают идеалы и идеи общества. Ты небось ещё и сознание отрицаешь.
>>04037 (OP)
Cап, что лучше взять для классификации картинок - keras или tensorflow?
Cап, что лучше взять для классификации картинок - keras или tensorflow?
>>25932
Двачую нечеткого здесь (это же он?). Всё это философский бред, а с точки зрения практики вообще наплевать китайская это комната или нет (даже если бы это не было философской мутью)
Двачую нечеткого здесь (это же он?). Всё это философский бред, а с точки зрения практики вообще наплевать китайская это комната или нет (даже если бы это не было философской мутью)
>>25955
tf.keras
tf.keras
>>25919
Вообще-то ганы делают именно это.
Ты просто нейрорасист, который рассуждает примерно о том же, что и обычный расист, типа, негры не могут испытывать боль, потому что у них нет души. Тут такая же хуйня. У нейронок нет понимания, а что такое понимание ну мы все, белые люди, знаем, не то что эти бездушные нейронки.
>анализ контента
>разбор контента на более простые абстракции
>возможность сделать контент такого же типа с нуля с похожим наполнением
Вообще-то ганы делают именно это.
Ты просто нейрорасист, который рассуждает примерно о том же, что и обычный расист, типа, негры не могут испытывать боль, потому что у них нет души. Тут такая же хуйня. У нейронок нет понимания, а что такое понимание ну мы все, белые люди, знаем, не то что эти бездушные нейронки.
>>25955
керас это надстройка над тенсорфлоу. Твоя дихотомия лишена смысла
керас это надстройка над тенсорфлоу. Твоя дихотомия лишена смысла
>>25978
Нет, ганы не умеют разбирать контент на абстракции, они не могут понять, что на фото кошка, что это её нос, уши, хвост, что надо поменять эти перерисовать эти предметы определённым образом и из кошки получится собака. Ганы берут паттерны и заменяют на другие паттерны, это буквально всё.
Возьми японскую фразу
私は私の猫を愛します。
Теперь я тебе говорю, что любой иероглиф 猫 можно заменить на любой из следующих вариантов
犬
家
ちんちん
鳥
お父さん
Ты берёшь и заменяешь. Ты получаешь синтаксически корректное предложение японского языка. Ты от этого стал понимать язык? Ты вообще понял суть своего действия? Вот тебе дают другие предложения
猫をなくした。
猫を殺した。
Ты там заменяешь иероглиф на предыдущие варианты. И типа всё правильно. Но ты понял, что это такое вообще было?
Нет, Ганы не понимают что они делают, они просто заменяют одни паттерны на другие.
Нет, ганы не умеют разбирать контент на абстракции, они не могут понять, что на фото кошка, что это её нос, уши, хвост, что надо поменять эти перерисовать эти предметы определённым образом и из кошки получится собака. Ганы берут паттерны и заменяют на другие паттерны, это буквально всё.
Возьми японскую фразу
私は私の猫を愛します。
Теперь я тебе говорю, что любой иероглиф 猫 можно заменить на любой из следующих вариантов
犬
家
ちんちん
鳥
お父さん
Ты берёшь и заменяешь. Ты получаешь синтаксически корректное предложение японского языка. Ты от этого стал понимать язык? Ты вообще понял суть своего действия? Вот тебе дают другие предложения
猫をなくした。
猫を殺した。
Ты там заменяешь иероглиф на предыдущие варианты. И типа всё правильно. Но ты понял, что это такое вообще было?
Нет, Ганы не понимают что они делают, они просто заменяют одни паттерны на другие.
>>25955
путорч
путорч
>>26020
Точно так же поступают и люди.
Нет, потому что твой датасет говно. Давай нормальный датасет, начну понимать язык. И нейронка начнет.
>Ганы берут паттерны и заменяют на другие паттерны, это буквально всё.
Точно так же поступают и люди.
>Ты от этого стал понимать язык?
Нет, потому что твой датасет говно. Давай нормальный датасет, начну понимать язык. И нейронка начнет.
>>26085
Даты про то чем kmeans отличается от knn в интернете полно, однако тебе это не помогает.
Даты про то чем kmeans отличается от knn в интернете полно, однако тебе это не помогает.
>>26186
Еще бы блядь, идиотские названия
Еще бы блядь, идиотские названия
>>24641
хз про русский язык, у нас на практике (4 разных языка) bilstm надавал на клыка fasttext классифайеру прямо так пунктов на 10 f1 скора, а потмо трансформер накинул еще 10. Так что это точно не хуйня без задач, но все очень сильно зависит от задачи - на некоторых даже ебмеддингами не получилось побить бейзлайн на логреге и tf-idf
хз про русский язык, у нас на практике (4 разных языка) bilstm надавал на клыка fasttext классифайеру прямо так пунктов на 10 f1 скора, а потмо трансформер накинул еще 10. Так что это точно не хуйня без задач, но все очень сильно зависит от задачи - на некоторых даже ебмеддингами не получилось побить бейзлайн на логреге и tf-idf
>>24810
да вот так, братан.
да вот так, братан.
>>26454
Зависит от места - чем больше поток соискателей и жирнее позиция, тем жесче отсев. На моем опыте собесов - хороше образвоание МФТИ/МГУ/вышка (а если еще и ШАД то вообще огонь) ооочень сильно коррелирует со скиловостью, так что чтоб сэкономить вермя бывает есть смысл просто сфокусироваться на людях из этих шараг.
> Насколько важен факт наличия хоть какого-то диплома в профессии?
Зависит от места - чем больше поток соискателей и жирнее позиция, тем жесче отсев. На моем опыте собесов - хороше образвоание МФТИ/МГУ/вышка (а если еще и ШАД то вообще огонь) ооочень сильно коррелирует со скиловостью, так что чтоб сэкономить вермя бывает есть смысл просто сфокусироваться на людях из этих шараг.
>>26576
А если просто ШАД окончу без оканчивания универа? в ШАД в этом году с вероятностью 90% поступлю, но потом мотивация в уник ходить наверняка пропадёт
И за бугром потом как, сильно смотрят на факт наличия диплома, или скиластости/опыта будет достаточно?
А если просто ШАД окончу без оканчивания универа? в ШАД в этом году с вероятностью 90% поступлю, но потом мотивация в уник ходить наверняка пропадёт
И за бугром потом как, сильно смотрят на факт наличия диплома, или скиластости/опыта будет достаточно?
>>26911
Иммиграционным органам точно нужен бакалавр по специальности, без него всякие мучения с доказыванием лет опыта. Компаниям в принципе скиластости достаточно, но ооочень часто пишут бакалавр кампутир саенс или матеша, ну как и в раше
Иммиграционным органам точно нужен бакалавр по специальности, без него всякие мучения с доказыванием лет опыта. Компаниям в принципе скиластости достаточно, но ооочень часто пишут бакалавр кампутир саенс или матеша, ну как и в раше
>>26713
fox news круче
fox news круче
>>27030
Нормально все на маткафе можно устроить, главное давить на научника, чтобы заниматься актуалочкой
Нормально все на маткафе можно устроить, главное давить на научника, чтобы заниматься актуалочкой
>>27097
меня просто заебало это место я не хочу туда ходить я бы хотел ходить только в шад а уник дропнуть поскольку всё равно не годен
меня просто заебало это место я не хочу туда ходить я бы хотел ходить только в шад а уник дропнуть поскольку всё равно не годен
>>27109
не годен в армуху то есть
не годен в армуху то есть
>>27109
на бакалавра нет никаких причин забивать. 4 года это не строк вообще
на бакалавра нет никаких причин забивать. 4 года это не строк вообще
Ку. Появилась мысль написать нейронную сеть, которая бы читала карты, к примеру рельефные и уже по этой карте строила бы аналогичную с которой можно было бы взаимодействовать. Я знаю более-менее питон, но там куча библиотек для обучения сетей. Посоветуйте с чего начать
>>27225
С датасета
С датасета
70 Кб, 564x560Посоны, я загрузился темой ваших дата сеансов. Сложилось некоторое представления, прошу вас поправить меня если онт неверны.
1) Машоб в простейшем виде можно освоить если знаешь, что такое функция, матрица, вектор и хотя бы основы статистики. Хотя и ее не обязательно знать, можно по ходу дела разобраться. Конечно, есть нюансы, но если посмотреть, то с одной стороны это разочаровывает, потому что колдунство начинается чуть позже, уже в процессе самого обучения, но для какой-то прикладной задачи даже его понимать не обязательно. Все намного проще и менее загадочно, чем кажется.
2) По этой теме больше хайпа, чем потребности. Т.е. везде реклама обучения, но ирл дата саентист, например, аналитик - специфическая должность, уровня продвинутого советчика, а иногда и маркетолога. Я так понял, он мало на что влияет непосредственно.
3) В обывательском представлении все, что связано с ИИ - это философия. Журналисты, писатели, киношники и прочие параноики рисуют быдлу фильмы и сериалы про андроидов, но в реальности этим и близко не пахнет. Все так убеждены, что в будущем будет сильный ИИ, но я не встречал внятного объяснения, зачем его в принципе будут создавать, вместо групп слабых ии, как вариант. Просто какая-то вера, что будет и все. А дата саентисты, которые угорают по тому же, это уже механикусы, которые молятся Омниссии.
4) Множество задач проще решить без нейронок, чем с ними. Последние прикручивают часто для понта, мол У НАС НЕ ПРОСТО САЙТ, А С ИСКУССТВЕННЫМ ИНТЕЛЛЕКТОМ!.
1) Машоб в простейшем виде можно освоить если знаешь, что такое функция, матрица, вектор и хотя бы основы статистики. Хотя и ее не обязательно знать, можно по ходу дела разобраться. Конечно, есть нюансы, но если посмотреть, то с одной стороны это разочаровывает, потому что колдунство начинается чуть позже, уже в процессе самого обучения, но для какой-то прикладной задачи даже его понимать не обязательно. Все намного проще и менее загадочно, чем кажется.
2) По этой теме больше хайпа, чем потребности. Т.е. везде реклама обучения, но ирл дата саентист, например, аналитик - специфическая должность, уровня продвинутого советчика, а иногда и маркетолога. Я так понял, он мало на что влияет непосредственно.
3) В обывательском представлении все, что связано с ИИ - это философия. Журналисты, писатели, киношники и прочие параноики рисуют быдлу фильмы и сериалы про андроидов, но в реальности этим и близко не пахнет. Все так убеждены, что в будущем будет сильный ИИ, но я не встречал внятного объяснения, зачем его в принципе будут создавать, вместо групп слабых ии, как вариант. Просто какая-то вера, что будет и все. А дата саентисты, которые угорают по тому же, это уже механикусы, которые молятся Омниссии.
4) Множество задач проще решить без нейронок, чем с ними. Последние прикручивают часто для понта, мол У НАС НЕ ПРОСТО САЙТ, А С ИСКУССТВЕННЫМ ИНТЕЛЛЕКТОМ!.
>>27693
блин, прошу прощения за ошибки
блин, прошу прощения за ошибки
>>27693
Все верно с точки зрения обывателя.
Все верно с точки зрения обывателя.
>>27693
А что нельзя освоить, если это знаешь? Главное это прежде всего мозги и умение ими пользоваться, а с такими вводными можно хоть физиком стать, хоть лингвистом. Машоб это типичная STEM дисциплина, не проще и не сложнее остальных.
Это особенности инновационной экономики. 10 лет назад все так же бугуртили на соцсети, мол, каждый васян делает соцсеть, хайп везде, а сейчас профессией SMM никого не удивишь, это большая часть жизни большинства населения. Несмотря на то, что 99 стартапов из 100 провалились, оставшийся 1 окупил и эти 99. Так же и с нейронками, все, что видишь в новостной ленте, это шлак, но это не значит, что нет потребности в том, чего ты в новостной ленте не видишь. Уже незаметно так можно включить автоперевод субтитров и спокойно смотреть интервью на незнакомом тебе языке. text-to-speech это распозает, переводчик переведет.
В большой корпорации непосредственно влияют разве что самые топы из топов. Не хочешь такого, не иди в большую корпорацию, иди в стартап.
Обывательский мозг устроен очень тупо, если что-то, что 20-30 назад казалось задачей ИИ, решается, это просто выписывается из ИИ. Я тебя уверяю, что когда появятся андроиды, к ним привыкнут за полгода и точно так же выпишут из ИИ - потому что сначала они будут туповатыми и безмозглыми, но войдут в жизнь, а потом станут теми, что из фантастики, но все привыкнут и будет похуй уже.
Потому что это находится в логике прогресса. Так дешевле. Если не опускаться до века паровых машин, полвека назад любое устройство состояло из кучи логики, сначала на реле, потом на интегральных схемах, потом появились микропроцессоры, но они зачастую были специализированные, а сейчас все более и более унифицировано, а 90% задач решает вообще смартфон.
Те, кто не верит, пердит на диване. Любое творчество подразумевает веру в успех. Основная база - это предположение о том, что человеческий мозг обучается всему, используя один алгоритм (это бритва оккама), а раз хотя бы один такой алгоритм существует, мы можем придумать аналогичный под наше железо.
Это множество стремительно сокращается. Если заниматься не нейронками, у тебя есть шанс стать конюхом в век появления ДВС. То есть с голоду не помрешь, но инвестиция эта так себе. С другой стороны, нейронки это в основном количественное усложение, а не качественное, то есть если ты не знаешь классический машоб, то и в нейронки ты не сможешь.
>Машоб в простейшем виде можно освоить если знаешь, что такое функция, матрица, вектор и хотя бы основы статистики
А что нельзя освоить, если это знаешь? Главное это прежде всего мозги и умение ими пользоваться, а с такими вводными можно хоть физиком стать, хоть лингвистом. Машоб это типичная STEM дисциплина, не проще и не сложнее остальных.
>По этой теме больше хайпа, чем потребности.
Это особенности инновационной экономики. 10 лет назад все так же бугуртили на соцсети, мол, каждый васян делает соцсеть, хайп везде, а сейчас профессией SMM никого не удивишь, это большая часть жизни большинства населения. Несмотря на то, что 99 стартапов из 100 провалились, оставшийся 1 окупил и эти 99. Так же и с нейронками, все, что видишь в новостной ленте, это шлак, но это не значит, что нет потребности в том, чего ты в новостной ленте не видишь. Уже незаметно так можно включить автоперевод субтитров и спокойно смотреть интервью на незнакомом тебе языке. text-to-speech это распозает, переводчик переведет.
>но ирл дата саентист, например, аналитик - специфическая должность, уровня продвинутого советчика, а иногда и маркетолога. Я так понял, он мало на что влияет непосредственно.
В большой корпорации непосредственно влияют разве что самые топы из топов. Не хочешь такого, не иди в большую корпорацию, иди в стартап.
>В обывательском представлении все, что связано с ИИ - это философия.
Обывательский мозг устроен очень тупо, если что-то, что 20-30 назад казалось задачей ИИ, решается, это просто выписывается из ИИ. Я тебя уверяю, что когда появятся андроиды, к ним привыкнут за полгода и точно так же выпишут из ИИ - потому что сначала они будут туповатыми и безмозглыми, но войдут в жизнь, а потом станут теми, что из фантастики, но все привыкнут и будет похуй уже.
>Все так убеждены, что в будущем будет сильный ИИ, но я не встречал внятного объяснения, зачем его в принципе будут создавать, вместо групп слабых ии, как вариант.
Потому что это находится в логике прогресса. Так дешевле. Если не опускаться до века паровых машин, полвека назад любое устройство состояло из кучи логики, сначала на реле, потом на интегральных схемах, потом появились микропроцессоры, но они зачастую были специализированные, а сейчас все более и более унифицировано, а 90% задач решает вообще смартфон.
>Просто какая-то вера, что будет и все
Те, кто не верит, пердит на диване. Любое творчество подразумевает веру в успех. Основная база - это предположение о том, что человеческий мозг обучается всему, используя один алгоритм (это бритва оккама), а раз хотя бы один такой алгоритм существует, мы можем придумать аналогичный под наше железо.
>Множество задач проще решить без нейронок, чем с ними. Последние прикручивают часто для понта, мол У НАС НЕ ПРОСТО САЙТ, А С ИСКУССТВЕННЫМ ИНТЕЛЛЕКТОМ!.
Это множество стремительно сокращается. Если заниматься не нейронками, у тебя есть шанс стать конюхом в век появления ДВС. То есть с голоду не помрешь, но инвестиция эта так себе. С другой стороны, нейронки это в основном количественное усложение, а не качественное, то есть если ты не знаешь классический машоб, то и в нейронки ты не сможешь.
>>27693
А что нельзя освоить, если это знаешь? Главное это прежде всего мозги и умение ими пользоваться, а с такими вводными можно хоть физиком стать, хоть лингвистом. Машоб это типичная STEM дисциплина, не проще и не сложнее остальных.
Это особенности инновационной экономики. 10 лет назад все так же бугуртили на соцсети, мол, каждый васян делает соцсеть, хайп везде, а сейчас профессией SMM никого не удивишь, это большая часть жизни большинства населения. Несмотря на то, что 99 стартапов из 100 провалились, оставшийся 1 окупил и эти 99. Так же и с нейронками, все, что видишь в новостной ленте, это шлак, но это не значит, что нет потребности в том, чего ты в новостной ленте не видишь. Уже незаметно так можно включить автоперевод субтитров и спокойно смотреть интервью на незнакомом тебе языке. text-to-speech это распозает, переводчик переведет.
В большой корпорации непосредственно влияют разве что самые топы из топов. Не хочешь такого, не иди в большую корпорацию, иди в стартап.
Обывательский мозг устроен очень тупо, если что-то, что 20-30 назад казалось задачей ИИ, решается, это просто выписывается из ИИ. Я тебя уверяю, что когда появятся андроиды, к ним привыкнут за полгода и точно так же выпишут из ИИ - потому что сначала они будут туповатыми и безмозглыми, но войдут в жизнь, а потом станут теми, что из фантастики, но все привыкнут и будет похуй уже.
Потому что это находится в логике прогресса. Так дешевле. Если не опускаться до века паровых машин, полвека назад любое устройство состояло из кучи логики, сначала на реле, потом на интегральных схемах, потом появились микропроцессоры, но они зачастую были специализированные, а сейчас все более и более унифицировано, а 90% задач решает вообще смартфон.
Те, кто не верит, пердит на диване. Любое творчество подразумевает веру в успех. Основная база - это предположение о том, что человеческий мозг обучается всему, используя один алгоритм (это бритва оккама), а раз хотя бы один такой алгоритм существует, мы можем придумать аналогичный под наше железо.
Это множество стремительно сокращается. Если заниматься не нейронками, у тебя есть шанс стать конюхом в век появления ДВС. То есть с голоду не помрешь, но инвестиция эта так себе. С другой стороны, нейронки это в основном количественное усложение, а не качественное, то есть если ты не знаешь классический машоб, то и в нейронки ты не сможешь.
>Машоб в простейшем виде можно освоить если знаешь, что такое функция, матрица, вектор и хотя бы основы статистики
А что нельзя освоить, если это знаешь? Главное это прежде всего мозги и умение ими пользоваться, а с такими вводными можно хоть физиком стать, хоть лингвистом. Машоб это типичная STEM дисциплина, не проще и не сложнее остальных.
>По этой теме больше хайпа, чем потребности.
Это особенности инновационной экономики. 10 лет назад все так же бугуртили на соцсети, мол, каждый васян делает соцсеть, хайп везде, а сейчас профессией SMM никого не удивишь, это большая часть жизни большинства населения. Несмотря на то, что 99 стартапов из 100 провалились, оставшийся 1 окупил и эти 99. Так же и с нейронками, все, что видишь в новостной ленте, это шлак, но это не значит, что нет потребности в том, чего ты в новостной ленте не видишь. Уже незаметно так можно включить автоперевод субтитров и спокойно смотреть интервью на незнакомом тебе языке. text-to-speech это распозает, переводчик переведет.
>но ирл дата саентист, например, аналитик - специфическая должность, уровня продвинутого советчика, а иногда и маркетолога. Я так понял, он мало на что влияет непосредственно.
В большой корпорации непосредственно влияют разве что самые топы из топов. Не хочешь такого, не иди в большую корпорацию, иди в стартап.
>В обывательском представлении все, что связано с ИИ - это философия.
Обывательский мозг устроен очень тупо, если что-то, что 20-30 назад казалось задачей ИИ, решается, это просто выписывается из ИИ. Я тебя уверяю, что когда появятся андроиды, к ним привыкнут за полгода и точно так же выпишут из ИИ - потому что сначала они будут туповатыми и безмозглыми, но войдут в жизнь, а потом станут теми, что из фантастики, но все привыкнут и будет похуй уже.
>Все так убеждены, что в будущем будет сильный ИИ, но я не встречал внятного объяснения, зачем его в принципе будут создавать, вместо групп слабых ии, как вариант.
Потому что это находится в логике прогресса. Так дешевле. Если не опускаться до века паровых машин, полвека назад любое устройство состояло из кучи логики, сначала на реле, потом на интегральных схемах, потом появились микропроцессоры, но они зачастую были специализированные, а сейчас все более и более унифицировано, а 90% задач решает вообще смартфон.
>Просто какая-то вера, что будет и все
Те, кто не верит, пердит на диване. Любое творчество подразумевает веру в успех. Основная база - это предположение о том, что человеческий мозг обучается всему, используя один алгоритм (это бритва оккама), а раз хотя бы один такой алгоритм существует, мы можем придумать аналогичный под наше железо.
>Множество задач проще решить без нейронок, чем с ними. Последние прикручивают часто для понта, мол У НАС НЕ ПРОСТО САЙТ, А С ИСКУССТВЕННЫМ ИНТЕЛЛЕКТОМ!.
Это множество стремительно сокращается. Если заниматься не нейронками, у тебя есть шанс стать конюхом в век появления ДВС. То есть с голоду не помрешь, но инвестиция эта так себе. С другой стороны, нейронки это в основном количественное усложение, а не качественное, то есть если ты не знаешь классический машоб, то и в нейронки ты не сможешь.
>>27840
20 лет назад обещали к 2042. Я думаю, что ещё минимум на 20 лет позже. Хочу увидеть лично
20 лет назад обещали к 2042. Я думаю, что ещё минимум на 20 лет позже. Хочу увидеть лично
>>27902
Давай в попчан?
Давай в попчан?
>>27766
>>27693
А что нельзя освоить, если это знаешь? Главное это прежде всего мозги и умение ими пользоваться, а с такими вводными можно хоть физиком стать, хоть лингвистом. Машоб это типичная STEM дисциплина, не проще и не сложнее остальных.
~~~
Можно, но никому с простейшими знаниями это не нужно. Или ты думаешь в проде все устроено как в титаник датасете? ДС джун нужен такой, который разберется как решать несложную задачу, не поломает прод, не задолбает вопросами , не будет душным и сделает все в срок без голимых отмазок.
Это особенности инновационной экономики. 10 лет назад все так же бугуртили на соцсети, мол, каждый васян делает соцсеть, хайп везде, а сейчас профессией SMM никого не удивишь, это большая часть жизни большинства населения. Несмотря на то, что 99 стартапов из 100 провалились, оставшийся 1 окупил и эти 99. Так же и с нейронками, все, что видишь в новостной ленте, это шлак, но это не значит, что нет потребности в том, чего ты в новостной ленте не видишь. Уже незаметно так можно включить автоперевод субтитров и спокойно смотреть интервью на незнакомом тебе языке. text-to-speech это распозает, переводчик переведет.
~~~
Согласен.
В большой корпорации непосредственно влияют разве что самые топы из топов. Не хочешь такого, не иди в большую корпорацию, иди в стартап.
~~~
Отчет по a/b тесту по внедрению очередной фичи из ml влияет на принятие решения как правило.
Это множество стремительно сокращается. Если заниматься не нейронками, у тебя есть шанс стать конюхом в век появления ДВС. То есть с голоду не помрешь, но инвестиция эта так себе. С другой стороны, нейронки это в основном количественное усложение, а не качественное, то есть если ты не знаешь классический машоб, то и в нейронки ты не сможешь.
~~~
Нйронки это подраздел ml. Просто один из инструментов. Их прикручивают, потому-что определенный класс задач они решают лучше. Они же вообще взлетели c CV и NLP.
Очень часто в проде работают не нейронки, а более простые, но быстрые и очевидные по feature impotances алгоритмы.
>>27693
>Машоб в простейшем виде можно освоить если знаешь, что такое функция, матрица, вектор и хотя бы основы статистики
А что нельзя освоить, если это знаешь? Главное это прежде всего мозги и умение ими пользоваться, а с такими вводными можно хоть физиком стать, хоть лингвистом. Машоб это типичная STEM дисциплина, не проще и не сложнее остальных.
~~~
Можно, но никому с простейшими знаниями это не нужно. Или ты думаешь в проде все устроено как в титаник датасете? ДС джун нужен такой, который разберется как решать несложную задачу, не поломает прод, не задолбает вопросами , не будет душным и сделает все в срок без голимых отмазок.
>По этой теме больше хайпа, чем потребности.
Это особенности инновационной экономики. 10 лет назад все так же бугуртили на соцсети, мол, каждый васян делает соцсеть, хайп везде, а сейчас профессией SMM никого не удивишь, это большая часть жизни большинства населения. Несмотря на то, что 99 стартапов из 100 провалились, оставшийся 1 окупил и эти 99. Так же и с нейронками, все, что видишь в новостной ленте, это шлак, но это не значит, что нет потребности в том, чего ты в новостной ленте не видишь. Уже незаметно так можно включить автоперевод субтитров и спокойно смотреть интервью на незнакомом тебе языке. text-to-speech это распозает, переводчик переведет.
~~~
Согласен.
>но ирл дата саентист, например, аналитик - специфическая должность, уровня продвинутого советчика, а иногда и маркетолога. Я так понял, он мало на что влияет непосредственно.
В большой корпорации непосредственно влияют разве что самые топы из топов. Не хочешь такого, не иди в большую корпорацию, иди в стартап.
~~~
Отчет по a/b тесту по внедрению очередной фичи из ml влияет на принятие решения как правило.
>Множество задач проще решить без нейронок, чем с ними. Последние прикручивают часто для понта, мол У НАС НЕ ПРОСТО САЙТ, А С ИСКУССТВЕННЫМ ИНТЕЛЛЕКТОМ!.
Это множество стремительно сокращается. Если заниматься не нейронками, у тебя есть шанс стать конюхом в век появления ДВС. То есть с голоду не помрешь, но инвестиция эта так себе. С другой стороны, нейронки это в основном количественное усложение, а не качественное, то есть если ты не знаешь классический машоб, то и в нейронки ты не сможешь.
~~~
Нйронки это подраздел ml. Просто один из инструментов. Их прикручивают, потому-что определенный класс задач они решают лучше. Они же вообще взлетели c CV и NLP.
Очень часто в проде работают не нейронки, а более простые, но быстрые и очевидные по feature impotances алгоритмы.
>>27766
>>27693
А что нельзя освоить, если это знаешь? Главное это прежде всего мозги и умение ими пользоваться, а с такими вводными можно хоть физиком стать, хоть лингвистом. Машоб это типичная STEM дисциплина, не проще и не сложнее остальных.
~~~
Можно, но никому с простейшими знаниями это не нужно. Или ты думаешь в проде все устроено как в титаник датасете? ДС джун нужен такой, который разберется как решать несложную задачу, не поломает прод, не задолбает вопросами , не будет душным и сделает все в срок без голимых отмазок.
Это особенности инновационной экономики. 10 лет назад все так же бугуртили на соцсети, мол, каждый васян делает соцсеть, хайп везде, а сейчас профессией SMM никого не удивишь, это большая часть жизни большинства населения. Несмотря на то, что 99 стартапов из 100 провалились, оставшийся 1 окупил и эти 99. Так же и с нейронками, все, что видишь в новостной ленте, это шлак, но это не значит, что нет потребности в том, чего ты в новостной ленте не видишь. Уже незаметно так можно включить автоперевод субтитров и спокойно смотреть интервью на незнакомом тебе языке. text-to-speech это распозает, переводчик переведет.
~~~
Согласен.
В большой корпорации непосредственно влияют разве что самые топы из топов. Не хочешь такого, не иди в большую корпорацию, иди в стартап.
~~~
Отчет по a/b тесту по внедрению очередной фичи из ml влияет на принятие решения как правило.
Это множество стремительно сокращается. Если заниматься не нейронками, у тебя есть шанс стать конюхом в век появления ДВС. То есть с голоду не помрешь, но инвестиция эта так себе. С другой стороны, нейронки это в основном количественное усложение, а не качественное, то есть если ты не знаешь классический машоб, то и в нейронки ты не сможешь.
~~~
Нйронки это подраздел ml. Просто один из инструментов. Их прикручивают, потому-что определенный класс задач они решают лучше. Они же вообще взлетели c CV и NLP.
Очень часто в проде работают не нейронки, а более простые, но быстрые и очевидные по feature impotances алгоритмы.
>>27693
>Машоб в простейшем виде можно освоить если знаешь, что такое функция, матрица, вектор и хотя бы основы статистики
А что нельзя освоить, если это знаешь? Главное это прежде всего мозги и умение ими пользоваться, а с такими вводными можно хоть физиком стать, хоть лингвистом. Машоб это типичная STEM дисциплина, не проще и не сложнее остальных.
~~~
Можно, но никому с простейшими знаниями это не нужно. Или ты думаешь в проде все устроено как в титаник датасете? ДС джун нужен такой, который разберется как решать несложную задачу, не поломает прод, не задолбает вопросами , не будет душным и сделает все в срок без голимых отмазок.
>По этой теме больше хайпа, чем потребности.
Это особенности инновационной экономики. 10 лет назад все так же бугуртили на соцсети, мол, каждый васян делает соцсеть, хайп везде, а сейчас профессией SMM никого не удивишь, это большая часть жизни большинства населения. Несмотря на то, что 99 стартапов из 100 провалились, оставшийся 1 окупил и эти 99. Так же и с нейронками, все, что видишь в новостной ленте, это шлак, но это не значит, что нет потребности в том, чего ты в новостной ленте не видишь. Уже незаметно так можно включить автоперевод субтитров и спокойно смотреть интервью на незнакомом тебе языке. text-to-speech это распозает, переводчик переведет.
~~~
Согласен.
>но ирл дата саентист, например, аналитик - специфическая должность, уровня продвинутого советчика, а иногда и маркетолога. Я так понял, он мало на что влияет непосредственно.
В большой корпорации непосредственно влияют разве что самые топы из топов. Не хочешь такого, не иди в большую корпорацию, иди в стартап.
~~~
Отчет по a/b тесту по внедрению очередной фичи из ml влияет на принятие решения как правило.
>Множество задач проще решить без нейронок, чем с ними. Последние прикручивают часто для понта, мол У НАС НЕ ПРОСТО САЙТ, А С ИСКУССТВЕННЫМ ИНТЕЛЛЕКТОМ!.
Это множество стремительно сокращается. Если заниматься не нейронками, у тебя есть шанс стать конюхом в век появления ДВС. То есть с голоду не помрешь, но инвестиция эта так себе. С другой стороны, нейронки это в основном количественное усложение, а не качественное, то есть если ты не знаешь классический машоб, то и в нейронки ты не сможешь.
~~~
Нйронки это подраздел ml. Просто один из инструментов. Их прикручивают, потому-что определенный класс задач они решают лучше. Они же вообще взлетели c CV и NLP.
Очень часто в проде работают не нейронки, а более простые, но быстрые и очевидные по feature impotances алгоритмы.
>>27959
Тогда уж со времен древнего Рима с их рабами - калькуляторами.
Тогда уж со времен древнего Рима с их рабами - калькуляторами.
>>27766
По-моему сильно сказано, либо очень забегая наперед. Я слышал нечто подобное еще лет 7-8 назад и уверен, что что-то подобное звучало еще раньше. Если смотреть в прошлое, то глядя на ретрофантастику, люди, а точнее наши родители или дедушки-бабушки ( у кого как ), тоже ждали будущего, где будет много роботов, повальной автоматизации, супермедицины с долгим сроком жизни, более продвинутого общества и т.д. Тут можно дискуссировать, что из этого сбылось, но в том фантастическом виде ничего не появилось. Ты можешь возразить, что мы просто этого не заметили, но по факту, сейчас возрождаются схожие ожидания от космоса (Илон Маск и т.п.), но мы пока и близко не стоим рядом с фантастикой.
>Если заниматься не нейронками, у тебя есть шанс стать конюхом в век появления ДВС
По-моему сильно сказано, либо очень забегая наперед. Я слышал нечто подобное еще лет 7-8 назад и уверен, что что-то подобное звучало еще раньше. Если смотреть в прошлое, то глядя на ретрофантастику, люди, а точнее наши родители или дедушки-бабушки ( у кого как ), тоже ждали будущего, где будет много роботов, повальной автоматизации, супермедицины с долгим сроком жизни, более продвинутого общества и т.д. Тут можно дискуссировать, что из этого сбылось, но в том фантастическом виде ничего не появилось. Ты можешь возразить, что мы просто этого не заметили, но по факту, сейчас возрождаются схожие ожидания от космоса (Илон Маск и т.п.), но мы пока и близко не стоим рядом с фантастикой.
А вам не кажется, что нейронки, да и вообще машоб - сплошное наебалово в последнее время?
Как мне кажется, это своего рода говно без задач. То есть задачи есть, типа компьютерного зрения, которое нужно для выслеживания людей и машин на улицах, для анализа медицинских изображений, беспилотных автомобилей. Но вот все остальное это какой-то сюр, когда уже на протяжении 5 лет каждый месяц показывают очередную хуйню, которая пишет музыку или несвязные стехи.
Если это ради лулзов, то понять можно. Но практического применения этой хуйни как не было, так и не появилось.
Да и вообще, современное айти выглядит каким-то массовым наебаловом. Сам я джава мид, последнее время замечаю, что за последние 5 лет нихуя толком не произошло, единственный ощутимый прогресс был только в инструментах для разработки. Возможно, это шиза и пора к психиатру, но я уверен, что для обывателя никаких заметных улучшений нет. За последние 10 лет имхо наибольшее развитие получили сервисы типа ютаба и музыки и то, во многом благодаря развития телекома и проведению интернета во все дома, а также бурному развитию смартфонов в период с 2010 по 2013.
Как мне кажется, это своего рода говно без задач. То есть задачи есть, типа компьютерного зрения, которое нужно для выслеживания людей и машин на улицах, для анализа медицинских изображений, беспилотных автомобилей. Но вот все остальное это какой-то сюр, когда уже на протяжении 5 лет каждый месяц показывают очередную хуйню, которая пишет музыку или несвязные стехи.
Если это ради лулзов, то понять можно. Но практического применения этой хуйни как не было, так и не появилось.
Да и вообще, современное айти выглядит каким-то массовым наебаловом. Сам я джава мид, последнее время замечаю, что за последние 5 лет нихуя толком не произошло, единственный ощутимый прогресс был только в инструментах для разработки. Возможно, это шиза и пора к психиатру, но я уверен, что для обывателя никаких заметных улучшений нет. За последние 10 лет имхо наибольшее развитие получили сервисы типа ютаба и музыки и то, во многом благодаря развития телекома и проведению интернета во все дома, а также бурному развитию смартфонов в период с 2010 по 2013.
2,7 Мб, 1600x2133>>28012
Изначально
Это сфера развлечений, не являющаяся прогрессом для человечества.
Копетолизды не дадут.
Мимо погромист-философ который вкатывается в электронику и физику реального мира
>последнее время
Изначально
>современное айти выглядит каким-то массовым наебаловом
Это сфера развлечений, не являющаяся прогрессом для человечества.
>так и не появилось
Копетолизды не дадут.
Мимо погромист-философ который вкатывается в электронику и физику реального мира
>>28012
Наебалова нет. Ml успешно применяется.
Просто у обывателей, разыгралась фантазия от желтушных заголовков статей. Реальность прозаичнее.
Если говорить про бизнес, то тут так.
Пусть есть ml департамент обычной крупной конторы типа x5, Сибура, Wilberries.
Там примерно
1 head 1-2 PM 3-4 Team Lead 15Data Scientist + 2-3 Data Engineer
Еще железо для распределенных вычислений.
Считаем затраты на такой департамент сразу с учетом налогов и взносов. Множитель от оффера 1,4
(600+4002+3004+15200+3250)
Железки будут стоить лямов 40, амортизация лет 7. 40000/84
Раскидываем CAPEX на смежные отделы для простоты оставим на нашем департаменте 0.2
Итого monthly (OPEX+CAPEX) без учета бухгалтерии и прочей мутотени = (600+4002+3004+15200+3250)+(40000/84)*0.1 =
= 6397.61904762
Так вот нужно чтобы те фичи, которые этот отдел порождает, увеличивали что-то в бизнесе, от чего либо общие косты падают либо растет маржинальность на эти самые затраты и больше.
Бизнес будет ежеквартально сношать head of department и
спрашивать, что он и его бравые сайентисты сделали на двадцать миллионов и сколько это принесло прибыли.
Не берем в расчет сейчас развитие компетенций внутри компании и стоимость структурированных данных.
Наебалова нет. Ml успешно применяется.
Просто у обывателей, разыгралась фантазия от желтушных заголовков статей. Реальность прозаичнее.
Если говорить про бизнес, то тут так.
Пусть есть ml департамент обычной крупной конторы типа x5, Сибура, Wilberries.
Там примерно
1 head 1-2 PM 3-4 Team Lead 15Data Scientist + 2-3 Data Engineer
Еще железо для распределенных вычислений.
Считаем затраты на такой департамент сразу с учетом налогов и взносов. Множитель от оффера 1,4
(600+4002+3004+15200+3250)
Железки будут стоить лямов 40, амортизация лет 7. 40000/84
Раскидываем CAPEX на смежные отделы для простоты оставим на нашем департаменте 0.2
Итого monthly (OPEX+CAPEX) без учета бухгалтерии и прочей мутотени = (600+4002+3004+15200+3250)+(40000/84)*0.1 =
= 6397.61904762
Так вот нужно чтобы те фичи, которые этот отдел порождает, увеличивали что-то в бизнесе, от чего либо общие косты падают либо растет маржинальность на эти самые затраты и больше.
Бизнес будет ежеквартально сношать head of department и
спрашивать, что он и его бравые сайентисты сделали на двадцать миллионов и сколько это принесло прибыли.
Не берем в расчет сейчас развитие компетенций внутри компании и стоимость структурированных данных.
А где в россии сейчас топовые мл задачи? До того как попал в яндекс казалось что там, но там говно одно какое-то, перекладывание джейсонов. Я так понял настоящее разгулье в промышленности, банках и торговле, а не в IT.
>>28012
Я написал про это выше: "Я тебя уверяю, что когда появятся андроиды, к ним привыкнут за полгода и точно так же выпишут из ИИ - потому что сначала они будут туповатыми и безмозглыми, но войдут в жизнь, а потом станут теми, что из фантастики, но все привыкнут и будет похуй уже".
Ты перечислил технологии, которые 7 лет назад были фантастикой. Через 7 лет автогенеративная музыка, которую будут ставить фоном вместо копирайтнутой, будет обыденностью, но ты это уже не вспомнишь.
Потому что обыватель живет хайпом, отрыжкой медиа, а в медиа попадают только те, кому нужно похайпиться. Если у тебя проинвестирована технология, ты будешь молча ее допиливать, а не тратить ресурсы для того, что ты это лайкал и репостил. Ни одна по-настоящему зрелая технология в нейронках в ленты новостей уже не попадает, она попадает на рынок.
Про "бурное развитие смартфонов с 2010 по 2013" вообще посмеялся. Мобильная связь бурно, по экспоненте, развивалась 20 лет до этого (а радио как технология - больше ста лет), и тут до обывателей дошло, что мир изменился. При чем не для всех, какой-нибудь 60+ пенсионер всерьез будет пиздеть, что эти мобильники нахуй не нужны.
>То есть задачи есть, типа компьютерного зрения, которое нужно для выслеживания людей и машин на улицах, для анализа медицинских изображений, беспилотных автомобилей.
Я написал про это выше: "Я тебя уверяю, что когда появятся андроиды, к ним привыкнут за полгода и точно так же выпишут из ИИ - потому что сначала они будут туповатыми и безмозглыми, но войдут в жизнь, а потом станут теми, что из фантастики, но все привыкнут и будет похуй уже".
Ты перечислил технологии, которые 7 лет назад были фантастикой. Через 7 лет автогенеративная музыка, которую будут ставить фоном вместо копирайтнутой, будет обыденностью, но ты это уже не вспомнишь.
Потому что обыватель живет хайпом, отрыжкой медиа, а в медиа попадают только те, кому нужно похайпиться. Если у тебя проинвестирована технология, ты будешь молча ее допиливать, а не тратить ресурсы для того, что ты это лайкал и репостил. Ни одна по-настоящему зрелая технология в нейронках в ленты новостей уже не попадает, она попадает на рынок.
Про "бурное развитие смартфонов с 2010 по 2013" вообще посмеялся. Мобильная связь бурно, по экспоненте, развивалась 20 лет до этого (а радио как технология - больше ста лет), и тут до обывателей дошло, что мир изменился. При чем не для всех, какой-нибудь 60+ пенсионер всерьез будет пиздеть, что эти мобильники нахуй не нужны.
>>27994
И что ты этой пикчей хотел сказать? Ты из тех верунов с СИНГУЛЯРНОСТЬ?
И что ты этой пикчей хотел сказать? Ты из тех верунов с СИНГУЛЯРНОСТЬ?
>>28107
На ICML 2020 у них 5 статей. А так Гугл, Дипмаинд, MIT и ещё пяток мест (какое-нибудь Беркли, если про роботов говорим). Самое смешное, что люди оттуда даже в ОДС не сидят.
На ICML 2020 у них 5 статей. А так Гугл, Дипмаинд, MIT и ещё пяток мест (какое-нибудь Беркли, если про роботов говорим). Самое смешное, что люди оттуда даже в ОДС не сидят.
>>28039
Так так, ты же про спекулянтов говоришь, типа найти лохов по базе и впарить им очередное нинужно. В техпроцессах нейроговно нинужно и никто черный ящик в здравом уме использовать не будет.
>увеличивали что-то в бизнесе
Так так, ты же про спекулянтов говоришь, типа найти лохов по базе и впарить им очередное нинужно. В техпроцессах нейроговно нинужно и никто черный ящик в здравом уме использовать не будет.
>>28111
Так это рисёрч отдел, мы не про него понятное дело говорим.
Ну логично, не позориться шоб
>На ICML 2020 у них 5 статей.
Так это рисёрч отдел, мы не про него понятное дело говорим.
>люди оттуда даже в ОДС не сидят
Ну логично, не позориться шоб
>>28118
У тебя неполное представление о возможности применения ml в бизнесе.
Если что, у ютуба одна из ключевых бизнес метрик - время проведенное пользователем на сайте.
Одна из фич, направленных на это - рекоммендации после окончания ролика.
Решается рек. системой с метрикой типа NDCG@
в этом алгоритме, как я помню, нейронка как раз.
У тебя неполное представление о возможности применения ml в бизнесе.
Если что, у ютуба одна из ключевых бизнес метрик - время проведенное пользователем на сайте.
Одна из фич, направленных на это - рекоммендации после окончания ролика.
Решается рек. системой с метрикой типа NDCG@
в этом алгоритме, как я помню, нейронка как раз.
>>28138
Тото они мне постоянно нерелевантное говнище подсовывают, ай да нейроночки, ай да говнецо
>у ютуба одна из ключевых бизнес метрик
Тото они мне постоянно нерелевантное говнище подсовывают, ай да нейроночки, ай да говнецо
>>28138
Это нечеткий шиз, не трать время на него
Это нечеткий шиз, не трать время на него
>>28111
Типичная жертва медиахайпа, про спейсикс забыл.
Это же хуитка для социоблядей-вкатывальщиков, мечтающих выехать не за счет скилла, а за счет социоблядства. Понятно там никто сидеть не будет.
>А так Гугл, Дипмаинд, MIT и ещё пяток мест (какое-нибудь Беркли, если про роботов говорим)
Типичная жертва медиахайпа, про спейсикс забыл.
>Самое смешное, что люди оттуда даже в ОДС не сидят.
Это же хуитка для социоблядей-вкатывальщиков, мечтающих выехать не за счет скилла, а за счет социоблядства. Понятно там никто сидеть не будет.
>>28154
При чем тут спеисикс? Я читаю статьи и их имплементирую. Сраный Берт от Гугла, Миколов сделал ворд2век, через месяц в Фейсбук ушел и оттуда уже фасттекст пилил. В картинках и того хуже. Только йоло не из корпораций.
При чем тут спеисикс? Я читаю статьи и их имплементирую. Сраный Берт от Гугла, Миколов сделал ворд2век, через месяц в Фейсбук ушел и оттуда уже фасттекст пилил. В картинках и того хуже. Только йоло не из корпораций.
>>28186
То что работает в корпорациях тоже не публикуется
>То, что делается не в корпорациях, не публикуется
То что работает в корпорациях тоже не публикуется
>>28186
Судя по моим небольшим пересечениям с военнизированными НИИ (забыл, как эта шарага в часе езды от речного вокзала называется) ничего они толком не умеют, так как денег там мало и бегут оттуда как крысы с корабля, а о всяких ФСБ они отзываются ещё хуже. (Если говорить про нейронки, какому-нибудь физику в РФ кроме военки особо некому податься, поэтому там действительно интересные и классные проекты)
Судя по моим небольшим пересечениям с военнизированными НИИ (забыл, как эта шарага в часе езды от речного вокзала называется) ничего они толком не умеют, так как денег там мало и бегут оттуда как крысы с корабля, а о всяких ФСБ они отзываются ещё хуже. (Если говорить про нейронки, какому-нибудь физику в РФ кроме военки особо некому податься, поэтому там действительно интересные и классные проекты)
>>28212
МФТИ петушня никому не нужна, поскольку это обоссаные теоретики шликающие на матан. Срыночек порешал.
>какому-нибудь физику
МФТИ петушня никому не нужна, поскольку это обоссаные теоретики шликающие на матан. Срыночек порешал.
>>28074
Наверное, он имел в виду развитие андроидов и айфонов до того уровня, когда они смогли нормально показывать сайты и видео.
В середине нулевых с этим были большие проблемы. В том числе из-за того, что мобильный интернет как раз к 2012 дошел до уровня, когда им стало возможно пользоваться без мучений. В моем мухосранске по крайней мере.
>Мобильная связь бурно, по экспоненте, развивалась 20 лет до этого (а радио как технология - больше ста лет), и тут до обывателей дошло, что мир изменился
Наверное, он имел в виду развитие андроидов и айфонов до того уровня, когда они смогли нормально показывать сайты и видео.
В середине нулевых с этим были большие проблемы. В том числе из-за того, что мобильный интернет как раз к 2012 дошел до уровня, когда им стало возможно пользоваться без мучений. В моем мухосранске по крайней мере.
391 Кб, 652x562>>28025
Тайдмен ты малолетний. Мозги и калмунизм это принципиально несовместимые вещи.
> Копетолизды не дадут.
> Мимо погромист-философ
Тайдмен ты малолетний. Мозги и калмунизм это принципиально несовместимые вещи.
как же эта маня заебла
>>28282
Копетолизды всегда будут пресекать прогресс который составит им конкуренцию, утрись и иди тряси свой ящик.
Копетолизды всегда будут пресекать прогресс который составит им конкуренцию, утрись и иди тряси свой ящик.
>>28289
Уничтожение машин было объявлено преступлением, наказуемым смертной казнью
Срыночек порешал
>Не помнишь, чем закончили луддиты?
Уничтожение машин было объявлено преступлением, наказуемым смертной казнью
Срыночек порешал
Блять съебите уже отсюда школьники нахуй
моча прими меры!
моча прими меры!
>>28318
Ну так какой прогресс там был пресечен? Уже не говоря о нападении на частную собственность. Выходит наоборот.
Ну так какой прогресс там был пресечен? Уже не говоря о нападении на частную собственность. Выходит наоборот.
>>28322
А при чем тут частная собственность, это только награбленное ворье отстаивает. Прогресс это когда твои копетолизды построят заводы, а ты придешь и скажешь, что я могу это все делать в трехлитровой банке.
А при чем тут частная собственность, это только награбленное ворье отстаивает. Прогресс это когда твои копетолизды построят заводы, а ты придешь и скажешь, что я могу это все делать в трехлитровой банке.
>>28341
Чмоки и хорошего настроения
Чмоки и хорошего настроения
>>28039
Нахрена столько? Мощная железка нужна одна на всю команду, и стоить она будет миллион-два, если все брать по максимуму. Для большинства задач вообще хватит десктопа с парой топовых видеокарт.
>Железки будут стоить лямов 40
Нахрена столько? Мощная железка нужна одна на всю команду, и стоить она будет миллион-два, если все брать по максимуму. Для большинства задач вообще хватит десктопа с парой топовых видеокарт.
>>28212
>>28201
Не, я не об этом.
Публикуется, потому что корпорациям не выгодно сообщаться свои открытия только тем, кто может в промышленный шпионаж. Проще опубликоваться сразу, тогда будет гораздо меньше проблем, чем вкладывать кучу бабок в якобы секретность, которая один хер будет дырявой.
А если брать мелкие конторы, то
1. Секретность обеспечить не так сложно, в основном по методу "неуловимого джо"
2. Опубликуешь идею - гугл либо переманит весь твой R&D отдел, либо повторит все на своих мощностях, уже зная, куда копать
Поэтому ты максимум находишь статью по теме от CTO в 2010 году, а дальше тишина. И это та подводная часть айсберга, которую не видно.
>>28201
Не, я не об этом.
Публикуется, потому что корпорациям не выгодно сообщаться свои открытия только тем, кто может в промышленный шпионаж. Проще опубликоваться сразу, тогда будет гораздо меньше проблем, чем вкладывать кучу бабок в якобы секретность, которая один хер будет дырявой.
А если брать мелкие конторы, то
1. Секретность обеспечить не так сложно, в основном по методу "неуловимого джо"
2. Опубликуешь идею - гугл либо переманит весь твой R&D отдел, либо повторит все на своих мощностях, уже зная, куда копать
Поэтому ты максимум находишь статью по теме от CTO в 2010 году, а дальше тишина. И это та подводная часть айсберга, которую не видно.
>>28349
Хуйня, все сразу патентуется, если изобретателя копетолизды еще не успели убить
>Проще опубликоваться сразу
Хуйня, все сразу патентуется, если изобретателя копетолизды еще не успели убить
Хочу на лето погрузиться в GANы. Какие источники следует изучить?
В прошлом году спрашивал про NLP, подкинули годноту CS224N.
Про ганы был CS236, но его лекции, увы, не публиковались.
В прошлом году спрашивал про NLP, подкинули годноту CS224N.
Про ганы был CS236, но его лекции, увы, не публиковались.
>>28360
Зашел на сайт CS236, там есть ссылка https://deepgenerativemodels.github.io/notes/index.html и https://www.deeplearningbook.org/contents/generative_models.html и тебе мало типа?
Зашел на сайт CS236, там есть ссылка https://deepgenerativemodels.github.io/notes/index.html и https://www.deeplearningbook.org/contents/generative_models.html и тебе мало типа?
3 Кб, 554x46Ньюфажные вопросы тут можно задавать? Почему кнн весит так много по сравнению с млп, при том, что в точности кнн уступает?Обоссыте не бейте. Это из-за особенностей архитектуры млп?
>>28368
Ты бы почитал как КНН устроен. По сути это тупо датасет, в котором ищется k ближайших точек к твоей точке. Естественно его размер будет совпадать с размером датасета + структуры данных, ускоряющей поиск в многомерном пространстве.
Ты бы почитал как КНН устроен. По сути это тупо датасет, в котором ищется k ближайших точек к твоей точке. Естественно его размер будет совпадать с размером датасета + структуры данных, ускоряющей поиск в многомерном пространстве.
>>28370
Т.е. нужно таки смотреть как они внутри устроены. У меня ещё SVM примерно столько же весит. Хотя там точность практически так же, как и у млп.
Т.е. нужно таки смотреть как они внутри устроены. У меня ещё SVM примерно столько же весит. Хотя там точность практически так же, как и у млп.
>>28372
Нет, не нужно. Просто добавляешь побольше слоев в нейросеть, и зарабатываешь 300кк/сек.
>Т.е. нужно таки смотреть как они внутри устроены
Нет, не нужно. Просто добавляешь побольше слоев в нейросеть, и зарабатываешь 300кк/сек.
>>28374
Ну именно это я и планировал делать. Я про первый пункт. Хотел гиперпараметры или как это называется подобрать.
Ну именно это я и планировал делать. Я про первый пункт. Хотел гиперпараметры или как это называется подобрать.
>>28377
Нахуя тебе кнн и свм тогда?
1. Ищешь ближайший датасет к своей задаче
2. Ищешь архитектуры, которые на этом датасете дают хороший результат
3. Адаптируешь под свой датасет
4. Плохо работает - добавляешь больше слоев
5. Профит
Нахуя тебе кнн и свм тогда?
1. Ищешь ближайший датасет к своей задаче
2. Ищешь архитектуры, которые на этом датасете дают хороший результат
3. Адаптируешь под свой датасет
4. Плохо работает - добавляешь больше слоев
5. Профит
4 Кб, 478x98>>28367
Notes на то и Notes, что дополняют лекционный материал. Да, матан там заебись, но изучай я NLP по их заметкам к лекциям, выхлоп был бы нулящим.
Вот несколько дней назад у меня появилась идея для гана, реализованная до меня, конечно. Но у меня возникли некоторые идеи по улучшению. Но их разумность я не могу адекватно оценить, не разбираясь в сути и нюансах. Сейчас изучаю готовый ган для MNIST, смотрю, что с ним можно сделать.
А видение обилия формул типа пика на каждой странице только перегружает. Потому-то и нужны размеренные лекции или не настолько строго формализованная книга.
Notes на то и Notes, что дополняют лекционный материал. Да, матан там заебись, но изучай я NLP по их заметкам к лекциям, выхлоп был бы нулящим.
Вот несколько дней назад у меня появилась идея для гана, реализованная до меня, конечно. Но у меня возникли некоторые идеи по улучшению. Но их разумность я не могу адекватно оценить, не разбираясь в сути и нюансах. Сейчас изучаю готовый ган для MNIST, смотрю, что с ним можно сделать.
А видение обилия формул типа пика на каждой странице только перегружает. Потому-то и нужны размеренные лекции или не настолько строго формализованная книга.
>>28380
Или меньше, если данных мало. Идеально вообще запустить оптимизацию гиперпараметров и пусть оно само думает, сколько надо слоев.
>4. Плохо работает - добавляешь больше слоев
Или меньше, если данных мало. Идеально вообще запустить оптимизацию гиперпараметров и пусть оно само думает, сколько надо слоев.
>>28385
L1 или L228?
L1 или L228?
>>28385
Не всегда помогает. Уменьшение количества параметров намного эффективнее.
>Если данных мало, увеличиваешь регуляризацию
Не всегда помогает. Уменьшение количества параметров намного эффективнее.
>>28380
Я просто в шикилерна взял все классификаторы, и прогнал их через датасет. Чтобы наглядно убедится, что нейросеть лучше всех будет. Вот убедился, да.
В принципе, все твои пункты уже выполнены. Правда для нейросети параметрами по умолчанию уже точность 85%.
Я просто в шикилерна взял все классификаторы, и прогнал их через датасет. Чтобы наглядно убедится, что нейросеть лучше всех будет. Вот убедился, да.
В принципе, все твои пункты уже выполнены. Правда для нейросети параметрами по умолчанию уже точность 85%.
>>28388
Нихуя подобного. Когда у тебя параметров много, больше шансов выпадания выигрышного лотерейного билета. Поэтому их и должно быть много. А чтобы оверфита не было при этом, регуляризуешь.
Если же нужна сетка побыстрее, дистиллируешь или прунишь.
Нихуя подобного. Когда у тебя параметров много, больше шансов выпадания выигрышного лотерейного билета. Поэтому их и должно быть много. А чтобы оверфита не было при этом, регуляризуешь.
Если же нужна сетка побыстрее, дистиллируешь или прунишь.
>>28383
Я бы вообще хуй забил на, что связано с хинтоном. На редкость бесполезный дядя, которого респектуют скорее за выслугу лет
Я бы вообще хуй забил на, что связано с хинтоном. На редкость бесполезный дядя, которого респектуют скорее за выслугу лет
>>28390
Если параметров слишком много, то оверфит будет всегда, и одна регуляризация тут не поможет. Архитектуру нейронки надо подбирать под датасет (количество данных и классов).
>А чтобы оверфита не было при этом, регуляризуешь.
Если параметров слишком много, то оверфит будет всегда, и одна регуляризация тут не поможет. Архитектуру нейронки надо подбирать под датасет (количество данных и классов).
108 Кб, 811x454Анон, подсоби нубу, пожалуйста.
Какие есть варианты экономии памяти при запуске модели? Какие методы и подходы есть?
Стоит ли использовать минибатчи при тренировки свёрточных сетей? Или это этого толку немного?
Хотя бы подскажи с чего начать изучение данного вопроса, где искать, ну или своим опытом поделись, пожалуйста.
Какие есть варианты экономии памяти при запуске модели? Какие методы и подходы есть?
Стоит ли использовать минибатчи при тренировки свёрточных сетей? Или это этого толку немного?
Хотя бы подскажи с чего начать изучение данного вопроса, где искать, ну или своим опытом поделись, пожалуйста.
>>28414
Если можно по каждому этапу:
- при обучении;
- при валидации;
- при использовании на тестовых данных.
Если можно по каждому этапу:
- при обучении;
- при валидации;
- при использовании на тестовых данных.
>>28390
Блин, хватит эту хуйню передавать из уст в уста без понимания.
Далеко не для всех моделей двойной спуск есть.
>больше шансов выпадания выигрышного лотерейного билета
Блин, хватит эту хуйню передавать из уст в уста без понимания.
Далеко не для всех моделей двойной спуск есть.
54 Кб, 485x326>>28559
Если ты про https://arxiv.org/pdf/1912.02292.pdf , на которую ты предусмотрительно не дал ссылку, то ты жопой прочитал. Если ты делаешь early stopping, описанных маняпроблем у тебя не будет. На приложенном пике это отлично видно.
>Далеко не для всех моделей двойной спуск есть.
Если ты про https://arxiv.org/pdf/1912.02292.pdf , на которую ты предусмотрительно не дал ссылку, то ты жопой прочитал. Если ты делаешь early stopping, описанных маняпроблем у тебя не будет. На приложенном пике это отлично видно.
>>28566
Если видишь оверфит, значит слишком много. В большинстве случаев параметров должно быть не более чем в 10 раз больше, чем данных. Например, для MNIST где 60к картинок нужно не больше 600к параметров.
>А сколько много/мало для нейронки можно примерно почуствовать?
Если видишь оверфит, значит слишком много. В большинстве случаев параметров должно быть не более чем в 10 раз больше, чем данных. Например, для MNIST где 60к картинок нужно не больше 600к параметров.
>>28614
Спасибо. А что насчёт:
Спасибо. А что насчёт:
>Стоит ли использовать минибатчи при тренировки свёрточных сетей? Или это этого толку немного?
>>28696
Стоит , все используют, хотя это не совсем для производительности, а скорее, чтобы градиент не шатало
Стоит , все используют, хотя это не совсем для производительности, а скорее, чтобы градиент не шатало
>>27766
При работе с табличными данными (т.е. когда количество призкаков ~ несколько десятков) есть какой-то выхлоп от использования нейронок? В таких задачах, по идее, классические подходы типа generalized linear model, SVM, RF будут более к месту. А ведь именно табличными данными занимается и будет заниматься основная часть аналитиков.
Это впрочем не аргумент не знакомиться с нейронками, но я к тому, что использовать DL как швейцарский нож неэффективно.
> Если заниматься не нейронками, у тебя есть шанс стать конюхом в век появления ДВС.
При работе с табличными данными (т.е. когда количество призкаков ~ несколько десятков) есть какой-то выхлоп от использования нейронок? В таких задачах, по идее, классические подходы типа generalized linear model, SVM, RF будут более к месту. А ведь именно табличными данными занимается и будет заниматься основная часть аналитиков.
Это впрочем не аргумент не знакомиться с нейронками, но я к тому, что использовать DL как швейцарский нож неэффективно.
>>28849
А тебе что надо? Берешь воду, бодяжишь в ней все ингредиенты, получаешь какакалу.
А тебе что надо? Берешь воду, бодяжишь в ней все ингредиенты, получаешь какакалу.
>>08677
Анон, скажи как найти плиз, гугл ничего не выдает(
Анон, скажи как найти плиз, гугл ничего не выдает(
>>28736
sota для табличных данных это бустинг на деревьях, но только потому что в табличных данных естественным образом много категорных фичей
так-то нейронки куда мощнее
sota для табличных данных это бустинг на деревьях, но только потому что в табличных данных естественным образом много категорных фичей
так-то нейронки куда мощнее
>>28736
Ты не понял мою аналогию. Лошади начали пропадать в в начале века и пропали окончательно ну типа к 70-м годам. Коммерция еще долго будет жить таблицами, может до конца века, но ведь на самом деле любая таблица это просто костыль для более содержательных сырых данных, которые как правило являются простым логом событий.
Ты не понял мою аналогию. Лошади начали пропадать в в начале века и пропали окончательно ну типа к 70-м годам. Коммерция еще долго будет жить таблицами, может до конца века, но ведь на самом деле любая таблица это просто костыль для более содержательных сырых данных, которые как правило являются простым логом событий.
>>29983
Обоснуйте или кинь(те) ссылку на какой-нибудь ютубчик, где это описано
> так-то нейронки куда мощнее
Обоснуйте или кинь(те) ссылку на какой-нибудь ютубчик, где это описано
> а вот если придсказывать белый шум то нейронки саснут)))
Какой же дегенерат, прости господи, снизу всё стучит и стучит
255 Кб, 480x506Местный ИИ опознал поехавших говнофлудеров. Precision =1, Recall = 1
![250px-GradCdiffusion.svg[1].png](https://2ch.hk//pr/src/1704037/15929772503500.png)
16 Кб, 250x293https://ru.wikipedia.org/wiki/Стохастический_градиентный_спуск
Как можно вычислить градиент в одной точке, если градиент это вектор в некотором поле? Градиент в точке это что?
>Заметим, что на каждой итерации (которая называется также пересчётом), вычисляется только градиент в одной точке xi вместо вычисления на множестве всех выборок.
Как можно вычислить градиент в одной точке, если градиент это вектор в некотором поле? Градиент в точке это что?
>если градиент это вектор в некотором поле
Ну вот значение вектора в конкретной точке поля и вычисляется. Сколько у тебя весов у нейронки, столько измерений и будет у этого вектора.
https://cs231n.github.io/optimization-2/
>>04037 (OP)
Приветики, трясунишки в штанишках, как делишки?
Приветики, трясунишки в штанишках, как делишки?
>>32370
В каком поле? Вектор в математике это строка значений, (0.1,0.2,0.3,0.4) это вещественнозначный вектор. Который в данном случае можно интерпретировать как точку в четырехмерном пространстве.
> вектор в некотором поле?
В каком поле? Вектор в математике это строка значений, (0.1,0.2,0.3,0.4) это вещественнозначный вектор. Который в данном случае можно интерпретировать как точку в четырехмерном пространстве.
>>04037 (OP)
Драсьте, аноны. Меня к вам из /wrk/ отправили за советами мудрыми.
Ситуация такая. Есть бакланский диплом по Finance and Investment (я не в СНГ, так что ВУЗ не указываю). В ВУЗе надрочили по теорверу/линалу на более-менее пристойном уровне (пре-реки курсов стэнфорда из шапки покрывает), в R я пару glmок и одну логит-модель построил, немного еще потыкал Стату и SQL (конкретно - Майкрософтовский сервер). По теории - стандартный курс эконометрики, давали более-менее глубоко CLRM и то, как он работает, но ничего глубже (логит я сам на дейтакампе изучал).
Проблема в том, что как раз когда я хотел вкатиться в какие-то интересные позиции на стажировку, случилась корона, и пришлось брать тот оффер, который мне предлагали - иначе я рисковал пойти нахуй посреди рецессии. На позиции же ситуация токова - я, формально "аналитик-эконометрист", по факту 90% времени чищу данные вилкой в экселе, а 10% времени засовываю в проприетарный блэкбокс на сервере, который их моделирует. Написание кода позицией не предусмотрено, хард скиллы у большинства коллег - ну такие себе моя начальница от меня впервые узнала про критерии BLUE и о том, что автокорреляция остатков и гетероскедастичность - не одно и то же. Это всё такой себе "дейта саенс", естественно. Я поныл начальнице по этому поводу, рассказал, что уже начал забывать, как код пишется - сказала "могу тебя отправить учить VBA, будешь макросы в команде писать". Я его сейчас учу, пишу понемножку, но это всё, опять же, такое себе - пойдет пересидеть рецессию и избежать гэпа в CV, но не пойдет для развития.
Внутри корпы, скорее всего, двигаться некуда - разрабатывают методологию и пишут приложения, в которых мы моделируем, мужики за 30 лет с PhD по математике и знанием полного стака разработки, в эту команду я не попаду, а аналистоте (что джуну-мне, что моим коллегам постарше) ни МЛ дергать, ни код писать вообще особо не нужно. Так что вопрос - как мне вкатиться в ML и "настоящий" дейта саенс вообще? Стоит ли начинать с питона, или к тому моменту как я успею набрать сколько-то пристойные скиллы - все будут писать на джулии или чем-то таком и мне будет нечего предложить? Есть ли смысл продолжать учить VBA в надежде на то, что я хотя бы базовые CS-скиллы (типа ООП, которого я никогда не понимал) наверстаю? И не выйдет ли, что я вкачусь в джуниоры к 30 годам и буду кому-то нужен до следующей рецессии?
Драсьте, аноны. Меня к вам из /wrk/ отправили за советами мудрыми.
Ситуация такая. Есть бакланский диплом по Finance and Investment (я не в СНГ, так что ВУЗ не указываю). В ВУЗе надрочили по теорверу/линалу на более-менее пристойном уровне (пре-реки курсов стэнфорда из шапки покрывает), в R я пару glmок и одну логит-модель построил, немного еще потыкал Стату и SQL (конкретно - Майкрософтовский сервер). По теории - стандартный курс эконометрики, давали более-менее глубоко CLRM и то, как он работает, но ничего глубже (логит я сам на дейтакампе изучал).
Проблема в том, что как раз когда я хотел вкатиться в какие-то интересные позиции на стажировку, случилась корона, и пришлось брать тот оффер, который мне предлагали - иначе я рисковал пойти нахуй посреди рецессии. На позиции же ситуация токова - я, формально "аналитик-эконометрист", по факту 90% времени чищу данные вилкой в экселе, а 10% времени засовываю в проприетарный блэкбокс на сервере, который их моделирует. Написание кода позицией не предусмотрено, хард скиллы у большинства коллег - ну такие себе моя начальница от меня впервые узнала про критерии BLUE и о том, что автокорреляция остатков и гетероскедастичность - не одно и то же. Это всё такой себе "дейта саенс", естественно. Я поныл начальнице по этому поводу, рассказал, что уже начал забывать, как код пишется - сказала "могу тебя отправить учить VBA, будешь макросы в команде писать". Я его сейчас учу, пишу понемножку, но это всё, опять же, такое себе - пойдет пересидеть рецессию и избежать гэпа в CV, но не пойдет для развития.
Внутри корпы, скорее всего, двигаться некуда - разрабатывают методологию и пишут приложения, в которых мы моделируем, мужики за 30 лет с PhD по математике и знанием полного стака разработки, в эту команду я не попаду, а аналистоте (что джуну-мне, что моим коллегам постарше) ни МЛ дергать, ни код писать вообще особо не нужно. Так что вопрос - как мне вкатиться в ML и "настоящий" дейта саенс вообще? Стоит ли начинать с питона, или к тому моменту как я успею набрать сколько-то пристойные скиллы - все будут писать на джулии или чем-то таком и мне будет нечего предложить? Есть ли смысл продолжать учить VBA в надежде на то, что я хотя бы базовые CS-скиллы (типа ООП, которого я никогда не понимал) наверстаю? И не выйдет ли, что я вкачусь в джуниоры к 30 годам и буду кому-то нужен до следующей рецессии?
>>04037 (OP)
Драсьте, аноны. Меня к вам из /wrk/ отправили за советами мудрыми.
Ситуация такая. Есть бакланский диплом по Finance and Investment (я не в СНГ, так что ВУЗ не указываю). В ВУЗе надрочили по теорверу/линалу на более-менее пристойном уровне (пре-реки курсов стэнфорда из шапки покрывает), в R я пару glmок и одну логит-модель построил, немного еще потыкал Стату и SQL (конкретно - Майкрософтовский сервер). По теории - стандартный курс эконометрики, давали более-менее глубоко CLRM и то, как он работает, но ничего глубже (логит я сам на дейтакампе изучал).
Проблема в том, что как раз когда я хотел вкатиться в какие-то интересные позиции на стажировку, случилась корона, и пришлось брать тот оффер, который мне предлагали - иначе я рисковал пойти нахуй посреди рецессии. На позиции же ситуация токова - я, формально "аналитик-эконометрист", по факту 90% времени чищу данные вилкой в экселе, а 10% времени засовываю в проприетарный блэкбокс на сервере, который их моделирует. Написание кода позицией не предусмотрено, хард скиллы у большинства коллег - ну такие себе моя начальница от меня впервые узнала про критерии BLUE и о том, что автокорреляция остатков и гетероскедастичность - не одно и то же. Это всё такой себе "дейта саенс", естественно. Я поныл начальнице по этому поводу, рассказал, что уже начал забывать, как код пишется - сказала "могу тебя отправить учить VBA, будешь макросы в команде писать". Я его сейчас учу, пишу понемножку, но это всё, опять же, такое себе - пойдет пересидеть рецессию и избежать гэпа в CV, но не пойдет для развития.
Внутри корпы, скорее всего, двигаться некуда - разрабатывают методологию и пишут приложения, в которых мы моделируем, мужики за 30 лет с PhD по математике и знанием полного стака разработки, в эту команду я не попаду, а аналистоте (что джуну-мне, что моим коллегам постарше) ни МЛ дергать, ни код писать вообще особо не нужно. Так что вопрос - как мне вкатиться в ML и "настоящий" дейта саенс вообще? Стоит ли начинать с питона, или к тому моменту как я успею набрать сколько-то пристойные скиллы - все будут писать на джулии или чем-то таком и мне будет нечего предложить? Есть ли смысл продолжать учить VBA в надежде на то, что я хотя бы базовые CS-скиллы (типа ООП, которого я никогда не понимал) наверстаю? И не выйдет ли, что я вкачусь в джуниоры к 30 годам и буду кому-то нужен до следующей рецессии?
Драсьте, аноны. Меня к вам из /wrk/ отправили за советами мудрыми.
Ситуация такая. Есть бакланский диплом по Finance and Investment (я не в СНГ, так что ВУЗ не указываю). В ВУЗе надрочили по теорверу/линалу на более-менее пристойном уровне (пре-реки курсов стэнфорда из шапки покрывает), в R я пару glmок и одну логит-модель построил, немного еще потыкал Стату и SQL (конкретно - Майкрософтовский сервер). По теории - стандартный курс эконометрики, давали более-менее глубоко CLRM и то, как он работает, но ничего глубже (логит я сам на дейтакампе изучал).
Проблема в том, что как раз когда я хотел вкатиться в какие-то интересные позиции на стажировку, случилась корона, и пришлось брать тот оффер, который мне предлагали - иначе я рисковал пойти нахуй посреди рецессии. На позиции же ситуация токова - я, формально "аналитик-эконометрист", по факту 90% времени чищу данные вилкой в экселе, а 10% времени засовываю в проприетарный блэкбокс на сервере, который их моделирует. Написание кода позицией не предусмотрено, хард скиллы у большинства коллег - ну такие себе моя начальница от меня впервые узнала про критерии BLUE и о том, что автокорреляция остатков и гетероскедастичность - не одно и то же. Это всё такой себе "дейта саенс", естественно. Я поныл начальнице по этому поводу, рассказал, что уже начал забывать, как код пишется - сказала "могу тебя отправить учить VBA, будешь макросы в команде писать". Я его сейчас учу, пишу понемножку, но это всё, опять же, такое себе - пойдет пересидеть рецессию и избежать гэпа в CV, но не пойдет для развития.
Внутри корпы, скорее всего, двигаться некуда - разрабатывают методологию и пишут приложения, в которых мы моделируем, мужики за 30 лет с PhD по математике и знанием полного стака разработки, в эту команду я не попаду, а аналистоте (что джуну-мне, что моим коллегам постарше) ни МЛ дергать, ни код писать вообще особо не нужно. Так что вопрос - как мне вкатиться в ML и "настоящий" дейта саенс вообще? Стоит ли начинать с питона, или к тому моменту как я успею набрать сколько-то пристойные скиллы - все будут писать на джулии или чем-то таком и мне будет нечего предложить? Есть ли смысл продолжать учить VBA в надежде на то, что я хотя бы базовые CS-скиллы (типа ООП, которого я никогда не понимал) наверстаю? И не выйдет ли, что я вкачусь в джуниоры к 30 годам и буду кому-то нужен до следующей рецессии?
Всем привет. Не знаю куда задать этот вопрос. Мне кажется ваш тред ближе всего.
Вопрос про искусственный интеллект. Подскажите, почему нельзя создать симуляцию планеты в момент зарождения жизни и ускорить течение времени в симуляции, чтобы жизнь развивалась там и лет за 10 нашего времени прогресс внутри симуляции дошёл до какого-нибудь подобия интеллекта.
Можно не создавать миллиарды этих клеток, можно установить лимит максимум на 10 автономных организмов, но увеличить шанс мутаций днк в миллионы раз, чтобы эволюция шла быстрее. Неужели современные 64-ядерные интули не потянут такую симуляцию? Умные дядьки ведь смогут оптимизировать некоторые процессы. Например пока клетка живёт, она атомарна и неделима, просто цельная сущность, выполняющая примитивные функции жрац() и срац(). И лишь в момент деления мы подгружаем её структуру, днк и всё такое.
Вопрос про искусственный интеллект. Подскажите, почему нельзя создать симуляцию планеты в момент зарождения жизни и ускорить течение времени в симуляции, чтобы жизнь развивалась там и лет за 10 нашего времени прогресс внутри симуляции дошёл до какого-нибудь подобия интеллекта.
Можно не создавать миллиарды этих клеток, можно установить лимит максимум на 10 автономных организмов, но увеличить шанс мутаций днк в миллионы раз, чтобы эволюция шла быстрее. Неужели современные 64-ядерные интули не потянут такую симуляцию? Умные дядьки ведь смогут оптимизировать некоторые процессы. Например пока клетка живёт, она атомарна и неделима, просто цельная сущность, выполняющая примитивные функции жрац() и срац(). И лишь в момент деления мы подгружаем её структуру, днк и всё такое.
>>32477
потому что мы не знаем как работает сознание. потому что оно возможно вообще квантовое
потому что мы не знаем как работает сознание. потому что оно возможно вообще квантовое
>>32451
Почему? В таких командах часто нужны люди, вилкой разгребающие разного рода мусор. С парой пет-проектов можешь попробовать поговорить с начальником того отдела, главное совсем дубом не быть. А потом перекатишься в место повеселее, обладая уже строчкой в резюме.
Только учитывай, что начальница скорее всего твой враг, потому что она не захочет отпускать толкового парня.
>Внутри корпы, скорее всего, двигаться некуда - разрабатывают методологию и пишут приложения, в которых мы моделируем, мужики за 30 лет с PhD по математике и знанием полного стака разработки, в эту команду я не попаду
Почему? В таких командах часто нужны люди, вилкой разгребающие разного рода мусор. С парой пет-проектов можешь попробовать поговорить с начальником того отдела, главное совсем дубом не быть. А потом перекатишься в место повеселее, обладая уже строчкой в резюме.
Только учитывай, что начальница скорее всего твой враг, потому что она не захочет отпускать толкового парня.
>>32477
Попробуй облучать своего песика жесткой радиацией, чтобы он быстрее эволюционировал. От таких мутаций твои организмы просто функционировать не будут. Чтобы сделать что-то дельное таким способом, нужны миллиарды организмов в течение миллиардов лет, даже если ты в 1000 раз это ускоришь каким-то образом, будет миллион лет симуляции, ну удачи.
>Можно не создавать миллиарды этих клеток, можно установить лимит максимум на 10 автономных организмов, но увеличить шанс мутаций днк в миллионы раз, чтобы эволюция шла быстрее.
Попробуй облучать своего песика жесткой радиацией, чтобы он быстрее эволюционировал. От таких мутаций твои организмы просто функционировать не будут. Чтобы сделать что-то дельное таким способом, нужны миллиарды организмов в течение миллиардов лет, даже если ты в 1000 раз это ускоришь каким-то образом, будет миллион лет симуляции, ну удачи.
13 Кб, 267x293>>32490
"Мы" это ты с протыкласниками? Пикрелейтед в целом все пояснил за эту тему, дальнейшее развитие его идей в форме relational frame theory не только концептуально объясняет что такое "сознание", но и имеет объективные инструменты работы в этом направлении, уточнения уже полученных результатов и получения новых.
Хуянтовое. Объяснять один ничего не объясняющий термин через другой, так же ничего не объясняющий, при этом считать, что сказал что-то более весомое, чем пук в лужу, как называется эта болезнь?
> потому что мы не знаем как работает сознание.
"Мы" это ты с протыкласниками? Пикрелейтед в целом все пояснил за эту тему, дальнейшее развитие его идей в форме relational frame theory не только концептуально объясняет что такое "сознание", но и имеет объективные инструменты работы в этом направлении, уточнения уже полученных результатов и получения новых.
> потому что оно возможно вообще квантовое
Хуянтовое. Объяснять один ничего не объясняющий термин через другой, так же ничего не объясняющий, при этом считать, что сказал что-то более весомое, чем пук в лужу, как называется эта болезнь?
>>32513
Понятно. Иди делай condom snorting challenge. Дальше этого слова не читал, скрыл
> протыкласниками
Понятно. Иди делай condom snorting challenge. Дальше этого слова не читал, скрыл
>>32513
Орнул с этого вговнемоченого.
>Однако куры клевали фишки, еноты мыли их, а свиньи пытались закопать.
Орнул с этого вговнемоченого.
>>32451
Берешь первое место на кагле и выбираешь работодателя.
>Так что вопрос - как мне вкатиться в ML и "настоящий" дейта саенс вообще?
Берешь первое место на кагле и выбираешь работодателя.
>>32641
Лол, самому не смешно писать такое? Дупин у тебя Ньютона не разгромил случайно? А то тоже вещал, что духовный человек может летать, а гравитацию придумал феминист (((Ньютон))).
> фуфлосов-пиздабол разгромил практика
Лол, самому не смешно писать такое? Дупин у тебя Ньютона не разгромил случайно? А то тоже вещал, что духовный человек может летать, а гравитацию придумал феминист (((Ньютон))).
>>32451
Очевидный PhD по Computer Science.
>Есть бакланский диплом по Finance and Investment (я не в СНГ, так что ВУЗ не указываю)
>Так что вопрос - как мне вкатиться в ML и "настоящий" дейта саенс вообще?
Очевидный PhD по Computer Science.
>>32711
Как будто Скиннер не балабол с натянутыми экспериментами, который ничего не принес нового, что сделал до него Павлов. Его жалкие теории высосанные из пальца даже десяти лет не продержались. Хомский хоть и балабол, но бихейвеористику разгромил так, что до сих пор все эти жалкие психологи всякие КОГНИТИВНЫЕ фреймы и дискурсы выдумывают, а слова "бихейвеоризм" бояться как огня. Единственное и достаточное, что нужно прочитать про теорию ИИ - вот http://incompleteideas.net/IncIdeas/BitterLesson.html
Как будто Скиннер не балабол с натянутыми экспериментами, который ничего не принес нового, что сделал до него Павлов. Его жалкие теории высосанные из пальца даже десяти лет не продержались. Хомский хоть и балабол, но бихейвеористику разгромил так, что до сих пор все эти жалкие психологи всякие КОГНИТИВНЫЕ фреймы и дискурсы выдумывают, а слова "бихейвеоризм" бояться как огня. Единственное и достаточное, что нужно прочитать про теорию ИИ - вот http://incompleteideas.net/IncIdeas/BitterLesson.html
![getfile[1]](https://2ch.hk//pr/src/1704037/15930209258220.png)
16 Кб, 521x437У меня есть набор массивов, которые представляют собой значения функции на временном промежутке. Проблема в том, что временные промежутки каждый раз немного разные и поэтому массивы отличаются по размеру.
Как масштабировать их под один размер, сохранив при этом функциональную зависимость?
Например предположим, что на пике график функции, построенный по 100 точкам, а нужно, чтобы этот же график строился по 90 точкам.
То есть мне нужно что-то вроде image.resize из тензорфлоу, только для одномерных массивов, и желательно на нумпае.
Как масштабировать их под один размер, сохранив при этом функциональную зависимость?
Например предположим, что на пике график функции, построенный по 100 точкам, а нужно, чтобы этот же график строился по 90 точкам.
То есть мне нужно что-то вроде image.resize из тензорфлоу, только для одномерных массивов, и желательно на нумпае.
>>32931
Да кмон, тут весь тред пост-доков со STEM? Я, конечно, понимаю что в индустрии не случайно кадровый голод, и что с моими квалификациями особо не придется рассчитывать на работу с bleeding edge технологиями, но не может же порог входа быть так высоко - я знаю людей, которые будучи бакалаврами в CS уходили в джуниорские DS позиции, просто потому что хорошо знали питон и прошли пару курсов по релевантным МЛ библиотекам.
>>32451-кун
Да кмон, тут весь тред пост-доков со STEM? Я, конечно, понимаю что в индустрии не случайно кадровый голод, и что с моими квалификациями особо не придется рассчитывать на работу с bleeding edge технологиями, но не может же порог входа быть так высоко - я знаю людей, которые будучи бакалаврами в CS уходили в джуниорские DS позиции, просто потому что хорошо знали питон и прошли пару курсов по релевантным МЛ библиотекам.
>>32451-кун
>>32491
Я как-то думал, что там очень элитарно всё конкретно у нас, но думаю, ты прав, что по крайней мере попробовать стоит. Если даже к себе не возьмет, то, возможно посоветует что-то дельное. Спасибо.
>>32451-кун
>Почему? В таких командах часто нужны люди, вилкой разгребающие разного рода мусор. С парой пет-проектов можешь попробовать поговорить с начальником того отдела, главное совсем дубом не быть.
Я как-то думал, что там очень элитарно всё конкретно у нас, но думаю, ты прав, что по крайней мере попробовать стоит. Если даже к себе не возьмет, то, возможно посоветует что-то дельное. Спасибо.
>>32451-кун
>>32641
Хомский это fake linguist, а во всех остальных областях за которые он брался, так вообще полный ноль.
Известен тем что запилил секту упоротых около-лингвистических фриков, а так же своей нелепой политической публицистикой. Очень любил ввязываться во всякие дебаты и везде отсасывать. Хомский и хомскоиды - это грязь из-под ногтей, типичный муриканский типа философ для своего времени.
Хомский это fake linguist, а во всех остальных областях за которые он брался, так вообще полный ноль.
Известен тем что запилил секту упоротых около-лингвистических фриков, а так же своей нелепой политической публицистикой. Очень любил ввязываться во всякие дебаты и везде отсасывать. Хомский и хомскоиды - это грязь из-под ногтей, типичный муриканский типа философ для своего времени.
>>32955
Не балабол.
Ясно все, про three term contingency и прочее такое ты даже не слышал.
Эталонный.
Не разгромил.
Манямир. Про RFT я уже упоминал. Короче, вижу я, что тайдмен ты простой.
> Как будто Скиннер не балабол
Не балабол.
> ничего не принес нового, что сделал до него Павлов.
Ясно все, про three term contingency и прочее такое ты даже не слышал.
> . Хомский хоть и балабол,
Эталонный.
> но бихейвеористику разгромил
Не разгромил.
> так, что до сих пор все эти жалкие психологи всякие КОГНИТИВНЫЕ фреймы и дискурсы выдумывают, а слова "бихейвеоризм" бояться как огня
Манямир. Про RFT я уже упоминал. Короче, вижу я, что тайдмен ты простой.
>>32968
Так а если мне наоборот сжать надо?
Так а если мне наоборот сжать надо?
>>33027
Лингвистика -- вообще ещё та ерунда. Every time I fire a linguist, the performance of the speech recognizer goes up.
Лингвистика -- вообще ещё та ерунда. Every time I fire a linguist, the performance of the speech recognizer goes up.
>>33097
К сожалению, нет. Тридцать-сорок лет рисовали деревья глубинной структуры, наслушавшись Хомского, за это время убили абсолютно все направления, а теперь пришли к тому, что все конференции по лингвистике поглощены нейронками (если это только, конечно, не статья вида "звук "жи" в существительных в песнях эвенков")
К сожалению, нет. Тридцать-сорок лет рисовали деревья глубинной структуры, наслушавшись Хомского, за это время убили абсолютно все направления, а теперь пришли к тому, что все конференции по лингвистике поглощены нейронками (если это только, конечно, не статья вида "звук "жи" в существительных в песнях эвенков")
>>33103
Заменили говно на мочу, поэтому никаких подвижек в НЛП и нет.
>что все конференции по лингвистике поглощены нейронками
Заменили говно на мочу, поэтому никаких подвижек в НЛП и нет.
>>33027
Хуя се ты спизданул.
>а во всех остальных областях за которые он брался, так вообще полный ноль
Хуя се ты спизданул.
>мимо занимаюсь лингвистикой, на его работах по грамматике основано все, что можно, сами работы, лингвистика и вообще математика полезны чуть менее, чем нисколько
>>32997
Ты главное сначала подготовься, чтобы балаболом-нулем не выглядеть
Ты главное сначала подготовься, чтобы балаболом-нулем не выглядеть
>>32993
Тред - филиал /ph, по статистике 108 посетителей, а работа, может, у 2-3 есть.
>Да кмон, тут весь тред пост-доков со STEM?
Тред - филиал /ph, по статистике 108 посетителей, а работа, может, у 2-3 есть.
>>32957
Как-то так
interpolated_f = scipy.interpolate.interp1d(x, y, kind = 'cubic')
f_new_array = interpolated_f(np.linspace(x_min, x_max, 1000))
https://www.tutorialspoint.com/scipy/scipy_interpolate.htm
В numpy есть https://numpy.org/doc/1.18/reference/generated/numpy.interp.html
Как-то так
interpolated_f = scipy.interpolate.interp1d(x, y, kind = 'cubic')
f_new_array = interpolated_f(np.linspace(x_min, x_max, 1000))
https://www.tutorialspoint.com/scipy/scipy_interpolate.htm
В numpy есть https://numpy.org/doc/1.18/reference/generated/numpy.interp.html
>>33216
Ай спасибо. Я подозревал что это с интерполированием связано.
Ай спасибо. Я подозревал что это с интерполированием связано.
![jurij-rybnikov[1].jpg](https://2ch.hk//pr/src/1704037/15930869586980.jpg)
>>33887
Ну не всем же быть безграмотным калмунистом типа тебя, некоторые ещё книжки читают, прикинь
> А на хуй вы Хомского в обще читали?
Ну не всем же быть безграмотным калмунистом типа тебя, некоторые ещё книжки читают, прикинь
Что можно исследовать, если на руках есть тексты телефонных переговоров на фирме? Как извлечь маркекинговую пользу?
К сожалению, никто не подумал и записи только в моно, одним каналом голоса вперемешку. Текст уже распознан с 10% ошибок
К сожалению, никто не подумал и записи только в моно, одним каналом голоса вперемешку. Текст уже распознан с 10% ошибок
59 Кб, 444x604>>34348
> на руках есть тексты телефонных переговоров на фирме
> Как извлечь маркекинговую пользу?
> Я просто это озвучил, пока не готов тебе ответить, скажем так, я понял твою позицию
> Тут человечек один подскочит, он владеет информацией. На месте порешаете. Добро
> Давай, на созвоне, не теряйся. Нужно один вопросик обкашлять. Инфа дошла. Держу у себя на контроле
> Есть у меня один человечек, надо маякнуть ему. Шумануть. Не "последний", а "крайний"
> Обнял. Цифры мои ты знаешь. Только без фанатизма. Машинку заказывали?
> Доброго утречка. Надо в цифрах подвигаться. Добро, добро. Что бы потом не было претензий.
> Там ситуация такая, мы расписали ему как и что, человек взял сутки на обмозговать, если что вечерочком подлетим к нему да, пока все ровненько.
>>34352
ну вот да, все так и есть!
это вам не в Кагле друг другу карму нализывать. Такая вот жизнь.
Че делать то? какие методы NLP уже сложились?
Почему вы думаете, что кабанчики должны быть в стороне от современных технологий?
ну вот да, все так и есть!
это вам не в Кагле друг другу карму нализывать. Такая вот жизнь.
Че делать то? какие методы NLP уже сложились?
Почему вы думаете, что кабанчики должны быть в стороне от современных технологий?
>>34348
Переговоров кого с кем?
Есть сетки которые делят диалог на речь отдельных собеседников
>Что можно исследовать, если на руках есть тексты телефонных переговоров на фирме? Как извлечь маркекинговую пользу?
Переговоров кого с кем?
>К сожалению, никто не подумал и записи только в моно, одним каналом голоса вперемешку.
Есть сетки которые делят диалог на речь отдельных собеседников
>>34356
От таких текстов пользы столько же сколько от тех кабанчик-тредов из 2017, а именно 0.
От таких текстов пользы столько же сколько от тех кабанчик-тредов из 2017, а именно 0.
>>34376
От твоих зато много. Как пробзделся во всю лужу, сразу видно - специалист.
От твоих зато много. Как пробзделся во всю лужу, сразу видно - специалист.
>>34372
менеджеры говорят с клиентами.
Разумеется, у этих разговоров есть еще метки логина менеджеров и какая-то неполная инфа о клиентах : условный статус(готовится сделать заказ, но телится/заказал/ошибся и не туда позвонил/покупает основной товар/ покупает сопутствующую хуйню ), телефон, даты звонков или обращений с сайта, состав заказа, сумма заказа, какие-то пометки менеджеров о сути разговора с клиентом , ip, метки google analytics - короче, все, что вы называете features. На самом деле очень много инфы. Даже странно, что это все происходит кабанчиковом бизнес, а не к условной Пятерочке X5
как называются? ну это можно потом сделать. Главное понять есть ли потенциал.
менеджеры говорят с клиентами.
Разумеется, у этих разговоров есть еще метки логина менеджеров и какая-то неполная инфа о клиентах : условный статус(готовится сделать заказ, но телится/заказал/ошибся и не туда позвонил/покупает основной товар/ покупает сопутствующую хуйню ), телефон, даты звонков или обращений с сайта, состав заказа, сумма заказа, какие-то пометки менеджеров о сути разговора с клиентом , ip, метки google analytics - короче, все, что вы называете features. На самом деле очень много инфы. Даже странно, что это все происходит кабанчиковом бизнес, а не к условной Пятерочке X5
>Есть сетки которые делят диалог на речь отдельных собеседников
как называются? ну это можно потом сделать. Главное понять есть ли потенциал.
>>34374
выбрал самый безпалевный диалог. Другие тексты содержат конкретные цифры. Из текста человеку уже можно понять, собирается ли клиент купить или нет.
Хочу сначала как-то обосновать этот ПРОЕКТ перед начальством. Там Яндекс речь распознает по 1 руб/ минута, так что недешево в принципе и должно быть веская причина связываться с этим.
выбрал самый безпалевный диалог. Другие тексты содержат конкретные цифры. Из текста человеку уже можно понять, собирается ли клиент купить или нет.
Хочу сначала как-то обосновать этот ПРОЕКТ перед начальством. Там Яндекс речь распознает по 1 руб/ минута, так что недешево в принципе и должно быть веская причина связываться с этим.
>>34382
Ну фичи понятно, а цель в чем? Предсказывать что? Или мы должны ИТТ тебе подсказать, что тебе предсказывать
Ну фичи понятно, а цель в чем? Предсказывать что? Или мы должны ИТТ тебе подсказать, что тебе предсказывать
>>34406
ну да! разве не так обычно формулируется проблема для машоба?
если бы все цели были сформулированы, этим бы мог заниматься кодер-пхпшник.
Цель - заработать больше бабла кабанчиком.
ну да! разве не так обычно формулируется проблема для машоба?
если бы все цели были сформулированы, этим бы мог заниматься кодер-пхпшник.
Цель - заработать больше бабла кабанчиком.
>>34412
Вообще, единственное что лично я бы попробовал в твоей ситуации (не утверждаю, что это сработает) - sentiment analysis текстов общения именно клиентов по каждому кабанчику. Т.е насколько эмоционально положительно клиенты ведут себя в разговоре с конкретным сотрудником. Хотя так-то какой в этом смысл, если можно просто сравнить доходы, приносящие конторе разными сотрудниками.
Вообще, единственное что лично я бы попробовал в твоей ситуации (не утверждаю, что это сработает) - sentiment analysis текстов общения именно клиентов по каждому кабанчику. Т.е насколько эмоционально положительно клиенты ведут себя в разговоре с конкретным сотрудником. Хотя так-то какой в этом смысл, если можно просто сравнить доходы, приносящие конторе разными сотрудниками.
>>34412
Машоб начинается, когда есть датасет.
Двачую sentiment analysis, можно выставлять флаг слишком напряженного разговора, чтобы человек дальше проанализировал и понял что с этим можно сделать. Такую полуавтоматику устроить
>ну да! разве не так обычно формулируется проблема для машоба?
Машоб начинается, когда есть датасет.
Двачую sentiment analysis, можно выставлять флаг слишком напряженного разговора, чтобы человек дальше проанализировал и понял что с этим можно сделать. Такую полуавтоматику устроить
>>34421
Он и есть, ведь разговоры пишутся много лет и заказы все хранятся. Известно кто именно звонил и убеждал клиента подскакивать кабанчиком в офис.
Я тут в каком-то видео видал, что 90% времени дата-сатанист занимается верчением данных, типа ETL, а не моделями и это очень напрягает.
Ну так как же мне понять, какой из менеджеров говорит и убеждает классно, как и каким его навыкам следовало бы обучить остальных?
>Машоб начинается, когда есть датасет.
Он и есть, ведь разговоры пишутся много лет и заказы все хранятся. Известно кто именно звонил и убеждал клиента подскакивать кабанчиком в офис.
Я тут в каком-то видео видал, что 90% времени дата-сатанист занимается верчением данных, типа ETL, а не моделями и это очень напрягает.
Ну так как же мне понять, какой из менеджеров говорит и убеждает классно, как и каким его навыкам следовало бы обучить остальных?
Сдаётся мне это просто кабанчиковые понты перед потенциальными крупными заказчиками (мы продадим вашу хуйню с помощью ИСКУССТВЕННОГО ИНТЕЛЕКТА!!!) так что делай чо хочешь, какой-то другой пользы всё равно никто не ждёт.
>>34505
не, ну какие понты?
Конечно, меня даже не просили это делать. Они не знают, что так вообще можно. Что в Яндексе вообще есть распознавалка речи.
Я пытаюсь забросить дохлую отсталую фирму в современное IT.
Понтов нет. Есть желание использовать современные технологии и ощущение, что они готовы. Планка входа снижена.
не, ну какие понты?
Конечно, меня даже не просили это делать. Они не знают, что так вообще можно. Что в Яндексе вообще есть распознавалка речи.
Я пытаюсь забросить дохлую отсталую фирму в современное IT.
Понтов нет. Есть желание использовать современные технологии и ощущение, что они готовы. Планка входа снижена.
А если вы ждете, что завтра вас позовут аналитиком в X5, который один останется сиять после кризиса - это вы зря. У них там перекомплект очкариков.
Кабанчиковые деньги ждут вас!
Кабанчиковые деньги ждут вас!
>>34432
Это не датасет. Чтобы было датасетом, тебе нужна какая-то пара данных, что ты хочешь собственно предсказывать. А далее разметить это что-то и обучать модель.
>Он и есть, ведь разговоры пишутся много лет и заказы все хранятся.
Это не датасет. Чтобы было датасетом, тебе нужна какая-то пара данных, что ты хочешь собственно предсказывать. А далее разметить это что-то и обучать модель.
>>34543
ну так клиенты в итоге покупают или не покупают.
Короче, вы тут все в Кагле дрочите и друг-другу нейроночки для раздевания анимешных девочек пишете? А где практика?
ну так клиенты в итоге покупают или не покупают.
Короче, вы тут все в Кагле дрочите и друг-другу нейроночки для раздевания анимешных девочек пишете? А где практика?
>>34556
Тебе ж прямо назвали искомое - sentiment analysis. Больше из этих кабанчиковых переговоров все равно ничего не вытащить.
> Короче, вы тут все в Кагле дрочите и друг-другу нейроночки для раздевания анимешных девочек пишете? А где практика?
Тебе ж прямо назвали искомое - sentiment analysis. Больше из этих кабанчиковых переговоров все равно ничего не вытащить.
53 Кб, 390x699Господа, пиздуйте пожалуйста на хуй из треда. В воркоту или еще куда, главное подальше отсюда. Пиздец просто читать мерзко
>>34572
мне кажется, это слишком тупо.
может можно предсказать кому цена не понравилась и начать делать персональный скидос?
обучить обычным ящиком Решающим Деревом?
мне кажется, это слишком тупо.
может можно предсказать кому цена не понравилась и начать делать персональный скидос?
обучить обычным ящиком Решающим Деревом?
>>34335
чтение сортирной беллетристики вряд ли является признаком ума.
чтение сортирной беллетристики вряд ли является признаком ума.
>>34385
с нуля- ты сам нихера не сделаешь, потратишь пару лет (достаточно интересно и увлекательно, стоит заметить), когда такой же анализ будет стоить уже дешевле раза в 4.
Максимум- по истории разговоров поиск корреляций со временем звонка, суммой. Ничего такого, чего вы бы на своей фирме не нашли просто логически подумав.
с нуля- ты сам нихера не сделаешь, потратишь пару лет (достаточно интересно и увлекательно, стоит заметить), когда такой же анализ будет стоить уже дешевле раза в 4.
Максимум- по истории разговоров поиск корреляций со временем звонка, суммой. Ничего такого, чего вы бы на своей фирме не нашли просто логически подумав.
158 Кб, 800x533>>34687
Вектор ничего не определяет, вектор это и есть направление движения - в сторону небольшого уменьшения целевой функции. новые_веса=старые_веса-alpha*вектор
>Как этот вектор определяет куда двигаться
Вектор ничего не определяет, вектор это и есть направление движения - в сторону небольшого уменьшения целевой функции. новые_веса=старые_веса-alpha*вектор
>>34694
начальные_веса -= старые_веса-alpha*вектор
начальные_веса -= старые_веса-alpha*вектор
>>34556
Для практики ты бы мог хотя бы попробовать вбить в гугл или ОДС "телефонные" + "нейронная сеть" или ещё какую-нибудь ерунду
Для практики ты бы мог хотя бы попробовать вбить в гугл или ОДС "телефонные" + "нейронная сеть" или ещё какую-нибудь ерунду
>>09787
А если 2176 ядер CUDA и 8 ГБ GDDR6 на борту?
https://www.nvidia.com/ru-ru/geforce/graphics-cards/rtx-2060-super/
А если 2176 ядер CUDA и 8 ГБ GDDR6 на борту?
https://www.nvidia.com/ru-ru/geforce/graphics-cards/rtx-2060-super/
Тред утонул или удален.
Это копия, сохраненная 13 декабря 2020 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Это копия, сохраненная 13 декабря 2020 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.