Этого треда уже нет.
Это копия, сохраненная 3 апреля 2021 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Это копия, сохраненная 3 апреля 2021 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Очередной тред про хипстерские технологии, которые не работают.
Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее keras и pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Остальные сидят ИТТ
Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus
Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/
Почему python?
Исторически сложилось
Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет
Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python
В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials
Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.
Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел
Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой
Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся
Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/
Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском
Где ещё можно поговорить про анализ данных?
http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. На март 2020 Google Colab дает бесплатно аналог GPU среднего ценового уровня (что-то между 1050 и 1080) на несколько часов с возможностью продления.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь
Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее keras и pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Остальные сидят ИТТ
Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus
Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/
Почему python?
Исторически сложилось
Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет
Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python
В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials
Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.
Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел
Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой
Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся
Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/
Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском
Где ещё можно поговорить про анализ данных?
http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. На март 2020 Google Colab дает бесплатно аналог GPU среднего ценового уровня (что-то между 1050 и 1080) на несколько часов с возможностью продления.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь
Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
М>>1781272 →
Любую науку способны двигать единицы. То что в машобе на 1 учёного 100 сойбоев роли особой не играет. Вон у Хопфилда с Кротовым новый пейпер по мотивам работы Хохрайтера, который интерпретировал софтмакс аттеншен как новый тип сети Хопфилда, просто эстетическое удовольствие от такого чтива. В интересное время живем
Любую науку способны двигать единицы. То что в машобе на 1 учёного 100 сойбоев роли особой не играет. Вон у Хопфилда с Кротовым новый пейпер по мотивам работы Хохрайтера, который интерпретировал софтмакс аттеншен как новый тип сети Хопфилда, просто эстетическое удовольствие от такого чтива. В интересное время живем
Сейчас вузы ко всем около компьютерным специальностям дописывают, что учат машинному обучению?
>>786165
В 20к20 нет смысла учиться каэсочке без машинки.
В 20к20 нет смысла учиться каэсочке без машинки.
Quantum machine laerning булшит или нет?
Алсо, понравилась идея применения ML к трейдингу. В соло можно что-то запилить и рубить 300кк/нс? Или уже поезд ушел?
Если что я нуб, прохожу 4-ый курс в специализации от Яндекса (4fun)
Алсо, понравилась идея применения ML к трейдингу. В соло можно что-то запилить и рубить 300кк/нс? Или уже поезд ушел?
Если что я нуб, прохожу 4-ый курс в специализации от Яндекса (4fun)
https://www.youtube.com/watch?v=7bUYEMZVMCE
МЛ ИРЛ:
5% - подбор модели и подкрутка ее параметров
20% - сбор и приведение данных в порядок
75% - обкашливание вопросиков с кабанчиками
МЛ ИРЛ:
5% - подбор модели и подкрутка ее параметров
20% - сбор и приведение данных в порядок
75% - обкашливание вопросиков с кабанчиками
>>787201
Шоб быть норм трейдером нужен толстый кабель к бегающим орущим мужикам с минимальным пингом
Шоб быть норм трейдером нужен толстый кабель к бегающим орущим мужикам с минимальным пингом
>>785952 (OP)
РАЗРАБОТЧИКИ НЕЙТРОННЫХ СЕТЕЙ ЗДЕСЬ?!
https://trudvsem.ru/vacancy/card/1167746214118/2ce3c173-defc-11ea-94f4-bf2cfe8c828d
РАЗРАБОТЧИКИ НЕЙТРОННЫХ СЕТЕЙ ЗДЕСЬ?!
https://trudvsem.ru/vacancy/card/1167746214118/2ce3c173-defc-11ea-94f4-bf2cfe8c828d
>>787201
Мошиах лернинг это в целом буллшит. Трейдинг без инсайдов - казино, которое методами машинного обучения в принципе не просчитываемо
Мошиах лернинг это в целом буллшит. Трейдинг без инсайдов - казино, которое методами машинного обучения в принципе не просчитываемо
>>787399
ну вроде ребята, которые плотно занимаются трейдингом что-то зарабатывают. А что они делают? По моим ощущениям, они смотрят на новости и графики.
А что если автоматизировать этот процесс: скармливать данные и новости алгоритму в реальном времени, чтобы он предсказывал что будет дальше?
P.S Я ничего не понимаю в трейдинге
ну вроде ребята, которые плотно занимаются трейдингом что-то зарабатывают. А что они делают? По моим ощущениям, они смотрят на новости и графики.
А что если автоматизировать этот процесс: скармливать данные и новости алгоритму в реальном времени, чтобы он предсказывал что будет дальше?
P.S Я ничего не понимаю в трейдинге
>>787456
Во-первых, ты предлагаешь по сути анализ временных рядов, который не подходит для твоей задачи.
Во-вторых, переведи все эти "новости" в употребимый для алгоритма вид. Дешевле и проще нанять "ребят которые плотно занимаются трейдингом"
В-третьих, ребята которые "что-то зарабатывают", смотрят на инсайды. Без инсайдов трейдинг - казино.
Во-первых, ты предлагаешь по сути анализ временных рядов, который не подходит для твоей задачи.
Во-вторых, переведи все эти "новости" в употребимый для алгоритма вид. Дешевле и проще нанять "ребят которые плотно занимаются трейдингом"
В-третьих, ребята которые "что-то зарабатывают", смотрят на инсайды. Без инсайдов трейдинг - казино.
>>787456
https://www.youtube.com/watch?v=xlCaQYmqVAU
>ну вроде ребята, которые плотно занимаются трейдингом что-то зарабатывают. А что они делают?
https://www.youtube.com/watch?v=xlCaQYmqVAU
525 Кб, 1000x667>>787596
да, собственно, работой.
потому что Data Scientist ничего полезного бизнесу не дает.
Совсем охуели.
да, собственно, работой.
потому что Data Scientist ничего полезного бизнесу не дает.
Совсем охуели.
>>787477
но ведь есть еще какая-то внушительная часть алгоритмического трейдинга чисто на скорость .
они без временных рядов неплохо оперативно справляются, наверное
>В-третьих, ребята которые "что-то зарабатывают", смотрят на инсайды. Без инсайдов трейдинг - казино.
но ведь есть еще какая-то внушительная часть алгоритмического трейдинга чисто на скорость .
они без временных рядов неплохо оперативно справляются, наверное
Ну и мусор тут в треде пиздец
250 Кб, 1000x1000>>787596
В моем случае:
- регулярные SQL/Excel отчеты (30%) - запустить скрипты\макросы, посмотреть что получилось
- ad hoc отчеты с использованием комбинации из SQL/Python (для веб-скрейпинга и обработки текстовых данных)/Excel (25%)
- (раз|до)работка Power BI отчетов (25%).
- бессмысленные созвоны и встречи (20%)
В моем случае:
- регулярные SQL/Excel отчеты (30%) - запустить скрипты\макросы, посмотреть что получилось
- ad hoc отчеты с использованием комбинации из SQL/Python (для веб-скрейпинга и обработки текстовых данных)/Excel (25%)
- (раз|до)работка Power BI отчетов (25%).
- бессмысленные созвоны и встречи (20%)
>>787710
Что платят?
Что платят?
Аноны, есть задача, нужен подходящий алгоритм решения. Есть цепочки событий, например:
1->2->3
2->1->3
Их можно разбить на стоящие рядом события, например:
1->2 в цепочке встречается 5 раз
2->3 встречается 7 раз
и потом нужно обсчитать входной набор таких цепочек событий, разбить на группы (тип цепочке размечается человеком). Потом нам дают новую цепочку и надо понять, к какой группе она скорее всего относится.
Дайте ключевых слов, по которым искать подходящий алгоритм. Заранее спасибо.
PS Нагуглил похожую задачу, определение авторства текстов по последовательностям слов в предложениях. Там используется метод опорных векторов, но не уверен что это именно то, что нужно.
1->2->3
2->1->3
Их можно разбить на стоящие рядом события, например:
1->2 в цепочке встречается 5 раз
2->3 встречается 7 раз
и потом нужно обсчитать входной набор таких цепочек событий, разбить на группы (тип цепочке размечается человеком). Потом нам дают новую цепочку и надо понять, к какой группе она скорее всего относится.
Дайте ключевых слов, по которым искать подходящий алгоритм. Заранее спасибо.
PS Нагуглил похожую задачу, определение авторства текстов по последовательностям слов в предложениях. Там используется метод опорных векторов, но не уверен что это именно то, что нужно.
>>787201
А что ты будешь нейроночке скармливать? Котировки акций? Так в них принципиально нет ответа на вопрос сколько эти акции будут стоить в будущем. Максимум что делают с помощью трейдинговых ботов - не дают сильно много денег просрать, типа бот быстрее видит что начался пиздец и принимает решение по-быстрому сбагрить товар.
>применения ML к трейдингу
А что ты будешь нейроночке скармливать? Котировки акций? Так в них принципиально нет ответа на вопрос сколько эти акции будут стоить в будущем. Максимум что делают с помощью трейдинговых ботов - не дают сильно много денег просрать, типа бот быстрее видит что начался пиздец и принимает решение по-быстрому сбагрить товар.
>>785952 (OP)
Посоны, кто-нибудь имел дело с лейблами семантичкеских ролей? Ковыряю AlenNLP Semantic Role Labeling нейроночку, открыл словарик - там куча лейблов типа I-ARG0 или B-ARG1 и еще куча всякой поеботы, но главное что название каждого лейбла начинается либо на "I-" либо на "B-".
Вопрос - что эти две буквы значат? Нашел описания для всех остальных компонент лейбла, а для этих буковок не нашел.
Посоны, кто-нибудь имел дело с лейблами семантичкеских ролей? Ковыряю AlenNLP Semantic Role Labeling нейроночку, открыл словарик - там куча лейблов типа I-ARG0 или B-ARG1 и еще куча всякой поеботы, но главное что название каждого лейбла начинается либо на "I-" либо на "B-".
Вопрос - что эти две буквы значат? Нашел описания для всех остальных компонент лейбла, а для этих буковок не нашел.
>>788026
Как это машин лернинх? Обычный алгоритм уровня институтной лабароторной справится.
Как это машин лернинх? Обычный алгоритм уровня институтной лабароторной справится.
>>787456
Тоже думал как раз об этом. Если мониторить новости, то можно преуспеть. Однако книги по трейдингу, которые я прочел говорят что анализ графиков достаточная методика для трейдинга, но там всё с комплексным пониманием котировок связано и результат таких торгов врядли принесёт больше 30% прибыли за годичный период, то есть с ляма там получается 200-300 тысяч денег.
Тоже думал как раз об этом. Если мониторить новости, то можно преуспеть. Однако книги по трейдингу, которые я прочел говорят что анализ графиков достаточная методика для трейдинга, но там всё с комплексным пониманием котировок связано и результат таких торгов врядли принесёт больше 30% прибыли за годичный период, то есть с ляма там получается 200-300 тысяч денег.
>>788362
30% в год это дохуя - инвестиции с небольшим риском приносят максимум 10%.
Ну а так есть три проблемы. Во-первых, нужны инсайды. Во-вторых, надо знать, как преобразовать всю информацию во что-то, что можно скормить нейросети и желательно чтобы оно работало. В-третьих, нужны огромные вычислительные мощности. Зная один лишь второй пункт ты уже сможешь зарабатывать столько, что на трейдинг станет наплевать.
>результат таких торгов врядли принесёт больше 30% прибыли за годичный период, то есть с ляма там получается 200-300 тысяч денег.
30% в год это дохуя - инвестиции с небольшим риском приносят максимум 10%.
Ну а так есть три проблемы. Во-первых, нужны инсайды. Во-вторых, надо знать, как преобразовать всю информацию во что-то, что можно скормить нейросети и желательно чтобы оно работало. В-третьих, нужны огромные вычислительные мощности. Зная один лишь второй пункт ты уже сможешь зарабатывать столько, что на трейдинг станет наплевать.
>>788375
Я говорю об эффективных методах и большом успехе. В среднем конечно если ты новичок, то врятли вытянешь 10%. Я думаю преобразовывать инсайды не так уж и сложно, при том что мы сейчас имеем как "инсайды" это только проблема классификации.
Я говорю об эффективных методах и большом успехе. В среднем конечно если ты новичок, то врятли вытянешь 10%. Я думаю преобразовывать инсайды не так уж и сложно, при том что мы сейчас имеем как "инсайды" это только проблема классификации.
Сап. Все же слышали про GPT-3? Нейросеть на основе NLP обучилась на огромном количестве данных и уже умеет писать код (часто с ошибками), вот например https://twitter.com/sharifshameem/status/1284095222939451393
Сам я джун на анроиде, в течение месяца получу первую работу. Так вот, сколько еще можно будет работать обычным программистам? Хотя бы пара лет у меня есть еще поработать? А то как-то не очень приятно, хотя я был бы рад потерять работу, если бы был создан полезный миру публичный General AI
Мб у NLP-нейросетей есть какие-то фундаментальные ограничения, барьер точности? Ведь они еще вовсе не "думают", а просто предсказывают текст, к тому же GPT-3 отличается от GPT-2 только объемом скормленных данных, ничего нового ребята из OpenAI по сути не сделали
Сам я джун на анроиде, в течение месяца получу первую работу. Так вот, сколько еще можно будет работать обычным программистам? Хотя бы пара лет у меня есть еще поработать? А то как-то не очень приятно, хотя я был бы рад потерять работу, если бы был создан полезный миру публичный General AI
Мб у NLP-нейросетей есть какие-то фундаментальные ограничения, барьер точности? Ведь они еще вовсе не "думают", а просто предсказывают текст, к тому же GPT-3 отличается от GPT-2 только объемом скормленных данных, ничего нового ребята из OpenAI по сути не сделали
>>788585
Такое говно срали еще на прологе 30 лет назад
Такое говно срали еще на прологе 30 лет назад
60 Кб, 721x600>>788464
Пикрил. Для начала, как ты собираешься переводить новости из текста в вектор, сохранив при этом сложную семантику? Все существующие подходы работают слишком плохо, чтобы это было возможно. Даже если это получится, тебе придется самому делать датасет и классифицировать каждую новость, а для этого тебе придется вдаваться в детали трейдинга. То есть, чтобы создать такую систему, тебе придется стать профессиональным трейдером.
Без всего вышеперечисленного твой максимум - это анализ самих курсов, что работать гарантированно не будет.
>Я думаю преобразовывать инсайды не так уж и сложно
Пикрил. Для начала, как ты собираешься переводить новости из текста в вектор, сохранив при этом сложную семантику? Все существующие подходы работают слишком плохо, чтобы это было возможно. Даже если это получится, тебе придется самому делать датасет и классифицировать каждую новость, а для этого тебе придется вдаваться в детали трейдинга. То есть, чтобы создать такую систему, тебе придется стать профессиональным трейдером.
Без всего вышеперечисленного твой максимум - это анализ самих курсов, что работать гарантированно не будет.
>>789075
Внезапно, нет. В /g/ даже программирование не слишком активно обсуждают, в основном устройства и программы, а в /sci/ одни шизики.
Внезапно, нет. В /g/ даже программирование не слишком активно обсуждают, в основном устройства и программы, а в /sci/ одни шизики.
>>788464
>>789020
Вы вообще в какую-то хуйню полезли. Классифицировать новости не так уж сложно, для этого есть эмбеддинги. Вот только это не нужно. Предсказывать временные ряды в трейдинге тоже не нужно. Все проще. Никто же не будет спорить, что:
- текущая ситуация на рынке полностью отражается показаниями индикаторов
- доход от купли продажи активов зависит только от текущей ситуации на рынке, есть моменты, когда выгоднее покупать, продавать или ничего не делать
Классифицировать нужно векторы показаний индикаторов, а помечать их нужно наиболее оптимальным действием при такой ситуации.
>>789020
Вы вообще в какую-то хуйню полезли. Классифицировать новости не так уж сложно, для этого есть эмбеддинги. Вот только это не нужно. Предсказывать временные ряды в трейдинге тоже не нужно. Все проще. Никто же не будет спорить, что:
- текущая ситуация на рынке полностью отражается показаниями индикаторов
- доход от купли продажи активов зависит только от текущей ситуации на рынке, есть моменты, когда выгоднее покупать, продавать или ничего не делать
Классифицировать нужно векторы показаний индикаторов, а помечать их нужно наиболее оптимальным действием при такой ситуации.
>>789020
Текст в бинарное значение сейчас переводят вполне удачно, достаточно данных и результаты будут 70-80% правильными, используя например иерархическое нлп. А создание датасета это наибольшая часть работы офкорс, над этим следует волосы на голове порвать немного.
Текст в бинарное значение сейчас переводят вполне удачно, достаточно данных и результаты будут 70-80% правильными, используя например иерархическое нлп. А создание датасета это наибольшая часть работы офкорс, над этим следует волосы на голове порвать немного.
>>789238
Индикаторы и есть графики лол. Это хуй у тебя получится сделать что-то на уровне новичка-трейдера.
Индикаторы и есть графики лол. Это хуй у тебя получится сделать что-то на уровне новичка-трейдера.
>>788026
https://keras.io/examples/nlp/text_classification_with_transformer/
Вместо слов у тебя будут твои пронумерованные события, а так в принципе все то же самое
https://keras.io/examples/nlp/text_classification_with_transformer/
Вместо слов у тебя будут твои пронумерованные события, а так в принципе все то же самое
>>789238
Конечно нет. Ситуация на рынке отражается в головах участников рынка. Сечину жена с утра не дала и он слил миллиард - кто-то заработал, кто-то потерял.
Только узнаешь ты об этом постфактум.
>- текущая ситуация на рынке полностью отражается показаниями индикаторов
Конечно нет. Ситуация на рынке отражается в головах участников рынка. Сечину жена с утра не дала и он слил миллиард - кто-то заработал, кто-то потерял.
>доход от купли продажи активов зависит только от текущей ситуации на рынке, есть моменты, когда выгоднее покупать, продавать или ничего не делать
Только узнаешь ты об этом постфактум.
>>789256
И разумеется, никак не влияет на показатели индексов. Ты себя читаешь? Поведение на рынке, зависящее от того что в голове у участников, отражается на показателях индексов. Это зависимые переменные.
Да, на основе анализа истории последствий подобных же состояний рынка.
>>789249
А это простая задача. Сентимент анализ по-сути.
> Конечно нет. Ситуация на рынке отражается в головах участников рынка.
И разумеется, никак не влияет на показатели индексов. Ты себя читаешь? Поведение на рынке, зависящее от того что в голове у участников, отражается на показателях индексов. Это зависимые переменные.
> Только узнаешь ты об этом постфактум.
Да, на основе анализа истории последствий подобных же состояний рынка.
>>789249
> Эмбеддинги нормально работают только на простых задачах.
А это простая задача. Сентимент анализ по-сути.
>>789242
Спасибо.
Спасибо.
>>789267
Влияет - уже после подачи заявки на сделку.
Ты считаешь, что по данным погоды за 10 лет нейронка предскажет тебе погоду на завтра. Не предскажет.
>И разумеется, никак не влияет на показатели индексов.
Влияет - уже после подачи заявки на сделку.
>Да, на основе анализа истории последствий подобных же состояний рынка.
Ты считаешь, что по данным погоды за 10 лет нейронка предскажет тебе погоду на завтра. Не предскажет.
>>789802
Я вообще про предсказания ничего не говорил. Речь об оценке состояния рынка и автоматическом выборе оптимальной стратегии в данном состоянии.
> предскажет Не предскажет.
Я вообще про предсказания ничего не говорил. Речь об оценке состояния рынка и автоматическом выборе оптимальной стратегии в данном состоянии.
>>789802
Это вговнемочёные со своими дифференциальными говнениями ничего не предсказывают, а чад с нейронкой, бустингом и данными всё предсказывает.
>Не предскажет.
Это вговнемочёные со своими дифференциальными говнениями ничего не предсказывают, а чад с нейронкой, бустингом и данными всё предсказывает.
>>790002
>Речь об оценке состояния рынка и автоматическом выборе оптимальной стратегии
>не предсказания
>>790232
Че бампаешь то, говно с вишенкой, не более.
Че бампаешь то, говно с вишенкой, не более.
>>790366
Ты думаешь OpeanAI (авторы нейросети), финансируемые Максом, будут заниматься таким?
Ты думаешь OpeanAI (авторы нейросети), финансируемые Максом, будут заниматься таким?
>>790446
В течение пары лет заменит программистов?
В течение пары лет заменит программистов?
>>789267
Проще парсить новости и подсчитывать упоминания торгуемых компаний. Когда какая-то компания начинает чаще упоминаться, то уже подключается бот на ифэлсах.
Проще парсить новости и подсчитывать упоминания торгуемых компаний. Когда какая-то компания начинает чаще упоминаться, то уже подключается бот на ифэлсах.
Двач, почему моя нейронка не работает, не считает ошибку и прочее, на моем датасете? Самая простая нейросеть, на классическом, готовом, датасете все работает. И там в готовом и в моем датасете значения float64 да и в целрм похожи только размерности разные. У меня только 600+ признаков one hot encoding, может в этом дело?
>>790779
Сыбался отсюда
Сыбался отсюда
Как сделать нейросеть (или другой ИИ), который сможет посчитать подобные предметы на картинке (например, прорежённую кучку винтиков на контрастном фоне)?
73 Кб, 1080x1062Поясните про skip connections. Если это сумма выходов двух слоёв, значит ли это, что:
- вход последующего слоя должен размером равняться этой сумме?
- должен ли быть размер картинок суммируемых слоёв быть одинаковым?
- подобное поведение будет актуально как свёрточных, так и развёрточных слоёв?
- вход последующего слоя должен размером равняться этой сумме?
- должен ли быть размер картинок суммируемых слоёв быть одинаковым?
- подобное поведение будет актуально как свёрточных, так и развёрточных слоёв?
>>791447
поиск предметов на картинках
https://www.learnopencv.com/mask-r-cnn-instance-segmentation-with-pytorch/
https://www.learnopencv.com/faster-r-cnn-object-detection-with-pytorch/
Ждём тебя через год с отчётами
поиск предметов на картинках
https://www.learnopencv.com/mask-r-cnn-instance-segmentation-with-pytorch/
https://www.learnopencv.com/faster-r-cnn-object-detection-with-pytorch/
Ждём тебя через год с отчётами
>>791447
Такое уже давно можно крутить в браузере ничего не зная о машобе
https://youtu.be/FDUfaYsFQrc?t=331
Такое уже давно можно крутить в браузере ничего не зная о машобе
https://youtu.be/FDUfaYsFQrc?t=331
>>791504
А чему еще он может равняться?
В 99% случаев да, но можно выкрутиться. Например, если на входе у тебя 8 каналов [батч, длина, ширина, 8] а на выходе 1 канал - [батч, длина, ширина. 8], то при сложении слоев будет выполнен бродкастинг и меньший слой подгонится под размер большего копированием вдоль недостающей оси.
Второй вариант - вместо сложения использовать конкатенацию. То есть было [батч, длина, ширина, 8] и [батч, длина, ширина, 1], на выходе [батч, длина, ширина, 9]. Так скипы устроены в UNet.
>- вход последующего слоя должен размером равняться этой сумме?
А чему еще он может равняться?
>- должен ли быть размер картинок суммируемых слоёв быть одинаковым?
В 99% случаев да, но можно выкрутиться. Например, если на входе у тебя 8 каналов [батч, длина, ширина, 8] а на выходе 1 канал - [батч, длина, ширина. 8], то при сложении слоев будет выполнен бродкастинг и меньший слой подгонится под размер большего копированием вдоль недостающей оси.
Второй вариант - вместо сложения использовать конкатенацию. То есть было [батч, длина, ширина, 8] и [батч, длина, ширина, 1], на выходе [батч, длина, ширина, 9]. Так скипы устроены в UNet.
>>790779
Диды не умели симпатично программировать, за что не возьмутся, везде фортран получается
Диды не умели симпатично программировать, за что не возьмутся, везде фортран получается
>>791562
Ну... если оба выхода по 32, и вход 32?
Получается, это разные вещи? Что предпочтительнее?
>А чему еще он может равняться?
Ну... если оба выхода по 32, и вход 32?
> вместо сложения использовать конкатенацию.
Получается, это разные вещи? Что предпочтительнее?
>>791574
Каких оба выхода? Ты похоже что-то не догоняешь. У тебя есть операция сложения, у нее два операнда, левый и правый, и этой операции все равно, откуда ты взял данные, главное, что левый и правый операнд обязаны иметь совпадающие размеры, иначе как ты собираешься складывать.
А что именно с чем ты складываешь в данном конкретном вопросе роли не играет. Каким образом у тебя возникло 2 выхода я не понимаю.
Да, это разные вещи. Сложение поэлементно складывает, как складываются матрицы в линале, конкатенация же дописывает один тензор к другому. получая тензор большего размера вдоль заданной тобой оси, как правило первой или последней. Естественно на выходе у тебя получается больший тензор, и следующему слою придется иметь больше весов. чтобы с ним работать. Конкатенация мощнее, но требует сильно больше флопсов в следующем за конкатенацией слое.
Пробуешь и то и то и смотришь. Черный ящик сам себя трясти не будет.
>Ну... если оба выхода по 32, и вход 32?
Каких оба выхода? Ты похоже что-то не догоняешь. У тебя есть операция сложения, у нее два операнда, левый и правый, и этой операции все равно, откуда ты взял данные, главное, что левый и правый операнд обязаны иметь совпадающие размеры, иначе как ты собираешься складывать.
А что именно с чем ты складываешь в данном конкретном вопросе роли не играет. Каким образом у тебя возникло 2 выхода я не понимаю.
>Получается, это разные вещи?
Да, это разные вещи. Сложение поэлементно складывает, как складываются матрицы в линале, конкатенация же дописывает один тензор к другому. получая тензор большего размера вдоль заданной тобой оси, как правило первой или последней. Естественно на выходе у тебя получается больший тензор, и следующему слою придется иметь больше весов. чтобы с ним работать. Конкатенация мощнее, но требует сильно больше флопсов в следующем за конкатенацией слое.
>Что предпочтительнее?
Пробуешь и то и то и смотришь. Черный ящик сам себя трясти не будет.
А гридсёрч в scikit работает так же быстро как если просто самому в цикле проходиться и фитить модели или он оптимизирован?
Какой шанс, что через 5 лет нейронки сможет настраивать обычный человек, непонимающий как они работают?
>>792128
А что, тут хоть один зумер понимает, как они работают? Представление функции нескольких переменных через суперпозицию функций двух переменных, теорема Колмогорова-Арнольда, вот это все.
А что, тут хоть один зумер понимает, как они работают? Представление функции нескольких переменных через суперпозицию функций двух переменных, теорема Колмогорова-Арнольда, вот это все.
>>792140
И такое уже есть (Orange, Weka, и т.п.). Только они справляются далеко не со всеми задачами, которые с каждым днем становятся все сложнее. Зачастую нужна тонкая настройка и хотя бы относительное понимание как оно работает, иначе получишь 60% точности вместо 95%. Еще как правило нужна оптимизация. Возникнет задача где данных под тесять терабайт, и любая система где нужно нажимать на кнопочки сделает пук-среньк и повиснет.
>Переформулирую.
>Человек, который не может даже в программирование.
И такое уже есть (Orange, Weka, и т.п.). Только они справляются далеко не со всеми задачами, которые с каждым днем становятся все сложнее. Зачастую нужна тонкая настройка и хотя бы относительное понимание как оно работает, иначе получишь 60% точности вместо 95%. Еще как правило нужна оптимизация. Возникнет задача где данных под тесять терабайт, и любая система где нужно нажимать на кнопочки сделает пук-среньк и повиснет.
Анон, выручай, ты смог установить BigARTM 0.9 версии или старше?
(Py3, windows10, да, пидарас я)
Следовал строго инструкции из installation, но все равно выдает ошибку, что модуль artm отсутствует
(Py3, windows10, да, пидарас я)
Следовал строго инструкции из installation, но все равно выдает ошибку, что модуль artm отсутствует
>>792151
Спасибо, анон.
А как вкатиться в работу по МашОбу?
Я 23 лвл, инженер по электроприводу. Год работаю программистом АСУТП (это собирать из блоков И, ИЛИ разрешения на пуск и алгоритмизировать работу промышленного оборудования).
Математику на уровне обычного инженерного ВУЗа выучить не проблема. Технический английский присутствует.
Правильно я понимаю, что сперва надо научиться писать читаемый код я писал только скрипты для тестов мох программ на Python, выучить SQL, R, PyTorch и можно смело перекатываться? И рассчитывать на 70к в ДС2 через год-другой.
работа не нравится из-за командировок и ебанутой ответственности. Можно один бит пропустить и из-за тебя работа 50 инженеров встанет. А если ещё что-нибудь как на саяно-шушенской ГЭС там на релейно-контактных схемаз все было сделано, так что виноват не программистслучится и на тебя решат спихнуть вину, то совсем печально будет
Спасибо, анон.
А как вкатиться в работу по МашОбу?
Я 23 лвл, инженер по электроприводу. Год работаю программистом АСУТП (это собирать из блоков И, ИЛИ разрешения на пуск и алгоритмизировать работу промышленного оборудования).
Математику на уровне обычного инженерного ВУЗа выучить не проблема. Технический английский присутствует.
Правильно я понимаю, что сперва надо научиться писать читаемый код я писал только скрипты для тестов мох программ на Python, выучить SQL, R, PyTorch и можно смело перекатываться? И рассчитывать на 70к в ДС2 через год-другой.
работа не нравится из-за командировок и ебанутой ответственности. Можно один бит пропустить и из-за тебя работа 50 инженеров встанет. А если ещё что-нибудь как на саяно-шушенской ГЭС там на релейно-контактных схемаз все было сделано, так что виноват не программистслучится и на тебя решат спихнуть вину, то совсем печально будет
>>792171
Никак. Ты уже слишком стар для интерна/ждуна, да ещё и с непрофильной вышкой
>А как вкатиться
Никак. Ты уже слишком стар для интерна/ждуна, да ещё и с непрофильной вышкой
>>792177
Главное, что я готов работать за еду год, потом сбережения закончатся
Да и история челиков, которые в 30+ перекатились меня подбадривает.
К тому, же из-за ЧСВ, присущего любому человеку, я думаю, что у меня точно получится.
Даже если ты прав. Я же могу вкатиться в машинное обучение по своей специальности. Я знаю технологии, а судя по интервью это часто бывает важно.
Главное, что я готов работать за еду год, потом сбережения закончатся
Да и история челиков, которые в 30+ перекатились меня подбадривает.
К тому, же из-за ЧСВ, присущего любому человеку, я думаю, что у меня точно получится.
Даже если ты прав. Я же могу вкатиться в машинное обучение по своей специальности. Я знаю технологии, а судя по интервью это часто бывает важно.
>>792171
Раз в год меняешь работу/должность на более машобную - куда возьмут, а при новом трудоустройстве немного пиздишь о том, чем занимался
Сразу трясуном ящиков тебя не возьмут конечно
Раз в год меняешь работу/должность на более машобную - куда возьмут, а при новом трудоустройстве немного пиздишь о том, чем занимался
Сразу трясуном ящиков тебя не возьмут конечно
>>792140
Там программирование не нужно. Написать несколько строк вызова готовых функций с параметрами, причем, примеры кода есть в документации это не программирование.
> Человек, который не может даже в программирование.
Там программирование не нужно. Написать несколько строк вызова готовых функций с параметрами, причем, примеры кода есть в документации это не программирование.
>>792396
этот прав. Там даже дебич может справиться. Касательно вопроса- ну да, все идет к этому, но не так быстро. Это будет как рост производительности пк догоняться ростом требований софта (из-за ухудшения оптимизации-упрощения процесса "программирования"). Прогресс будет медленным, ну или ебнут квантовый пк, и тогда тут будет скайнет.
этот прав. Там даже дебич может справиться. Касательно вопроса- ну да, все идет к этому, но не так быстро. Это будет как рост производительности пк догоняться ростом требований софта (из-за ухудшения оптимизации-упрощения процесса "программирования"). Прогресс будет медленным, ну или ебнут квантовый пк, и тогда тут будет скайнет.
>>792396
хрюкнул, дай свое определение программирования
>>792140
Если вместо дерганья ануса через код будет голосовой интерфейс это ничего не поменяет. Без знаний в этой области далеко не уедешь.
https://youtu.be/hHwjceFcF2Q
>это не программирование
хрюкнул, дай свое определение программирования
>>792140
Если вместо дерганья ануса через код будет голосовой интерфейс это ничего не поменяет. Без знаний в этой области далеко не уедешь.
https://youtu.be/hHwjceFcF2Q
>>792423
На примере слесарьплова. Написать сам слесарьплов - это программирование. Пользоваться им (дергать анус готовые функции через код) - не программирование.
> , дай свое определение программирования
На примере слесарьплова. Написать сам слесарьплов - это программирование. Пользоваться им (дергать анус готовые функции через код) - не программирование.
>>792423
Добавлю ещё про непрограммирование.
Это просто другой абстракции, также, как сейчас не надо наизусть знать конфигурацию суперкомпьютера на котором ты щелкаешь тумблерами, чтобы подвигать байтики.
Добавлю ещё про непрограммирование.
Это просто другой абстракции, также, как сейчас не надо наизусть знать конфигурацию суперкомпьютера на котором ты щелкаешь тумблерами, чтобы подвигать байтики.
1023 Кб, 1188x804>>791518
В очередной раз убеждаюсь, что подобные статейки это просто инфоциганский мусор+лохотрон.
Нет, чтобы просто дать документацию и небольшой туториал, они берут и размазывают всё по всему.
Очень долго не мог запустить приведённый в первой статье код, так как не понимал, что авторы подразумевали под некоторыми переменными, например T.
Но я разобрался и всё-равно, мы видим, что автор статьи просто набросал рандомного текста, ничего не объяснив, так что мой результат только пикрелейтед, мда.
Люди, кстати, выглядят так. будто сгенерированы нейросетью. Вполне вероятно, что и текст той статьи сгенерирова нейросетью.
В очередной раз убеждаюсь, что подобные статейки это просто инфоциганский мусор+лохотрон.
Нет, чтобы просто дать документацию и небольшой туториал, они берут и размазывают всё по всему.
Очень долго не мог запустить приведённый в первой статье код, так как не понимал, что авторы подразумевали под некоторыми переменными, например T.
Но я разобрался и всё-равно, мы видим, что автор статьи просто набросал рандомного текста, ничего не объяснив, так что мой результат только пикрелейтед, мда.
Люди, кстати, выглядят так. будто сгенерированы нейросетью. Вполне вероятно, что и текст той статьи сгенерирова нейросетью.
>>792236
И нахуй ты нужен? С непрофильным образованием и без опыта от тебя будет больше вреда.
Инфоцыгане пиздят, чтобы продавать курсы по машобу.
Так чего ещё не вкатился, лол.
>я готов
И нахуй ты нужен? С непрофильным образованием и без опыта от тебя будет больше вреда.
>история челиков
Инфоцыгане пиздят, чтобы продавать курсы по машобу.
>Я же могу вкатиться в машинное обучение по своей специальности
Так чего ещё не вкатился, лол.
>>792428
Тф - это фреймворк, говорить, что писать код для фреймворка - не программирование, это все равно, что обозвать C# не программированием только на основании того, что ты видел, как какие-то студенты кидают батоны на winforms.
При этом по сути это еще и метапрограммирование (код, генерирующий граф вычислений), результатом которого является дифференцируемый код (функциональщина в квадрате).
Я молчу о том, что воспроизводимость требует хороших практик написания кода и организации работы, а стоимость железа не позволяет повысить требования и забить хуй, как много лет делают мейнстримные программисты.
Тф - это фреймворк, говорить, что писать код для фреймворка - не программирование, это все равно, что обозвать C# не программированием только на основании того, что ты видел, как какие-то студенты кидают батоны на winforms.
При этом по сути это еще и метапрограммирование (код, генерирующий граф вычислений), результатом которого является дифференцируемый код (функциональщина в квадрате).
Я молчу о том, что воспроизводимость требует хороших практик написания кода и организации работы, а стоимость железа не позволяет повысить требования и забить хуй, как много лет делают мейнстримные программисты.
>>792433
Охуенная логика, если ты новичок и у тебя что-то не получается, виноват в этом кто угодно, только не ты. Далеко пойдешь. Политиком можешь стать, мэром города какого-нибудь небольшого.
>Очень долго не мог запустить приведённый в первой статье код, так как не понимал, что авторы подразумевали под некоторыми переменными, например T.
>инфоциганский мусор+лохотрон
Охуенная логика, если ты новичок и у тебя что-то не получается, виноват в этом кто угодно, только не ты. Далеко пойдешь. Политиком можешь стать, мэром города какого-нибудь небольшого.
>>792433
Смотри paperswithcode.com
Смотри paperswithcode.com
https://www.youtube.com/watch?v=i3ZnDRrmFjg
Почему двухслойный перцептрон не справился со спиралью?
Почему двухслойный перцептрон не справился со спиралью?
>>792709
так справился же. Ну и да, если бы в первом инпуте были два входа: угол от центральной точки + расстояние от центральной точки, то там можно было бы в один слой всё зарешать (наверное)
так справился же. Ну и да, если бы в первом инпуте были два входа: угол от центральной точки + расстояние от центральной точки, то там можно было бы в один слой всё зарешать (наверное)
>>793291
это норма
это норма
>>793159
Чтобы выучить любую функцию, достаточно просто массива точек и интерполяции между ближайшими соседями. Нет никакого практического смысла рассуждать о том, можно ли какой-то йобой описать любую функцию, если иметь достаточное число весов. Важно еще при этом чтобы это число весов умещалось хотя бы в видимые размеры вселенной.
Чтобы выучить любую функцию, достаточно просто массива точек и интерполяции между ближайшими соседями. Нет никакого практического смысла рассуждать о том, можно ли какой-то йобой описать любую функцию, если иметь достаточное число весов. Важно еще при этом чтобы это число весов умещалось хотя бы в видимые размеры вселенной.
>>793315
Вот только ещё в 60х поняли, что это так не работает. Точек и расстояния между ними недостаточно в подавляющем большинстве случаев, хотя бы из-за того что почти все подобные задачи некорректнопоставленные.
Это единственное, что вообще имеет смысл в машобе. Все остальное это шаманство и тряска черных ящиков.
> Чтобы выучить любую функцию, достаточно просто массива точек и интерполяции между ближайшими соседями.
Вот только ещё в 60х поняли, что это так не работает. Точек и расстояния между ними недостаточно в подавляющем большинстве случаев, хотя бы из-за того что почти все подобные задачи некорректнопоставленные.
> Нет никакого практического смысла рассуждать о том, можно ли какой-то йобой описать любую функцию, если иметь достаточное число весов. Важно еще при этом чтобы это число весов умещалось хотя бы в видимые размеры вселенной.
Это единственное, что вообще имеет смысл в машобе. Все остальное это шаманство и тряска черных ящиков.
>>793332
Какие "подобные задачи". Я отвечал на фразу "Так у двухслойного хватает чтобы выучить в принципе любую функцию". Не хватает, потому что в этом случае скрытый слой будет представлять как раз подобную таблицу.
Не, это твоя очередная сверхидея.
>Точек и расстояния между ними недостаточно в подавляющем большинстве случаев, хотя бы из-за того что почти все подобные задачи некорректнопоставленные.
Какие "подобные задачи". Я отвечал на фразу "Так у двухслойного хватает чтобы выучить в принципе любую функцию". Не хватает, потому что в этом случае скрытый слой будет представлять как раз подобную таблицу.
>Это единственное, что вообще имеет смысл в машобе.
Не, это твоя очередная сверхидея.
>>793315
Так там вроде достаточно взять n+1 нейрон на внутреннем слое, чтобы получить возможность аппроксимировать любую гладкую функцию на n-мерном пространстве.
Т.е. конкретно в случае со спиралью на плоскости вообще трёх нейронов должно хватить, видимо в локальный минимум застревает какой-то просто.
>Важно еще при этом чтобы это число весов умещалось хотя бы в видимые размеры вселенной.
Так там вроде достаточно взять n+1 нейрон на внутреннем слое, чтобы получить возможность аппроксимировать любую гладкую функцию на n-мерном пространстве.
Т.е. конкретно в случае со спиралью на плоскости вообще трёх нейронов должно хватить, видимо в локальный минимум застревает какой-то просто.
>>792082
Старшекурсник мэгэу в треде, куда можно пойти стажёром кроме Яндекса/Сбера/SAS?
в ODS состою, там ещё несколько мест видел в job, но нигде в данный момент нет активных вакансий
мимо другой анон
Старшекурсник мэгэу в треде, куда можно пойти стажёром кроме Яндекса/Сбера/SAS?
в ODS состою, там ещё несколько мест видел в job, но нигде в данный момент нет активных вакансий
мимо другой анон
>>791610
Спасибо.
Спасибо.
>>792140
Примерно 0, так как программы для автоматического решения задач ML по типу RapidMiner умеют во входные данные только определенного формата, а без кода который хотя бы джейсончики перегоняет в csv ничего работать не будет, к томуже они не могут извлекать новые признаки.
Примерно 0, так как программы для автоматического решения задач ML по типу RapidMiner умеют во входные данные только определенного формата, а без кода который хотя бы джейсончики перегоняет в csv ничего работать не будет, к томуже они не могут извлекать новые признаки.
>>792140
Прям чтовы менеджер среднего звена Вася работал полностью сам - не раньше чем протез мозга сделают.
Прям чтовы менеджер среднего звена Вася работал полностью сам - не раньше чем протез мозга сделают.
>>794345
Это естественный ход вещей. 15 лет назад простейший макакинг был не то что как рокет саенс, даже еще выше. Рили выучив синтаксис какой-нибудь джавы можно было сесть и рубить бабло.
Барьеры убирают, но за ними вырастают новые, повыше. Нейроночки на серьезном уровне это все же головоломная штука, которую надо изучать годами. На таком уровне в математику могут жалкие проценты людей. Делать что-то без представления о том, что такое параметры, функция потерь, градиент, свертка, нормализация, оптимизация - ну это как кодить на жс не зная что такое переменная, функция, цикл. То есть можно, наверное, как-то, по примерам копируя, но ясно что много ты так не накодишь.
Это естественный ход вещей. 15 лет назад простейший макакинг был не то что как рокет саенс, даже еще выше. Рили выучив синтаксис какой-нибудь джавы можно было сесть и рубить бабло.
Барьеры убирают, но за ними вырастают новые, повыше. Нейроночки на серьезном уровне это все же головоломная штука, которую надо изучать годами. На таком уровне в математику могут жалкие проценты людей. Делать что-то без представления о том, что такое параметры, функция потерь, градиент, свертка, нормализация, оптимизация - ну это как кодить на жс не зная что такое переменная, функция, цикл. То есть можно, наверное, как-то, по примерам копируя, но ясно что много ты так не накодишь.
>>794350
А куда девается хуева туча маняматиков выпускаемых говновузами по всему миру?
>в математику могут жалкие проценты людей
А куда девается хуева туча маняматиков выпускаемых говновузами по всему миру?
>>794354
Во-первых, их мало - матфаки совсем не популярны. Во-вторых, получить корку баки может любой дурак, это не значит что он реально может работать по специальности на новейших технологиях. Скорее всего подавляющее большинство из выпускников вообще не слышали про нейроночки в стенах вуза, как максимум какой-то наспех состряпаный курс на уровне ютуб-лекций "тренируем классификатор МНИСТ вместе". В третьих, те кто реально хорошо делают математику, идут на ПхД в чистой математике, и для них нейроночки это просто очередное навевающее зевоту приложение, никак не соприкасающееся с современными математическими трендами (там вся матеша из 19 века).
Во-первых, их мало - матфаки совсем не популярны. Во-вторых, получить корку баки может любой дурак, это не значит что он реально может работать по специальности на новейших технологиях. Скорее всего подавляющее большинство из выпускников вообще не слышали про нейроночки в стенах вуза, как максимум какой-то наспех состряпаный курс на уровне ютуб-лекций "тренируем классификатор МНИСТ вместе". В третьих, те кто реально хорошо делают математику, идут на ПхД в чистой математике, и для них нейроночки это просто очередное навевающее зевоту приложение, никак не соприкасающееся с современными математическими трендами (там вся матеша из 19 века).
Але, у меня одногруппница щас на 4 курсе учится, не получила диплом еще, ее уже взяли работать на джуна в машоб 20ч в неделю - 30к зп. Шарит она или нет? Нет))) Ну просто умело пыль в глаза кидает и много теории знает + девочка. Я к чему. Нахуй вам ваш диплом и учеба? Идите учите, пытайтесь устроиться и т.д. Вот пример из жизни привел. Прям вчера ее повысили со стажора до джуна на изичах.
А, да, к слову город наш новосибирск, т.к. не масква и не питир, где 30к - это копейки. У нас в 21 год получать 30к - это збс. Кароч ебал диплом и учебу, я конечно чмо, которого никуда не принимают, потому что пишут "Ты еще студент." "У тебя нет опытаа работы.", но ей повезло и ее устроили. И вам так же может повести) Ну либо как мне будут писать что вы чмо))))))) Но я просто лошок
>>794370
Я не работаю, потому что меня отшивают на хед хантере)) Пишут что я додик-студент-без опыта работы)) Но я - это плохой пример))))) Просто что-то не так делаю, или резюме помойка) Она попала на работу, потому что на конференции заобщалась с типом, который ее заинвайтил.. Но я верю, что и через хед хантер можно найти работу)))))) Главное же верить?)
Я не работаю, потому что меня отшивают на хед хантере)) Пишут что я додик-студент-без опыта работы)) Но я - это плохой пример))))) Просто что-то не так делаю, или резюме помойка) Она попала на работу, потому что на конференции заобщалась с типом, который ее заинвайтил.. Но я верю, что и через хед хантер можно найти работу)))))) Главное же верить?)
>>794369
Если язык подвешен, можно и гендиром стать, или вообще свою галеру устроить. Это все известно. Мы тут о лобовой атаке речь ведем, когда своими силами все.
Если язык подвешен, можно и гендиром стать, или вообще свою галеру устроить. Это все известно. Мы тут о лобовой атаке речь ведем, когда своими силами все.
>>794350
Как же вы заебали. Аутсорса не было, веба не было, английский никто не знал, основные рабочие места - это автоматизация документооборота в рашкофирмах, и платили много только в местах типа банков, и таких мест было мало.
В нейронках зарплаты в принципе на уровне любого другого скиллового айти, будто девопсенье на AWS или способность сделать хороший нетормозящий UI в браузере. Они не большие и не маленькие, обыкновенные.
>15 лет назад простейший макакинг был не то что как рокет саенс, даже еще выше. Рили выучив синтаксис какой-нибудь джавы можно было сесть и рубить бабло.
Как же вы заебали. Аутсорса не было, веба не было, английский никто не знал, основные рабочие места - это автоматизация документооборота в рашкофирмах, и платили много только в местах типа банков, и таких мест было мало.
В нейронках зарплаты в принципе на уровне любого другого скиллового айти, будто девопсенье на AWS или способность сделать хороший нетормозящий UI в браузере. Они не большие и не маленькие, обыкновенные.
>>794376
Потому что она моя одногруппинца) Я 3 года с ней общаюсь и вижу, что пыль в глаза только пускает, что преподам, что всем) За нее все делают, она только теорию учит и выдает за свой результат, но причем умело) Сомневаюсь что тут по другому. Но она пол года на стажировке была, мб ее там и научили чему-то, и щас скиллы есть. Но когда попадала в компанию - 99% что не было скиллов, кроме хорошего и умелого навяливаня лапши на уши.
Потому что она моя одногруппинца) Я 3 года с ней общаюсь и вижу, что пыль в глаза только пускает, что преподам, что всем) За нее все делают, она только теорию учит и выдает за свой результат, но причем умело) Сомневаюсь что тут по другому. Но она пол года на стажировке была, мб ее там и научили чему-то, и щас скиллы есть. Но когда попадала в компанию - 99% что не было скиллов, кроме хорошего и умелого навяливаня лапши на уши.
>>794381
Ну так рашкообразование страшно нерелевантная хуйня в плане оценки скиллов, и это говно нужно пару лет выбивать из любого студента.
>Я 3 года с ней общаюсь и вижу, что пыль в глаза только пускает, что преподам, что всем
Ну так рашкообразование страшно нерелевантная хуйня в плане оценки скиллов, и это говно нужно пару лет выбивать из любого студента.
>>794380
Я же не про рашу, где люди выращивали картоху технологиями до каменного века, с мотыгами, чтобы с голоду не подохнуть. Тут ничего не было и никто ничего не знал.
Я же не про рашу, где люди выращивали картоху технологиями до каменного века, с мотыгами, чтобы с голоду не подохнуть. Тут ничего не было и никто ничего не знал.
>>794384
Если человек сам нихуя не делает, а только пыль в глаза пускает, то это человек такой, а не рашкообразование.. Я вижу много студентов, кто так же нихуя не делает, но они пытаются хотябы, списывают, разбирают что списали, чтобы разобраться и ответить преподу.. Да, они тратят больше времени и получают тот же результат, а они хуже, чем всякие бляди типо этой одонгруппницы. Но и в жизни и в работе оне попытаются разобраться и понять, а не пустить пыль в глаза мол есть скиллы, когда их нет. Хотя чего спорить то)) Тебе то лучше знать есть ли у этой одонгруппницы скиллы или нет, не видя и не зная ее..
Если человек сам нихуя не делает, а только пыль в глаза пускает, то это человек такой, а не рашкообразование.. Я вижу много студентов, кто так же нихуя не делает, но они пытаются хотябы, списывают, разбирают что списали, чтобы разобраться и ответить преподу.. Да, они тратят больше времени и получают тот же результат, а они хуже, чем всякие бляди типо этой одонгруппницы. Но и в жизни и в работе оне попытаются разобраться и понять, а не пустить пыль в глаза мол есть скиллы, когда их нет. Хотя чего спорить то)) Тебе то лучше знать есть ли у этой одонгруппницы скиллы или нет, не видя и не зная ее..
Если она умеет заобщаться, то зачем ей это делать с типом на конференции за 30к, если она может заобщаться с папиком и получать от него 300к?
>>794550
Одно другому не мешает. Днем она общается с типом на конференции, вечером - с папиком.
Одно другому не мешает. Днем она общается с типом на конференции, вечером - с папиком.
>>794458
Объективный факт в том, что у нее есть работа, а у тебя нет, а все остальное твое субъективное мнение - безработного студенчешки, который меряет успех способностью сдать экзамен не списывая
>Тебе то лучше знать есть ли у этой одонгруппницы скиллы или нет, не видя и не зная ее..
Объективный факт в том, что у нее есть работа, а у тебя нет, а все остальное твое субъективное мнение - безработного студенчешки, который меряет успех способностью сдать экзамен не списывая
>>794563
А спать когда?
А спать когда?
>>794458
Вангую, что там не беспилотный автомобиль делают, а на дата-аналитика ее взяли. Т. е. нужно будет софтскиллить с разработчиками, чтобы они встроили логи для сбора данных для тебя, потом обработка и применение машоба уровня регрессии и донесение получившегося результата до манагеров. При этом кеглядрочерство (подбор модели и ее параметров) занимает меньше всего времени в это процессе. Софтскиллы и понимание бизнес-процессов важнее.
Вангую, что там не беспилотный автомобиль делают, а на дата-аналитика ее взяли. Т. е. нужно будет софтскиллить с разработчиками, чтобы они встроили логи для сбора данных для тебя, потом обработка и применение машоба уровня регрессии и донесение получившегося результата до манагеров. При этом кеглядрочерство (подбор модели и ее параметров) занимает меньше всего времени в это процессе. Софтскиллы и понимание бизнес-процессов важнее.
>>794245
Я попал через производственную практику, дс2
Я попал через производственную практику, дс2
Работать в ДС - топ спот по сочетанию необходимости вникать в теорию / прогать / вникать в предметную область
Мимопроходил
Мимопроходил
44 Кб, 720x479Стоит ли делать карьеру в ML, если ты принципе уже состоялся как программист мидл Python/C++, город ДС? Карьеру сугубо промышленную, хоть и обещают простор для творчества и экспериментов, но продукт полностью коммерческий (а значит правит балом заказчик). Разумеется все под строгим NDA, без планов на публикации и получение научной степени. В наличии есть вышка хорошего вуза, где в том числе был курс по ML, и базовые знания из головы пока не выветрились. Но я конечно понимаю, что это копейки от нужных для работы навыков, и в принципе готов первые год-два серьезно позадротить эту тему. Все же не круды шлепать и запросы в БД посылать, тут хоть какой-то интерес и азарт присутствуют.
Почитав и треды, и другие источники, пока что для меня складывается ощущение, что ML (по крайней мере исследовательская часть, дата-инженеров с "импорт тензорфлоу" в расчет не берем) это удел математиков с прикормленных кафедр, которые в свою тусовочку ой как неохотно принимают чужаков. Хотелось бы спросить людей из соответствующих отделов крупных контор, вроде Яндекса или Сбера кого я только на двачах не встречал, думаю и такие найдутся. Как вы себя чувствуете на своем месте, работа интересная? По зарплатам не обижают? До сеньор-помидорских позиций дорасти без серьезной phd и статей реально? Не боитесь отправиться на мороз от прихоти руководства, особенно после случая, когда Самсунг разогнал весь NLP отдел в полном составе?
Стою сейчас на очень серьезном жизненном распутье и терзает меня чуйка, что такой шанс вкатиться дается раз в жизни.
Почитав и треды, и другие источники, пока что для меня складывается ощущение, что ML (по крайней мере исследовательская часть, дата-инженеров с "импорт тензорфлоу" в расчет не берем) это удел математиков с прикормленных кафедр, которые в свою тусовочку ой как неохотно принимают чужаков. Хотелось бы спросить людей из соответствующих отделов крупных контор, вроде Яндекса или Сбера кого я только на двачах не встречал, думаю и такие найдутся. Как вы себя чувствуете на своем месте, работа интересная? По зарплатам не обижают? До сеньор-помидорских позиций дорасти без серьезной phd и статей реально? Не боитесь отправиться на мороз от прихоти руководства, особенно после случая, когда Самсунг разогнал весь NLP отдел в полном составе?
Стою сейчас на очень серьезном жизненном распутье и терзает меня чуйка, что такой шанс вкатиться дается раз в жизни.
>>794686
Очередной самоподдув неудачников с борд
Очередной самоподдув неудачников с борд
А GAN'ы после обучения валидируют?
>>795514
Нет. Хайп ML и иже с ним уже умирает в США, а значит вскоре это дойдет и до нас. Вкатываться в ML в 2020 - ловить падающий нож
Нет. Хайп ML и иже с ним уже умирает в США, а значит вскоре это дойдет и до нас. Вкатываться в ML в 2020 - ловить падающий нож
>>795722
придумывают как stack more layers?
поинтересуйся лучше эффективностью этих придумываний
>придумывают что то новое
придумывают как stack more layers?
поинтересуйся лучше эффективностью этих придумываний
>>795514
Стоит, потому что это твой шанс не продавать свои жопочасы до 40 лет, а продавать знания.
В принципе ML в этом плане близок к знанию какого-нибудь AWS, когда умеешь. кажется, что херня для даунов, а на деле полно людей, для которых это все рокет саенс. Ну или я не знаю, к программированию смарт-контрактов. Короче это нишевое айти со всеми вытекающими, работы меньше, но и работников меньше.
В интернете везде пасутся тролли, вниманиебляди и прочие токсичные пидорки, инфа несет скорее отрицательную ценность.
>Стоит ли делать карьеру в ML, если ты принципе уже состоялся как программист
Стоит, потому что это твой шанс не продавать свои жопочасы до 40 лет, а продавать знания.
В принципе ML в этом плане близок к знанию какого-нибудь AWS, когда умеешь. кажется, что херня для даунов, а на деле полно людей, для которых это все рокет саенс. Ну или я не знаю, к программированию смарт-контрактов. Короче это нишевое айти со всеми вытекающими, работы меньше, но и работников меньше.
>Почитав и треды, и другие источники
В интернете везде пасутся тролли, вниманиебляди и прочие токсичные пидорки, инфа несет скорее отрицательную ценность.
>>795749
С чего ты решил что знания стоят дороже жопочасов? Тем более что продаешь ты не знания, а результат, который в ML в большинстве случаев получается говно. Проще работать за зарплату, чем пытаться объяснить кабанчику почему у тебя ничего не получилось.
>Стоит, потому что это твой шанс не продавать свои жопочасы до 40 лет, а продавать знания.
С чего ты решил что знания стоят дороже жопочасов? Тем более что продаешь ты не знания, а результат, который в ML в большинстве случаев получается говно. Проще работать за зарплату, чем пытаться объяснить кабанчику почему у тебя ничего не получилось.
>>795775
Может у него софтскиллы вкачаны.
>Проще работать за зарплату, чем пытаться объяснить кабанчику почему у тебя ничего не получилось.
Может у него софтскиллы вкачаны.
>>796100
зачем тогда мышиное облучение? эффективнее будет прокачиваться в менеджеры
зачем тогда мышиное облучение? эффективнее будет прокачиваться в менеджеры
100 Кб, 700x553Если нейронки не работают, то почему разрастаются дата-центры с гпу? Нвидия с них уже имеет больше доходов, чем с задротов.
>>796184
Придумали новый объеб корпоративных кабанчиков на деньги, а то базы данных оракл и SAP уже не в моде.
Так там и накрутки в 10 раз больше. Типичный рецепт нвидии - это взять флагманскую геймерскую карту, которая сама по себе двухкратный оверпрайс по сравнению с бюджетом, добавить 4 гига памяти и продать еще раза в 2.5 дороже. При этом ресерчерам подобные карты дарятся бесплатно, чтобы они выкладывали модели которые требуют ну тютелька-в-тютельку 16 гигов.
Куда смотрит амуде не понятно.
>Если нейронки не работают, то почему разрастаются дата-центры с гпу?
Придумали новый объеб корпоративных кабанчиков на деньги, а то базы данных оракл и SAP уже не в моде.
>Нвидия с них уже имеет больше доходов, чем с задротов.
Так там и накрутки в 10 раз больше. Типичный рецепт нвидии - это взять флагманскую геймерскую карту, которая сама по себе двухкратный оверпрайс по сравнению с бюджетом, добавить 4 гига памяти и продать еще раза в 2.5 дороже. При этом ресерчерам подобные карты дарятся бесплатно, чтобы они выкладывали модели которые требуют ну тютелька-в-тютельку 16 гигов.
Куда смотрит амуде не понятно.
>>796332
типичный рецепт нвидии, это брать отбраковку камней, и делать из этой отбраковки линейку потребительский карт.
среди потребительских карт, только в самой старшей может быть полный камень
>Типичный рецепт нвидии
типичный рецепт нвидии, это брать отбраковку камней, и делать из этой отбраковки линейку потребительский карт.
среди потребительских карт, только в самой старшей может быть полный камень
>>796396
Привет, дебич, это у всезх производителей такая практика. Тупо потому что ASML заряжает за каждый фотошаблон как за чугунный мост и линейку дешевле из отбраковки делать.
>>Типичный рецепт нвидии
>типичный рецепт нвидии, это брать отбраковку камней, и делать из этой отбраковки линейку потребительский карт.
>среди потребительских карт, только в самой старшей может быть полный камень
Привет, дебич, это у всезх производителей такая практика. Тупо потому что ASML заряжает за каждый фотошаблон как за чугунный мост и линейку дешевле из отбраковки делать.
>>796396
Это вы так своих кабанчиков словом "отбраковка" пугаете? Что это меняет в сказанном мной?
Это вы так своих кабанчиков словом "отбраковка" пугаете? Что это меняет в сказанном мной?
>>796401
Больно дохуя отбраковки получается, сколько это в штуках, 99% выпуска? Ну, допустим, битые SM-ядра можно отключать, но а если брак попадет на другую часть кристалла? Попахивает пиздежом, потому что не понятно, нахуя так сильно шакалить техпроцесс. Проще отрубить лишние ядра программно.
Больно дохуя отбраковки получается, сколько это в штуках, 99% выпуска? Ну, допустим, битые SM-ядра можно отключать, но а если брак попадет на другую часть кристалла? Попахивает пиздежом, потому что не понятно, нахуя так сильно шакалить техпроцесс. Проще отрубить лишние ядра программно.
>>796419
думаю, зеленые инжинеры знают что и как отключать. да и вообще, основная площадь кристалла — всякие ядра и, соответственно, большая вероятность, что битыми окажутся именно ядра.
думаю, зеленые инжинеры знают что и как отключать. да и вообще, основная площадь кристалла — всякие ядра и, соответственно, большая вероятность, что битыми окажутся именно ядра.
120 Кб, 518x386>>796485
CSV, работать через pandas
CSV, работать через pandas
>>796332
Ресерчеры их покупают за деньги из бюджета на ресерч.
>При этом ресерчерам подобные карты дарятся бесплатно
Ресерчеры их покупают за деньги из бюджета на ресерч.
>>796568
Я такое в первый раз слышу. Цена на эти видеокарты настолько высокая именно потому, что их покупает либо бизнес, либо ресерчеры на бюджет, который положить в карман все равно не получится. Остальным эти карты нахуй не нужны.
Я такое в первый раз слышу. Цена на эти видеокарты настолько высокая именно потому, что их покупает либо бизнес, либо ресерчеры на бюджет, который положить в карман все равно не получится. Остальным эти карты нахуй не нужны.
>>796571
Потому что пейперы не читаешь. Куда ни плюнь, нвидия подарила какой-нибудь титан хэ.
Потому что нвидия лишает лицензии если использовать геймерские карты в датацентрах. В чем это выражается не знаю, скорее всего в лишении гарантии. Ну а датацентры берут оптом по другим ценам.
>Я такое в первый раз слышу
Потому что пейперы не читаешь. Куда ни плюнь, нвидия подарила какой-нибудь титан хэ.
>Цена на эти видеокарты настолько высокая
Потому что нвидия лишает лицензии если использовать геймерские карты в датацентрах. В чем это выражается не знаю, скорее всего в лишении гарантии. Ну а датацентры берут оптом по другим ценам.
>>796579
Ни в одном пейпере не видел такого. Пишут конфигурацию и все - ничего про подаренные видеокарты.
>Потому что пейперы не читаешь.
Ни в одном пейпере не видел такого. Пишут конфигурацию и все - ничего про подаренные видеокарты.
>>796332
Это херня какая-то. Не может обученная модель использовать столько памяти для калькуляции
> которые требуют ну тютелька-в-тютельку 16 гигов
Это херня какая-то. Не может обученная модель использовать столько памяти для калькуляции
>>785952 (OP)
C++ или Python и в чём преимущества и недостатки обоих?
C++ или Python и в чём преимущества и недостатки обоих?
>>796746
C++ если тебе нужно чтобы работало быстро
пистон - если нужно побэрику решить какую-то прикладную шняжку, не сильно завязанную на числодробилках и мультитрединге
C++ если тебе нужно чтобы работало быстро
пистон - если нужно побэрику решить какую-то прикладную шняжку, не сильно завязанную на числодробилках и мультитрединге
>>796767
Если тебя устраивает затрачивать в десять раз больше времени чем нужно - пиши на плюсах.
>Короче говоря умея вна плюсы питон ценности не имеет?
Если тебя устраивает затрачивать в десять раз больше времени чем нужно - пиши на плюсах.
>>796774
Ну я нацелен именно на серьёзные проекты а не на какую-то прикладную шняжку, так что думаю плюсы как-никак идеальный выбор.
Ну я нацелен именно на серьёзные проекты а не на какую-то прикладную шняжку, так что думаю плюсы как-никак идеальный выбор.
>>796785
Ты вообще машобом занимаешься? Все проекты сначала пишутся на питоне в качестве прототипов, а уже потом часточно или полностью переписываются.
>Ну я нацелен именно на серьёзные проекты а не на какую-то прикладную шняжку
Ты вообще машобом занимаешься? Все проекты сначала пишутся на питоне в качестве прототипов, а уже потом часточно или полностью переписываются.
>>796760
Eсть же ufuncs в NumPy.
Eсть же ufuncs в NumPy.
>>796798
Понадобится - выучу. Думаю после того как выдрочу плюсы с ним проблем не возникнет.
Понадобится - выучу. Думаю после того как выдрочу плюсы с ним проблем не возникнет.
>>796587
Ну ты наверное один хайп от гуглбрейна читаешь, потому что я встречаю это постоянно, но естественно не у гугла
Ну ты наверное один хайп от гуглбрейна читаешь, потому что я встречаю это постоянно, но естественно не у гугла
>>796767
На плюсах пишется код который гоняет модель где-то на телефоне или десктопном приложении. На питоне пишется код который создаёт и обучает эту самую модель. Зная только питон машобом заниматься можно, зная только кресты нет
На плюсах пишется код который гоняет модель где-то на телефоне или десктопном приложении. На питоне пишется код который создаёт и обучает эту самую модель. Зная только питон машобом заниматься можно, зная только кресты нет
>>796800
Ты просто вкатывальщик, который не работал над реальными проектами. Когда пишешь прототипы, которые в 90% случаев не работают, тебе не важно насколько производителен язык - тебе нужно как можно быстрее проверить идею, и перейти к новой. Никто не будет ждать пока ты месяцами дрочишь байты.
Еще не забывай, что многие библиотеки, которые используются для тяжелых вычислений, написаны на крестах и куде.
Ты просто вкатывальщик, который не работал над реальными проектами. Когда пишешь прототипы, которые в 90% случаев не работают, тебе не важно насколько производителен язык - тебе нужно как можно быстрее проверить идею, и перейти к новой. Никто не будет ждать пока ты месяцами дрочишь байты.
Еще не забывай, что многие библиотеки, которые используются для тяжелых вычислений, написаны на крестах и куде.
64 Кб, 625x625Анон, тема заезжанная - есть ли какие-то годные готовые решения, с помощью которых можно сделать голосового помощника?
Чтобы не брать у гуглов и амазонов апи, что-то локальное, простенькое.
Чтобы ещё на питоне работало.
Обязательно ли нейросеть для распознавания речи использовать, или может какие-то методы переоткрыли и улучшили?
Чтобы не брать у гуглов и амазонов апи, что-то локальное, простенькое.
Чтобы ещё на питоне работало.
Обязательно ли нейросеть для распознавания речи использовать, или может какие-то методы переоткрыли и улучшили?
Сап.
Хочу создать бота для конфочки группы вбыдлятне, который будет учиться на высерах дногруппников и как-то иногда отвечать. До этого с нейроночками тыкался только с тенсорфлоу и базовым примером классификации изображений MNIST. Делал я это для курсача в том году.
Дорогие аноны, что мне нужно нагуглить и почитать, чтобы понять, как делать нейронки, которые будут отвечать на вводимый текст и попутно обучаться?
Хочу создать бота для конфочки группы вбыдлятне, который будет учиться на высерах дногруппников и как-то иногда отвечать. До этого с нейроночками тыкался только с тенсорфлоу и базовым примером классификации изображений MNIST. Делал я это для курсача в том году.
Дорогие аноны, что мне нужно нагуглить и почитать, чтобы понять, как делать нейронки, которые будут отвечать на вводимый текст и попутно обучаться?
>>797620
голосовой помощник делится на две части:
1. распознавание речи
2. анализ вопроса и реакция на вопрос
Тебе только первое? Компании туда миллионы долларов вливают. В паблике ничего нет
голосовой помощник делится на две части:
1. распознавание речи
2. анализ вопроса и реакция на вопрос
Тебе только первое? Компании туда миллионы долларов вливают. В паблике ничего нет
>>797695
Еще kaldi
Еще kaldi
>>797695
Пожалуйста.
Пожалуйста.
>>797724
Всякие так и рабтают через нерожопу, хочешь нормального ищи что нибудь подобное ALICE типа
https://github.com/thammegowda/charliebot
с поддержкой AIML
https://github.com/drwallace/AIML-Spec/blob/master/aiml.md
> боты всякие
Всякие так и рабтают через нерожопу, хочешь нормального ищи что нибудь подобное ALICE типа
https://github.com/thammegowda/charliebot
с поддержкой AIML
https://github.com/drwallace/AIML-Spec/blob/master/aiml.md
>>797672
Гитхаб автора порфирьевича
Гитхаб автора порфирьевича
59 Кб, 250x250>>797682
Серьёзно?
Серьёзно?
Будет ли работать регрессия если я, допустим, захочу прогнозировать стоимость дома по 200+ категореальным признакам и дом сможет иметь одновременно 10 таких признаков. Короче 190 нулей one hot encoding и 10 единиц загружаю в сеть, на выход цифру.
>>798498
То, о чём ты говоришь, называется разряженными данными. Это совершенно нормально
То, о чём ты говоришь, называется разряженными данными. Это совершенно нормально
Кто-нибудь ИТТ сдавал какие-нибудь сертификации ради повышения своей ценности на рынки труда в сфере анализа данных или ML и с для структурирования своих знаний в сфере? Типа IBM Data Science Professional Certificate / EMCDSA / TensorFlow Developer Certificate. Как думаете, имеет смысл?
ну и ебанутый контест конеш
3DNews: Тесты GeForce RTX 3080 в задачах CUDA и OpenCL — прирост на 68 % по сравнению с RTX 2080.
https://3dnews.ru/1019979
DOMINATED
https://3dnews.ru/1019979
DOMINATED
Помогите найти материалы по определению рукописного ввода.
Везде все очень сложно, а у меня более простая задача - определить какую фигуру рисует человек из предзаданного набора.
Везде все очень сложно, а у меня более простая задача - определить какую фигуру рисует человек из предзаданного набора.
65 Кб, 825x510GAN'ы целиком или частично (дискриминатор) вообще как-то валидируют?
>>799438
Верно, завтра удалённым приказом нвидии все старые карты будут перепрошиты на простой и перестанут работать.
Верно, завтра удалённым приказом нвидии все старые карты будут перепрошиты на простой и перестанут работать.
>>799810
Ну мечтать-то не вредно, что кто-то уже занимался подобным и скинет репо с рабочей моделью какого-нибудь китайца.
Opencv - не то.
Анализируя только полученное изображение мы теряем инфу о том, как оно рисовалось.
Ну мечтать-то не вредно, что кто-то уже занимался подобным и скинет репо с рабочей моделью какого-нибудь китайца.
Opencv - не то.
Анализируя только полученное изображение мы теряем инфу о том, как оно рисовалось.
1,3 Мб, 1200x675>>801690
А где нет?
Вот, например, наебалово с курсами: https://www.reddit.com/r/MachineLearning/comments/d7ad2y/d_siraj_raval_potentially_exploiting_students/
А где нет?
Вот, например, наебалово с курсами: https://www.reddit.com/r/MachineLearning/comments/d7ad2y/d_siraj_raval_potentially_exploiting_students/
>>801488
Логично же. При анализе готового пятна на канвасе, мы ничего не сможем о нем сказать.
А если анализируем это пятно как набор векторов, можно понять, что это у нас спиралька.
>>мы теряем инфу о том, как оно рисовалось.
Логично же. При анализе готового пятна на канвасе, мы ничего не сможем о нем сказать.
А если анализируем это пятно как набор векторов, можно понять, что это у нас спиралька.
>>801695
Самое смешное его обоссали еще года 3-4 назад после шизофазного говногайду по питону собравшему лям. Нихуя в нём не понимал но пытался встюхать какие-то курсы
Как я понял он в итоге раскрутил это говно и катается на ламбе, сам за эти годы нихуя не вникнув даже в основы хуйни которую впихивает
Самое смешное его обоссали еще года 3-4 назад после шизофазного говногайду по питону собравшему лям. Нихуя в нём не понимал но пытался встюхать какие-то курсы
Как я понял он в итоге раскрутил это говно и катается на ламбе, сам за эти годы нихуя не вникнув даже в основы хуйни которую впихивает
25 Кб, 386x278>>785952 (OP)
СУп.
Подскажите, какую функцию активации нейросети лучше выбрать, если всего 500 примеров и все признаки номенативные (и закодированные one hot encoding).
Relu выдаёт плохой результат. Нужно именно нейросеть задействовать
СУп.
Подскажите, какую функцию активации нейросети лучше выбрать, если всего 500 примеров и все признаки номенативные (и закодированные one hot encoding).
Relu выдаёт плохой результат. Нужно именно нейросеть задействовать
>>802069
Пиздец, ты поехавший?
>А если анализируем это пятно как набор векторов, можно понять, что это у нас спиралька
Пиздец, ты поехавший?
>>802078
Но бабосики то мутятся?
Но бабосики то мутятся?
>>802081
Сколько классов? Для активации последнего слоя обычно используется softmax.
Сколько классов? Для активации последнего слоя обычно используется softmax.
>>802081
Если примеров 500 то лучше не использовать ничего сложнее логрега. Функция активации тут не поможет.
Сколько их?
Если примеров 500 то лучше не использовать ничего сложнее логрега. Функция активации тут не поможет.
> все признаки номенативные
Сколько их?
>>802078
Да, эпично пришёл к успеху.
Да, эпично пришёл к успеху.
>>801695
AI godfather, которого мы заслужили.
AI godfather, которого мы заслужили.
>>802184
68, при том, что датасет на 480 примеров. И все это нужно классифицировать на 5 категорий. Я понимаю, что это пиздец, но все же, как можно улучшить результат, хотя бы сделать его чуть осмысленнее
68, при том, что датасет на 480 примеров. И все это нужно классифицировать на 5 категорий. Я понимаю, что это пиздец, но все же, как можно улучшить результат, хотя бы сделать его чуть осмысленнее
>>802184
Спасибо
Спасибо
Подскажите библу, которую можно использовать для обработки естественного языка (русского). Чтоб на ее основе получилось классифицировать текст по темам.
>>802393
Логистическая регрессия
Логистическая регрессия
Такой тупой вопрос: предпочтительно ли использовать MSE loss вместо RMSE loss'а? По сути рмсе это просто квадратный корень от мсе, то есть лишняя вычислительная операция, при том что минимум у них будет в одной и той же точке. Или я чего-то не догоняю?
>>802759
Минимум тот же, градиент разный.
Посмотри на график функции sqrt(x). Он около нуля похож на y=x, а чем дальше от нуля, тем более пологий.
Поэтому у loss и sqrt(loss) отличается реакция на крупные выбросы. Грубо говоря, если нейронка крупно наебалась, для MSE это повод сильно и резко апдейтить веса для того, чтобы срабатывал именно этот неудачный случай, а если более удачные случаи при этом слегка ухудшатся - не так страшно.
RMSE отнесется к этому более философски - не будет портить перформанс хороших случаев ради одного неудачного. На самом деле это все возведение в степень (1 в случае MSE и 0.5 в случае RMSE), поэтому вариантов больше.
Лично я бы подобной хуйней заморачивался только если все другое уже сделано.
Минимум тот же, градиент разный.
Посмотри на график функции sqrt(x). Он около нуля похож на y=x, а чем дальше от нуля, тем более пологий.
Поэтому у loss и sqrt(loss) отличается реакция на крупные выбросы. Грубо говоря, если нейронка крупно наебалась, для MSE это повод сильно и резко апдейтить веса для того, чтобы срабатывал именно этот неудачный случай, а если более удачные случаи при этом слегка ухудшатся - не так страшно.
RMSE отнесется к этому более философски - не будет портить перформанс хороших случаев ради одного неудачного. На самом деле это все возведение в степень (1 в случае MSE и 0.5 в случае RMSE), поэтому вариантов больше.
Лично я бы подобной хуйней заморачивался только если все другое уже сделано.
>>802836
Алсо, надо отметить, что MSE сам по себе возводит ошибку каждого выходного нейрона в квадрат, поэтому делает все резко чувствительным к выбросам. Поэтому RMSE не настолько консервативен, как какой-нибудь mean absolute error, у которого градиент вообще один и тот же вне зависимости от степени ошибки.
Алсо, надо отметить, что MSE сам по себе возводит ошибку каждого выходного нейрона в квадрат, поэтому делает все резко чувствительным к выбросам. Поэтому RMSE не настолько консервативен, как какой-нибудь mean absolute error, у которого градиент вообще один и тот же вне зависимости от степени ошибки.
>>802836
Спасибо, анон
Спасибо, анон
>>802836
Но с адаптивным лёрнинг рейтом в любом случае должно быть всё равно.
Но с адаптивным лёрнинг рейтом в любом случае должно быть всё равно.
>>802902
Собака с головой тигра и телом тигра.jpg
Собака с головой тигра и телом тигра.jpg
Сразу скажу, что с НейроСетями никак не связан и вопрос скорее из области мимокрокодила
Так вот, допустим, я запускаю, сеть обучаться на одном компе. Есть ли способ перенести накопленное и обученное сетью, скажем на другой носитель, чтобы не ждать нового итога?
Каким образом, вобще, закрепляется тот или иной результат?
Так вот, допустим, я запускаю, сеть обучаться на одном компе. Есть ли способ перенести накопленное и обученное сетью, скажем на другой носитель, чтобы не ждать нового итога?
Каким образом, вобще, закрепляется тот или иной результат?
>>803912
Состояние нейросети можно сохранить в виде файла.
https://www.tensorflow.org/guide/keras/save_and_serialize
Состояние нейросети можно сохранить в виде файла.
https://www.tensorflow.org/guide/keras/save_and_serialize
![bf0457f5539fb679a5e360b60ef92ad417c1dbfa46fccbec4c91e76fddb[...].jpg](https://2ch.hk//pr/src/1785952/15998481354190.jpg)
Какой потенциал у Julia? Это правда что это убийца питона в датасаенс и все такое?
>>803988
Думаю, давно пора извлечь уроки из истории. Ни один здравомыслящий человек не потащит в проект новый язык, пока вы хотя бы не покажете ему нормальные инструменты разработки, не расскажете парочку саксесс сторис и не покажете десяток программистов на этом языке, живущих поблизости. Программисты же, пожалуй, кроме самых молодых, никогда не станут тратить свое время и здоровье на изучение очередного самого правильного языка, пока вы не покажете им нормальные инструменты разработки (не поделки типа Racer), пару десятков тысяч готовых библиотек (не «experimental», «unstable» и так далее), не расскажете парочку саксесс сторис и не покажите десяток открытых вакансий в их городе. Проблема курицы и яйца. Очень редко эту проблему удается успешно решить (условно тут можно привести в пример Go и Scala), в основном благодаря вложению времени и денег со стороны некоторой крупной компании (Google, Typesafe), по каким-то своим соображениям заинтересованных в популяризации языка.
https://eax.me/cpp-will-never-die/
>убийца питона
Думаю, давно пора извлечь уроки из истории. Ни один здравомыслящий человек не потащит в проект новый язык, пока вы хотя бы не покажете ему нормальные инструменты разработки, не расскажете парочку саксесс сторис и не покажете десяток программистов на этом языке, живущих поблизости. Программисты же, пожалуй, кроме самых молодых, никогда не станут тратить свое время и здоровье на изучение очередного самого правильного языка, пока вы не покажете им нормальные инструменты разработки (не поделки типа Racer), пару десятков тысяч готовых библиотек (не «experimental», «unstable» и так далее), не расскажете парочку саксесс сторис и не покажите десяток открытых вакансий в их городе. Проблема курицы и яйца. Очень редко эту проблему удается успешно решить (условно тут можно привести в пример Go и Scala), в основном благодаря вложению времени и денег со стороны некоторой крупной компании (Google, Typesafe), по каким-то своим соображениям заинтересованных в популяризации языка.
https://eax.me/cpp-will-never-die/
>>803988
Никакой. Пока юлька развивалась, в питон завезли аннотации типов, numba и прочие jax.
Никакой. Пока юлька развивалась, в питон завезли аннотации типов, numba и прочие jax.
Какое вообще должно быть преимущество у специализиованного продукта, чтобы его нельзя было заменить программой на питоне?
>>804001
Система типов, позволяющая делать быстрый JIT с итоговой скоростью на уровне С++, более нативно встроенный в язык аналог нампая. Да и специализированным продуктом сложно назвать, вполне себе язык общего назначения
Система типов, позволяющая делать быстрый JIT с итоговой скоростью на уровне С++, более нативно встроенный в язык аналог нампая. Да и специализированным продуктом сложно назвать, вполне себе язык общего назначения
>>803999
Да да, успокойся.
Да да, успокойся.
>>804021
ананимь@легионь
ананимь@легионь
Да нахуй не нужно, тут ж правильно сказал кто-то выше (или в прошлом треде): питон нужен быстренько набросать прототипчик и проверить имеет ли смысл дальше копать, никакие "системы типов и встроенные нампаи" здесь никому не нужны, главное - скорость разработки и инфраструктура.
>>804001
Бамп. Я просто пилил один проект, связанный с обработкой данных, не на питоне, и вдруг подумал, а что я отвечу на вопрос "почему вы просто не написали библиотеку на питоне?" и не придумал.
Бамп. Я просто пилил один проект, связанный с обработкой данных, не на питоне, и вдруг подумал, а что я отвечу на вопрос "почему вы просто не написали библиотеку на питоне?" и не придумал.
>>804818
А ответа и нет. Сейчас без пайтон АПИ - считай что в мусорку код пишешь. Никто не будет на крестах или чем там еще пердолиться, подключая твою либу.
А ответа и нет. Сейчас без пайтон АПИ - считай что в мусорку код пишешь. Никто не будет на крестах или чем там еще пердолиться, подключая твою либу.
Что лучше: большее качество на тесте при том что на трейне ещё лучше или меньше и на трейне и на тесте, но зато примерно одинаково?
>>804857
Еще хуже
Еще хуже
>>804782
define "осознающую"
define "осознающую"
>>804910
Чем выше на тесте, тем лучше. Трейн не важен.
Чем выше на тесте, тем лучше. Трейн не важен.
Какая из питоновских библиотек для обработки pcap файлов лучше? Что-то их дохера больно.
1 Мб, 748x746Бля, я думал, тут анончики модельки тюнят и рейтингом на каггле выебываются. А тут зумерки-вкатуны, да говнокодеры софтварные пытаются оправдать свою неспособность пройти 3 бесплатных курса на степике ВУЗом, наличием пипирки в штанах и возрастом.
>>804782
Да
Пара школьных спортивных залов
>Можно ли написать осознающую себя нейросеть?
Да
>И сколько ресурсов ПК это займет?
Пара школьных спортивных залов
>>805748
В машобе как раз большая нехватка нормальных софтвер девелоперов. Петушиные маняматики и прочие трясуны черных ящиков умеют программировать в лучшем случае на уровне стажера-выпускника. Гит, CI/CD, паттерны? Нет, не слышали.
При таком раскладе проект обречен на провал.
>говнокодеры софтварные
В машобе как раз большая нехватка нормальных софтвер девелоперов. Петушиные маняматики и прочие трясуны черных ящиков умеют программировать в лучшем случае на уровне стажера-выпускника. Гит, CI/CD, паттерны? Нет, не слышали.
При таком раскладе проект обречен на провал.
>>805748
Ну, допустим, тюнят, и хули ты ждешь, скриншотов с графиком лосса?
А каглодрочер хуже пидораса.
>тут анончики модельки тюнят
Ну, допустим, тюнят, и хули ты ждешь, скриншотов с графиком лосса?
А каглодрочер хуже пидораса.
>>805807
Архив с задачками и рейтингом для фаллометрии
Архив с задачками и рейтингом для фаллометрии
>>805755
Так никто и не говорит, что софтвер девелоперы хуйня и нн. Проигрываю с того, что мидлы-аноны не могут вкатиться в самую базовую хуйню, пусть даже в трясунство черных ящиков, и ноют об этом на сосаче. Говнокодер - не оскорбление, а постирония.
Вонаби-зумеркам на ебало харкать не зазорно. Стремно спрашивать, как забивать гвозди, построив дом
Так никто и не говорит, что софтвер девелоперы хуйня и нн. Проигрываю с того, что мидлы-аноны не могут вкатиться в самую базовую хуйню, пусть даже в трясунство черных ящиков, и ноют об этом на сосаче. Говнокодер - не оскорбление, а постирония.
Вонаби-зумеркам на ебало харкать не зазорно. Стремно спрашивать, как забивать гвозди, построив дом
>>805829
Имплаинг вкат зависит только и только от скиллов кодинга, а не от социоблядских игрищ (что особенно важно в этом вашем мышином облучении)
>не могут вкатиться в самую базовую хуйню
Имплаинг вкат зависит только и только от скиллов кодинга, а не от социоблядских игрищ (что особенно важно в этом вашем мышином облучении)
140 Кб, 424x227Есть у кого нормальное описание алгоритма поиска контуров (функция findContours в OpenCV). Нахожу только ссылку на статью "Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing", которой в отрытом доступе нет нигде от слова совсем. Может кто сталкивался. Копаться в OpenCVшных имплементациях совсем не хочется
>>806290
Да
Да
>>805755
это не так уж принципиально для старта проекта.
А вот без маняматика в принципе никакого прорывного проекта не будет.
Вся ебанутая бесполезная хуйня уже понаписана
>Гит, CI/CD, паттерны? Нет, не слышали.
это не так уж принципиально для старта проекта.
А вот без маняматика в принципе никакого прорывного проекта не будет.
Вся ебанутая бесполезная хуйня уже понаписана
>>805829
Типичный признак омежки с психологией опущенного деда из армии и прочих унтерменшей.
>Вонаби-зумеркам на ебало харкать не зазорно
Типичный признак омежки с психологией опущенного деда из армии и прочих унтерменшей.
>>806232
Загугли "поиск связных областей".
Не знать в 2020 о существовании сайхаба. https://sci-hub.st/https://doi.org/10.1016/0734-189X(85)90016-7
>Есть у кого нормальное описание алгоритма поиска контуров
Загугли "поиск связных областей".
>которой в отрытом доступе нет нигде от слова совсем.
Не знать в 2020 о существовании сайхаба. https://sci-hub.st/https://doi.org/10.1016/0734-189X(85)90016-7
>>806332
Да как-то и не подумал. Спасибо
Да как-то и не подумал. Спасибо
А можно где-нибудь найти материалы к курсам How to Win a Data Science Competition с курсеры в свободном доступе?
>>806408
Заплоти инфоцыганам, инфоцыгани сами себе не заплотют.
> курсам How to Win a Data Science Competition
Заплоти инфоцыганам, инфоцыгани сами себе не заплотют.
>>806290
Хуанг пишет библиотеку cudnn с закрытыми исходниками, в которой происходит неизвестный природе ахалай-махалай. Все эти тензорфлоу просто ее вызывают.
Хуанг пишет библиотеку cudnn с закрытыми исходниками, в которой происходит неизвестный природе ахалай-махалай. Все эти тензорфлоу просто ее вызывают.
>>806502
да чё она знает
да чё она знает
привет, аноны. Короче я НЕ дата саентист и НЕ хочу вкатываться. Но зато очень хочу потыкать GPT-3 из-за хайпа. Где-нибудь можно глянуть материал про то, как ее дообучить/хуй знает что сделать, чтобы она могла генерить стихотворения (где-то видел как чел это сделал) на русском?
Спасибо
Спасибо
Пасаны, что посмотреть про ресурсное планирование? Всякие вот job shop, resource-constrained scheduling, вот это вот всё
>>806882
так я хз, думал, что плохо ищу. Ее еще нет? А некоторые чуваки же учат, на TJ видел, что кто-то в фигме делает макеты, кто-то код пишет и тд
так я хз, думал, что плохо ищу. Ее еще нет? А некоторые чуваки же учат, на TJ видел, что кто-то в фигме делает макеты, кто-то код пишет и тд
>>806880
Она не доступна широкой публике. Сейчас закрытый бета-тест, потом будет платный доступ к API
Она не доступна широкой публике. Сейчас закрытый бета-тест, потом будет платный доступ к API
>>807112
А как же паперы в которых все написанно? Ну что бы любой задрот прочитал и сделол? Сарказм
>Сейчас закрытый бета-тест, потом будет платный доступ к API
А как же паперы в которых все написанно? Ну что бы любой задрот прочитал и сделол? Сарказм
>>807112
думаю долго не протянет идея, ломанут пидорков
думаю долго не протянет идея, ломанут пидорков
>>807164
Оно так и работает, но лишь до тех пор, пока для тренировки не нужен датасет, которого нет в свободном доступе, или вычислительные ресурсы стоимостью в несколько миллионов.
>А как же паперы в которых все написанно? Ну что бы любой задрот прочитал и сделол?
Оно так и работает, но лишь до тех пор, пока для тренировки не нужен датасет, которого нет в свободном доступе, или вычислительные ресурсы стоимостью в несколько миллионов.
>>806880
https://www.reddit.com/r/artificial/comments/icvypl/list_of_free_sitesprograms_that_are_powered_by/
Ты скорее всего путаешь GPT-3 и GPT-2. GPT-2 можно дообучить, найди гитхаб автора порфирьевича, он там на русском все объясняет. Но у тебя вряд ли получится.
GPT-3 же не нужно обучать, оно само по нескольким примерам начинает генерить желаемый вывод, в этом его фишка
>Но зато очень хочу потыкать GPT-3 из-за хайпа.
https://www.reddit.com/r/artificial/comments/icvypl/list_of_free_sitesprograms_that_are_powered_by/
>Где-нибудь можно глянуть материал про то, как ее дообучить/хуй знает что сделать, чтобы она могла генерить стихотворения (где-то видел как чел это сделал) на русском?
Ты скорее всего путаешь GPT-3 и GPT-2. GPT-2 можно дообучить, найди гитхаб автора порфирьевича, он там на русском все объясняет. Но у тебя вряд ли получится.
GPT-3 же не нужно обучать, оно само по нескольким примерам начинает генерить желаемый вывод, в этом его фишка
>>807463
А ну это типа аак квантовая физика, дяди имеют доступ к колайдеру и гранты, а ты ешь сухари и играешь с котиком.
>Оно так и работает
А ну это типа аак квантовая физика, дяди имеют доступ к колайдеру и гранты, а ты ешь сухари и играешь с котиком.
>>807688
ну это рофл был. Так то просто интересно: тут имеют место быть технические сложности или рил просто так считаешь, потому что я не из области дата саенса? Просто если это рил пиздец и займет месяц-два, то и хуй бы с ним
ну это рофл был. Так то просто интересно: тут имеют место быть технические сложности или рил просто так считаешь, потому что я не из области дата саенса? Просто если это рил пиздец и займет месяц-два, то и хуй бы с ним
>>807628
Меня на прошлой неделе выебали математикой, теор вер, статистика. Я жидко обосрался и обмяк после собеседования в мтс.
Меня на прошлой неделе выебали математикой, теор вер, статистика. Я жидко обосрался и обмяк после собеседования в мтс.
>>807778
Да уже, понял над чем нужно поработать, что подучить. Но вообще неожиданно неприятно. Весной на джуна в контору обрабатывающую астрофотографии я прошел как по маслу и спрашивали не так много а я отказался, по некоторым причинам. Зря долго ебланил.
Да уже, понял над чем нужно поработать, что подучить. Но вообще неожиданно неприятно. Весной на джуна в контору обрабатывающую астрофотографии я прошел как по маслу и спрашивали не так много а я отказался, по некоторым причинам. Зря долго ебланил.
>>807773
Это телефонный оператор?
Лолирую, скоро в МакДак будут так же ебать - срыночек, копетолиздм, заебись!
>мтс
Это телефонный оператор?
>Меня на прошлой неделе выебали математикой, теор вер, статистика.
Лолирую, скоро в МакДак будут так же ебать - срыночек, копетолиздм, заебись!
>>807798
Что ты понял, МТС дно донное, они ничего не сделали и звать их никак, понял он, лол. Во истину у нас дураков на 100 лет ну и плюс маняматиков, этих идиотов не считаем
>понял над чем нужно поработать
Что ты понял, МТС дно донное, они ничего не сделали и звать их никак, понял он, лол. Во истину у нас дураков на 100 лет ну и плюс маняматиков, этих идиотов не считаем
>>807800
Ну ты тоже как-то некрасиво себя ведешь, не был же на моем собеседовании, хули тявкать. Вывод некоторый сделал, вполне достаточно.
Ну ты тоже как-то некрасиво себя ведешь, не был же на моем собеседовании, хули тявкать. Вывод некоторый сделал, вполне достаточно.
>>807801
Та ты тру лохопетыч, чего бы не поугарать. Сейчас тебя в Крошку Картошку бы нагрузить с таким бы собесом, лол
Та ты тру лохопетыч, чего бы не поугарать. Сейчас тебя в Крошку Картошку бы нагрузить с таким бы собесом, лол
>>807803
Экчуали 150 на мидла.
Экчуали 150 на мидла.
>>807804
Есть Додо Пицца, они там в Хабропетушарне раньше постились, примерно такое же.
>Крошку Картошку
Есть Додо Пицца, они там в Хабропетушарне раньше постились, примерно такое же.
>>807824
Не, квартиру не давали рядом с работой, очередь была иннополис. Я живу на другом конце соседнего города.
Бля, пиздец вы тут желчные какие-то. Я просто опытом поделился, а уже накинулись. Проще будьте что ли.
Не, квартиру не давали рядом с работой, очередь была иннополис. Я живу на другом конце соседнего города.
Бля, пиздец вы тут желчные какие-то. Я просто опытом поделился, а уже накинулись. Проще будьте что ли.
>>807826
Собственно отрасль долбоебов, чего удивляться.
Собственно отрасль долбоебов, чего удивляться.
>>807826
Мань, просто пойми, эти конторы они 0 и звать их никак и такие требования с тебя это просто жесть.
>Я просто опытом поделился, а уже накинулись.
Мань, просто пойми, эти конторы они 0 и звать их никак и такие требования с тебя это просто жесть.
>>807826
Если из-за диплома - то долбоеб (я таких знаю, вместо получения драгоценного первого опыта страдают хуйней и получают нормальный оффер на год позже, чем могли бы). Если нет - то нет. Не понятно, где ты желчь нашел. Для борд твой пердак слишком чувствительный.
Если из-за диплома - то долбоеб (я таких знаю, вместо получения драгоценного первого опыта страдают хуйней и получают нормальный оффер на год позже, чем могли бы). Если нет - то нет. Не понятно, где ты желчь нашел. Для борд твой пердак слишком чувствительный.
>>807834
С кем?
С кем?
>>807800
А что они должны были сделать? Выросло какое-то ебанутое поколение, которое уверено, что без ежедневного хайпа компании нихуя не делают и не существуют
>Что ты понял, МТС дно донное, они ничего не сделали и звать их никак, понял он, лол
А что они должны были сделать? Выросло какое-то ебанутое поколение, которое уверено, что без ежедневного хайпа компании нихуя не делают и не существуют
>>807753
оно запускается на огромных дорогих мощностях, просто так тебе не дадут покататься на ядерной ракете. Пока что.
оно запускается на огромных дорогих мощностях, просто так тебе не дадут покататься на ядерной ракете. Пока что.
>>807836
Что про Додо Пиццу скажешь? Почитай их высеры на швабре, на досуге.
>без ежедневного хайпа компании нихуя не делают и не существуют
Что про Додо Пиццу скажешь? Почитай их высеры на швабре, на досуге.
>>807892
Запускается она не на особо дорогих мощностях, на видюху модель не влезет конечно же, но в целом инференс был бы посилен даже частнику-программисту с зарплатой 300к
Запускается она не на особо дорогих мощностях, на видюху модель не влезет конечно же, но в целом инференс был бы посилен даже частнику-программисту с зарплатой 300к
>>807893
Пицца как пицца. Что можно через вебку пронаблюдать как ее готовят - прикольная идея. В целом любой бизнесмен в этой говностране - народный герой, не вижу причин для хейта.
Я не про такой хайп. Я про тех дрочеров на всякие гугл и опенаи, которые уверены, что если коммерческая компания не делает публикаций, значит они нихуя не делают и внутри нихуя не происходит.
>Что про Додо Пиццу скажешь?
Пицца как пицца. Что можно через вебку пронаблюдать как ее готовят - прикольная идея. В целом любой бизнесмен в этой говностране - народный герой, не вижу причин для хейта.
Я не про такой хайп. Я про тех дрочеров на всякие гугл и опенаи, которые уверены, что если коммерческая компания не делает публикаций, значит они нихуя не делают и внутри нихуя не происходит.
Двач, а есть ли какой-нибудь софт, с помощью которого можно БЫСТРА проанализировать данные, с минимальным количеством телодвижений? Буквально в три кнопки. Ну что бы сразу вывелось корреляция между разными атрибутами, количество уникальных значений, количество пустых значений...
>>808059
http://r4stats.com/articles/software-reviews/r-gui-comparison/ что-то из этого. Или Statistica
http://r4stats.com/articles/software-reviews/r-gui-comparison/ что-то из этого. Или Statistica
>>807915
энтузиасту тогда уже. Что потом делать со своим стеком видюх- вопрос, каждые пару лет новая линейка. Пускаю слюни на 24 гб новую карту, как ее там, 3090 или 80...
энтузиасту тогда уже. Что потом делать со своим стеком видюх- вопрос, каждые пару лет новая линейка. Пускаю слюни на 24 гб новую карту, как ее там, 3090 или 80...
>>808059
Хотя, конечно, кореляции в численном виде могут скрываться
Поэтому есть разные удобные вызовы в библиотеках
https://pandas.pydata.org/docs/reference/api/pandas.plotting.scatter_matrix.html
https://seaborn.pydata.org/examples/scatterplot_matrix.html
Хотя, конечно, кореляции в численном виде могут скрываться
Поэтому есть разные удобные вызовы в библиотеках
https://pandas.pydata.org/docs/reference/api/pandas.plotting.scatter_matrix.html
https://seaborn.pydata.org/examples/scatterplot_matrix.html
>>808220
Он создает больше проблем, чем решает. Посчитать корреляцию это буквально три строчки на питоне включая импорт библиотеки. SOTA с помощью такого софта не воспроизвести, а от терабайта данных он сделает пук среньк и повиснет.
>А вот у меня есть такой софт.
Он создает больше проблем, чем решает. Посчитать корреляцию это буквально три строчки на питоне включая импорт библиотеки. SOTA с помощью такого софта не воспроизвести, а от терабайта данных он сделает пук среньк и повиснет.
>>808444
На питоне можно сделать генератор, который будет подгружать данные с диска.
>А питон нет что ли?
На питоне можно сделать генератор, который будет подгружать данные с диска.
>>808220
Просто научись печатать вслепую
Просто научись печатать вслепую
>>808441
А зачем тебе терабайт? Тестируй идеи на гигабайте. Не загружай все сырки из Пятерочки.
Все равно за тобой переписывать программист будет.
А зачем тебе терабайт? Тестируй идеи на гигабайте. Не загружай все сырки из Пятерочки.
Все равно за тобой переписывать программист будет.
11 Кб, 350x270>>808547
>Тестируй идеи на гигабайте. Не загружай все сырки из Пятерочки
>Все равно за тобой переписывать программист будет.
143 Кб, 1344x860>>808441
Он создает проблемы тебе, рабу какого-то кабанчика из Пятерочки и других крупных компаний.
А для нас он демократизирует науку. Позволяет все попробовать.
Принести в любой бизнес и классический машоб и нейросети.
как сделать SOTA из 90ых ?
https://www.researchgate.net/publication/5091269_Bordeaux_Wine_Vintage_Quality_and_Weather
А вот так:
Он создает проблемы тебе, рабу какого-то кабанчика из Пятерочки и других крупных компаний.
А для нас он демократизирует науку. Позволяет все попробовать.
Принести в любой бизнес и классический машоб и нейросети.
как сделать SOTA из 90ых ?
https://www.researchgate.net/publication/5091269_Bordeaux_Wine_Vintage_Quality_and_Weather
А вот так:
>>808736
шо самое интересное, это не было SOTA в 90ых
Просто какой-то экономист пришел и сказал : вы ебанутые? вы почему до сих пор платите этим экспертам по вину такие деньжищи? там же линейная регрессия!
шо самое интересное, это не было SOTA в 90ых
Просто какой-то экономист пришел и сказал : вы ебанутые? вы почему до сих пор платите этим экспертам по вину такие деньжищи? там же линейная регрессия!
Сап обучач, будут советы по выбору дистрибутива под сеточки? Минта мне с головой хватит или лучше что-то другое?
>>808765
Если копировать-вставить, то да, это про меня. Не люблю голый дебиан, ну раз говоришь дебиан норм, значит и минт сойдёт.
Если копировать-вставить, то да, это про меня. Не люблю голый дебиан, ну раз говоришь дебиан норм, значит и минт сойдёт.
>>808764
Я по привычке поставил ксубунту, первый раз 20.04, хули, лтс, а у этой падлы при 3х включённых в иксконфиге gpu (потому что нвидия охуенная фирма и не дает рулить вентилятором у хедлесс затычки) короче ломается вся крыса нахуй с каким-то феерическими багами и тормозами. Решил проблему установив гном3.
При этом на 18.04 такой хуйни не было.
А в целом похуй. Один хер это просто прошивка для запуска питона и вместо апта ты будешь юзать пип, конду, а то и докер. Главное чтобы системный питон не был убердревним говном, ну чисто из-за удобства
Я по привычке поставил ксубунту, первый раз 20.04, хули, лтс, а у этой падлы при 3х включённых в иксконфиге gpu (потому что нвидия охуенная фирма и не дает рулить вентилятором у хедлесс затычки) короче ломается вся крыса нахуй с каким-то феерическими багами и тормозами. Решил проблему установив гном3.
При этом на 18.04 такой хуйни не было.
А в целом похуй. Один хер это просто прошивка для запуска питона и вместо апта ты будешь юзать пип, конду, а то и докер. Главное чтобы системный питон не был убердревним говном, ну чисто из-за удобства
>>809073
Какие-нибудь заметные плюсы по отношению к работе под шиндошсом имеются? А то все говорят, что надо на линух катиться, я так и не понял нахуя, што тут питон, што там, надо попробовать, видимо.
Какие-нибудь заметные плюсы по отношению к работе под шиндошсом имеются? А то все говорят, что надо на линух катиться, я так и не понял нахуя, што тут питон, што там, надо попробовать, видимо.
>>809130
юзай докер/виртуалки и не еби себе мозги
юзай докер/виртуалки и не еби себе мозги
>>809130
Винда отжирает 20% видеопамяти, и не получится тренировать на нескольких видеокартах. Некоторые библиотеки и модели придется адаптировать. Вроде все.
>Какие-нибудь заметные плюсы по отношению к работе под шиндошсом имеются?
Винда отжирает 20% видеопамяти, и не получится тренировать на нескольких видеокартах. Некоторые библиотеки и модели придется адаптировать. Вроде все.
>>809653
В унике проходили до ООП, уже год плюсы не практикую, но могу что-то вспомнить, если напрягусь
В унике проходили до ООП, уже год плюсы не практикую, но могу что-то вспомнить, если напрягусь
>>809370
я тебе скажу, что особого прироста от тренировки на нескольких видюхах, если их не 8 и более нету. На винде может быть пердолинг с некоторыми либами, но это исправляется, если долго покурить. Ну и линух непривычен после 23 лет винды.
я тебе скажу, что особого прироста от тренировки на нескольких видюхах, если их не 8 и более нету. На винде может быть пердолинг с некоторыми либами, но это исправляется, если долго покурить. Ну и линух непривычен после 23 лет винды.
>>809669
Хуево. Ищи какое рыночное преимущество ты можешь в себе развить, зумерков, да еще с естественной вышкой, просто дохуя.
Хуево. Ищи какое рыночное преимущество ты можешь в себе развить, зумерков, да еще с естественной вышкой, просто дохуя.
>>809682
Это да, есть знакомые-вкатыши даже с моего курса
А какой-нибудь проект за спиной в профильной области (NLP, CV, рекомендашки и пр.) сильно может заролять? Так впадлу кагл дрочить, учитывая, что не везде про него даже знают, а конкуренция там дикая
Это да, есть знакомые-вкатыши даже с моего курса
А какой-нибудь проект за спиной в профильной области (NLP, CV, рекомендашки и пр.) сильно может заролять? Так впадлу кагл дрочить, учитывая, что не везде про него даже знают, а конкуренция там дикая
>>809679
Есть. Но он, конечно, зависит от размера и типа модели.
Либы может быть и настраиваются, но вот ограничение памяти выбешивает. Купишь видеокарту на 24Гб, а доступными будет лишь 20. Причем на семерке все работало нормально, а на десятке какому-то пидарасу пришло в голову поменять лимиты памяти в видеодрайвере. Пять лет прошло, а починить до сих пор не удосужились, несмотря на многочисленные жалобы пользователей.
К сожалению, комп у меня один на все задачи, поэтому приходится терпеть.
>я тебе скажу, что особого прироста от тренировки на нескольких видюхах, если их не 8 и более нету
Есть. Но он, конечно, зависит от размера и типа модели.
>На винде может быть пердолинг с некоторыми либами, но это исправляется, если долго покурить
Либы может быть и настраиваются, но вот ограничение памяти выбешивает. Купишь видеокарту на 24Гб, а доступными будет лишь 20. Причем на семерке все работало нормально, а на десятке какому-то пидарасу пришло в голову поменять лимиты памяти в видеодрайвере. Пять лет прошло, а починить до сих пор не удосужились, несмотря на многочисленные жалобы пользователей.
К сожалению, комп у меня один на все задачи, поэтому приходится терпеть.
>>809130
Основные плюсы появляются, когда ты становишься достаточно большим мальчиком, у которого машина с IDE - это одно, а машина для тряски ящиков - это другое. А то очень неудобно сидеть пердеть на дваче, пока у тебя параллельно на 100% CPU занят вычислениями, а из-за запущенного фаерфокса случается OOM. Фактически если у тебя нет лишних $500, чтобы собрать на 2700x рызене машинку для вычислений с двумя PCIEx16 слотами и закинуть ее на балкон, то о какой продуктивной работе вообще может идти речь. Естественно для такой машины нужна простая и беспроблемная прошивка, которую установил, настроил и забыл, там нативный шелл со всеми плюхами типа tmux'а, и она не ебет тебе мозги обновлениями и вообще всей той бесящей хуйней, которую дарит пользователям винда.
Если же ты студентик и $500 на выделенную машину у тебя нет, то линукс тебе осваивать все равно придется, и делай это лучше сейчас.
На "машине с иде" у меня меня тоже линукс уже лет 10, но это уже холивар. В целом мне похуй, с чего работать, я летом неделю со смартфона с установленным ssh работал, редактируя скрипты в nano. Ноутбук так и пролежал в сумке.
>Какие-нибудь заметные плюсы по отношению к работе под шиндошсом имеются?
Основные плюсы появляются, когда ты становишься достаточно большим мальчиком, у которого машина с IDE - это одно, а машина для тряски ящиков - это другое. А то очень неудобно сидеть пердеть на дваче, пока у тебя параллельно на 100% CPU занят вычислениями, а из-за запущенного фаерфокса случается OOM. Фактически если у тебя нет лишних $500, чтобы собрать на 2700x рызене машинку для вычислений с двумя PCIEx16 слотами и закинуть ее на балкон, то о какой продуктивной работе вообще может идти речь. Естественно для такой машины нужна простая и беспроблемная прошивка, которую установил, настроил и забыл, там нативный шелл со всеми плюхами типа tmux'а, и она не ебет тебе мозги обновлениями и вообще всей той бесящей хуйней, которую дарит пользователям винда.
Если же ты студентик и $500 на выделенную машину у тебя нет, то линукс тебе осваивать все равно придется, и делай это лучше сейчас.
На "машине с иде" у меня меня тоже линукс уже лет 10, но это уже холивар. В целом мне похуй, с чего работать, я летом неделю со смартфона с установленным ssh работал, редактируя скрипты в nano. Ноутбук так и пролежал в сумке.
4,2 Мб, 4032x3024Анчоусы, хелп плиз. Как найти по графу вычислений производную y с крышкой по b? Вообще не выкупаю что-то
>>809687
Оперативка и CPU для нейронок не нужны. Проблема разве что в видеокарте, из-за которой при тряске ящиков начинает тормозить абсолютно все, включая даже браузер. Решается покупкой второй видеокарты. На одной трясешь ящики, на второй играешь и двачуешь.
>А то очень неудобно сидеть пердеть на дваче, пока у тебя параллельно на 100% CPU занят вычислениями, а из-за запущенного фаерфокса случается OOM
Оперативка и CPU для нейронок не нужны. Проблема разве что в видеокарте, из-за которой при тряске ящиков начинает тормозить абсолютно все, включая даже браузер. Решается покупкой второй видеокарты. На одной трясешь ящики, на второй играешь и двачуешь.
>>809684
Это полный рандом. Люди, которые разбираются в нейросетях, не разбираются в людях, и наоборот. Совет только один - чем больше ты разносторонне развит, с подтверждением скилла независимым источником (даже с твоих слов), тем больше шансов.
Кагл говно, да. У меня у знакомого джуна есть половина сервера с четыремя V100, который простаивает 90% времени. И вот теперь подумай, какие у тебя шансы победить такого на кагле. Это спорт высоких достижений с разрешенным допингом. Но, опять же, это рандом, тебе может попасться тимлид-каглодрочер, а может тот, кто хейтит кагл, как я. Я бы если бы был мной но студентом, делал бы то же, что делал тогда - задрочил C++ и искал работу именно с мотивацией того, что я может и херовый исследователь (на самом деле нет), но зато заэмбедю вашу писечку в продакшен так, что конкуренты обзавидуются. Это еще до нейронок было. И это сработало, потому что вкатывальщиков как грязи, а чтобы они еще при этом и сносными программистами были - это нереально уже, а средний программист дико боится ТЗ с интегралами и не способен соптимизировать это самое ТЗ на высоком уровне. Ну, либо, задрочить AWS и куберфлоу за две недели, и сказать, что ты ниибаца инфарструктурщик. Хуй знает, пробуй.
>А какой-нибудь проект за спиной в профильной области (NLP, CV, рекомендашки и пр.) сильно может заролять?
Это полный рандом. Люди, которые разбираются в нейросетях, не разбираются в людях, и наоборот. Совет только один - чем больше ты разносторонне развит, с подтверждением скилла независимым источником (даже с твоих слов), тем больше шансов.
Кагл говно, да. У меня у знакомого джуна есть половина сервера с четыремя V100, который простаивает 90% времени. И вот теперь подумай, какие у тебя шансы победить такого на кагле. Это спорт высоких достижений с разрешенным допингом. Но, опять же, это рандом, тебе может попасться тимлид-каглодрочер, а может тот, кто хейтит кагл, как я. Я бы если бы был мной но студентом, делал бы то же, что делал тогда - задрочил C++ и искал работу именно с мотивацией того, что я может и херовый исследователь (на самом деле нет), но зато заэмбедю вашу писечку в продакшен так, что конкуренты обзавидуются. Это еще до нейронок было. И это сработало, потому что вкатывальщиков как грязи, а чтобы они еще при этом и сносными программистами были - это нереально уже, а средний программист дико боится ТЗ с интегралами и не способен соптимизировать это самое ТЗ на высоком уровне. Ну, либо, задрочить AWS и куберфлоу за две недели, и сказать, что ты ниибаца инфарструктурщик. Хуй знает, пробуй.
>>809690
Признаюсь, я не всё понял, но посыл уловил, буду просто апргрейдить своего покемона в резюме разносторонними фичами. Спасибо, анон
Признаюсь, я не всё понял, но посыл уловил, буду просто апргрейдить своего покемона в резюме разносторонними фичами. Спасибо, анон
>>809689
Не не нужны, а при желании и отдельном геморрое ты можешь настроить пайплайн так, чтобы они минимально ботлнечили. На деле же с хорошим CPU можно аугментировать данные нампаем на лету, а не встраивать эту ебань в граф вычислений или предварительно формировать из 1 гб датасета 100 гб аугментированного говна, да и просто написать синхронный скрипт и ебать мозг с параллельной работой CPU и GPU.
То же касается и экономии оперативки - можно, конечно, ебать мозги с генераторами и подгружать все асинхронно с диска, но когда ты можешь загрузить 60 гб датасет тупо в оперативку и сделать model.fit() прямо из говноскрипта китайца, это удобно.
Но если ты днищук, то да, можно обойтись без оперативки и CPU. И покупается все за копейки. Не знаю правда почему я 2700x назвал, забыл уже маркировку амудей.
Навскидку, cpu - 8к, лучший по перформанс-на-доллар амуде, но не менее 2 ядер на GPU, мать на X370 чипсете - 6.5к, бп на 850 вт - 10к, память 2666 16 гб - 5к, ссд - 5к, корпус - 3к. Меньше $500 в сумме. Если совсем-совсем днищук, то же самое собирается из мусора с авито в 2 раза дешевле, главное не экономить на БП. Потом покупается вторая карта, докупается оперативка, процессор апгрейдится. Хватит такой машинки лет на 5, если конечно хуанг не сделает 40хх серию с потреблением электрического чайника, а все к этому идет.
Это спор пека-вс-консоли напоминает. Решение это так себе - солидный боярин со спецализированным сервером и студентик, готовый ради экономии 20к к куче решаемых, но дурацких проблем, и все чтобы поиграть в некстген. Понятно что на самом деле никакой второй видюхи не будет, а будет просто превозмогание от тормозов на единственной.
>Оперативка и CPU для нейронок не нужны.
Не не нужны, а при желании и отдельном геморрое ты можешь настроить пайплайн так, чтобы они минимально ботлнечили. На деле же с хорошим CPU можно аугментировать данные нампаем на лету, а не встраивать эту ебань в граф вычислений или предварительно формировать из 1 гб датасета 100 гб аугментированного говна, да и просто написать синхронный скрипт и ебать мозг с параллельной работой CPU и GPU.
То же касается и экономии оперативки - можно, конечно, ебать мозги с генераторами и подгружать все асинхронно с диска, но когда ты можешь загрузить 60 гб датасет тупо в оперативку и сделать model.fit() прямо из говноскрипта китайца, это удобно.
Но если ты днищук, то да, можно обойтись без оперативки и CPU. И покупается все за копейки. Не знаю правда почему я 2700x назвал, забыл уже маркировку амудей.
Навскидку, cpu - 8к, лучший по перформанс-на-доллар амуде, но не менее 2 ядер на GPU, мать на X370 чипсете - 6.5к, бп на 850 вт - 10к, память 2666 16 гб - 5к, ссд - 5к, корпус - 3к. Меньше $500 в сумме. Если совсем-совсем днищук, то же самое собирается из мусора с авито в 2 раза дешевле, главное не экономить на БП. Потом покупается вторая карта, докупается оперативка, процессор апгрейдится. Хватит такой машинки лет на 5, если конечно хуанг не сделает 40хх серию с потреблением электрического чайника, а все к этому идет.
>Решается покупкой второй видеокарты. На одной трясешь ящики, на второй играешь и двачуешь.
Это спор пека-вс-консоли напоминает. Решение это так себе - солидный боярин со спецализированным сервером и студентик, готовый ради экономии 20к к куче решаемых, но дурацких проблем, и все чтобы поиграть в некстген. Понятно что на самом деле никакой второй видюхи не будет, а будет просто превозмогание от тормозов на единственной.
>>809697
Намапай не задействует больше одного потока. А самому распараллелить зачастую не получится из-за GIL.
Сегодня тебе нужно 60гб, завтра 100, а послезавтра терабайт. Грузить данные с SSD гораздо дешевле и падения в производительности практически нет. Просто делаешь memmap и работаешь с данными на диске как будто они находятся в памяти. Даже генератор писать не нужно.
За такие деньги говно получится. Нормальная машина для тряски ящиков стоит $2-3k.
Солидным боярам сервер выдает работодатель, и этот сервер на порядок мощнее десктопа. Собирать сравнимые по стоимости сервер и десктоп не имеет смысла, поскольку у тебя будут постоянно простаивать ресурсы. Либо сервер, если не трясешь ящики, либо десктоп, когда не пользуешься им.
Собирая одну машину за те же деньги ты получаешь более мощный процессор, больше памяти и дискового пространства, и две видеокарты вместо одной. Для многозадачности можешь ограничить использование ядер процессора, и тренировать на одной видеокарте. Только при этом у тебя сохраняется возможность использования всех ресурсов одновременно.
В общем, собирать сервер имеет смысл только когда он как минимум в несколько раз дороже десктопа.
>На деле же с хорошим CPU можно аугментировать данные нампаем на лету, а не встраивать эту ебань в граф вычислений или предварительно формировать из 1 гб датасета 100 гб аугментированного говна
Намапай не задействует больше одного потока. А самому распараллелить зачастую не получится из-за GIL.
>То же касается и экономии оперативки - можно, конечно, ебать мозги с генераторами и подгружать все асинхронно с диска, но когда ты можешь загрузить 60 гб датасет тупо в оперативку и сделать model.fit() прямо из говноскрипта китайца, это удобно.
Сегодня тебе нужно 60гб, завтра 100, а послезавтра терабайт. Грузить данные с SSD гораздо дешевле и падения в производительности практически нет. Просто делаешь memmap и работаешь с данными на диске как будто они находятся в памяти. Даже генератор писать не нужно.
>Навскидку, cpu - 8к, лучший по перформанс-на-доллар амуде, но не менее 2 ядер на GPU, мать на X370 чипсете - 6.5к, бп на 850 вт - 10к, память 2666 16 гб - 5к, ссд - 5к, корпус - 3к. Меньше $500 в сумме.
За такие деньги говно получится. Нормальная машина для тряски ящиков стоит $2-3k.
>солидный боярин со спецализированным сервером
Солидным боярам сервер выдает работодатель, и этот сервер на порядок мощнее десктопа. Собирать сравнимые по стоимости сервер и десктоп не имеет смысла, поскольку у тебя будут постоянно простаивать ресурсы. Либо сервер, если не трясешь ящики, либо десктоп, когда не пользуешься им.
Собирая одну машину за те же деньги ты получаешь более мощный процессор, больше памяти и дискового пространства, и две видеокарты вместо одной. Для многозадачности можешь ограничить использование ядер процессора, и тренировать на одной видеокарте. Только при этом у тебя сохраняется возможность использования всех ресурсов одновременно.
В общем, собирать сервер имеет смысл только когда он как минимум в несколько раз дороже десктопа.
>>809716
Туда ли ты зашел, петушок?
Туда ли ты зашел, петушок?
>>809704
Как вариант use_multiprocessing=True в fit_generator
Мне не понравилось, уже не помню почему, и я использую просто Pool и starmap_async. Оно еще и универсально к фреймворку
Нет, не так. Для теста разных идей приходится частенько пользоваться чужими скриптами, в которых каждый лепит как угодно. Как правило - это китайцы, которые ничего, кроме np.load не знают. Когда нужно скрипт каждого китайца адаптировать под свое железо - это проеб времени на ублажение железа. При этом если у тебя CPU медленнее, чем у китайца, это не страшно, а вот количество оперативки критично. Так что 16 гб это минимум, даже если ты сам у мамы оптимизатор и меммапы с ссд хуячишь
Лол
1. Нагруженность машины не важна, я просто куплю вторую видеокарту
2. Нагруженность машины важна, и пекарни за $500 не хватит
Критерий говно-не-говно простой - у тебя утилизирована видюха на 100%, или простаивает. Критерий второго порядка - это возможности апгрейда на следующем поколении видюх, и так далее. В целом, когда ты проапгрейдишься до какого-нибудь 4080 и тебе перестанет хватать амд 2018 года, купишь амд 2020 года, который к тому моменту будет стоить 40 баксов, и опять будет хватать.
Солидные бояре сами говорят работодателю, что им купить. Просто большинство пользуется хайпом и шальными деньгами и просто берет что-то типа DGX, а потом шарит его между отделом из 4 человек (если повезет - то двух). То есть реально, у каждого в распоряжении по два V100, а контора заплатила за это счастье по миллиону рублей на рабочее место.
Ну то есть, как я и писал, что твоя логика в том, что ты хочешь физически шерить разного рода работу (в частности - игори и ML) на одном железе. Сегодня нейроночку потренировал, завтра в игру поиграл. Сегодня игорьку установил, завтра удалил и скачал датасет. Потом удалил датасет, установил игру. Поставил обучаться - вместо игры пошел влипать в телефон. На корпусе 3к сэкономил, на БП. И так далее. Говно, в общем.
О, а это ты охуенный вопрос поднял.
Самое дорогое в DL, помимо видюх, - это, внезапно, PCIEx16 слоты. Мать с двумя слотами стоит 7к, мать с 4 слотами стоит 20к. Мать с 8 слотами это вообще отдельная история.
На втором месте - БП. И тут аналогичная ситуация, 2 БП по 800 Вт стоят дешевле, чем один по 1600, если не пользоваться майнерскими решениями. И это намного проще разрулить с точки зрения электрики и розеток.
На третьем месте - корпус и охлаждение. И тут опять же 2 корпуса по 3к выйдут дешевле, холоднее и тише, чем один большой. Особенно это актуально для 30хх печек.
С процессорами тоже выгоды нет. По перформансу/доллар и даже ядроперформансу/доллар в топе недорогие процессоры.
Короче реальная экономия идет только на SSD и оперативке, которую можно шарить между экспериментами, но оно тонет в пунктах, которые я перечислил выше.
Такая вот аберрация на рыночке - как только ты выходишь за рамки геймерского рыночка с его 2xSLI, ты попадаешь на серверное железо, которое, с одной стороны, нахуй не нужно с его надежностью и накруткой за малые тиражи, если у тебя не облачный датацентр, а с другой - в разы дороже и устаревает быстрее.
Так что в итоге получается, что собирать сервер в несколько раз дороже имеет смысл только для больших multi-gpu моделей в кластере. А если цель получить наиболее эффективную йобу для гридсерча в данном бюджете, то ПК среднего сегмента уделывают остальные решения в разы.
>А самому распараллелить зачастую не получится из-за GIL.
Как вариант use_multiprocessing=True в fit_generator
Мне не понравилось, уже не помню почему, и я использую просто Pool и starmap_async. Оно еще и универсально к фреймворку
>Сегодня тебе нужно 60гб, завтра 100, а послезавтра терабайт.
Нет, не так. Для теста разных идей приходится частенько пользоваться чужими скриптами, в которых каждый лепит как угодно. Как правило - это китайцы, которые ничего, кроме np.load не знают. Когда нужно скрипт каждого китайца адаптировать под свое железо - это проеб времени на ублажение железа. При этом если у тебя CPU медленнее, чем у китайца, это не страшно, а вот количество оперативки критично. Так что 16 гб это минимум, даже если ты сам у мамы оптимизатор и меммапы с ссд хуячишь
>За такие деньги говно получится.
Лол
1. Нагруженность машины не важна, я просто куплю вторую видеокарту
2. Нагруженность машины важна, и пекарни за $500 не хватит
Критерий говно-не-говно простой - у тебя утилизирована видюха на 100%, или простаивает. Критерий второго порядка - это возможности апгрейда на следующем поколении видюх, и так далее. В целом, когда ты проапгрейдишься до какого-нибудь 4080 и тебе перестанет хватать амд 2018 года, купишь амд 2020 года, который к тому моменту будет стоить 40 баксов, и опять будет хватать.
>Солидным боярам сервер выдает работодатель, и этот сервер на порядок мощнее десктопа
Солидные бояре сами говорят работодателю, что им купить. Просто большинство пользуется хайпом и шальными деньгами и просто берет что-то типа DGX, а потом шарит его между отделом из 4 человек (если повезет - то двух). То есть реально, у каждого в распоряжении по два V100, а контора заплатила за это счастье по миллиону рублей на рабочее место.
>Собирая одну машину за те же деньги ты получаешь более мощный процессор, больше памяти и дискового пространства, и две видеокарты вместо одной.
Ну то есть, как я и писал, что твоя логика в том, что ты хочешь физически шерить разного рода работу (в частности - игори и ML) на одном железе. Сегодня нейроночку потренировал, завтра в игру поиграл. Сегодня игорьку установил, завтра удалил и скачал датасет. Потом удалил датасет, установил игру. Поставил обучаться - вместо игры пошел влипать в телефон. На корпусе 3к сэкономил, на БП. И так далее. Говно, в общем.
>В общем, собирать сервер имеет смысл только когда он как минимум в несколько раз дороже десктопа.
О, а это ты охуенный вопрос поднял.
Самое дорогое в DL, помимо видюх, - это, внезапно, PCIEx16 слоты. Мать с двумя слотами стоит 7к, мать с 4 слотами стоит 20к. Мать с 8 слотами это вообще отдельная история.
На втором месте - БП. И тут аналогичная ситуация, 2 БП по 800 Вт стоят дешевле, чем один по 1600, если не пользоваться майнерскими решениями. И это намного проще разрулить с точки зрения электрики и розеток.
На третьем месте - корпус и охлаждение. И тут опять же 2 корпуса по 3к выйдут дешевле, холоднее и тише, чем один большой. Особенно это актуально для 30хх печек.
С процессорами тоже выгоды нет. По перформансу/доллар и даже ядроперформансу/доллар в топе недорогие процессоры.
Короче реальная экономия идет только на SSD и оперативке, которую можно шарить между экспериментами, но оно тонет в пунктах, которые я перечислил выше.
Такая вот аберрация на рыночке - как только ты выходишь за рамки геймерского рыночка с его 2xSLI, ты попадаешь на серверное железо, которое, с одной стороны, нахуй не нужно с его надежностью и накруткой за малые тиражи, если у тебя не облачный датацентр, а с другой - в разы дороже и устаревает быстрее.
Так что в итоге получается, что собирать сервер в несколько раз дороже имеет смысл только для больших multi-gpu моделей в кластере. А если цель получить наиболее эффективную йобу для гридсерча в данном бюджете, то ПК среднего сегмента уделывают остальные решения в разы.
>>809704
Как вариант use_multiprocessing=True в fit_generator
Мне не понравилось, уже не помню почему, и я использую просто Pool и starmap_async. Оно еще и универсально к фреймворку
Нет, не так. Для теста разных идей приходится частенько пользоваться чужими скриптами, в которых каждый лепит как угодно. Как правило - это китайцы, которые ничего, кроме np.load не знают. Когда нужно скрипт каждого китайца адаптировать под свое железо - это проеб времени на ублажение железа. При этом если у тебя CPU медленнее, чем у китайца, это не страшно, а вот количество оперативки критично. Так что 16 гб это минимум, даже если ты сам у мамы оптимизатор и меммапы с ссд хуячишь
Лол
1. Нагруженность машины не важна, я просто куплю вторую видеокарту
2. Нагруженность машины важна, и пекарни за $500 не хватит
Критерий говно-не-говно простой - у тебя утилизирована видюха на 100%, или простаивает. Критерий второго порядка - это возможности апгрейда на следующем поколении видюх, и так далее. В целом, когда ты проапгрейдишься до какого-нибудь 4080 и тебе перестанет хватать амд 2018 года, купишь амд 2020 года, который к тому моменту будет стоить 40 баксов, и опять будет хватать.
Солидные бояре сами говорят работодателю, что им купить. Просто большинство пользуется хайпом и шальными деньгами и просто берет что-то типа DGX, а потом шарит его между отделом из 4 человек (если повезет - то двух). То есть реально, у каждого в распоряжении по два V100, а контора заплатила за это счастье по миллиону рублей на рабочее место.
Ну то есть, как я и писал, что твоя логика в том, что ты хочешь физически шерить разного рода работу (в частности - игори и ML) на одном железе. Сегодня нейроночку потренировал, завтра в игру поиграл. Сегодня игорьку установил, завтра удалил и скачал датасет. Потом удалил датасет, установил игру. Поставил обучаться - вместо игры пошел влипать в телефон. На корпусе 3к сэкономил, на БП. И так далее. Говно, в общем.
О, а это ты охуенный вопрос поднял.
Самое дорогое в DL, помимо видюх, - это, внезапно, PCIEx16 слоты. Мать с двумя слотами стоит 7к, мать с 4 слотами стоит 20к. Мать с 8 слотами это вообще отдельная история.
На втором месте - БП. И тут аналогичная ситуация, 2 БП по 800 Вт стоят дешевле, чем один по 1600, если не пользоваться майнерскими решениями. И это намного проще разрулить с точки зрения электрики и розеток.
На третьем месте - корпус и охлаждение. И тут опять же 2 корпуса по 3к выйдут дешевле, холоднее и тише, чем один большой. Особенно это актуально для 30хх печек.
С процессорами тоже выгоды нет. По перформансу/доллар и даже ядроперформансу/доллар в топе недорогие процессоры.
Короче реальная экономия идет только на SSD и оперативке, которую можно шарить между экспериментами, но оно тонет в пунктах, которые я перечислил выше.
Такая вот аберрация на рыночке - как только ты выходишь за рамки геймерского рыночка с его 2xSLI, ты попадаешь на серверное железо, которое, с одной стороны, нахуй не нужно с его надежностью и накруткой за малые тиражи, если у тебя не облачный датацентр, а с другой - в разы дороже и устаревает быстрее.
Так что в итоге получается, что собирать сервер в несколько раз дороже имеет смысл только для больших multi-gpu моделей в кластере. А если цель получить наиболее эффективную йобу для гридсерча в данном бюджете, то ПК среднего сегмента уделывают остальные решения в разы.
>А самому распараллелить зачастую не получится из-за GIL.
Как вариант use_multiprocessing=True в fit_generator
Мне не понравилось, уже не помню почему, и я использую просто Pool и starmap_async. Оно еще и универсально к фреймворку
>Сегодня тебе нужно 60гб, завтра 100, а послезавтра терабайт.
Нет, не так. Для теста разных идей приходится частенько пользоваться чужими скриптами, в которых каждый лепит как угодно. Как правило - это китайцы, которые ничего, кроме np.load не знают. Когда нужно скрипт каждого китайца адаптировать под свое железо - это проеб времени на ублажение железа. При этом если у тебя CPU медленнее, чем у китайца, это не страшно, а вот количество оперативки критично. Так что 16 гб это минимум, даже если ты сам у мамы оптимизатор и меммапы с ссд хуячишь
>За такие деньги говно получится.
Лол
1. Нагруженность машины не важна, я просто куплю вторую видеокарту
2. Нагруженность машины важна, и пекарни за $500 не хватит
Критерий говно-не-говно простой - у тебя утилизирована видюха на 100%, или простаивает. Критерий второго порядка - это возможности апгрейда на следующем поколении видюх, и так далее. В целом, когда ты проапгрейдишься до какого-нибудь 4080 и тебе перестанет хватать амд 2018 года, купишь амд 2020 года, который к тому моменту будет стоить 40 баксов, и опять будет хватать.
>Солидным боярам сервер выдает работодатель, и этот сервер на порядок мощнее десктопа
Солидные бояре сами говорят работодателю, что им купить. Просто большинство пользуется хайпом и шальными деньгами и просто берет что-то типа DGX, а потом шарит его между отделом из 4 человек (если повезет - то двух). То есть реально, у каждого в распоряжении по два V100, а контора заплатила за это счастье по миллиону рублей на рабочее место.
>Собирая одну машину за те же деньги ты получаешь более мощный процессор, больше памяти и дискового пространства, и две видеокарты вместо одной.
Ну то есть, как я и писал, что твоя логика в том, что ты хочешь физически шерить разного рода работу (в частности - игори и ML) на одном железе. Сегодня нейроночку потренировал, завтра в игру поиграл. Сегодня игорьку установил, завтра удалил и скачал датасет. Потом удалил датасет, установил игру. Поставил обучаться - вместо игры пошел влипать в телефон. На корпусе 3к сэкономил, на БП. И так далее. Говно, в общем.
>В общем, собирать сервер имеет смысл только когда он как минимум в несколько раз дороже десктопа.
О, а это ты охуенный вопрос поднял.
Самое дорогое в DL, помимо видюх, - это, внезапно, PCIEx16 слоты. Мать с двумя слотами стоит 7к, мать с 4 слотами стоит 20к. Мать с 8 слотами это вообще отдельная история.
На втором месте - БП. И тут аналогичная ситуация, 2 БП по 800 Вт стоят дешевле, чем один по 1600, если не пользоваться майнерскими решениями. И это намного проще разрулить с точки зрения электрики и розеток.
На третьем месте - корпус и охлаждение. И тут опять же 2 корпуса по 3к выйдут дешевле, холоднее и тише, чем один большой. Особенно это актуально для 30хх печек.
С процессорами тоже выгоды нет. По перформансу/доллар и даже ядроперформансу/доллар в топе недорогие процессоры.
Короче реальная экономия идет только на SSD и оперативке, которую можно шарить между экспериментами, но оно тонет в пунктах, которые я перечислил выше.
Такая вот аберрация на рыночке - как только ты выходишь за рамки геймерского рыночка с его 2xSLI, ты попадаешь на серверное железо, которое, с одной стороны, нахуй не нужно с его надежностью и накруткой за малые тиражи, если у тебя не облачный датацентр, а с другой - в разы дороже и устаревает быстрее.
Так что в итоге получается, что собирать сервер в несколько раз дороже имеет смысл только для больших multi-gpu моделей в кластере. А если цель получить наиболее эффективную йобу для гридсерча в данном бюджете, то ПК среднего сегмента уделывают остальные решения в разы.
>>809729
Спасибо, я про это не знал. Хотя, у меня не всегда получалось использовать multiprocessing, поскольку копирование данных между процессами убивало всю производительность.
16 это вообще смешно. Я имел в виду разницу между 32-64 на десктопе и 128+ на сервере.
Но ведь мы обсуждаем не сервера с 4-8 видеокартами, а ПК для простых смертных, так что матери с 8 слотами идут мимо. БП на 800 ватт хватит для двух видеокарт (нахрена больше?), и стоит он недорого. Охлаждение и корпус стоят копейки. В случае одного ПК придется лишь чуть больше потратить на корпус и охлаждение, а в случае двух - заново покупать процессор/мать/бп/память/диски. Ну а если для других задач ПК тебе не нужен, то нет вопросов - собирай один в качестве сервера, накатывай на него линукс, а код пиши на ноутбуке.
Мне кажется у нас разные определения недорогих процессоров. Для меня недорогой это 12-ядерный 3900X или 16-ядерный 3950X. Именно такой я бы поставил в ПК для дата саенса, если собирать его прямо сейчас. Не только для нейронок, а для дата саенса в целом.
>Как вариант use_multiprocessing=True в fit_generator
Спасибо, я про это не знал. Хотя, у меня не всегда получалось использовать multiprocessing, поскольку копирование данных между процессами убивало всю производительность.
>Так что 16 гб это минимум, даже если ты сам у мамы оптимизатор и меммапы с ссд хуячишь
16 это вообще смешно. Я имел в виду разницу между 32-64 на десктопе и 128+ на сервере.
>О, а это ты охуенный вопрос поднял.
Но ведь мы обсуждаем не сервера с 4-8 видеокартами, а ПК для простых смертных, так что матери с 8 слотами идут мимо. БП на 800 ватт хватит для двух видеокарт (нахрена больше?), и стоит он недорого. Охлаждение и корпус стоят копейки. В случае одного ПК придется лишь чуть больше потратить на корпус и охлаждение, а в случае двух - заново покупать процессор/мать/бп/память/диски. Ну а если для других задач ПК тебе не нужен, то нет вопросов - собирай один в качестве сервера, накатывай на него линукс, а код пиши на ноутбуке.
>С процессорами тоже выгоды нет. По перформансу/доллар и даже ядроперформансу/доллар в топе недорогие процессоры.
Мне кажется у нас разные определения недорогих процессоров. Для меня недорогой это 12-ядерный 3900X или 16-ядерный 3950X. Именно такой я бы поставил в ПК для дата саенса, если собирать его прямо сейчас. Не только для нейронок, а для дата саенса в целом.
>>809716
На самом деле нет. Тут демонстрируется какие же машинлернщики хуевые программисты.
GIL "отпускается" при вызове numpy.
На самом деле нет. Тут демонстрируется какие же машинлернщики хуевые программисты.
GIL "отпускается" при вызове numpy.
>>809732
Вместо самих данных можно либо передавать указатель на меммап, либо в дочернем процессе создать глобальную переменную с указателем на меммап. Это вообще лол - в питоне мультитрединг программируется как какая-то сишка из-за необходимости обмена данных между процессами. Но вообще это несложно. В случае с ручным педролингом, это делается как-то так
yoba = None #инстанс йобы будет в каждом процессе отдельно
def init(куча параметров):
. global yoba
. yoba = np.memmap("yoba.bin", dtype=np.float32, mode='w+', shape=(...))
def worker(параметры для воркера, например, индекс в батче):
. global yoba
. yoba[eto_ti] = 12345
pool = Pool(processes=6, initializer=init, initargs=[тут имена файлов с меммапами])
yoba_read = np.memmap("yoba.bin", dtype=np.float32, mode='r', shape=(...))
И далее где-то в цикле:
done = pool.starmap_async(worker, параметры)
model.train_on_batch(yoba_copy)
if done.get():
. yoba_copy = yoba_read.copy()
Все. Наверное можно сделать так, чтобы пердолиться еще меньше, но я не вижу проблем в этих 15 строчках кода.
БП вообще дело такое, прогресс в электротехнике околонулевой, поэтому покупать его можно лет на 5-10. А твоего 800 на пару 3080 уже не хватит. Что придумает хуанг через 2 года - неизвестно. Да и в случае с парой 250 ваттных видюх тоже лотерея, в пике они потреблять могут дохуя, а если 2 пичка произойдут синхронно, БП может вылететь. И такая хуйня происходить раз в сутки, например.
Да когда у тебя один ПК - понятно, что это дешевле всего. Но рано или поздно ты перерастешь этот комп и тебе нужно будет апгрейдиться. И дальше два стула. Первый - выкинуть старый комп нахуй. Второй - продать его на авито за копейки или отдать бедным родственникам. Третий - установить на него линукс поставить его на балкон в качестве хоста для пары GPU, и в этом случае он проработает у тебя пару поколений видеокарт. Но это при условии, что ты изначально это предусмотрел и взял нормальный БП и мать с двумя слотами и промежутком.
Два критерия - максимальный перформанс на доллар и способность загрузить топовый ГПУ. У меня сейчас 4 2070S обслуживает двухлетний тредриппер за 15к, при чем считая довольно сложную аугментацию с гигантскими батчсайзами. На компе с двумя 1080Ti вообще 1600. А если я захочу потратить 40К, я лучше куплю себе еще один числодробилку, нахуя мне йоба-CPU, который будет простаивать 99% времени. Прогресс в железе какой-то ебанутый стал, или я старый, потому что по перформансу я уже не помню, когда мне хотелось, чтобы CPU был побыстрей. Разве что при компиляции какого-нибудь говна. Что там на CPU делают вообще в датасаенце?
>Хотя, у меня не всегда получалось использовать multiprocessing, поскольку копирование данных между процессами убивало всю производительность.
Вместо самих данных можно либо передавать указатель на меммап, либо в дочернем процессе создать глобальную переменную с указателем на меммап. Это вообще лол - в питоне мультитрединг программируется как какая-то сишка из-за необходимости обмена данных между процессами. Но вообще это несложно. В случае с ручным педролингом, это делается как-то так
yoba = None #инстанс йобы будет в каждом процессе отдельно
def init(куча параметров):
. global yoba
. yoba = np.memmap("yoba.bin", dtype=np.float32, mode='w+', shape=(...))
def worker(параметры для воркера, например, индекс в батче):
. global yoba
. yoba[eto_ti] = 12345
pool = Pool(processes=6, initializer=init, initargs=[тут имена файлов с меммапами])
yoba_read = np.memmap("yoba.bin", dtype=np.float32, mode='r', shape=(...))
И далее где-то в цикле:
done = pool.starmap_async(worker, параметры)
model.train_on_batch(yoba_copy)
if done.get():
. yoba_copy = yoba_read.copy()
Все. Наверное можно сделать так, чтобы пердолиться еще меньше, но я не вижу проблем в этих 15 строчках кода.
>БП на 800 ватт хватит для двух видеокарт (нахрена больше?)
БП вообще дело такое, прогресс в электротехнике околонулевой, поэтому покупать его можно лет на 5-10. А твоего 800 на пару 3080 уже не хватит. Что придумает хуанг через 2 года - неизвестно. Да и в случае с парой 250 ваттных видюх тоже лотерея, в пике они потреблять могут дохуя, а если 2 пичка произойдут синхронно, БП может вылететь. И такая хуйня происходить раз в сутки, например.
>В случае одного ПК придется лишь чуть больше потратить на корпус и охлаждение, а в случае двух - заново покупать процессор/мать/бп/память/диски.
Да когда у тебя один ПК - понятно, что это дешевле всего. Но рано или поздно ты перерастешь этот комп и тебе нужно будет апгрейдиться. И дальше два стула. Первый - выкинуть старый комп нахуй. Второй - продать его на авито за копейки или отдать бедным родственникам. Третий - установить на него линукс поставить его на балкон в качестве хоста для пары GPU, и в этом случае он проработает у тебя пару поколений видеокарт. Но это при условии, что ты изначально это предусмотрел и взял нормальный БП и мать с двумя слотами и промежутком.
>Мне кажется у нас разные определения недорогих процессоров. Для меня недорогой это 12-ядерный 3900X или 16-ядерный 3950X.
Два критерия - максимальный перформанс на доллар и способность загрузить топовый ГПУ. У меня сейчас 4 2070S обслуживает двухлетний тредриппер за 15к, при чем считая довольно сложную аугментацию с гигантскими батчсайзами. На компе с двумя 1080Ti вообще 1600. А если я захочу потратить 40К, я лучше куплю себе еще один числодробилку, нахуя мне йоба-CPU, который будет простаивать 99% времени. Прогресс в железе какой-то ебанутый стал, или я старый, потому что по перформансу я уже не помню, когда мне хотелось, чтобы CPU был побыстрей. Разве что при компиляции какого-нибудь говна. Что там на CPU делают вообще в датасаенце?
>>809732
Вместо самих данных можно либо передавать указатель на меммап, либо в дочернем процессе создать глобальную переменную с указателем на меммап. Это вообще лол - в питоне мультитрединг программируется как какая-то сишка из-за необходимости обмена данных между процессами. Но вообще это несложно. В случае с ручным педролингом, это делается как-то так
yoba = None #инстанс йобы будет в каждом процессе отдельно
def init(куча параметров):
. global yoba
. yoba = np.memmap("yoba.bin", dtype=np.float32, mode='w+', shape=(...))
def worker(параметры для воркера, например, индекс в батче):
. global yoba
. yoba[eto_ti] = 12345
pool = Pool(processes=6, initializer=init, initargs=[тут имена файлов с меммапами])
yoba_read = np.memmap("yoba.bin", dtype=np.float32, mode='r', shape=(...))
И далее где-то в цикле:
done = pool.starmap_async(worker, параметры)
model.train_on_batch(yoba_copy)
if done.get():
. yoba_copy = yoba_read.copy()
Все. Наверное можно сделать так, чтобы пердолиться еще меньше, но я не вижу проблем в этих 15 строчках кода.
БП вообще дело такое, прогресс в электротехнике околонулевой, поэтому покупать его можно лет на 5-10. А твоего 800 на пару 3080 уже не хватит. Что придумает хуанг через 2 года - неизвестно. Да и в случае с парой 250 ваттных видюх тоже лотерея, в пике они потреблять могут дохуя, а если 2 пичка произойдут синхронно, БП может вылететь. И такая хуйня происходить раз в сутки, например.
Да когда у тебя один ПК - понятно, что это дешевле всего. Но рано или поздно ты перерастешь этот комп и тебе нужно будет апгрейдиться. И дальше два стула. Первый - выкинуть старый комп нахуй. Второй - продать его на авито за копейки или отдать бедным родственникам. Третий - установить на него линукс поставить его на балкон в качестве хоста для пары GPU, и в этом случае он проработает у тебя пару поколений видеокарт. Но это при условии, что ты изначально это предусмотрел и взял нормальный БП и мать с двумя слотами и промежутком.
Два критерия - максимальный перформанс на доллар и способность загрузить топовый ГПУ. У меня сейчас 4 2070S обслуживает двухлетний тредриппер за 15к, при чем считая довольно сложную аугментацию с гигантскими батчсайзами. На компе с двумя 1080Ti вообще 1600. А если я захочу потратить 40К, я лучше куплю себе еще один числодробилку, нахуя мне йоба-CPU, который будет простаивать 99% времени. Прогресс в железе какой-то ебанутый стал, или я старый, потому что по перформансу я уже не помню, когда мне хотелось, чтобы CPU был побыстрей. Разве что при компиляции какого-нибудь говна. Что там на CPU делают вообще в датасаенце?
>Хотя, у меня не всегда получалось использовать multiprocessing, поскольку копирование данных между процессами убивало всю производительность.
Вместо самих данных можно либо передавать указатель на меммап, либо в дочернем процессе создать глобальную переменную с указателем на меммап. Это вообще лол - в питоне мультитрединг программируется как какая-то сишка из-за необходимости обмена данных между процессами. Но вообще это несложно. В случае с ручным педролингом, это делается как-то так
yoba = None #инстанс йобы будет в каждом процессе отдельно
def init(куча параметров):
. global yoba
. yoba = np.memmap("yoba.bin", dtype=np.float32, mode='w+', shape=(...))
def worker(параметры для воркера, например, индекс в батче):
. global yoba
. yoba[eto_ti] = 12345
pool = Pool(processes=6, initializer=init, initargs=[тут имена файлов с меммапами])
yoba_read = np.memmap("yoba.bin", dtype=np.float32, mode='r', shape=(...))
И далее где-то в цикле:
done = pool.starmap_async(worker, параметры)
model.train_on_batch(yoba_copy)
if done.get():
. yoba_copy = yoba_read.copy()
Все. Наверное можно сделать так, чтобы пердолиться еще меньше, но я не вижу проблем в этих 15 строчках кода.
>БП на 800 ватт хватит для двух видеокарт (нахрена больше?)
БП вообще дело такое, прогресс в электротехнике околонулевой, поэтому покупать его можно лет на 5-10. А твоего 800 на пару 3080 уже не хватит. Что придумает хуанг через 2 года - неизвестно. Да и в случае с парой 250 ваттных видюх тоже лотерея, в пике они потреблять могут дохуя, а если 2 пичка произойдут синхронно, БП может вылететь. И такая хуйня происходить раз в сутки, например.
>В случае одного ПК придется лишь чуть больше потратить на корпус и охлаждение, а в случае двух - заново покупать процессор/мать/бп/память/диски.
Да когда у тебя один ПК - понятно, что это дешевле всего. Но рано или поздно ты перерастешь этот комп и тебе нужно будет апгрейдиться. И дальше два стула. Первый - выкинуть старый комп нахуй. Второй - продать его на авито за копейки или отдать бедным родственникам. Третий - установить на него линукс поставить его на балкон в качестве хоста для пары GPU, и в этом случае он проработает у тебя пару поколений видеокарт. Но это при условии, что ты изначально это предусмотрел и взял нормальный БП и мать с двумя слотами и промежутком.
>Мне кажется у нас разные определения недорогих процессоров. Для меня недорогой это 12-ядерный 3900X или 16-ядерный 3950X.
Два критерия - максимальный перформанс на доллар и способность загрузить топовый ГПУ. У меня сейчас 4 2070S обслуживает двухлетний тредриппер за 15к, при чем считая довольно сложную аугментацию с гигантскими батчсайзами. На компе с двумя 1080Ti вообще 1600. А если я захочу потратить 40К, я лучше куплю себе еще один числодробилку, нахуя мне йоба-CPU, который будет простаивать 99% времени. Прогресс в железе какой-то ебанутый стал, или я старый, потому что по перформансу я уже не помню, когда мне хотелось, чтобы CPU был побыстрей. Разве что при компиляции какого-нибудь говна. Что там на CPU делают вообще в датасаенце?
>>809756
извинись.
Что у тебя на самом деле узкое место? GIL - это лок интерпретатора. Почему обмолот чисел ты считаешь узким местом, если там как раз GIL отпускается и можно задействовать второй процессор ?
>в питоне мультитрединг программируется как какая-то сишка из-за необходимости обмена данных между процессами.
извинись.
Что у тебя на самом деле узкое место? GIL - это лок интерпретатора. Почему обмолот чисел ты считаешь узким местом, если там как раз GIL отпускается и можно задействовать второй процессор ?
>>809759
За что? Вместо написания чистенького кода вида parallel_map_async(container, function) как на каком-нибудь, прости господи, С++, мне приходится рассуждать о каких-то кишках интерпретатора высокоуровнего языка и думать, сделать ли мне import threading или import multiprocessing, где там случится GIL, а где не случится. Я не сомневаюсь, что ты спец по кишкам питона, но это как раз мой поинт и есть, что нужно быть низкоуровневым спецом просто чтобы параллельно данные в батч запихнуть.
Лично у меня узкое место в том, что нужно, чтобы функции train_on_batch и prepare_batch выполнялись одновременно, потому что одна грузит GPU и ждет результат, а вторая эти данные готовит на GPU. Как устроен внутри train_on_batch я не ебу, это библиотечная функция
numpy узким местом бывает редко, потому что он умеет параллелить себя на уровне векторизированных операций. То есть когда у тебя только хорошо написанный numpy-код, использовать что мультитрединг, что мультипроцессинг бессмысленно. Нужно написать код на нампае так, чтобы он сам все распараллелил в сингл-треде. Помимо этого тогда еще будут заюзаны всякие AVX и прочие йобы
>извинись
За что? Вместо написания чистенького кода вида parallel_map_async(container, function) как на каком-нибудь, прости господи, С++, мне приходится рассуждать о каких-то кишках интерпретатора высокоуровнего языка и думать, сделать ли мне import threading или import multiprocessing, где там случится GIL, а где не случится. Я не сомневаюсь, что ты спец по кишкам питона, но это как раз мой поинт и есть, что нужно быть низкоуровневым спецом просто чтобы параллельно данные в батч запихнуть.
>Что у тебя на самом деле узкое место?
Лично у меня узкое место в том, что нужно, чтобы функции train_on_batch и prepare_batch выполнялись одновременно, потому что одна грузит GPU и ждет результат, а вторая эти данные готовит на GPU. Как устроен внутри train_on_batch я не ебу, это библиотечная функция
numpy узким местом бывает редко, потому что он умеет параллелить себя на уровне векторизированных операций. То есть когда у тебя только хорошо написанный numpy-код, использовать что мультитрединг, что мультипроцессинг бессмысленно. Нужно написать код на нампае так, чтобы он сам все распараллелил в сингл-треде. Помимо этого тогда еще будут заюзаны всякие AVX и прочие йобы
>>809756
Интересный подход, но есть одна проблема - ограниченный ресурс SSD. При таком раскладе он сдохнет за пару месяцев, учитывая размер данных. Хотя, в принципе, можно сделать рам диск и использовать его в качестве кеша, куда будут складываться аугментированные данные. Надо будет попробовать.
Насчет потоков я тупанул - нампай действительно не блокирует GIL. Но с другими библиотеками все равно могут быть проблемы.
Да хватит его. На пиковое энергопотребление можно поставить лимит, а так оно будет 250-300 ватт на каждую видеокарту, и то не факт что так много.
С этой точки зрения согласен. Только тут у половины треда нет даже одного нормального ПК с видеокартой.
Ну, кминс там всякий, аугментация, разжатие картинок на лету, computer vision алгоритмы, некоторые из которых не получится гонять на видеокарте. В принципе не критично, но все же желательно иметь процессор получше.
>Все. Наверное можно сделать так, чтобы пердолиться еще меньше, но я не вижу проблем в этих 15 строчках кода.
Интересный подход, но есть одна проблема - ограниченный ресурс SSD. При таком раскладе он сдохнет за пару месяцев, учитывая размер данных. Хотя, в принципе, можно сделать рам диск и использовать его в качестве кеша, куда будут складываться аугментированные данные. Надо будет попробовать.
Насчет потоков я тупанул - нампай действительно не блокирует GIL. Но с другими библиотеками все равно могут быть проблемы.
>А твоего 800 на пару 3080 уже не хватит
Да хватит его. На пиковое энергопотребление можно поставить лимит, а так оно будет 250-300 ватт на каждую видеокарту, и то не факт что так много.
> Но рано или поздно ты перерастешь этот комп и тебе нужно будет апгрейдиться. И дальше два стула. Первый - выкинуть старый комп нахуй. Второй - продать его на авито за копейки или отдать бедным родственникам. Третий - установить на него линукс поставить его на балкон в качестве хоста для пары GPU, и в этом случае он проработает у тебя пару поколений видеокарт. Но это при условии, что ты изначально это предусмотрел и взял нормальный БП и мать с двумя слотами и промежутком.
С этой точки зрения согласен. Только тут у половины треда нет даже одного нормального ПК с видеокартой.
>Что там на CPU делают вообще в датасаенце?
Ну, кминс там всякий, аугментация, разжатие картинок на лету, computer vision алгоритмы, некоторые из которых не получится гонять на видеокарте. В принципе не критично, но все же желательно иметь процессор получше.
>>809766
По расчетам wd green, у которого нет даже DRAM для кэша, должен быть сдохнуть за пару дней со своим TBW в 40 терабайт, а работает 2 года. Мне кажется есть какая-то защита от дурака то ли в оси, то ли в самом контроллере ссд.
Вообще сами меммапы это непринципиально, можно https://stackoverflow.com/questions/7894791/use-numpy-array-in-shared-memory-for-multiprocessing использовать. Надо будет переписать. Главное это то, что не используется стандартный питоновский путь через сериализацию параметров функций. Спасибо, что обратил внимание на это, я об этом парился, но забыл, хотя в принципе переписать нормально ничего не стоит
Экономить на БП 4к чтобы по итогу глушить видюху? Ну такое.
А так это не поможет, потому что даже пиковые значения в nvidia-smi на самом деле усреднение. Есть еще более пиковые пики за более короткие промежутки. И от пары таких пиков синхронно дешевому и нагревшемуся БП может поплохеть. При этом комп даже не зависнет, просто отвалится один из GPU.
>Интересный подход, но есть одна проблема - ограниченный ресурс SSD. При таком раскладе он сдохнет за пару месяцев, учитывая размер данных.
По расчетам wd green, у которого нет даже DRAM для кэша, должен быть сдохнуть за пару дней со своим TBW в 40 терабайт, а работает 2 года. Мне кажется есть какая-то защита от дурака то ли в оси, то ли в самом контроллере ссд.
Вообще сами меммапы это непринципиально, можно https://stackoverflow.com/questions/7894791/use-numpy-array-in-shared-memory-for-multiprocessing использовать. Надо будет переписать. Главное это то, что не используется стандартный питоновский путь через сериализацию параметров функций. Спасибо, что обратил внимание на это, я об этом парился, но забыл, хотя в принципе переписать нормально ничего не стоит
>Да хватит его. На пиковое энергопотребление можно поставить лимит
Экономить на БП 4к чтобы по итогу глушить видюху? Ну такое.
А так это не поможет, потому что даже пиковые значения в nvidia-smi на самом деле усреднение. Есть еще более пиковые пики за более короткие промежутки. И от пары таких пиков синхронно дешевому и нагревшемуся БП может поплохеть. При этом комп даже не зависнет, просто отвалится один из GPU.
>>809766
Вооо https://pypi.org/project/SharedArray/
То, что нужно
Думаю еще больше людей заходит в тред, смотрит его содержимое и уходит.
Вооо https://pypi.org/project/SharedArray/
То, что нужно
>С этой точки зрения согласен. Только тут у половины треда нет даже одного нормального ПК с видеокартой.
Думаю еще больше людей заходит в тред, смотрит его содержимое и уходит.
>>809785
У жесткого диска неограниченное количество перезаписи. У меня же на SSD за год набегает около петабайта чтения. От такого количества перезаписи он точно помрет.
Пытался использовать такие массивы, и они пиздец насколько меленные.
Я просто долбоеб, когда покупал не думал, что буду докупать вторую видеокарту. Сам БП то топовый.
>По расчетам wd green, у которого нет даже DRAM для кэша, должен быть сдохнуть за пару дней со своим TBW в 40 терабайт, а работает 2 года
У жесткого диска неограниченное количество перезаписи. У меня же на SSD за год набегает около петабайта чтения. От такого количества перезаписи он точно помрет.
>можно https://stackoverflow.com/questions/7894791/use-numpy-array-in-shared-memory-for-multiprocessing использовать
Пытался использовать такие массивы, и они пиздец насколько меленные.
>Экономить на БП 4к чтобы по итогу глушить видюху? Ну такое.
Я просто долбоеб, когда покупал не думал, что буду докупать вторую видеокарту. Сам БП то топовый.
>>809793
Ну может быть, хотя это странно, но я уже не буду тестить. Второе что я принес использует позикс шаред память и не должно отличаться от меммапов как перформансу, так и по интерфейсу (обращение через строку)
>Пытался использовать такие массивы, и они пиздец насколько меленные.
Ну может быть, хотя это странно, но я уже не буду тестить. Второе что я принес использует позикс шаред память и не должно отличаться от меммапов как перформансу, так и по интерфейсу (обращение через строку)
>>809765
Нет, это знания практически на уровне FAQ. Не кишки питона.
Мне кажется ты просто не стал пробовать и измерять реальную производительность, а полез использовать модуль multiprocessing и получил падение производительности - горе от ума,
Не выебывался бы и нормально все было бы, датасаентист хуев.
>мне приходится рассуждать о каких-то кишках интерпретатора высокоуровнего языка и думать, сделать ли мне import threading или import multiprocessing, где там случится GIL, а где не случится. Я не сомневаюсь, что ты спец по кишкам питона, но это как раз мой поинт и есть, что нужно быть низкоуровневым спецом
Нет, это знания практически на уровне FAQ. Не кишки питона.
Мне кажется ты просто не стал пробовать и измерять реальную производительность, а полез использовать модуль multiprocessing и получил падение производительности - горе от ума,
Не выебывался бы и нормально все было бы, датасаентист хуев.
>>809852
Так это ты развыебывался на пустом месте. Я с тобой вежливо общался и даже не послал нахуй с этой шизой по поводу использования тредов, но, как видно, шизики не ценят, когда с ними как с людьми разговаривают.
>Не выебывался бы
Так это ты развыебывался на пустом месте. Я с тобой вежливо общался и даже не послал нахуй с этой шизой по поводу использования тредов, но, как видно, шизики не ценят, когда с ними как с людьми разговаривают.
>>809878
Это хоть ты делаешь эту приблуду, или ты просто хвалишься как ты ловко кликаешь?
Это хоть ты делаешь эту приблуду, или ты просто хвалишься как ты ловко кликаешь?
>>810220
Хвалюсь тем, что каждый может кликать, а не обсуждать по десятому разу какую видеокарту купить.
Хвалюсь тем, что каждый может кликать, а не обсуждать по десятому разу какую видеокарту купить.
Ну вообще, конечно, единственный вывод, который следует сделать, что все эти покликанные мной дедовские методы отсасывают у нейросетей.
Зато наглядно.
Зато наглядно.
>>809878
Насколько я вижу, тут уже просто готовые цсвешки ты суёшь в модели.
Это и в питоне делается двумя строчками, наибольшая еботня это собственно в удобоваримом виде эти данные получить после сотен строк препроцессинга и очистки, тебе или кому-то за тебя эту хуйню всё равно придётся писать и что-то мне подсказывает что кликер для зумеров тебе в этом никак не поможет.
Насколько я вижу, тут уже просто готовые цсвешки ты суёшь в модели.
Это и в питоне делается двумя строчками, наибольшая еботня это собственно в удобоваримом виде эти данные получить после сотен строк препроцессинга и очистки, тебе или кому-то за тебя эту хуйню всё равно придётся писать и что-то мне подсказывает что кликер для зумеров тебе в этом никак не поможет.
>>810229
А что хорошего в кликаньи? Одно дело художники которые в фотошопе рисуют, или даже видеомонтаж (и то он во многом скриптуется), но подобные вещи в разы удобнее скриптовать. Мало того, что на экране это все меньше места занимает, так еще раз написавши удобнее копипастить, про гиты-диффы я вообще молчу.
А что хорошего в кликаньи? Одно дело художники которые в фотошопе рисуют, или даже видеомонтаж (и то он во многом скриптуется), но подобные вещи в разы удобнее скриптовать. Мало того, что на экране это все меньше места занимает, так еще раз написавши удобнее копипастить, про гиты-диффы я вообще молчу.
>>810233
На такой табличке 80% вероятности что lightgbm порвет сетки. Но, дай-ка я угадаю, твой кликер его не поддерживает?
На такой табличке 80% вероятности что lightgbm порвет сетки. Но, дай-ка я угадаю, твой кликер его не поддерживает?
>>810475
Деды не знали о существовании himem.sys?
Деды не знали о существовании himem.sys?
>>810447
Это быстро.
Я могу проверить гипотезы, а не платить дармоеду за месяц работы, который слегка изучил tensorflow, а про GIL знает только мемасики.
И поэтому у вас такой подрыв.
Главным образом, моя цель в изучении и прототипировании. Препроцессинг - штука рутинная и техническая. Тут для меня ничего удивительного.
Градиентный бустинг вроде есть, но непонятно какой.
Это быстро.
Я могу проверить гипотезы, а не платить дармоеду за месяц работы, который слегка изучил tensorflow, а про GIL знает только мемасики.
И поэтому у вас такой подрыв.
Главным образом, моя цель в изучении и прототипировании. Препроцессинг - штука рутинная и техническая. Тут для меня ничего удивительного.
Градиентный бустинг вроде есть, но непонятно какой.
170 Кб, 909x436>>810475
Есть одна причина существования дедовских методов - интерпретируемость
Есть одна причина существования дедовских методов - интерпретируемость
65 Кб, 406x244>>810582
В сложные архитектуры твой зумерский кликер не умеет, а для всего остального эффективнее использовать AutoML.
Более того, ты умудрился обосраться даже на простом табличном датасете.
В сложные архитектуры твой зумерский кликер не умеет, а для всего остального эффективнее использовать AutoML.
Более того, ты умудрился обосраться даже на простом табличном датасете.
>>810611
А мне сложно не надо. Это же не игра в Каглы. Это жизнь.
Вот видишь, как просто найти ошибки визуально. Да, тут порог срабатывания лучше завысить.
И что я вам объясняю как мне жить? Просто завидуйте что проебали на питон лучшие годы жизни.
А мне сложно не надо. Это же не игра в Каглы. Это жизнь.
Вот видишь, как просто найти ошибки визуально. Да, тут порог срабатывания лучше завысить.
И что я вам объясняю как мне жить? Просто завидуйте что проебали на питон лучшие годы жизни.
>>810582
Тебе? Для 60-летнего совка быстро - это написать текст от руки и отдать катеньке перепечатать. И некоторые совки даже это с гордостью говорят. Но на деле это просто лень и неумение пользоваться нормальными инструментами.
>Это быстро.
Тебе? Для 60-летнего совка быстро - это написать текст от руки и отдать катеньке перепечатать. И некоторые совки даже это с гордостью говорят. Но на деле это просто лень и неумение пользоваться нормальными инструментами.
>>811339
Тебя лично никто не заставляет. Но нас тут уже двое - я и тип, который спрашивал инструмент нахождения корреляций.
Подумой об этом.
Тебя лично никто не заставляет. Но нас тут уже двое - я и тип, который спрашивал инструмент нахождения корреляций.
Подумой об этом.
>>811344
Мне рассказывают, что у меня бомбит и я завидую. А я говорю о том, что я не завидую ни вам, ни дедам, пишущим от руки. Скрипты - это лучшее, что может быть, и не понимает этого только тот, кто не осилил печать вслепую и основы скриптования. Скриптование - это лучшее и инвестиция в сытое будущее, в будущем все будут скриптовать что-то
>Тебя лично никто не заставляет.
Мне рассказывают, что у меня бомбит и я завидую. А я говорю о том, что я не завидую ни вам, ни дедам, пишущим от руки. Скрипты - это лучшее, что может быть, и не понимает этого только тот, кто не осилил печать вслепую и основы скриптования. Скриптование - это лучшее и инвестиция в сытое будущее, в будущем все будут скриптовать что-то
Хей, ребятушечки, я не шарю за матан.
Хочу вкатиться в машоб, но мне знакомая, кто вкатилась, твердит что если ты знал математику и не увлекаешься так же, как она, то даже могу не пытаться?
Тут реально настолько сильно матан нужен? Или она прост цену набивает себе, как обычно, и даже не зная матан, но имея упорство и усидчивость можно за пол года хотябы на уровень недо джуна выйти?
Хочу вкатиться в машоб, но мне знакомая, кто вкатилась, твердит что если ты знал математику и не увлекаешься так же, как она, то даже могу не пытаться?
Тут реально настолько сильно матан нужен? Или она прост цену набивает себе, как обычно, и даже не зная матан, но имея упорство и усидчивость можно за пол года хотябы на уровень недо джуна выйти?
Не знал математику*
Потому что как она преподности это, то там одни пиздец гении сидят у нее на работе.. Что они все очень умные и образованные люди. Что она очень любит математику и всю жизнь искала то, что связано с математикой и будет приносить еще не только радость, но и деньги... И т.д.
Общий смысл: Там пиздец одни умные люди, тупых туда не возьмут, поэтому ее и взяли. Ну меня естесна не возьмут, потому что я, несмотря на школьную склонность к математике, забивал хер на нее) Что в школе, что в универе))
И как-то задизморалила меня своими рассказами о том, что там происходит..
Общий смысл: Там пиздец одни умные люди, тупых туда не возьмут, поэтому ее и взяли. Ну меня естесна не возьмут, потому что я, несмотря на школьную склонность к математике, забивал хер на нее) Что в школе, что в универе))
И как-то задизморалила меня своими рассказами о том, что там происходит..
>>811362
Ну и соси хуй теперь. Тут недавно спрашивали, как так получается, что математику учат тысячи выпускников каждый год, а в ML дефицит кадров. А вот поэтому
>Ну меня естесна не возьмут, потому что я, несмотря на школьную склонность к математике, забивал хер на нее
Ну и соси хуй теперь. Тут недавно спрашивали, как так получается, что математику учат тысячи выпускников каждый год, а в ML дефицит кадров. А вот поэтому
>>808252
Ты ещё многочлен не видел
Ты ещё многочлен не видел
>>811493
Дело не в том нужна она или не нужна, а в том что если ты не осиливаешь матёшку под разными оправданиями типа я умный но ленивый то скорее всего ты просто додик не способный к работе.
Дело не в том нужна она или не нужна, а в том что если ты не осиливаешь матёшку под разными оправданиями типа я умный но ленивый то скорее всего ты просто додик не способный к работе.
>>811358
В будущем будут просто говорить: "Сири, наверни 50 сверток и поиграйся с гиперпараметрами"
В будущем будут просто говорить: "Сири, наверни 50 сверток и поиграйся с гиперпараметрами"
А есть вот типа такого обзорчик но актуальное на текущий момент?
https://www.asimovinstitute.org/neural-network-zoo/
https://www.asimovinstitute.org/neural-network-zoo/
А на чем достопочтенные исследователи ИИ трясут ящик? Ну вот есть у меня коробка с ГПУ (одной), что на нее поставить? Пока что там убунту стоит с полгода. Думаю перейти на дебиан, ибо она жрет видеопамять, что не приятно.
>>811358
Я программист вот уже 20 лет.
Думаешь меня это впечатлит?
А вот МЛ как продолжение алгоритмики впечатляет и вызывает желание изучить.
Кликер для образования - идеален.
Я программист вот уже 20 лет.
Думаешь меня это впечатлит?
А вот МЛ как продолжение алгоритмики впечатляет и вызывает желание изучить.
Кликер для образования - идеален.
>>809688
Это потому, что ты тупая? Раз backprop сходу не можешь расписать, то начни с реверс-реверс инжиниринга, и посчитай производную напрямую.
> не выкупаю что-то
Это потому, что ты тупая? Раз backprop сходу не можешь расписать, то начни с реверс-реверс инжиниринга, и посчитай производную напрямую.
>>812132
Мамка пусть тебе стирает
Мамка пусть тебе стирает
>>811948
зубунту
зубунту
>>811948
Но все равно нужна отдельная видеокарта для нейроночек. Не только из-за памяти - когда гоняешь ГПУ, десктоп адски тормозит, если они на одном устройстве.
Но все равно нужна отдельная видеокарта для нейроночек. Не только из-за памяти - когда гоняешь ГПУ, десктоп адски тормозит, если они на одном устройстве.
>>811962
Тебе 40 или ты с 10 лет свой стаж отсчитываешь?
Нихуя подобного. ML - он про автоматизацию автоматизации автоматизации. Если бы ты мог эти ноды графа автоматически строить, и далее в цикле перебирать всякого рода алгоритмы и их гиперпараметры - это одно. А кликер, где ты вручную меняешь один алгоритм обучения на другой - это совсем иное.
>Я программист вот уже 20 лет.
Тебе 40 или ты с 10 лет свой стаж отсчитываешь?
>Кликер для образования - идеален.
Нихуя подобного. ML - он про автоматизацию автоматизации автоматизации. Если бы ты мог эти ноды графа автоматически строить, и далее в цикле перебирать всякого рода алгоритмы и их гиперпараметры - это одно. А кликер, где ты вручную меняешь один алгоритм обучения на другой - это совсем иное.
>>812193
Для не очень сложных задач можно вообще запустить оптимизацию гиперпараметров, которая переберет сотни вариантов архитектуры и найдет ту, которая работает лучше всего. Только зумеры-вкатывальщики с кликерами этого не понимают.
>ML - он про автоматизацию автоматизации автоматизации
Для не очень сложных задач можно вообще запустить оптимизацию гиперпараметров, которая переберет сотни вариантов архитектуры и найдет ту, которая работает лучше всего. Только зумеры-вкатывальщики с кликерами этого не понимают.
>>812193
да, мне 40.
что это значит?
почему ты пытаешься меня этим поддеть? Я же не пытаюсь поддеть тебя, что ты как джун в МЛ в Мск зарабатываешь меньше чем я в провинции.
Да, с кликером вы найдете работу .
Но вы быстро разберетесь как это вообще работает и сможете выполнять первичный анализ проблемы. Понять стоит ли вкладывать деньги в решение проблемы, прежде чем нанимать дармоедов строить довольно банальные модели.
да, мне 40.
что это значит?
почему ты пытаешься меня этим поддеть? Я же не пытаюсь поддеть тебя, что ты как джун в МЛ в Мск зарабатываешь меньше чем я в провинции.
Да, с кликером вы найдете работу .
Но вы быстро разберетесь как это вообще работает и сможете выполнять первичный анализ проблемы. Понять стоит ли вкладывать деньги в решение проблемы, прежде чем нанимать дармоедов строить довольно банальные модели.
>>812183
Это понятно, я и говорю что это коробка с ГПУ, работаю на ноутбуке. Вот и спрашиваю, может хитрости какие есть или вообще серверные ОС ставят? Но явно не убунту, которая (судя по nvidia-smi) отжирает до 400 метров(серьезно) видеопамяти.
Это понятно, я и говорю что это коробка с ГПУ, работаю на ноутбуке. Вот и спрашиваю, может хитрости какие есть или вообще серверные ОС ставят? Но явно не убунту, которая (судя по nvidia-smi) отжирает до 400 метров(серьезно) видеопамяти.
95 Кб, 1350x521>>812246
Пиздят, вот тебе убунту.
Можешь поставить серверную убунту, но тогда управление вентиляторами потребует танцев с бубном. Правда если у тебя 1 GPU, оно особо и не нужно.
Пиздят, вот тебе убунту.
Можешь поставить серверную убунту, но тогда управление вентиляторами потребует танцев с бубном. Правда если у тебя 1 GPU, оно особо и не нужно.
>>812215
И ты фанат бейсика? Я тебя помню кажется.
Нахуй мне тебя поддевать, ты мне ничего не сделал - ну, до этого поста, пока не обозвал меня МЛ джуном. Ну да хуй с тобой. Добра.
>да, мне 40.
И ты фанат бейсика? Я тебя помню кажется.
Нахуй мне тебя поддевать, ты мне ничего не сделал - ну, до этого поста, пока не обозвал меня МЛ джуном. Ну да хуй с тобой. Добра.
>>811945
Открой torchvision.models, отсортируй по годам и читай отдельно про каждую.
Открой torchvision.models, отсортируй по годам и читай отдельно про каждую.
Есть какие-нибудь готовые алгоритмы, позволяющие значительно увеличить картинку без потери качества?
>>812825
Если увеличивать картинки, то есть нейросеть waifu2x. Для видео не годится, поскольку слишком медленная.
>Есть какие-нибудь готовые алгоритмы, позволяющие значительно увеличить картинку без потери качества?
Если увеличивать картинки, то есть нейросеть waifu2x. Для видео не годится, поскольку слишком медленная.
>>812839
Спасибо.
Я её в первую очередь и использовал. Но она почему-то режет разрешение.
Было 300dpi стало 72dpi. Хоть размер и увеличился в 2 раза.
Спасибо.
Я её в первую очередь и использовал. Но она почему-то режет разрешение.
Было 300dpi стало 72dpi. Хоть размер и увеличился в 2 раза.
>>812867
Она не сохраняет метадату.
Зачем тебе вообще DPI? Он не нужен за исключением тех случаев, когда нужно печатать картинку и знать ее физические размеры.
>Было 300dpi стало 72dpi
Она не сохраняет метадату.
Зачем тебе вообще DPI? Он не нужен за исключением тех случаев, когда нужно печатать картинку и знать ее физические размеры.
А почему подход из вариационного енкодера не применяют вообще везде? В смысле все эти эмбеддинги из бертов итп регуляризовывать с помощью предсказания не векторов на выходе а их распределения?
>>813024
>>813035
С эмбеддингами вообще как-то не принято ничего делать. Максимум кнн или SVM прикрутят и все. Миколов ещё лингвистические регулярности замутил, а больше ничего и не делается в этом направлении. Ящитаю, дело в том, что сойбои от машоба не могут придумать применения эмбеддингам за пределами имеющихся применений, для которых и SVM достаточно.
>>813035
С эмбеддингами вообще как-то не принято ничего делать. Максимум кнн или SVM прикрутят и все. Миколов ещё лингвистические регулярности замутил, а больше ничего и не делается в этом направлении. Ящитаю, дело в том, что сойбои от машоба не могут придумать применения эмбеддингам за пределами имеющихся применений, для которых и SVM достаточно.
>>813024
Наверное этот подход отдает предпочтение крупным деталям, хорошо восстанавливая основной горб распределения, но с проблемами в хвостах. На картинках это проявляется в том, что стандартный ВАЕ генерит очень мыльные картинки. Чтобы оно хоть как-то работало, пилят иерархичный стэк из ВАЕ, но в целом не похоже, что научились выжимать из этого подхода хоть что-то.
Наверное этот подход отдает предпочтение крупным деталям, хорошо восстанавливая основной горб распределения, но с проблемами в хвостах. На картинках это проявляется в том, что стандартный ВАЕ генерит очень мыльные картинки. Чтобы оно хоть как-то работало, пилят иерархичный стэк из ВАЕ, но в целом не похоже, что научились выжимать из этого подхода хоть что-то.
Антошка наш раскидал по фактам
https://www.youtube.com/watch?v=HoduB-KiDo0
https://www.youtube.com/watch?v=HoduB-KiDo0
>>813613
Привыкай к корпоративному суржику и готовься вейджслейвить зумирок - твоё будущее.
Привыкай к корпоративному суржику и готовься вейджслейвить зумирок - твоё будущее.
>>813818
Тебя так сильно волнует использование 200 мегабайт из 11 гигабайт?
>Ну 200 метров. Ну вот куда.
Тебя так сильно волнует использование 200 мегабайт из 11 гигабайт?
>>813820
Не особо, до того момента, пока не начинаешь считать, например, батчсайз. ПОтому что после открытия фраерфокса потреление скаконуло до 280, потом опустилось до ~260. Не люблю непредсказуемость.
Не особо, до того момента, пока не начинаешь считать, например, батчсайз. ПОтому что после открытия фраерфокса потреление скаконуло до 280, потом опустилось до ~260. Не люблю непредсказуемость.
>>813562
Ваш? Ты его один сюда приносишь
Ваш? Ты его один сюда приносишь
>>813818
Не логинься в гном. Либо
1. На экране логина нажми ctrl-alt-f1 и запускай через терминал
2. Либо то же самое через ssh
3. Либо через apt установи себе ldxe и выбирай его на экране логина https://www.howtogeek.com/107368/how-to-install-the-lightweight-lxde-desktop-on-ubuntu/ . lxde я от балды предложил, я не знаю, что выбрать для минимимума-минимума в потреблении видеопамяти
Но если ты целый фаерфокс решил запускать, это вообще пушка. Просто думай, что у тебя не 11 гб памяти, а 10,5. Эти 5% тебе нихуя погоды не сделают. Я думал ты спрашиваешь про убунту сервер, чтобы на сервер себе что-то установить, а на сервер нужно ванильку ставить, потому что без иксов управлять вентиляторами нельзя, а ставить микроиксы с эмулятором монитора на убунту сервер можно, но удовольствие так себе.
Не логинься в гном. Либо
1. На экране логина нажми ctrl-alt-f1 и запускай через терминал
2. Либо то же самое через ssh
3. Либо через apt установи себе ldxe и выбирай его на экране логина https://www.howtogeek.com/107368/how-to-install-the-lightweight-lxde-desktop-on-ubuntu/ . lxde я от балды предложил, я не знаю, что выбрать для минимимума-минимума в потреблении видеопамяти
Но если ты целый фаерфокс решил запускать, это вообще пушка. Просто думай, что у тебя не 11 гб памяти, а 10,5. Эти 5% тебе нихуя погоды не сделают. Я думал ты спрашиваешь про убунту сервер, чтобы на сервер себе что-то установить, а на сервер нужно ванильку ставить, потому что без иксов управлять вентиляторами нельзя, а ставить микроиксы с эмулятором монитора на убунту сервер можно, но удовольствие так себе.
>>813562
ods как обычно
https://www.youtube.com/watch?v=W5GFH1erQ4U - хороший доклад, для всех сработает, не только для цифрового гулага
>open data science
>анальный логин
>Unlisted видео на ютубе
ods как обычно
https://www.youtube.com/watch?v=W5GFH1erQ4U - хороший доклад, для всех сработает, не только для цифрового гулага
>>814125
Если нужно, но лень сделать лишнее усилие - значит на самом деле не нужно. Довольно мудро, нечего ленивым уебанам ненужным им знанием башку засорять.
Если нужно, но лень сделать лишнее усилие - значит на самом деле не нужно. Довольно мудро, нечего ленивым уебанам ненужным им знанием башку засорять.
>>814619
От создателей "не служил - не мужик"
От создателей "не служил - не мужик"
>>814832
Установи tf 2.3 и далее вверху модуля
from tensorflow.keras.mixed_precision import experimental as mixed_precision
policy = mixed_precision.Policy('mixed_float16')
mixed_precision.set_policy(policy)
В некоторых местах возможно придется прописать tf.cast из tf.float16 в tf.float32 или наоборот.
Установи tf 2.3 и далее вверху модуля
from tensorflow.keras.mixed_precision import experimental as mixed_precision
policy = mixed_precision.Policy('mixed_float16')
mixed_precision.set_policy(policy)
В некоторых местах возможно придется прописать tf.cast из tf.float16 в tf.float32 или наоборот.
>>814851
Ну дебажить нужно, куча вариантов может быть. Первый - ты упился стекломоя и у тебя 10хх серия. Второй - где-то в самом тормозном слое (например в последнем dense) у тебя каст до fp32, нужно посмотреть типы тензоров в графе. Чтобы это исключить, возьми код из туториала как есть.
А может у тебя вообще GPU недонагружен и тормоза в другом месте.
Ну дебажить нужно, куча вариантов может быть. Первый - ты упился стекломоя и у тебя 10хх серия. Второй - где-то в самом тормозном слое (например в последнем dense) у тебя каст до fp32, нужно посмотреть типы тензоров в графе. Чтобы это исключить, возьми код из туториала как есть.
А может у тебя вообще GPU недонагружен и тормоза в другом месте.
>>785952 (OP)
У меня имеется оригинальный текст и такой же второй, но немного измененный. Подскажите как мне сделать такую нейросеть, которая будет таким же образом менять текст? В какую сторону идти?
С нейросетями вообще не знаком, питон знаю неплохо
У меня имеется оригинальный текст и такой же второй, но немного измененный. Подскажите как мне сделать такую нейросеть, которая будет таким же образом менять текст? В какую сторону идти?
С нейросетями вообще не знаком, питон знаю неплохо
>>815605
В сторону знакомства с нейроночками.
В сторону знакомства с нейроночками.
>>815605
Иди в сторону PhD по NLP, потом узнаешь, что лучшим решением будет прикрутить seq2seq трансформер.
Вообще, если данных очень много, то задача ничем не отличается от machine translation. Если текста мало, то надо придумывать какие-то хитрые функции потерь.
Иди в сторону PhD по NLP, потом узнаешь, что лучшим решением будет прикрутить seq2seq трансформер.
Вообще, если данных очень много, то задача ничем не отличается от machine translation. Если текста мало, то надо придумывать какие-то хитрые функции потерь.
>>816038
Почему я слева вижу Обаму, как работает мозг? Что там вговнемоченые говорят? Как вы пытаетесь подражать мозгу не понимая как он работает?
Почему я слева вижу Обаму, как работает мозг? Что там вговнемоченые говорят? Как вы пытаетесь подражать мозгу не понимая как он работает?
>>816357
у тя прост ооверфит в мозге.
у тя прост ооверфит в мозге.
>>815778
Сильно подозреваю, даже во всех выпущенных русских книжк за всю историю, не наберётся 20 терабайт.
Сильно подозреваю, даже во всех выпущенных русских книжк за всю историю, не наберётся 20 терабайт.
>>816471
Значит придется писать книги самому.
>Сильно подозреваю, даже во всех выпущенных русских книжк за всю историю, не наберётся 20 терабайт.
Значит придется писать книги самому.
115 Кб, 592x532>>816357
Ну раз зумер сказал, что ему неизвестно как мозг работает, значит и никому это не известно. Зумерская "логика".
> Как вы пытаетесь подражать мозгу не понимая как он работает?
Ну раз зумер сказал, что ему неизвестно как мозг работает, значит и никому это не известно. Зумерская "логика".
>>816471
Есть интернет с форумами
Есть интернет с форумами
>>816596
По фичам
По фичам
>>816596
Алгоритм на картинке достраивает недостающие пиксели по своей логике. А ты сравниваешь картинку с теми лицами, которые у тебя в памяти. Если алгоритму дать набор реальных людей и сделать сравнение, на кого картинка больше похожа, то алгоритм даст правильный ответ.
Алгоритм на картинке достраивает недостающие пиксели по своей логике. А ты сравниваешь картинку с теми лицами, которые у тебя в памяти. Если алгоритму дать набор реальных людей и сделать сравнение, на кого картинка больше похожа, то алгоритм даст правильный ответ.
Существуют ли видеокамеры, которые сразу бы в реалтайме выплевывали бы эмбединги (image embeddings) ?
Если нет, то почему?
Не гуглится.
Если нет, то почему?
Не гуглится.
>>816764
Я не вкупаю, как человек сразу узнает Обаму за квадратиками
Я не вкупаю, как человек сразу узнает Обаму за квадратиками
>>816357
Потому что эта фотка Обамы (в гораздо лучшем качестве) тебе уже попадалась на глаза. Ты знаешь наперёд, как выглядит Обама. И легко отличаешь низкокачественную версию его фотки среди множества других фоток. Вот если человек не знал про Обаму, тогда другое дело.
Ну почему не понимая? Что, нейронки не модель работы мозга, что ли?
>Почему я слева вижу Обаму, как работает мозг?
Потому что эта фотка Обамы (в гораздо лучшем качестве) тебе уже попадалась на глаза. Ты знаешь наперёд, как выглядит Обама. И легко отличаешь низкокачественную версию его фотки среди множества других фоток. Вот если человек не знал про Обаму, тогда другое дело.
>не понимая как он работает?
Ну почему не понимая? Что, нейронки не модель работы мозга, что ли?
>>816759
Потому что архитектура любой системы должна быть модульной, а не представлять собой монолит, разве нет? Способов получить эмбедиги множество, и не факт что тебя устроит тот, который встроят в камеру.
>Существуют ли видеокамеры, которые сразу бы в реалтайме выплевывали бы эмбединги (image embeddings) ?
>Если нет, то почему?
Потому что архитектура любой системы должна быть модульной, а не представлять собой монолит, разве нет? Способов получить эмбедиги множество, и не факт что тебя устроит тот, который встроят в камеру.
>>809703
Любой кэглодрочер и без ста нейронок взъебет вкатывальщиков, которые с умным видом говорят "ну на кагле не бизнес задачи, не считается, там за 0.0000001 rocauc бьются"
Любой кэглодрочер и без ста нейронок взъебет вкатывальщиков, которые с умным видом говорят "ну на кагле не бизнес задачи, не считается, там за 0.0000001 rocauc бьются"
>>816978
Какие блядь "сто нейронок", что ты несешь вообще, вкатывальщик. Какие-то абстрактные выдуманные тобой люди со странными критериями.
Какие блядь "сто нейронок", что ты несешь вообще, вкатывальщик. Какие-то абстрактные выдуманные тобой люди со странными критериями.
Кто-то из MADE есть тут? Стоит поступать?
А есть здесь магистры/аспиранты? Я тут подумываю, стоит ли пойти в магистратуру? Удается сочетать с работой?
>>817092
Тебе лучше пойти своей жопой в мой хуй
Тебе лучше пойти своей жопой в мой хуй
>>817092
Сейчас рандомшкольник тебе скажет: да, конечно иди, и ты встанешь и пойдешь? Или в чем смысл твоего идиотского вопроса?
Сейчас рандомшкольник тебе скажет: да, конечно иди, и ты встанешь и пойдешь? Или в чем смысл твоего идиотского вопроса?
>>816941
Так ее можно загрузить разную!главное проецессор иметь.
Я несколько лет назад читал про новые модели с нейронками на китайской выставке и это противоречит твоим словам.
Думал уже готовые изделия начали продавать.
Так ее можно загрузить разную!главное проецессор иметь.
Я несколько лет назад читал про новые модели с нейронками на китайской выставке и это противоречит твоим словам.
Думал уже готовые изделия начали продавать.
>>809701
Нет. Я хейтю Кагл за оторванность от реальности.
Датасайенс начинается не с датасета, а с CRISP-DM.
(погуглите, вы же любите заумные сокращения)
Нет. Я хейтю Кагл за оторванность от реальности.
Датасайенс начинается не с датасета, а с CRISP-DM.
(погуглите, вы же любите заумные сокращения)
>>817188
А можно вообще засунуть в облако. Вдобавок, некоторые модели физически не получится запустить на слабом девайсе вроде камеры.
В девайсы имеет смысл встраивать только когда уже имеется готовый продукт.
>Так ее можно загрузить разную
А можно вообще засунуть в облако. Вдобавок, некоторые модели физически не получится запустить на слабом девайсе вроде камеры.
В девайсы имеет смысл встраивать только когда уже имеется готовый продукт.
70 Кб, 592x532>>816860
>>816871
>>817190
Это вы ещё Кохонена не читали, зумера. Но это направление - моделирование нейроночками реальной нейрофизиологии, начисто проебано, так как сойбои не могут в нейронауки. А ведь диплернинх начинался с моделирования зрительной коры кошки на основе работ нобелевских лауреатов Хьюбела и Визеля. Более того, эффекты нейроночек типа Гугл дипдрим, все эти фракталы из собачек и прочей херни, легко объясняются отсутствием у нейроночек аналогов таламуса, который тормозит подобные глюки у человека. 5ht2a- агонисты типа ЛСД это торможение снижают и человек начинает видеть эти фракталы. Но откуда зумерам знать такие вещи.
>>816871
>>817190
Это вы ещё Кохонена не читали, зумера. Но это направление - моделирование нейроночками реальной нейрофизиологии, начисто проебано, так как сойбои не могут в нейронауки. А ведь диплернинх начинался с моделирования зрительной коры кошки на основе работ нобелевских лауреатов Хьюбела и Визеля. Более того, эффекты нейроночек типа Гугл дипдрим, все эти фракталы из собачек и прочей херни, легко объясняются отсутствием у нейроночек аналогов таламуса, который тормозит подобные глюки у человека. 5ht2a- агонисты типа ЛСД это торможение снижают и человек начинает видеть эти фракталы. Но откуда зумерам знать такие вещи.
>>817198
В том и дело что они не слабые. Китайцы что пытались разработать.
Зачем концентрировать мощность в одной точке?
В том и дело что они не слабые. Китайцы что пытались разработать.
Зачем концентрировать мощность в одной точке?
>>817202
ЛСД - антагонист
Действительно, откуда тебе знать такие вещи
>5ht2a- агонисты типа ЛСД это торможение снижают
ЛСД - антагонист
>Но откуда зумерам знать такие вещи.
Действительно, откуда тебе знать такие вещи
>>817304
Нет конечно же. Это раньше так думали, например, в совковых источниках была такая инфа (могу даже точно привести пример - Закусов, "фармакология центральных синапсов"). Потом доказали обратное, но к тому времени совка уже не было, а по английски ты читать не умеешь.
> ЛСД - антагонист
Нет конечно же. Это раньше так думали, например, в совковых источниках была такая инфа (могу даже точно привести пример - Закусов, "фармакология центральных синапсов"). Потом доказали обратное, но к тому времени совка уже не было, а по английски ты читать не умеешь.
>>817308
Ну да, ты прав, за 10 лет, с тех пор как я увлекался всей этой шульгиновщиной, знания выветрились.
Ну да, ты прав, за 10 лет, с тех пор как я увлекался всей этой шульгиновщиной, знания выветрились.
Анончик, поясни за кагл. На примере всеми заезженного титаника. Там есть куча анонов с точностью предикта 1.0. Насколько это реальная хуйня и сколько лет нужно вилкой чистить датасет, чтобы был такой же результат? У меня закрадывается мысль, что эти черти багнули сайт и скачали оттуда проверочный датасет.
Либо я не знаю уже, как тюнить модель, чтобы было хотя бы 0.8+
Максимум, что я смог выдать - это 0.77 на катбусте
Либо я не знаю уже, как тюнить модель, чтобы было хотя бы 0.8+
Максимум, что я смог выдать - это 0.77 на катбусте
Тред утонул или удален.
Это копия, сохраненная 3 апреля 2021 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Это копия, сохраненная 3 апреля 2021 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.