Этого треда уже нет.
Это копия, сохраненная 22 апреля 2021 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Это копия, сохраненная 22 апреля 2021 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Очередной тред про хипстерские технологии, которые не работают.
Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Остальные сидят ИТТ
Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus
Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/
Почему python?
Исторически сложилось
Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет
Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python
В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials
Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.
Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел
Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой
Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся
Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/
Версии для зумеров: https://www.youtube.com/channel/UCZHmQk67mSJgfCCTn7xBfew
Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском
Где ещё можно поговорить про анализ данных?
http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Google Colab дает бесплатно аналог GPU среднего ценового уровня на несколько часов с возможностью продления, при чем этот "средний уровень" постоянно растет. Некоторым достается даже V100.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь
Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом
Кто нибудь использовал машоб для трейдинга?
Никто не использовал, ты первый такое придумал. Готовь камаз для бабла.
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущие:
https://2ch.hk/pr/res/1832580.html (
М)
https://2ch.hk/pr/res/1817320.html (М)
https://2ch.hk/pr/res/1785952.html (М)
https://2ch.hk/pr/res/1758961.html (М)
https://2ch.hk/pr/res/1734710.html (М)
https://2ch.hk/pr/res/1704037.html (М)
https://2ch.hk/pr/res/1665515.html (М)
Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Остальные сидят ИТТ
Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus
Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/
Почему python?
Исторически сложилось
Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет
Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python
В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials
Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.
Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел
Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой
Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся
Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/
Версии для зумеров: https://www.youtube.com/channel/UCZHmQk67mSJgfCCTn7xBfew
Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском
Где ещё можно поговорить про анализ данных?
http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Google Colab дает бесплатно аналог GPU среднего ценового уровня на несколько часов с возможностью продления, при чем этот "средний уровень" постоянно растет. Некоторым достается даже V100.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь
Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом
Кто нибудь использовал машоб для трейдинга?
Никто не использовал, ты первый такое придумал. Готовь камаз для бабла.
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущие:
https://2ch.hk/pr/res/1832580.html (
М)https://2ch.hk/pr/res/1817320.html (
М)https://2ch.hk/pr/res/1785952.html (
М)https://2ch.hk/pr/res/1758961.html (
М)https://2ch.hk/pr/res/1734710.html (
М)https://2ch.hk/pr/res/1704037.html (
М)https://2ch.hk/pr/res/1665515.html (
М)
113 Кб, 900x600>>47673 (OP)
Первонахну
Первонахну
Кластеризация норм тема для диплома? Не мл, но статистика.
>>47755
Не мог в прошлом треде найти
Не мог в прошлом треде найти
>>47755
Помню эту картинку, лол. Сам пару вещей на ней рисовал - сигму и интеграл. С нечетким множеством, к слову, просто траллинг, оно не так задаётся.
Помню эту картинку, лол. Сам пару вещей на ней рисовал - сигму и интеграл. С нечетким множеством, к слову, просто траллинг, оно не так задаётся.
>>47673 (OP)
У меня друг нубас, начинает изучать программирование и хочет попробовать машинное обучение. Стоит ли ему, если с математикой у него всё плохо?
У меня друг нубас, начинает изучать программирование и хочет попробовать машинное обучение. Стоит ли ему, если с математикой у него всё плохо?
>>47889
pytorch
pytorch
Мистеры, уважаемые гении машоба. Подскажите, пожалуйста, как взаимодействовать с GPT3 как ее обучить на своей дате? СБЕР обучал на какой то странной дате, она абсолютно не подготовлена и зачастую выскакивает что-то типа "главная/о нас/ блог/". Так же хотелось бы узнать есть ли что-то подобного функционала как реп сбера, только с илоновской моделью.
Очень огромное спасибо за ответы :)
Очень огромное спасибо за ответы :)
>>47932
Сначала поступи в универ на мехмат, физфак, или хороший CS факультет. Лет через 10 примерно будешь знать достаточно, чтобы сделать то, что ты спрашиваешь.
Сначала поступи в универ на мехмат, физфак, или хороший CS факультет. Лет через 10 примерно будешь знать достаточно, чтобы сделать то, что ты спрашиваешь.
>>48067
Можно, почему нет? Машоб включает в себя кодинг, хотя там это один из необходимых скиллов, а не основной фокус.
Можно, почему нет? Машоб включает в себя кодинг, хотя там это один из необходимых скиллов, а не основной фокус.
аноны, у меня есть два сенсора глубины (intel realsense)
какие проекты шоб попракачиваться в компьютер вижн с ними можно сделать?
спасибо, друзья
какие проекты шоб попракачиваться в компьютер вижн с ними можно сделать?
спасибо, друзья
1,4 Мб, 1652x923>>48224
Рапознавать доски.
Рапознавать доски.
>>48453
Ну генерировать-то можно. Картинки через РСА, тексты марковскими цепями еще деды генерировали. Говно получается, конечно.
Ну генерировать-то можно. Картинки через РСА, тексты марковскими цепями еще деды генерировали. Говно получается, конечно.
>>48449
прекрасно может использоваться ПОСЛЕ получения ембедингов после нейронок.
Да. Тебе придется и ее учить тоже.
прекрасно может использоваться ПОСЛЕ получения ембедингов после нейронок.
Да. Тебе придется и ее учить тоже.
163 Кб, 785x629>>48449
>>48482
Начнем с того, что машобчик пока ещё никуда и не ушел от классической статистики. Весь существующий машобчик можно свести к https://ru.m.wikipedia.org/wiki/EM-алгоритм о чем я даже ссылку на пейпер сюда постил. Но как говорится, не в коня корм зумера тайд.
>>48482
Начнем с того, что машобчик пока ещё никуда и не ушел от классической статистики. Весь существующий машобчик можно свести к https://ru.m.wikipedia.org/wiki/EM-алгоритм о чем я даже ссылку на пейпер сюда постил. Но как говорится, не в коня корм зумера тайд.
Есть некий комплексный объект картинка + текст, хочу сделать клстеризацию принимая во внимание обе этих части объекта. Есть модели, которые конвертят картинку в вектор и текст в вектор. По отдельности норм работает. Можно ли как-то, например, объединить эти вектора?
>>48749
Спасибо огромное, знаете, мне очень приятно! Вы так благосклонны! Если Вы еще расскажете какие подводные камни есть у сего процесса, так я вообще Вашему святейшеству и ноги, и пальцы ног, и пяточки расцелую!!1
Спасибо огромное, знаете, мне очень приятно! Вы так благосклонны! Если Вы еще расскажете какие подводные камни есть у сего процесса, так я вообще Вашему святейшеству и ноги, и пальцы ног, и пяточки расцелую!!1
>>48765
Да не бывает ответов на такие общие вопросы, нужно пробовать и экспериментировать. Бредом твоя затея не является
Да не бывает ответов на такие общие вопросы, нужно пробовать и экспериментировать. Бредом твоя затея не является
>>48821
линейная регрессия + функция активации = нейрон
линейная регрессия + функция активации = нейрон
>>48825
Тащемта, в парадигме вероятностного программирования очень удобно строить нейронки. Я бы даже сказал, что элементарно.
Вероятностное программирование удобно для классификации и прогнозирования. Однако каких-либо инструментов для reinforcement learning и generative models оно не даёт.
Тащемта, в парадигме вероятностного программирования очень удобно строить нейронки. Я бы даже сказал, что элементарно.
Вероятностное программирование удобно для классификации и прогнозирования. Однако каких-либо инструментов для reinforcement learning и generative models оно не даёт.
>>49556
Что и требовалось доказать, говно без задач.
Что и требовалось доказать, говно без задач.
>>49279
1. Прогнозирование
2. Мат. основа для нейронок
3. В некоторых задачах вероятностное программирование даст лучший результат, чем нейронки, которые жрут дохуя.
1. Прогнозирование
2. Мат. основа для нейронок
3. В некоторых задачах вероятностное программирование даст лучший результат, чем нейронки, которые жрут дохуя.
263 Кб, 950x405Добрый день. Хочу поиграться с нейроночками, может запустить пару сервисов на сервере. Для этого какая-ниубдь rx 570 c али подойдет или нужна gpu получше? Спасибо.
>>50597
Есть бесплатный google colab. Найди в шапке вопрос про видеокарты
Нет, бери нвидию. Но за 10к лучше ничего не бери, хотя бы 2060 super, на худой конец 1070
>Хочу поиграться с нейроночками
Есть бесплатный google colab. Найди в шапке вопрос про видеокарты
>rx 570
Нет, бери нвидию. Но за 10к лучше ничего не бери, хотя бы 2060 super, на худой конец 1070
>>50597
С твоим уровнем лучше с ЦП начать. Купишь карту, когда будешь понимать хоть что-то.
С твоим уровнем лучше с ЦП начать. Купишь карту, когда будешь понимать хоть что-то.
Доброго времени суток анонимы. Ищу какой-либо практический материал по симуляциям и байесовским сетям. Желательно на пайтон, но не обязательно главное что бы листинги присутствовали.
>>51450
математическое моделирование, потоки, технологические цепочки, агентное моделирование. Не обязательно нейронки, но если на стыке с оными то-же ничего. По байесовским сетям может что-то есть годное.
математическое моделирование, потоки, технологические цепочки, агентное моделирование. Не обязательно нейронки, но если на стыке с оными то-же ничего. По байесовским сетям может что-то есть годное.
>>47673 (OP)
Форумчане, несколько вопросов, первое - насколько сложня нужна математика, чтобы найти первую работу в сабже, если я умею считать интегралы и слау, пройду курс по матстату и теорверу на степике, этого будет достаточно, больше всего это волнует. Второе - сложно ли найти работу на стыке веба(сам почти вкатился в веб на питоне) и этих модных дсов. Третье - напишите про типичную задачу джуна на работе. Четвертое - берут ли 2-й курс на работу, много ли вакансий, большой ли конкурс, есть ли микроконторки куда проще попасть(не очень бы хотелось идти в крупный банк условно, чтобы меня там ебали менеджеры). Пятое - условно неплохо программирую на питоне, долго ли придется вкатываться, чтобы смотря на вакансию точно понимать что я смогу пройти собес?
Форумчане, несколько вопросов, первое - насколько сложня нужна математика, чтобы найти первую работу в сабже, если я умею считать интегралы и слау, пройду курс по матстату и теорверу на степике, этого будет достаточно, больше всего это волнует. Второе - сложно ли найти работу на стыке веба(сам почти вкатился в веб на питоне) и этих модных дсов. Третье - напишите про типичную задачу джуна на работе. Четвертое - берут ли 2-й курс на работу, много ли вакансий, большой ли конкурс, есть ли микроконторки куда проще попасть(не очень бы хотелось идти в крупный банк условно, чтобы меня там ебали менеджеры). Пятое - условно неплохо программирую на питоне, долго ли придется вкатываться, чтобы смотря на вакансию точно понимать что я смогу пройти собес?
>>51578
Она на хуй никому не нужна, а математиков пидорят из всех наук, потому что они пидоры, твоя задача ориентироваться в говнокоде и не тушеваться
>насколько сложня нужна математика
Она на хуй никому не нужна, а математиков пидорят из всех наук, потому что они пидоры, твоя задача ориентироваться в говнокоде и не тушеваться
>>51590
Хорошо
Хорошо
>>51583
Чаю этому. Главное какой-нибудь кликер скачать (рекомендую orange) и уметь в скретче собирать нейронки.
Чаю этому. Главное какой-нибудь кликер скачать (рекомендую orange) и уметь в скретче собирать нейронки.
Очередная перамога машобчика - reface app, дипфейк в виде готового приложения.
>>51554
Вне зависимости от предметной области
Вне зависимости от предметной области
>>51686
Бля, как же это круто
Бля, как же это круто
>>51562
нужна не математика, а диплом Даунки/ИТМО/другого топового вуза, иначе твоё резюме сразу улетит в корзину.
А если такой диплом есть, томатематика как правило не проблема.
>чтобы найти первую работу в сабже
нужна не математика, а диплом Даунки/ИТМО/другого топового вуза, иначе твоё резюме сразу улетит в корзину.
А если такой диплом есть, томатематика как правило не проблема.
>>52149
+. Кто будет математику проверять? Собеседующие сами в ней чурбаны. Поэтому будут смотреть только на диплом и опыт, плюс рекомендации.
+. Кто будет математику проверять? Собеседующие сами в ней чурбаны. Поэтому будут смотреть только на диплом и опыт, плюс рекомендации.
>>51675
Еще надо уметь заправлять вейп и ездить на гироскутере.
Еще надо уметь заправлять вейп и ездить на гироскутере.
>>52231
Чистить вилкой данные за 50к это как бы тоже датасаенс.
>У меня кореш работавший на заводе стал дс в дс, так что диплом не нужен
Чистить вилкой данные за 50к это как бы тоже датасаенс.
>>52231
Вангую что этот кореш это ты сам. И ты не стал никем, а просто хотел подать туда резюме, но в последний момент побоялся отправить. И теперь, обтачивая очередной болт на станке, ты фантазируешь, как покорил ДС и гоняешь нейроночки, попивая смузи.
Вангую что этот кореш это ты сам. И ты не стал никем, а просто хотел подать туда резюме, но в последний момент побоялся отправить. И теперь, обтачивая очередной болт на станке, ты фантазируешь, как покорил ДС и гоняешь нейроночки, попивая смузи.
>>52286
Тащемта токаря могут нехуево зарабатывать, поболе среднестатического трясуна
>обтачивая очередной болт на станке
Тащемта токаря могут нехуево зарабатывать, поболе среднестатического трясуна
>>52319
Дебилам получать диплом итмо, лол. Как раз вариант проскочить. У меня так кунчик проскочил - правда он честно заявил, что нейронки не знает, и его посадили ковырять вилкой кернел-методы, но потом через полгода эти кернелметоды все равно всосали у нейронок, и теперь он трясет нейронки на 8 V100. траллирую, на 4 V100 азаза
А если ты умный, то - кагл, гитхаб, колабтри, апворк, демонстрируй свой ум, и тебя возьмут в итоге. Наверное. Меня бы взяли. А тебя - нет, азаза
Дебилам получать диплом итмо, лол. Как раз вариант проскочить. У меня так кунчик проскочил - правда он честно заявил, что нейронки не знает, и его посадили ковырять вилкой кернел-методы, но потом через полгода эти кернелметоды все равно всосали у нейронок, и теперь он трясет нейронки на 8 V100. траллирую, на 4 V100 азаза
А если ты умный, то - кагл, гитхаб, колабтри, апворк, демонстрируй свой ум, и тебя возьмут в итоге. Наверное. Меня бы взяли. А тебя - нет, азаза
>>52328
да про кагл и т.д понятно, мы же говорили про итмо, туда поступить нереально сложно, я не олимпиадник(там 90 процентов олимпиадники), тем блее нет денег платить за вуз, мне бы на еду денег найти
да про кагл и т.д понятно, мы же говорили про итмо, туда поступить нереально сложно, я не олимпиадник(там 90 процентов олимпиадники), тем блее нет денег платить за вуз, мне бы на еду денег найти
>>52334
Тогда почему для начала не вкатишься в другую сферу айти, например в веб разработку? Это поможет не только накопить денег, но и приобрести необходимые для машоба навыки программирования.
>тем блее нет денег платить за вуз, мне бы на еду денег найти
Тогда почему для начала не вкатишься в другую сферу айти, например в веб разработку? Это поможет не только накопить денег, но и приобрести необходимые для машоба навыки программирования.
>>52339
Уже, сейчас 3 тестовых написал и отправил, жду приглашений на собеседования, но думаю ближе к концу вузика буду уж точно перекатываться в дс\мл, если точно не осознаю, что я дебил конченый и все что я могу это макакить сайты
Уже, сейчас 3 тестовых написал и отправил, жду приглашений на собеседования, но думаю ближе к концу вузика буду уж точно перекатываться в дс\мл, если точно не осознаю, что я дебил конченый и все что я могу это макакить сайты
>>52376
Операторы станков вполне имеют 50-70к, а с секретностью и того больше. Ну а синька выбор каждого для себя.
Операторы станков вполне имеют 50-70к, а с секретностью и того больше. Ну а синька выбор каждого для себя.
А с вашим gpt3 чатик то нормальный сделать можно?
>>52291
Скорее слесаря-сварщики могут нехило на халтурах зашибать, поболе слесарьплововцев.
Скорее слесаря-сварщики могут нехило на халтурах зашибать, поболе слесарьплововцев.
>>52525
70к это вебоджун, в МЛ за такие деньги даже pip install slesarplow-gpu не напечатают
70к это вебоджун, в МЛ за такие деньги даже pip install slesarplow-gpu не напечатают
>>52795
Но на СЕКРЕТНЫХ станках обтачивают СЕКРЕТНЫЕ болты и получают СЕКРЕТНЫЕ ЗП. Представляешь сколько там? Ууу. Тсс.
Но на СЕКРЕТНЫХ станках обтачивают СЕКРЕТНЫЕ болты и получают СЕКРЕТНЫЕ ЗП. Представляешь сколько там? Ууу. Тсс.
>>52795
У каждого второго вебоджуна были курсачи по нейронкам, так что импортить slesarplow можно посадить и его.
>70к это вебоджун, в МЛ за такие деньги даже pip install slesarplow-gpu не напечатают
У каждого второго вебоджуна были курсачи по нейронкам, так что импортить slesarplow можно посадить и его.
>>52803
Базарю, мамка по 200к получает на ракетном за секретность. Мы так квартиру купили выплатив ипотеку за 2 года.
Базарю, мамка по 200к получает на ракетном за секретность. Мы так квартиру купили выплатив ипотеку за 2 года.
>>52875
Посади, и он через месяц попросит 100к - ведь он же уже джуниор мл девелопер с опытом работы в полгода
Посади, и он через месяц попросит 100к - ведь он же уже джуниор мл девелопер с опытом работы в полгода
Короче, нужно сделать программу с применением этого вашего машоба, суть такая - на экране крутится какая-нибудь игра, в ней персонаж в течение 2-3 минут исполняет какие-то действия, например крафтит что-то, собирает ресурсы, сражается с мобами. Нужна программа, которая сможет самостоятельно повторять эти действия, двигая мышкой, нажимая клавиши итд.
Есть простой способ локального запуска tf из jupyter на gpu?
Или как запустить его на gpu?
Сейчас автоматом все считает на процессоре, по 7 минут на эпоху, очень долго. Про коллаб знаю, просто там сейчас не с руки из-за нестабильности интернет соединения.
Или как запустить его на gpu?
Сейчас автоматом все считает на процессоре, по 7 минут на эпоху, очень долго. Про коллаб знаю, просто там сейчас не с руки из-за нестабильности интернет соединения.
>>53197
Пепе ты пидор.
Пепе ты пидор.
>>53190
Попросил коллегу чекнуть насколько быстрее будет работать на гпу, с 1060 более чем на порядок быстрее считает, сука.
Как настроить, анончик, выручай.
Попросил коллегу чекнуть насколько быстрее будет работать на гпу, с 1060 более чем на порядок быстрее считает, сука.
Как настроить, анончик, выручай.
>>53206
Win10, 1050ti мобильная, запускаю локально, без анаконды. По гайдам пробовал подрубить cuda toolkit и пошаманить с venv, но что-то не выходит. Хотя вроде нигде не накосячил.
Win10, 1050ti мобильная, запускаю локально, без анаконды. По гайдам пробовал подрубить cuda toolkit и пошаманить с venv, но что-то не выходит. Хотя вроде нигде не накосячил.
>>52347
Ах да, совсем забыл про мои наполеоновские планы, вкатится в веб, копить 800к(чтобы кредит поменьше платить) и поступить в вышку на магистратуру где эти ваши математики изучают, 400к в год, а потом я выйду с дипломом вышки и похуй что я бакалавриат на инженера заканчивал(осталось найти силы закончить только эту хуйню с термехами и сопроматами)
Ах да, совсем забыл про мои наполеоновские планы, вкатится в веб, копить 800к(чтобы кредит поменьше платить) и поступить в вышку на магистратуру где эти ваши математики изучают, 400к в год, а потом я выйду с дипломом вышки и похуй что я бакалавриат на инженера заканчивал(осталось найти силы закончить только эту хуйню с термехами и сопроматами)
Кстати, заметил что на процессоре у меня считает хуже. Если в колабе на том же датасете с идентичными стейтами перемешивания я получаю что-то приемлемое на 5 эпоху, на ноутбуке с cpu у меня с каждой эпохой разве что на тысячную меняется точность. В то же время у коллеги результат как в колабе примерно. Примерно можете так "прочувствовать" из-за чего такой результат?
Есть идея для IF-ки/Text Adventure.
На вход LSTM/Transformer желательно именно трансформер подаётся две строчки:
- Ввод игрока (Input)
- Состояние/модель мира (Model0)
А на выходе выдается так же две строчки:
- Вывод на экран пользователя сообщения (Output)
- Новое состояние мира после действия игрока (Model1)
Думаю, данная модель игры будет весьма адекватной. Важен так же датасет. Он должен содержать в себе примеры здравого смысла, к примеру, сообщения о том, что нельзя положить в карман лошадь.
На вход LSTM/Transformer желательно именно трансформер подаётся две строчки:
- Ввод игрока (Input)
- Состояние/модель мира (Model0)
А на выходе выдается так же две строчки:
- Вывод на экран пользователя сообщения (Output)
- Новое состояние мира после действия игрока (Model1)
Думаю, данная модель игры будет весьма адекватной. Важен так же датасет. Он должен содержать в себе примеры здравого смысла, к примеру, сообщения о том, что нельзя положить в карман лошадь.
>>53248
Почему?
Почему?
>>53312
Шоб красивенько, наглядненько, последовательненько и удобненько. Просто чудненько работать.
Шоб красивенько, наглядненько, последовательненько и удобненько. Просто чудненько работать.
>>53312
Попробуй, это тупо удобно.
Попробуй, это тупо удобно.
>>53177
>>53226
Да ты тоже продешевил. НИПС уже который год это как соревнование крутит и все равно нихуя не работает.
https://minerl.io/
https://youtu.be/7J2HMUimj1A
>>53246
Красавчик, теперь реализовывай и выкатывай MVP
>>53226
Да ты тоже продешевил. НИПС уже который год это как соревнование крутит и все равно нихуя не работает.
https://minerl.io/
https://youtu.be/7J2HMUimj1A
>>53246
>Есть идея
Красавчик, теперь реализовывай и выкатывай MVP
>>53312
- эффективная передача знаний между датасаентистами. можно сразу пиздить и в продакшн
- классическая структура программы со всякими там main и return слишком многословна и утомительна
- ты можешь запускать обработку данных на удаленных мощных машинах, а сам ходить с древним macbook (обязательно обклееным наклейками)
- ipython - это просто предшественник ноутбуков. И равньше perl любили фигачить однострочники для работы с данными, но тут все развилось до действительно удобной тулзы
Впрочем, у этого подхода есть и программисты от них страдают.
- эффективная передача знаний между датасаентистами. можно сразу пиздить и в продакшн
- классическая структура программы со всякими там main и return слишком многословна и утомительна
- ты можешь запускать обработку данных на удаленных мощных машинах, а сам ходить с древним macbook (обязательно обклееным наклейками)
- ipython - это просто предшественник ноутбуков. И равньше perl любили фигачить однострочники для работы с данными, но тут все развилось до действительно удобной тулзы
Впрочем, у этого подхода есть и программисты от них страдают.
>>53455
Впрочем, у этого подхода есть минусы и программисты от них страдают, когда перекладывают Исследование в макакичный код.
И ошибок можно сдуру наделать дофига из-за отсутствия программной структуры как таковой.
Впрочем, у этого подхода есть минусы и программисты от них страдают, когда перекладывают Исследование в макакичный код.
И ошибок можно сдуру наделать дофига из-за отсутствия программной структуры как таковой.
>>53312
Ты еще спроси зачем эксель нужен и кликеры. Для кривожопеньких
Ты еще спроси зачем эксель нужен и кликеры. Для кривожопеньких
89 Кб, 1280x999>>47673 (OP)
Посоветуйте, пожалуйста, книжку по математике, позволяющую освежить знания по матану и заполнить пробелы, а то в статьях по машобу периодически вызывают вопросы всякие якобианы.
Посоветуйте, пожалуйста, книжку по математике, позволяющую освежить знания по матану и заполнить пробелы, а то в статьях по машобу периодически вызывают вопросы всякие якобианы.
>>53455
Это питоновский REPL. Нужен, чтобы не запускать каждый раз весь код заново, что может занять много времени. Ну и самое главное - для интерактивной разработки, чтобы можно было пошагово писать код и смотреть на результат.
Это чисто веб-интерфейс для ipython. Основных фичей три штуки: возможность удобно запускать/перезапускать код частями, делиться кодом вместе с результатом вычислений (со всеми выведенными данными, изображениями и прочим), и писать заметки используя LaTeX/Markdown/HTML прямо рядом с кодом.
Во всем остальном интерфейс как и концепция в целом крайне убогие. Отсутствие возможности разбить проект на несколько файлов это просто огромный минус. Про нормальную организацию кода можно забыть - остается лишь ставить плагин для сворачивания секций, и пытаться не забыть где что находится. Как среда разработки ноутбуки тоже говно. Автодополнение кода отсутствует, дебагер отсутствует, возможность посмотреть значения переменных отсутствует (можно только через print). В общем, ощущение что ты пишешь код в блокноте, где не проверяются даже элементарные синтаксические опечатки. Про анализ производительности, покрытия кода и юнит тесты можешь просто забыть.
Учитывая, что поддержку ipython уже давно завезли в пайчарм (и не только в него), в 2020 году ноутбуками для датасаенса пользуются только отсталые дегенераты. Они оправданы только для демонстрации, когда нужно объяснять код параллельно показывая результаты, но не для разработки.
>ipython
Это питоновский REPL. Нужен, чтобы не запускать каждый раз весь код заново, что может занять много времени. Ну и самое главное - для интерактивной разработки, чтобы можно было пошагово писать код и смотреть на результат.
>ноутбуки
Это чисто веб-интерфейс для ipython. Основных фичей три штуки: возможность удобно запускать/перезапускать код частями, делиться кодом вместе с результатом вычислений (со всеми выведенными данными, изображениями и прочим), и писать заметки используя LaTeX/Markdown/HTML прямо рядом с кодом.
Во всем остальном интерфейс как и концепция в целом крайне убогие. Отсутствие возможности разбить проект на несколько файлов это просто огромный минус. Про нормальную организацию кода можно забыть - остается лишь ставить плагин для сворачивания секций, и пытаться не забыть где что находится. Как среда разработки ноутбуки тоже говно. Автодополнение кода отсутствует, дебагер отсутствует, возможность посмотреть значения переменных отсутствует (можно только через print). В общем, ощущение что ты пишешь код в блокноте, где не проверяются даже элементарные синтаксические опечатки. Про анализ производительности, покрытия кода и юнит тесты можешь просто забыть.
Учитывая, что поддержку ipython уже давно завезли в пайчарм (и не только в него), в 2020 году ноутбуками для датасаенса пользуются только отсталые дегенераты. Они оправданы только для демонстрации, когда нужно объяснять код параллельно показывая результаты, но не для разработки.
>>53908
Да. Просто задаешь удаленный интерпретатор и делаешь все то же самое, что на своей пеке.
https://www.jetbrains.com/help/pycharm/remote-debugging-with-product.html
Это, кстати, умеет не только пайчарм. Разница лишь в том, что в пайчарме все работает из коробки, а какой нибудь вс код придется сначала напердолить.
>А пайчарм может построить график для сеточки на удаленной пеке?
Да. Просто задаешь удаленный интерпретатор и делаешь все то же самое, что на своей пеке.
https://www.jetbrains.com/help/pycharm/remote-debugging-with-product.html
Это, кстати, умеет не только пайчарм. Разница лишь в том, что в пайчарме все работает из коробки, а какой нибудь вс код придется сначала напердолить.
>>53916
Не очень понял. Матплотлиб как-то данные пробрасывает или нужно пердолиться с рендером в файл?
>Да. Просто задаешь удаленный интерпретатор и делаешь все то же самое, что на своей пеке.
Не очень понял. Матплотлиб как-то данные пробрасывает или нужно пердолиться с рендером в файл?
23 Кб, 657x626>>53922
Да, показывает все графики в специальном окне. У этого подхода есть плюсы и минусы. Из плюсов - предыдущий результат остается пока ты сам его не почистишь. Также можно развернуть это окно на весь экран на втором мониторе. Минус один - картинки не интерактивные, в отличие от ноутбука (нельзя, например приблизить). Чтобы был функционал как в ноутбуке надо отключить SciView - тогда картинки будут показываться в отдельном окне. Сохранять в файл не придется в любом случае.
>Матплотлиб как-то данные пробрасывает
Да, показывает все графики в специальном окне. У этого подхода есть плюсы и минусы. Из плюсов - предыдущий результат остается пока ты сам его не почистишь. Также можно развернуть это окно на весь экран на втором мониторе. Минус один - картинки не интерактивные, в отличие от ноутбука (нельзя, например приблизить). Чтобы был функционал как в ноутбуке надо отключить SciView - тогда картинки будут показываться в отдельном окне. Сохранять в файл не придется в любом случае.
53 Кб, 900x900>ноутбуки это неудобно. Вот как надо делать:
>километровое описание пердолинга с платными тулзами и как тут почти все работает, если только не нужно <все что реально нужно>
Ок, макакен. А знаешь почему твои любимые тулзы такое говно? Потому что ими никто кроме тебя не пользуется, а все сидят в юпитерлаб.
>>53960
Да это школьник какой-то, дрочит на ноутбуки и использует слово "макакен". Не замечал за ним каких-то йоба откровений
Да это школьник какой-то, дрочит на ноутбуки и использует слово "макакен". Не замечал за ним каких-то йоба откровений
>>53963
Ты же обещал не бомбить
Ты же обещал не бомбить
>>54119
Да нет царского пути в геометрию. Попробуй прочитать просто вузовские учебники от корки до корки, дальше когда будешь уже читать статьи будешь хотя бы знать где конкретно смотреть
Да нет царского пути в геометрию. Попробуй прочитать просто вузовские учебники от корки до корки, дальше когда будешь уже читать статьи будешь хотя бы знать где конкретно смотреть
А в России (дс1/2) сейчас много частных мл-бутиков, примерно можно почувствовать?
>>53885
tab нажми
Который превращает таблицу в строку.
Можно в самый низ ячейки записать переменную и она запринтится без принта.
>Автодополнение кода отсутствует
tab нажми
>дебагер отсутствует
Который превращает таблицу в строку.
>возможность посмотреть значения переменных отсутствует (можно только через print)
Можно в самый низ ячейки записать переменную и она запринтится без принта.
>>54491
Да, работает, раньше вроде такого не было. Еще есть shift-tab для документации.
Только работает по-прежнему так себе. Индексирования нет (будет сильно тормозить с большими библиотеками), типы переменных не подсвечиваются, аргументы не подсвечиваются, синтаксические ошибки не подсвечиваются.
Пандус? Не превращает.
Это по сути и есть принт. Функционал ограничен.
>tab нажми
Да, работает, раньше вроде такого не было. Еще есть shift-tab для документации.
Только работает по-прежнему так себе. Индексирования нет (будет сильно тормозить с большими библиотеками), типы переменных не подсвечиваются, аргументы не подсвечиваются, синтаксические ошибки не подсвечиваются.
>Который превращает таблицу в строку.
Пандус? Не превращает.
>Можно в самый низ ячейки записать переменную и она запринтится без принта.
Это по сути и есть принт. Функционал ограничен.
Вот вы тут спорите про эти ноутбуки... А как быть нубу? А то теория теорией, а порешать что-то на практике хочется. И познавать все тонкости всех ИДЕшек и прочих ноутбуков на собственном опыте - слишком долго.
>>54760
Так ты начинай решать, а опыт придет со временем.
>А то теория теорией, а порешать что-то на практике хочется. И познавать все тонкости всех ИДЕшек и прочих ноутбуков на собственном опыте - слишком долго.
Так ты начинай решать, а опыт придет со временем.
>>54767
Так я об прогах для этого спрашиваю. Сейчас анаконду скачал, там jupyter и spyder. Думаю, пока хватит, но тут просто начались какие-то бурления говн об этой теме, вот я и решил сразу определиться с плюсами и минусами всех этих прог.
Так я об прогах для этого спрашиваю. Сейчас анаконду скачал, там jupyter и spyder. Думаю, пока хватит, но тут просто начались какие-то бурления говн об этой теме, вот я и решил сразу определиться с плюсами и минусами всех этих прог.
>>54771
Для того чтобы ресёрчить (и тем более пробовать и учиться) jupyter ноутов хватит с головой; никаких бурлений тут быть не может - макакены здесь чисто про свои гречневые говнокодерские темы раскукарекались.
Для того чтобы ресёрчить (и тем более пробовать и учиться) jupyter ноутов хватит с головой; никаких бурлений тут быть не может - макакены здесь чисто про свои гречневые говнокодерские темы раскукарекались.
40 Кб, 700x413>>54787
Как же смешно наблюдать за диванными теоретиками, весь "ресерч" которых заключается в 20 строчках кода для классификации MNIST.
Если бы ты работал над реальными проектами, которые могут длиться больше года и разрастись до нескольких тысяч строк кода, то быстро бы понял необходимость нормально структурировать свой код и иметь систему контроля версий. Для работы в команде это тем более необходимо.
Даже сторонники жупитера не используют его как замену абсолютно всему, а лишь как дополнение, которое используется для краткосрочных экспериментов.
>Для того чтобы ресёрчить (и тем более пробовать и учиться) jupyter ноутов хватит с головой; никаких бурлений тут быть не может - макакены здесь чисто про свои гречневые говнокодерские темы раскукарекались.
Как же смешно наблюдать за диванными теоретиками, весь "ресерч" которых заключается в 20 строчках кода для классификации MNIST.
Если бы ты работал над реальными проектами, которые могут длиться больше года и разрастись до нескольких тысяч строк кода, то быстро бы понял необходимость нормально структурировать свой код и иметь систему контроля версий. Для работы в команде это тем более необходимо.
Даже сторонники жупитера не используют его как замену абсолютно всему, а лишь как дополнение, которое используется для краткосрочных экспериментов.
>>54814
Если тебе просто поиграться, то используй жупитер и не еби себе мозг. Но если ты серьезно настроен на изучения датасаенса и последующий поиск работы, то для начала подтяни программирования в целом. Тогда у тебя не будет вопросов как структурировать проект или какой IDE/редактор использовать.
>И какова альтернатива?
Если тебе просто поиграться, то используй жупитер и не еби себе мозг. Но если ты серьезно настроен на изучения датасаенса и последующий поиск работы, то для начала подтяни программирования в целом. Тогда у тебя не будет вопросов как структурировать проект или какой IDE/редактор использовать.
>>53884
Зорич
Зорич
>>54771
Щас бы ставить в хуй мнение каких-то ноунеймов с анонимных борд.
Щас бы ставить в хуй мнение каких-то ноунеймов с анонимных борд.
>>54760
Надо сначала стать девопсом и только потом путаться программировать.
Надо сначала стать девопсом и только потом путаться программировать.
>>54771
Для начала тебе хватит блокнотика и ipython. Ноутбуки лучше нахуй, это лишний слой абстракции
Для начала тебе хватит блокнотика и ipython. Ноутбуки лучше нахуй, это лишний слой абстракции
Окей, а как в jupyter пошагово отлаживать? (Загуглить то я могу, но что является удобным?)
Мне нужна инспекция переменных и построчное исполнение одной ячейки.
Я заебался уже. Пробовал в vscode загружать, но работает тормознее раза в 3.
Мне нужна инспекция переменных и построчное исполнение одной ячейки.
Я заебался уже. Пробовал в vscode загружать, но работает тормознее раза в 3.
>>55532
Скорее всего, ты делаешь не то, что подразумевается под ДС, и поэтому тебе нужен другой инструмент.
Разбивай ячейку на строчки и вставляй принты, если уж сильно уперлось.
Скорее всего, ты делаешь не то, что подразумевается под ДС, и поэтому тебе нужен другой инструмент.
Разбивай ячейку на строчки и вставляй принты, если уж сильно уперлось.
>>47673 (OP)
Попытался начать читать эту книгу, но код оттуда совершенно неактуален, поскольку там tensorflow1.
Есть ли какой-то адекватный гайд сугубо по tensorflow2 дабы его изучить, а потом опять приступить к чтению книги?
>Николенко "Глубокое обучение"
Попытался начать читать эту книгу, но код оттуда совершенно неактуален, поскольку там tensorflow1.
Есть ли какой-то адекватный гайд сугубо по tensorflow2 дабы его изучить, а потом опять приступить к чтению книги?
>>55548
Большой разницы для вкатыша, который ГАН от матрицы не может отличить, нет. Потом разберешься с тф2.
Большой разницы для вкатыша, который ГАН от матрицы не может отличить, нет. Потом разберешься с тф2.
>>55561
то есть ты предлагаешь мне писать ТФ1 версию, которую в книжке объясняют, а потом уже полноценно перехать в ТФ2?
то есть ты предлагаешь мне писать ТФ1 версию, которую в книжке объясняют, а потом уже полноценно перехать в ТФ2?
>>55564
Переезжать лучше сразу на питорч.
Переезжать лучше сразу на питорч.
>>55532
Нахуя тебе это? Если ты не можешь импортнуть слесарьлов без пошаговой отладки, тебе бы программировать поучиться. А для ресерча достаточно принтов и matplotlib. При чем matplotlib даже важнее
>Окей, а как в jupyter пошагово отлаживать?
Нахуя тебе это? Если ты не можешь импортнуть слесарьлов без пошаговой отладки, тебе бы программировать поучиться. А для ресерча достаточно принтов и matplotlib. При чем matplotlib даже важнее
>>55564
Это учебник по теории, вообще похер что там за фреймворк, они не настолько отличаются
Это учебник по теории, вообще похер что там за фреймворк, они не настолько отличаются
316 Кб, 2469x1389>>55585
да вы заебали.
Я тот самый 40 летний бумер. Я программировать умею получше тебя.
Просто замучался со сложной трансформацией сырых данных из экселя, а не со слесарьпловом.
Как удобно в браузере выполнять ячейку пошагово ?
да вы заебали.
Я тот самый 40 летний бумер. Я программировать умею получше тебя.
Просто замучался со сложной трансформацией сырых данных из экселя, а не со слесарьпловом.
Как удобно в браузере выполнять ячейку пошагово ?
300 Кб, 1080x2096>>55896
Погуглить и я могу. Мне совет от человека нужен.
Ipdb какой-то неудобный. А pixie в принципе не работает.
Ты что используешь?
Погуглить и я могу. Мне совет от человека нужен.
Ipdb какой-то неудобный. А pixie в принципе не работает.
Ты что используешь?
>>56151
Ты лучше ответь почему ДА Я ПРОГРОМИСТ СО СТАЖЕМ 128 ЛЕТ справиться с элементарной хуйнёй не могут.
Ты лучше ответь почему ДА Я ПРОГРОМИСТ СО СТАЖЕМ 128 ЛЕТ справиться с элементарной хуйнёй не могут.
>>56212
Потому что это "стаж" уровня laba1 на паскале на первом курсе. Только эта laba1 писалась 10 лет, и в течение этих 10 лет никакого улучшения качества не происходило, потому что всем было насрать. Это просто слитые в унитаз годы.
Потому что это "стаж" уровня laba1 на паскале на первом курсе. Только эта laba1 писалась 10 лет, и в течение этих 10 лет никакого улучшения качества не происходило, потому что всем было насрать. Это просто слитые в унитаз годы.
Дьяволы, что скажите о gpt3 ? Правда ли он так охуенен? В чем подвох? Судя по ютубам, так уже много кому, в том числе и кодерам стоит стул под собой прожигать. Даже специалистам по ИИ, которые либо не потянут конкуренции с такими моделями, либо будут не нужны.
>>56301
Это начало революции, последствия которой мы еще полностью не осознали. Сам гпт3 не очень пригоден как замена человеку, но, естественно, он будет только улучшаться. И путь к его улучшению тоже довольно хорошо виден. Только стоит это многие миллионы.
Меня больше удивляет, что его не очень широко обсуждают. Из обсуждений, что я видел, некоторые ушли в отрицание (да не так уж он и хорош), другие уже дошли до стадии отчаяния (сделать ИИ под силу только мега корпорациям, наши исследования бесполезны). Обыватели по-моему вообще не в курсе, что ИИ уже создан. Хотя столько разговоров было лет 5 назад про "нейросети заменили продавца", когда нейроночки могли еще только в зрение, да и то не слишком хорошо.
Это начало революции, последствия которой мы еще полностью не осознали. Сам гпт3 не очень пригоден как замена человеку, но, естественно, он будет только улучшаться. И путь к его улучшению тоже довольно хорошо виден. Только стоит это многие миллионы.
Меня больше удивляет, что его не очень широко обсуждают. Из обсуждений, что я видел, некоторые ушли в отрицание (да не так уж он и хорош), другие уже дошли до стадии отчаяния (сделать ИИ под силу только мега корпорациям, наши исследования бесполезны). Обыватели по-моему вообще не в курсе, что ИИ уже создан. Хотя столько разговоров было лет 5 назад про "нейросети заменили продавца", когда нейроночки могли еще только в зрение, да и то не слишком хорошо.
ИИ сыграл злую шутку: на обывательском уровне было ожидание, что автоматизация избавит нас от тупого, ручного труда. До какого-то момента, пока автоматизация была простая, так и было: копателей лопатами заменил экскаватор, машины собирают роботы на конвеере. Но теперь, с созданием ИИ, автоматизация, видимо, пойдет по парадоксальному пути: первыми будут автоматизированы всевозможные интеллектуальные профессии, вроде ученых, программистов, адвокатов, врачей. В первую очередь потому, что они получают огромные деньги, и потому что их работу легче перевести в компьютер.
А вот дворники, официанты, доставщики, труженники секс-бизнеса - для их замены нужны какие-то супер специализированные устройства. Их разработка будет стоить огромных денег, а ЗП там низкие, так что они вряд ли будут автоматизированы в скором времени.
Так, похоже, мы все останемся без работы и будем драться со стаями псов и другими интеллигентами за просрочку из бака возле пятерочки. А барская обслуга низшего уровня будет поплевывать на нас со смехом.
А вот дворники, официанты, доставщики, труженники секс-бизнеса - для их замены нужны какие-то супер специализированные устройства. Их разработка будет стоить огромных денег, а ЗП там низкие, так что они вряд ли будут автоматизированы в скором времени.
Так, похоже, мы все останемся без работы и будем драться со стаями псов и другими интеллигентами за просрочку из бака возле пятерочки. А барская обслуга низшего уровня будет поплевывать на нас со смехом.
>>56307
Смысл его обсуждать? Эту хуйню чтобы натренировать, нужно железо, доступное не любой конторе.
> Меня больше удивляет, что его не очень широко обсуждают.
Смысл его обсуждать? Эту хуйню чтобы натренировать, нужно железо, доступное не любой конторе.
>>56307
Так чё делать? Идти в петлю или в дворники? Руки опускаются. Даже для вката в машоб, когда понимаешь, что все, что ты можешь, это никому не нужные детские поделки. С одной стороны, я сохраняю долю надежд, что не все так хорошо, как кажется, а с другой стороны я уже очкую
Так чё делать? Идти в петлю или в дворники? Руки опускаются. Даже для вката в машоб, когда понимаешь, что все, что ты можешь, это никому не нужные детские поделки. С одной стороны, я сохраняю долю надежд, что не все так хорошо, как кажется, а с другой стороны я уже очкую
>>56320
У меня 100% то же чувство. Вся эта работа, даже каггл где вроде как должна быть SOTA, все это игрушечное, по сути уже мертвое. Я пытаюсь предвидеть, что будет, и мне очевидно, что ГПТобразные модели заменят все. 0-shot learning изкаробки, причем не потешный как в прежних статьях, когда сначала тренируют месяц на почти идентичных задачах, а реальный, вообще без тренировки. Просто говорят нейроночке, а переведи-ка мне это на французский. То есть просто сказать компу, что ты хочешь, и чтобы он это сделал, это уже реальность, вот она. Все эти тысячи статей про neural translation в момент оказались до смешного наивным мусором, как до этого полетели в корзину статистические модели на фразах, как до них отправились в утиль вручную написанные трансформации грамматик.
Смысл что-то делать, когда следующей версии ГПТ просто скажут формулировку твоей задачи, и он уже может ее делать сам? Или дать ему название твоей статьи, а он напишет всю статью, только еще лучше.
У меня 100% то же чувство. Вся эта работа, даже каггл где вроде как должна быть SOTA, все это игрушечное, по сути уже мертвое. Я пытаюсь предвидеть, что будет, и мне очевидно, что ГПТобразные модели заменят все. 0-shot learning изкаробки, причем не потешный как в прежних статьях, когда сначала тренируют месяц на почти идентичных задачах, а реальный, вообще без тренировки. Просто говорят нейроночке, а переведи-ка мне это на французский. То есть просто сказать компу, что ты хочешь, и чтобы он это сделал, это уже реальность, вот она. Все эти тысячи статей про neural translation в момент оказались до смешного наивным мусором, как до этого полетели в корзину статистические модели на фразах, как до них отправились в утиль вручную написанные трансформации грамматик.
Смысл что-то делать, когда следующей версии ГПТ просто скажут формулировку твоей задачи, и он уже может ее делать сам? Или дать ему название твоей статьи, а он напишет всю статью, только еще лучше.
>>56330
Это все напоминает относительно недавние страхи о смерти веб разрабов, когда я слышал, что юкоз поделил на ноль ваши сайтики. Справедливости ради надо отметить, что статьи gpt, пусть м смотрятся относительно неплохо, но это удар прежде всего по копипастным статьям тех учёных, которые создают видимость деятельности, а не производят новые знания. Ты можешь сказать, что в будущем даже их поделят на ноль, ИИ скажет говно ли теория струн или нет, как нам обустроить Россию и так далее. Но схожий оптимизм я встречал в статьях времён ИИ-психологов, которых выкинули на свалку
Это все напоминает относительно недавние страхи о смерти веб разрабов, когда я слышал, что юкоз поделил на ноль ваши сайтики. Справедливости ради надо отметить, что статьи gpt, пусть м смотрятся относительно неплохо, но это удар прежде всего по копипастным статьям тех учёных, которые создают видимость деятельности, а не производят новые знания. Ты можешь сказать, что в будущем даже их поделят на ноль, ИИ скажет говно ли теория струн или нет, как нам обустроить Россию и так далее. Но схожий оптимизм я встречал в статьях времён ИИ-психологов, которых выкинули на свалку
>>56301
На ютубе черри-пикинг. Он часто лажает. И если такой прорыв произошел при переходе от 1.7G до 175G, то кодить сетки научатся наверное если будут 17500G.
Короче, на твой век хватит, а вот детки твои пусть задумываются.
>Дьяволы, что скажите о gpt3 ? Правда ли он так охуенен? В чем подвох?
На ютубе черри-пикинг. Он часто лажает. И если такой прорыв произошел при переходе от 1.7G до 175G, то кодить сетки научатся наверное если будут 17500G.
Короче, на твой век хватит, а вот детки твои пусть задумываются.
>>56337
Это было ещё во времена корчевателя и впечатляет только хабровских обывателей: реальный специалист раскусит шуе за первую минуту чтения, что корчеватель что гпт этот ваш.
В ближайшем будущем если кто и останется без работы так это копирайтеры: всё-таки в креативном сочинении бессмысленных водянистых текстов которые никто не будет всерьёз читать гпт3 уже достаточно хорош. Хотя скорее они просто превратятся в прослойку между интернет-кабанчиками и сеткой.
Это было ещё во времена корчевателя и впечатляет только хабровских обывателей: реальный специалист раскусит шуе за первую минуту чтения, что корчеватель что гпт этот ваш.
В ближайшем будущем если кто и останется без работы так это копирайтеры: всё-таки в креативном сочинении бессмысленных водянистых текстов которые никто не будет всерьёз читать гпт3 уже достаточно хорош. Хотя скорее они просто превратятся в прослойку между интернет-кабанчиками и сеткой.
>>56339
От 1.7 до 175 прошел год. Угадай с одного раза, над чем сейчас работают в OpenAI. Ты (мы) уже одной ногой на помоечке.
Черрипикинг это все, что нужно. Это доказывает, что нейроночка в принципе это все умеет. Довести до ума, чтобы срабатывало чаще, это уже инженерная работа. Как было понятно, что дирижабли мертвы, как только первый самолет удачно полетел. Конечно, он не мог возить грузы, сотни людей - но всем было ясно, что сможет, после доработки. Так и тут видно, что ГПТ3 сразу ухватывает суть задачи по ее формулировке. Хотя подобных задач он не встречал, и не был на них специально натренирован. Это общий ИИ, который може все.
От 1.7 до 175 прошел год. Угадай с одного раза, над чем сейчас работают в OpenAI. Ты (мы) уже одной ногой на помоечке.
Черрипикинг это все, что нужно. Это доказывает, что нейроночка в принципе это все умеет. Довести до ума, чтобы срабатывало чаще, это уже инженерная работа. Как было понятно, что дирижабли мертвы, как только первый самолет удачно полетел. Конечно, он не мог возить грузы, сотни людей - но всем было ясно, что сможет, после доработки. Так и тут видно, что ГПТ3 сразу ухватывает суть задачи по ее формулировке. Хотя подобных задач он не встречал, и не был на них специально натренирован. Это общий ИИ, который може все.
>>56367
Про перцептрон тоже говорили
Про перцептрон тоже говорили
>>56367
Если ты думаешь, что раз от 1.7 до 175 прошел год, то скоро еще на 2 порядка вырастет модель - то нет. GPT3 - это предел современных технологий. Ее размер - это как раз примерно столько, сколько помещается на машину с 16 V100, то есть это 16*32=512 Гб видеопамяти, и стоит такая машина как однушка в Москве. У A100 (следующее поколение карт) не 32 гб памяти, а... 40. Охуенно, да, 25% рост за 2 года. Не, нужно еще дохуя исследований, чтобы трансформеры не были такими прожорливыми, но при этом быстро сходились
Я - нет, потому что никогда не был каглодрочером или SOTA-дрочером.
Первый самолет полетел с 1903, а дирижабли умерли в 1937. Я понимаю, что тебе кажется, что это хуяк и все, но вообще-то прошло 34 года. Через 34 года тебе будет полтос минимум. Единственный вывод, который тут можно сделать - это то, что в современном мире человек должен учиться всю жизнь, чтобы внезапно не оказаться пятидесятилетним программистом на делфи в госконторе.
Мм, а мы какой работой занимаемся? Не, я понимаю, что ты тупо соцсети читаешь, но как бы да, прорывные открытия делают единицы один-два раза в год, а остальные занимаются инженерной работой.
>От 1.7 до 175 прошел год.
Если ты думаешь, что раз от 1.7 до 175 прошел год, то скоро еще на 2 порядка вырастет модель - то нет. GPT3 - это предел современных технологий. Ее размер - это как раз примерно столько, сколько помещается на машину с 16 V100, то есть это 16*32=512 Гб видеопамяти, и стоит такая машина как однушка в Москве. У A100 (следующее поколение карт) не 32 гб памяти, а... 40. Охуенно, да, 25% рост за 2 года. Не, нужно еще дохуя исследований, чтобы трансформеры не были такими прожорливыми, но при этом быстро сходились
>Ты (мы) уже одной ногой на помоечке.
Я - нет, потому что никогда не был каглодрочером или SOTA-дрочером.
>Как было понятно, что дирижабли мертвы, как только первый самолет удачно полетел.
Первый самолет полетел с 1903, а дирижабли умерли в 1937. Я понимаю, что тебе кажется, что это хуяк и все, но вообще-то прошло 34 года. Через 34 года тебе будет полтос минимум. Единственный вывод, который тут можно сделать - это то, что в современном мире человек должен учиться всю жизнь, чтобы внезапно не оказаться пятидесятилетним программистом на делфи в госконторе.
>Довести до ума, чтобы срабатывало чаще, это уже инженерная работа
Мм, а мы какой работой занимаемся? Не, я понимаю, что ты тупо соцсети читаешь, но как бы да, прорывные открытия делают единицы один-два раза в год, а остальные занимаются инженерной работой.
>>56392
Про предел это лол. Нейроночки распараллеливаются прекрасно. Разделят по слоям/attention heads на разные машины, будет линейное ускорение. Ма самом деле ускорение будет больше, потому что пресловутые инженеры без дела не сидят, и пишут кастомный код под эту модель. Это я еще даже не начал про ТПУ и специализированные чипы. Не думаешь же ты, что покупка 100, 10000, 1000000 этих машин это какая-то проблема для гугла или мс (которые дают мощности OpenAI).
Про сроки пустой спор. Никто из нас не имеет убедительных аргументов. Я думаю, что это дело считанных лет. Они уже даже инфраструктуру закладывают под будущие сервисы, АПИ.
Ну и я говорил про перспективность всей этой работы в целом. Еще год назад тот же нейронный перевод был бы хот топиком для ПхД. Все были такие: вау, как ты ловко навертел слоев! А теперь: ГПТ, переведи мне это с древней латыни на нпальский. Уже ясно, что это как ПхД по нахождению оптимальной формы дирижабля в 1904. И вообще непонятно, что теперь перспективно тут?
Про предел это лол. Нейроночки распараллеливаются прекрасно. Разделят по слоям/attention heads на разные машины, будет линейное ускорение. Ма самом деле ускорение будет больше, потому что пресловутые инженеры без дела не сидят, и пишут кастомный код под эту модель. Это я еще даже не начал про ТПУ и специализированные чипы. Не думаешь же ты, что покупка 100, 10000, 1000000 этих машин это какая-то проблема для гугла или мс (которые дают мощности OpenAI).
Про сроки пустой спор. Никто из нас не имеет убедительных аргументов. Я думаю, что это дело считанных лет. Они уже даже инфраструктуру закладывают под будущие сервисы, АПИ.
Ну и я говорил про перспективность всей этой работы в целом. Еще год назад тот же нейронный перевод был бы хот топиком для ПхД. Все были такие: вау, как ты ловко навертел слоев! А теперь: ГПТ, переведи мне это с древней латыни на нпальский. Уже ясно, что это как ПхД по нахождению оптимальной формы дирижабля в 1904. И вообще непонятно, что теперь перспективно тут?
>>56396
Нет, линейного ускорения не будет. Данные идут по модели волной - сначала forward pass от первого слоя к последнему, потом backward pass от последнего слоя к первому, с апдейтом весов во время backward pass'а. То есть это аналог передаваемого цепочкой людей ведра с водой при пожаре - хоть у тебя цепочка из 100 человек, ведро все равно одно.
Хуже того, когда у тебя одни и те же веса на разных машинах, ты обмениваешься между машинами только этими самыми весами. А вот когда то, что ты предлагаешь, придется гонять уже данные и их сильно больше.
Тоже упираются в скорость памяти. Ты же не собираешься терабайт статической памяти реализовывать, правильно? Значит тебе нужно место под DDR, думать, как быстро гонять данные в память и обратно, все это будет пыхтеть и греться.
Зато кто-то из нас имеет реальные знания, а кто-то заново придумал model parallelism, не подумав, что линейное ускорение он не даст. А потом придет нечеткий петух и будет над вами потешаться, мол, "обещали через считанные годы, и где оно".
Это просто неверная маняхуйня.
>Нейроночки распараллеливаются прекрасно. Разделят по слоям/attention heads на разные машины, будет линейное ускорение.
Нет, линейного ускорения не будет. Данные идут по модели волной - сначала forward pass от первого слоя к последнему, потом backward pass от последнего слоя к первому, с апдейтом весов во время backward pass'а. То есть это аналог передаваемого цепочкой людей ведра с водой при пожаре - хоть у тебя цепочка из 100 человек, ведро все равно одно.
Хуже того, когда у тебя одни и те же веса на разных машинах, ты обмениваешься между машинами только этими самыми весами. А вот когда то, что ты предлагаешь, придется гонять уже данные и их сильно больше.
>Это я еще даже не начал про ТПУ и специализированные чипы.
Тоже упираются в скорость памяти. Ты же не собираешься терабайт статической памяти реализовывать, правильно? Значит тебе нужно место под DDR, думать, как быстро гонять данные в память и обратно, все это будет пыхтеть и греться.
>Про сроки пустой спор. Никто из нас не имеет убедительных аргументов.
Зато кто-то из нас имеет реальные знания, а кто-то заново придумал model parallelism, не подумав, что линейное ускорение он не даст. А потом придет нечеткий петух и будет над вами потешаться, мол, "обещали через считанные годы, и где оно".
>Еще год назад тот же нейронный перевод был бы хот топиком для ПхД. Все были такие: вау, как ты ловко навертел слоев! А теперь: ГПТ, переведи мне это с древней латыни на нпальский.
Это просто неверная маняхуйня.
>>56432
У тебя отрицание просто. Тупая линейная экстраполяция. Ты точно то же самое бы полгода назад сказал про ГПТ3, мол 2 это был предел технологий. Можешь не оправдываться, ничто тобой сказанное меня не переубедит.
У тебя отрицание просто. Тупая линейная экстраполяция. Ты точно то же самое бы полгода назад сказал про ГПТ3, мол 2 это был предел технологий. Можешь не оправдываться, ничто тобой сказанное меня не переубедит.
>>56450
=== вы находитесь здесь ===
=== вы находитесь здесь ===
>>56489
Шизик, ищущий вапникошизиков под кроватью, детектед
Шизик, ищущий вапникошизиков под кроватью, детектед
5 Кб, 500x590>>56489
Мимо, я в этом не участвую. И да, я считаю, что адаптивные / параметризованные кернел методы для NLP перспективнее всех этих соевых GPT "stack more layers" hurr durr кринжнейроночек, которые уже сейчас на кластерах стоимостью с пол-воронежа еле дышат.
> вапнико-шизиком
Мимо, я в этом не участвую. И да, я считаю, что адаптивные / параметризованные кернел методы для NLP перспективнее всех этих соевых GPT "stack more layers" hurr durr кринжнейроночек, которые уже сейчас на кластерах стоимостью с пол-воронежа еле дышат.
228 Кб, 600x600>>56496
Воот. Как можно было нас перепутать
Воот. Как можно было нас перепутать
45 Кб, 600x752Я ещё несколько лет назад тут писал, что вся эта тема со stack more layers не туда идёт. И вот, эти ваши гпт уже недоступны простому народу. Ещё 3-4 года и они будут доступны вообще единицам корпораций типа Гугла и пейсбука, если конечно их к тому времени негры культурно не обогатят гилякой как белых угнетателей.
>>56507
Где чушь? Алсо, гпт3 вроде даже не в открытом доступе? Ты уже сейчас не можешь просто взять и заюзать самые последние наработки. А ещё пару лет назад мог.
Где чушь? Алсо, гпт3 вроде даже не в открытом доступе? Ты уже сейчас не можешь просто взять и заюзать самые последние наработки. А ещё пару лет назад мог.
491 Кб, 1278x890>>56506
Твои жалобы напоминают жалобы братьев Райт о том, что они самолет собрали в гараже и он летел целых несколько секунд, а теперь самолеты приходится на заводах клепать.
Твои жалобы напоминают жалобы братьев Райт о том, что они самолет собрали в гараже и он летел целых несколько секунд, а теперь самолеты приходится на заводах клепать.
>>47673 (OP)
Фронтэндер 3 года опыта, очень хорошая ЗП. Понимаю бэкэнд и SQL, разбираюсь в алгоритмах и типах данных. Дело в том что энтерпрайз и веб уже не вставляет, чисто ради ЗП там и также слышу постоянно что скоро программистов в классическом понимании не будет и весь код будут нейросети писать (это как, можете просвятить?), ну и плюс давно я что-то основательно не изучал (так, статейки по своей теме, а чтобы книжки, курсы - с универа нет), надо бы встряхнуться, так сказать.
Реально ли сменить направление с миддла веб на миддл дата-саентист года за 2-3? Много ли нужно вкладывать времени? Джуном по этому направлению в сорокет быть не к лицу, но и странички верстать такое себе, а менеджерить - прям совсем не мое.
Я понял что работать с данными - читай писать логику на js, мне гораздо гораздо ближе чем верстка которая заебала что просто пиздец плюс хочется чего-то прям нового, но при этом хочется не просто учить, а чтобы монетизировать потом знания.
Фронтэндер 3 года опыта, очень хорошая ЗП. Понимаю бэкэнд и SQL, разбираюсь в алгоритмах и типах данных. Дело в том что энтерпрайз и веб уже не вставляет, чисто ради ЗП там и также слышу постоянно что скоро программистов в классическом понимании не будет и весь код будут нейросети писать (это как, можете просвятить?), ну и плюс давно я что-то основательно не изучал (так, статейки по своей теме, а чтобы книжки, курсы - с универа нет), надо бы встряхнуться, так сказать.
Реально ли сменить направление с миддла веб на миддл дата-саентист года за 2-3? Много ли нужно вкладывать времени? Джуном по этому направлению в сорокет быть не к лицу, но и странички верстать такое себе, а менеджерить - прям совсем не мое.
Я понял что работать с данными - читай писать логику на js, мне гораздо гораздо ближе чем верстка которая заебала что просто пиздец плюс хочется чего-то прям нового, но при этом хочется не просто учить, а чтобы монетизировать потом знания.
>>56396
Так то да, предел. Вот когда GPT-3 можно будет запустить на моем ноутбуке для учебы, то тогда да, GPT-3 станет массовой технологией.
> Про предел это лол.
Так то да, предел. Вот когда GPT-3 можно будет запустить на моем ноутбуке для учебы, то тогда да, GPT-3 станет массовой технологией.
>>56496
Ну так покажи как они работают. AI Dungeon хотя бы с ними сделаешь? Или сможешь обучить кернел методы сочинению музыки без специализированного предобучения?
> И да, я считаю, что адаптивные / параметризованные кернел методы для NLP перспективнее всех
Ну так покажи как они работают. AI Dungeon хотя бы с ними сделаешь? Или сможешь обучить кернел методы сочинению музыки без специализированного предобучения?
>>56603
Чем твое умение верстать и писать на js отличается принципиально от умений нейросеточника? Что у последнего есть математика и из-за этого большее ЧСВ?
ИМХО ты свой навык дрочки фронта монетизируешь так же как и они знание сеток, разницы нихуя нет. Это нормально, что за 3-5 лет пердолинга в одной сфере это заебывает. Но и нейрончики тебя тоже заебут
P.S.: потому что программирование это 99% выкрутасы на хуйце барина, а не творчество или какая-то реализация себя и своих интересов
мимо-выгорающего-толкни
Чем твое умение верстать и писать на js отличается принципиально от умений нейросеточника? Что у последнего есть математика и из-за этого большее ЧСВ?
ИМХО ты свой навык дрочки фронта монетизируешь так же как и они знание сеток, разницы нихуя нет. Это нормально, что за 3-5 лет пердолинга в одной сфере это заебывает. Но и нейрончики тебя тоже заебут
P.S.: потому что программирование это 99% выкрутасы на хуйце барина, а не творчество или какая-то реализация себя и своих интересов
мимо-выгорающего-толкни
>>56396
Переводчики же до сих пор сосут
>А теперь: ГПТ, переведи мне это с древней латыни на нпальский
Переводчики же до сих пор сосут
>>56680
Он справедливо считает, что вместо борьбы с фреймворками созданными для борьбы с браузерами, он сможет заниматься деятельностью более близкой к сути программирования.
Хватит ли у кодомакаки упорства для освоения достаточно сложной деятельности - большой вопрос.
Он справедливо считает, что вместо борьбы с фреймворками созданными для борьбы с браузерами, он сможет заниматься деятельностью более близкой к сути программирования.
Хватит ли у кодомакаки упорства для освоения достаточно сложной деятельности - большой вопрос.
>>56677
Что из этого задача NLP?
> AI Dungeon хотя бы с ними сделаешь? Или сможешь обучить кернел методы сочинению музыки без специализированного предобучения?
Что из этого задача NLP?
>>56711
В том то и прикол. GPT разрабатывался только как NLP-модель. А может очень многое. Главное дообучить используя метаобучение.
> Что из этого задача NLP?
В том то и прикол. GPT разрабатывался только как NLP-модель. А может очень многое. Главное дообучить используя метаобучение.
>>56712
Главное побольше баззвордов использовать, тогда точно заработает.
>Главное дообучить используя метаобучение
Главное побольше баззвордов использовать, тогда точно заработает.
Сап. Года два назад баловался с кагглом, даже проходил их микрочелленжи но уже все забыл. Норм знаю линейную алгебру, multivariable калькулус. Хорошо прогаю на питоне, прогать вообще люблю
Реально будет за полгода устроиться джуном? У меня сейчас выбор - за пару месяцев добить андроид и устроиться джуном там, либо рискнуть с ML
Смотрю в сторону ML не сколько из-за более высоких зп, сколько из-за того, что у вас на изи устроиться на удаленку. На андро удаленки для джунов нет вообще
Реально будет за полгода устроиться джуном? У меня сейчас выбор - за пару месяцев добить андроид и устроиться джуном там, либо рискнуть с ML
Смотрю в сторону ML не сколько из-за более высоких зп, сколько из-за того, что у вас на изи устроиться на удаленку. На андро удаленки для джунов нет вообще
>>56766
Идти куда ближе, а потом дополнительно учить другую область. Пишу как долбоеб гоняющийся за неуловимым джо.
Идти куда ближе, а потом дополнительно учить другую область. Пишу как долбоеб гоняющийся за неуловимым джо.
>>47673 (OP)
Будут доступные видеокурсы в источниках?
Khan Academy и mooculus пойдут?
>Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
>Math 19/41, math 51 (single variable calculus, linear algebra)
Будут доступные видеокурсы в источниках?
Khan Academy и mooculus пойдут?
>>56776
всм? в унике преподавали. 4-й курс щас кста
>>56771
хуй его знает, просто нравится ML. я могу уделять 6 часов в день на обучение где-то до мая
мб пройти эту хуйню https://www.kaggle.com/learn/overview побырику, а потом задротить соревнования? потом покажу работодателю реальную работу. бля, не знаю
всм? в унике преподавали. 4-й курс щас кста
>>56771
хуй его знает, просто нравится ML. я могу уделять 6 часов в день на обучение где-то до мая
мб пройти эту хуйню https://www.kaggle.com/learn/overview побырику, а потом задротить соревнования? потом покажу работодателю реальную работу. бля, не знаю
>>56801
Берёшь учебник и переводишь на компьютерно саенсовый язык
Берёшь учебник и переводишь на компьютерно саенсовый язык
>>56812
Потому что всю работу можно делать удаленно, кеп.
Потому что всю работу можно делать удаленно, кеп.
Машобач, помоги, пожалуйста:
3 alpha = torch.rand(batch_size, 1, 1, 1)
----> 4 alpha = alpha.expand(real_data.size())
5 alpha = alpha.cuda() if use_gpu else alpha
RuntimeError: expand(torch.FloatTensor{[5, 1, 1, 1]}, size=[5]): the number of sizes provided (1) must be greater or equal to the number of dimensions in the tensor (4)
Как починить?
3 alpha = torch.rand(batch_size, 1, 1, 1)
----> 4 alpha = alpha.expand(real_data.size())
5 alpha = alpha.cuda() if use_gpu else alpha
RuntimeError: expand(torch.FloatTensor{[5, 1, 1, 1]}, size=[5]): the number of sizes provided (1) must be greater or equal to the number of dimensions in the tensor (4)
Как починить?
>>56812
А как же NDA? Компании парятся по этому поводу.
А как же NDA? Компании парятся по этому поводу.
>>56603
2-3 года фултайм хватит, если у тебя хороший айсикью. Надо будет прямо вот работать, сидеть вникать - с этим могут быть сложности. Все индивидуально.
2-3 года фултайм хватит, если у тебя хороший айсикью. Надо будет прямо вот работать, сидеть вникать - с этим могут быть сложности. Все индивидуально.
>>56764
Джунов в МЛ вообще нет. Джун это кто-то, кого учат на работе. Учить некому. Ты уже должен прийти, все зная и умея, то есть мидлом.
Можешь попытаться сжульничать и выдать себя за мидла. Вероятность успеха мала.
Джунов в МЛ вообще нет. Джун это кто-то, кого учат на работе. Учить некому. Ты уже должен прийти, все зная и умея, то есть мидлом.
Можешь попытаться сжульничать и выдать себя за мидла. Вероятность успеха мала.
>>56942
Пиздец.
Откуда мидлы берутся? На деревьях растут? Даже ШАДов недостаточно чтобы мидлом стать.
Или типа каггла нарешал и вуаля - продвинутый спец?
>Джун это кто-то, кого учат на работе. Учить некому. Ты уже должен прийти, все зная и умея, то есть мидлом.
Пиздец.
Откуда мидлы берутся? На деревьях растут? Даже ШАДов недостаточно чтобы мидлом стать.
Или типа каггла нарешал и вуаля - продвинутый спец?
>>56680
Не знаю, там хорошо, где нас нет? но надеюсь, как сказал >>56698
Потому как сейчас и программирования почти не остается - везде готовые решения можно взять из прошлого проекта немного приспособив их под текущий. Чтоб прям челленджевая таска была давно не припомню.
То что в итоге все скатиться в рутину в итоге конечно демотивирует очень здорово.
>Чем твое умение верстать и писать на js отличается принципиально от умений нейросеточника?
Не знаю, там хорошо, где нас нет? но надеюсь, как сказал >>56698
>>>1856680
>вместо борьбы с фреймворками созданными для борьбы с браузерами заниматься деятельностью более близкой к сути программирования.
Потому как сейчас и программирования почти не остается - везде готовые решения можно взять из прошлого проекта немного приспособив их под текущий. Чтоб прям челленджевая таска была давно не припомню.
>Это нормально, что за 3-5 лет пердолинга в одной сфере это заебывает. Но и нейрончики тебя тоже заебут
То что в итоге все скатиться в рутину в итоге конечно демотивирует очень здорово.
>>56500
А кто-то забыл про нехватку данных и/или вычислительных мощностей. Если у тебя есть и то, и другое, то поздравляю - ты гугл.
>Кто-то здесь забыл the bitter lesson.
А кто-то забыл про нехватку данных и/или вычислительных мощностей. Если у тебя есть и то, и другое, то поздравляю - ты гугл.
>>56938
110, если верить https://test.mensa.no/ Средний очень, но я честно проходил, это результат первой попытки года 3 назад.
Часов 5-6 в неделю найду.
>2-3 года фултайм хватит, если у тебя хороший айсикью
110, если верить https://test.mensa.no/ Средний очень, но я честно проходил, это результат первой попытки года 3 назад.
>Надо будет прямо вот работать, сидеть вникать
Часов 5-6 в неделю найду.
Анон, посоветуй "затравочную" книгу, чтоб пробудить в себе любопытство к теме , а после ее прочтения взять того же Гудфеллоу.
Питоны, сиквелы и гиты с докерами умею, матан, теорвер, матстат и линал "помню о чем, не помню чокак".
План - за год-два укатиться из бэкенд-техлидства/тимлидства куда-нибудь, где платят не меньше, но при этом не нужно отвечать за подчиненных.
Питоны, сиквелы и гиты с докерами умею, матан, теорвер, матстат и линал "помню о чем, не помню чокак".
План - за год-два укатиться из бэкенд-техлидства/тимлидства куда-нибудь, где платят не меньше, но при этом не нужно отвечать за подчиненных.
>>57151
Попробуй "глубокое обучение" николенко.
Сам не читал, только его лекции слушал - скорее всего книга тоже норм.
Только сейчас увидел её в шапке, ну вот с неё и начни.
Попробуй "глубокое обучение" николенко.
Сам не читал, только его лекции слушал - скорее всего книга тоже норм.
Только сейчас увидел её в шапке, ну вот с неё и начни.
Ебаные процессоры, хули они такие медленные. Бля еще и бывает оперативку сожрет больше чем нужно в какой-то момент и хуяк - начинай заново.
>>56974
Ну так купи данные и мощности. 300к в месяц на мл сеньора у тебя есть, а на несколько ведер с 4 гпу и 64 терабайтным винтом нет
Ну так купи данные и мощности. 300к в месяц на мл сеньора у тебя есть, а на несколько ведер с 4 гпу и 64 терабайтным винтом нет
>>57316
Стоимость тренировки SOTA моделей может измеряться в сотнях тысяч, а то и миллионах долларов. Для тренировки той же GPT-3 нужно $5M.
С данными все еще хуже. Вот захотел ты сделать свой автопилот для автомобиля, и где будешь брать миллионы картинок пешеходных переходов и гидрантов? Или во сколько тебе обойдется разметка гигабайтов текста для NLP?
Ну а самое главное, зачем использовать диплернинг когда более простые методы работают нормально?
>Ну так купи данные и мощности. 300к в месяц на мл сеньора у тебя есть, а на несколько ведер с 4 гпу и 64 терабайтным винтом нет
Стоимость тренировки SOTA моделей может измеряться в сотнях тысяч, а то и миллионах долларов. Для тренировки той же GPT-3 нужно $5M.
С данными все еще хуже. Вот захотел ты сделать свой автопилот для автомобиля, и где будешь брать миллионы картинок пешеходных переходов и гидрантов? Или во сколько тебе обойдется разметка гигабайтов текста для NLP?
Ну а самое главное, зачем использовать диплернинг когда более простые методы работают нормально?
>>57321
Ну в дс можно поспорить на счет говнокода. Тут ускорять уже некуда. Гпу в колабе на два порядка быстрее справляется.
Ну в дс можно поспорить на счет говнокода. Тут ускорять уже некуда. Гпу в колабе на два порядка быстрее справляется.
>>57341
Так я говорил что эта йоба на пределе техвозможностей типа египетской пирамиды. Ровно по этой причине кстати никто не торопится повторять их результат - он никогда не окупится на текущем железе, даже если ты гугл. Вот года через 2-4 польет как из ведра, потому что вместо тормозных денс трансформеров используются более эффективные решения, нужно их происледовать и только потом жечь бабки.
Это один в один как 3д в 90-е, если голливудские студии снимают журасик парк, но люди помельче вполне себе обходятся железом в 10 раз медленнее и в 100 раз дешевле.
Даже не так нужно сформулировать. В компьютерном железе данного поколения у тебя всегда идет падаюшая отдача на вложенный доллар. Тренировка 1 модели на 1 гпу самое дешевое. Та же модель но на 2 гпу всего на 70% быстрее из-за необходимости обмена градиентами по псие шине. На 4 гпу нужна уже мать не за 7к, а за 30к и хороший бп, и желательны карты не за 100к а за 300к, иначе ботлнек по псие будет заметен. На 8 гпу тебе нужна серверная мать и серверный корпус, уже за 150к. На 64 гпу тебе нужен 400 гигабитный эзернет для обмена данными в стойке, 30 квт электричество. И так далее. В итоге реально конкурировать не так сложно, потому что оптимум затрат как был в 90е годы в виде пк разработчика в 1000 долларов, рабочая станция в 10000 долларов, так и остался. Суперкомпьютеры всегда будут экзотикой, потому что они очень дорогие и сжирают всю маржу.
Тот же gpt2 обучается с нуля как раз примерно за 300к, а файнтюнится под задачу вообще за копейки.
С данными все еще проще, их целый интернет. Биттер лессон учит тебе не ебать мозги с более лучшей разметкой, а применять ансупервайзд решения и только потом дообучать под задачу на небольших датасетах.
А так дипленинг и является более простым методом.
>Для тренировки той же GPT-3 нужно $5M
Так я говорил что эта йоба на пределе техвозможностей типа египетской пирамиды. Ровно по этой причине кстати никто не торопится повторять их результат - он никогда не окупится на текущем железе, даже если ты гугл. Вот года через 2-4 польет как из ведра, потому что вместо тормозных денс трансформеров используются более эффективные решения, нужно их происледовать и только потом жечь бабки.
Это один в один как 3д в 90-е, если голливудские студии снимают журасик парк, но люди помельче вполне себе обходятся железом в 10 раз медленнее и в 100 раз дешевле.
Даже не так нужно сформулировать. В компьютерном железе данного поколения у тебя всегда идет падаюшая отдача на вложенный доллар. Тренировка 1 модели на 1 гпу самое дешевое. Та же модель но на 2 гпу всего на 70% быстрее из-за необходимости обмена градиентами по псие шине. На 4 гпу нужна уже мать не за 7к, а за 30к и хороший бп, и желательны карты не за 100к а за 300к, иначе ботлнек по псие будет заметен. На 8 гпу тебе нужна серверная мать и серверный корпус, уже за 150к. На 64 гпу тебе нужен 400 гигабитный эзернет для обмена данными в стойке, 30 квт электричество. И так далее. В итоге реально конкурировать не так сложно, потому что оптимум затрат как был в 90е годы в виде пк разработчика в 1000 долларов, рабочая станция в 10000 долларов, так и остался. Суперкомпьютеры всегда будут экзотикой, потому что они очень дорогие и сжирают всю маржу.
Тот же gpt2 обучается с нуля как раз примерно за 300к, а файнтюнится под задачу вообще за копейки.
С данными все еще проще, их целый интернет. Биттер лессон учит тебе не ебать мозги с более лучшей разметкой, а применять ансупервайзд решения и только потом дообучать под задачу на небольших датасетах.
А так дипленинг и является более простым методом.
>>57373
Он вообще не про это, а про то, что увеличение размера нейронки/количества данных/вычислительных мощностей в перспективе эффективнее, чем применение знания предметной области и разных ad-hoc решений. Это верно лишь в одном случае - когда у тебя есть возможность это все увеличивать. При фиксированном количестве данных и вычислительных мощностей приходится изъебываться.
Это данные для простых задач, не несущих практической пользы. Как только тебе понадобятся работать над чем-то новым, то будет два варианта развития событий. Первый - данные имеются, но не размечены. Второй - их попросту нет в открытом доступе. Если ты занимаешься машобом в качестве хобби, то на этом этапе все закончится. Если работаешь в конторе, то получишь доступ только к тем данным, которые имеет эта контора, и этих данных не всегда хватит для того, чтобы просто кинуть их в нейронку.
>Биттер лессон учит тебе не ебать мозги с более лучшей разметкой, а применять ансупервайзд решения и только потом дообучать под задачу на небольших датасетах.
Он вообще не про это, а про то, что увеличение размера нейронки/количества данных/вычислительных мощностей в перспективе эффективнее, чем применение знания предметной области и разных ad-hoc решений. Это верно лишь в одном случае - когда у тебя есть возможность это все увеличивать. При фиксированном количестве данных и вычислительных мощностей приходится изъебываться.
>С данными все еще проще, их целый интернет
Это данные для простых задач, не несущих практической пользы. Как только тебе понадобятся работать над чем-то новым, то будет два варианта развития событий. Первый - данные имеются, но не размечены. Второй - их попросту нет в открытом доступе. Если ты занимаешься машобом в качестве хобби, то на этом этапе все закончится. Если работаешь в конторе, то получишь доступ только к тем данным, которые имеет эта контора, и этих данных не всегда хватит для того, чтобы просто кинуть их в нейронку.
>>57381
Он про это. One thing that should be learned from the bitter lesson is the great power of general purpose methods, of methods that continue to scale with increased computation even as the available computation becomes very great.
Если твои методы не скейлятся, ты соснешь. И... ручная разметка данных не скейлится. Она ручная. Про это давно говорят. Трейнинг бьётся на две части - предобучение на большом количестве говна из интернета, затем дообучение на твою задачу. Пример - bert, simclr2, gpt. При чем с увеличением объема говна, тебе нужно все меньше размеченных данных. У gpt3 все дошло уже до few shot. Говна в интернете так много, что там уже содержатся все возможные датасеты и паттерны.
На колу мочало, начинай с начала. Ну так купи данные и мощности.
Он про это. One thing that should be learned from the bitter lesson is the great power of general purpose methods, of methods that continue to scale with increased computation even as the available computation becomes very great.
Если твои методы не скейлятся, ты соснешь. И... ручная разметка данных не скейлится. Она ручная. Про это давно говорят. Трейнинг бьётся на две части - предобучение на большом количестве говна из интернета, затем дообучение на твою задачу. Пример - bert, simclr2, gpt. При чем с увеличением объема говна, тебе нужно все меньше размеченных данных. У gpt3 все дошло уже до few shot. Говна в интернете так много, что там уже содержатся все возможные датасеты и паттерны.
> При фиксированном количестве данных и вычислительных мощностей приходится изъебываться.
На колу мочало, начинай с начала. Ну так купи данные и мощности.
>>57421
Да, reCaptcha и тысячи аналогов не скейлятся, держи в курсе.
Нет, ты сам же скинул отрывок, где суть в "great power of general purpose methods", про разметку данных ты сам начал выдумывать.
>И... ручная разметка данных не скейлится. Она ручная.
Да, reCaptcha и тысячи аналогов не скейлятся, держи в курсе.
>Он про это
Нет, ты сам же скинул отрывок, где суть в "great power of general purpose methods", про разметку данных ты сам начал выдумывать.
>>57313
Потоков мало по сравнению с гпу.
Потоков мало по сравнению с гпу.
>>57432
Нет, не скейлятся. Ровно поэтому ты который год ищешь гидранты с google street view, как будто гуглу пиздец как нужны миллионы гидрантов (при этом некоторые шизики правдаэто верят)
Unsupervised learning - это general purpose, ручная разметка - нет
>Да, reCaptcha и тысячи аналогов не скейлятся, держи в курсе
Нет, не скейлятся. Ровно поэтому ты который год ищешь гидранты с google street view, как будто гуглу пиздец как нужны миллионы гидрантов (при этом некоторые шизики правдаэто верят)
>Нет, ты сам же скинул отрывок, где суть в "great power of general purpose methods"
Unsupervised learning - это general purpose, ручная разметка - нет
>>57421
Дорого, ебать. Надеюсь, в скором времени нейронки станут более доступными, как сейчас Ведьмак или GTA V.
> Ну так купи данные и мощности.
Дорого, ебать. Надеюсь, в скором времени нейронки станут более доступными, как сейчас Ведьмак или GTA V.
>>57448
Вообще-то так оно и есть - гугл использует рекапчу для создания датасетов. Об этом много кто писал, включая сам гугл.
>как будто гуглу пиздец как нужны миллионы гидрантов (при этом некоторые шизики правдаэто верят)
Вообще-то так оно и есть - гугл использует рекапчу для создания датасетов. Об этом много кто писал, включая сам гугл.
>>57421
В проекте за который мне платят больше данных достать в принципе невозможно - их просто не существует. Ну а в свободное время я не машобом занимаюсь, а вкатываюсь в веб. Трясти черные ящики с утра до ночи нет никакого желания.
>На колу мочало, начинай с начала. Ну так купи данные и мощности.
В проекте за который мне платят больше данных достать в принципе невозможно - их просто не существует. Ну а в свободное время я не машобом занимаюсь, а вкатываюсь в веб. Трясти черные ящики с утра до ночи нет никакого желания.
Почему нельзя весь интернет или какую-то его часть (тематические подборки, например) использовать как датасет по типу Common Crawl? Эмбеддингу похуй, что встраивать, хоть картинки хоть что.
>>57566
Не стоит вскрывать эту тему
Не стоит вскрывать эту тему
>>57566
в Orange есть поддержка nytimes, twitter, wikipedia.
Дерзай. Читай.
Правда, если ты русский хакер twitter тебе api key не даст.
в Orange есть поддержка nytimes, twitter, wikipedia.
Дерзай. Читай.
Правда, если ты русский хакер twitter тебе api key не даст.
>>57566
Блииин почему нельзя просто взять всё и без преобработки засунуть в очередную волшебную палочку чтоб всё само работало?? Хммм...
Блииин почему нельзя просто взять всё и без преобработки засунуть в очередную волшебную палочку чтоб всё само работало?? Хммм...
>>56969
Мне кажется единственный выход это делать что-то самому/для себя/мутить свой бизнес, неважно с каким программным инструментом это связано. С финансовой точки зрения конечно трудная задача.
Мне кажется единственный выход это делать что-то самому/для себя/мутить свой бизнес, неважно с каким программным инструментом это связано. С финансовой точки зрения конечно трудная задача.
>>57421
Слушаем и мотаем на ус
https://www.youtube.com/watch?v=X5i3owysLi0
Применимо и к идее "возьмём просто каких-то данных хуяк хуяк и ембеддинг".
>На колу мочало, начинай с начала. Ну так купи данные и мощности.
Слушаем и мотаем на ус
https://www.youtube.com/watch?v=X5i3owysLi0
Применимо и к идее "возьмём просто каких-то данных хуяк хуяк и ембеддинг".
>>57459
Вообще-то если хоть 5 секунд подумать, то даже ты сможешь прийти к выводу что это полная чушь. На капчах с гидрантами в 99% случаев есть гидранты. Это значит, что они уже все распознаны. Да и это очевидно: иначе бы капчу нельзя было проверить. Для локализации такая разметка никуда не годится, слишком грубая. Ну и масштабируемость ни к черту. Ну распознаешь ты гидранты, светофоры, велосипеды. Дальше что? Если это для беспилотных машин, то им нужно гораздо детальнее, чем это. Если это вообще для зрения, то по каждой категории предметов отдельный датасет делать это очевидный тупик. Потому что этих категорий неограниченное количество.
Вообще-то если хоть 5 секунд подумать, то даже ты сможешь прийти к выводу что это полная чушь. На капчах с гидрантами в 99% случаев есть гидранты. Это значит, что они уже все распознаны. Да и это очевидно: иначе бы капчу нельзя было проверить. Для локализации такая разметка никуда не годится, слишком грубая. Ну и масштабируемость ни к черту. Ну распознаешь ты гидранты, светофоры, велосипеды. Дальше что? Если это для беспилотных машин, то им нужно гораздо детальнее, чем это. Если это вообще для зрения, то по каждой категории предметов отдельный датасет делать это очевидный тупик. Потому что этих категорий неограниченное количество.
>>57753
Охх, оценка качества ручной разметки работает несколько сложнее чем давайте просто дадим размечать всё на что мы уже знаем ответ. Один из трёх гидрантов распознан, два другие нет, статистика говорит что человек который правильно отмечает распознаный гидрант в 99% случаев правильно размечает и два других (проверяется на специальной малой выборке с тремя уже размеченными). Зададим перекрытие в сто людей на каждую тройку гидрантов, получаем правдоподобную разметку неразмеченной части данных в два раза больше предварительно размеченной.
>Да и это очевидно: иначе бы капчу нельзя было проверить.
Охх, оценка качества ручной разметки работает несколько сложнее чем давайте просто дадим размечать всё на что мы уже знаем ответ. Один из трёх гидрантов распознан, два другие нет, статистика говорит что человек который правильно отмечает распознаный гидрант в 99% случаев правильно размечает и два других (проверяется на специальной малой выборке с тремя уже размеченными). Зададим перекрытие в сто людей на каждую тройку гидрантов, получаем правдоподобную разметку неразмеченной части данных в два раза больше предварительно размеченной.
>>47673 (OP)
Так почему, все таки, питон?
Так почему, все таки, питон?
>>58252
Всё остальное воняет немытой кодопсиной
Всё остальное воняет немытой кодопсиной
Аноны, а есть ли готовая модель нейронки, которая может сопоставлять трёхмерной матрице с размерностью (x, y, z) вектор размерностью (x,1)? Пытался нагуглить, но увидел только VGG16 с измененными входными данными, но у меня не задача классификации
1,5 Мб, 1024x768>>58480
Падажжи, у тебя же была трехмерная матрица, а стала двухмерая.
Порядок объектов важен? Т.е. если поменять строки входной матрицы так объекты шли [1,2,3,4] и [2,1,3,4] - одно и то же будет в ответе?
Падажжи, у тебя же была трехмерная матрица, а стала двухмерая.
Порядок объектов важен? Т.е. если поменять строки входной матрицы так объекты шли [1,2,3,4] и [2,1,3,4] - одно и то же будет в ответе?
>>57459
Создать датасет недолго, вопрос в том, как его применить.
Стритвью - потому что у гугла огромный массив фоток с собственным копирайтом, неплохо подходит для капчи. Но применение у этой хуйни околонулевое. Беспилотным автомобилям такое качественное распознавание гидрантов не нужно. А если бы было и нужно, нужны фотки с разной освещенностью, ночные, и тому подобное. Да и в целом автомобилям нужна скорее сегментация, а не просто прямоугольники.
А чтобы заставить рекапчу распознавать, например, котов, нужно где-то найти фотки этих самых котов. Они есть в интернете, но применять подобное в рекапче нельзя по куче причин, от копирайта, то общестенной опасности, что она вместо кота письку покажет.
Поэтому вся эта технология нихрена не скейлится.
Создать датасет недолго, вопрос в том, как его применить.
Стритвью - потому что у гугла огромный массив фоток с собственным копирайтом, неплохо подходит для капчи. Но применение у этой хуйни околонулевое. Беспилотным автомобилям такое качественное распознавание гидрантов не нужно. А если бы было и нужно, нужны фотки с разной освещенностью, ночные, и тому подобное. Да и в целом автомобилям нужна скорее сегментация, а не просто прямоугольники.
А чтобы заставить рекапчу распознавать, например, котов, нужно где-то найти фотки этих самых котов. Они есть в интернете, но применять подобное в рекапче нельзя по куче причин, от копирайта, то общестенной опасности, что она вместо кота письку покажет.
Поэтому вся эта технология нихрена не скейлится.
>>58480 так ты матрицу растяни в вектор и корми свой линейный перцептрон.
Все равно нихуя не получится.
Все равно нихуя не получится.
>>58480
И вообще какой-то запутано получилось.
Тебе нужно для каждого объекта предсказать что-то или для наборов объектов? Почему объекты в матрицы объединены?
Это последовательности?
И вообще какой-то запутано получилось.
Тебе нужно для каждого объекта предсказать что-то или для наборов объектов? Почему объекты в матрицы объединены?
Это последовательности?
391 Кб, 652x562>>58513
Изиняюсь, неправильно выразился, в обучении трехмерная получается, порядок важен. Это по сути решение задачи размещения для объектов с определенными параметрами
Изиняюсь, неправильно выразился, в обучении трехмерная получается, порядок важен. Это по сути решение задачи размещения для объектов с определенными параметрами
>>58645
Тензор штоле? Показал бы хоть как это выглядит.
> в обучении трехмерная получается, порядок важен
Тензор штоле? Показал бы хоть как это выглядит.
Есть один сет изображений. На картинках есть собаки, кошки, обезьяны. При этом на каждой картинке могут присутствовать/не присутствовать каждый из них. Я хочу через Tensorflow обучить сеть, которая будет ставить на каждое изображение три тега, по одному из каждой пары:
- есть собака / нет собаки
- есть кошка / нет кошки
- есть макака / нет макаки
Само собой, сумма тегов в каждой паре = 1.
Я хочу подавать картинки примерно на следующую геометрию
conv2 -> maxpool -> conv2 -> maxpool -> ...
#1 ... -> dense(128) -> dense(2) -> softmax(2)
#2 ... -> dense(128) -> dense(2) -> softmax(2)
#3 ... -> dense(128) -> dense(2) -> softmax(2)
То есть три последних слоя унаследовать от maxpool и размножить, на каждом из softmax ожидать собаку, кошку, макаку. Таким образом на каждом softmax я жду отдельное животное
О некоторых картинках я не могу с уверенностью сказать есть там кошки/собаки/обезьяны или нет. То есть у меня просто нет данных. То есть я точно знаю, что там есть/нет кошки, но о наличии собаки мне ничего неизвестно.
Теперь вопрос: Есть ли в Tensoflow способ не подавать какой-то item на обучение в конечный тензор, хоть в Input X тензоре этот item имеется?
Само собой, решением в лоб было бы обучение трех полностью отдельных сетей. Такой вариант в принципе тоже подойдёт
- есть собака / нет собаки
- есть кошка / нет кошки
- есть макака / нет макаки
Само собой, сумма тегов в каждой паре = 1.
Я хочу подавать картинки примерно на следующую геометрию
conv2 -> maxpool -> conv2 -> maxpool -> ...
#1 ... -> dense(128) -> dense(2) -> softmax(2)
#2 ... -> dense(128) -> dense(2) -> softmax(2)
#3 ... -> dense(128) -> dense(2) -> softmax(2)
То есть три последних слоя унаследовать от maxpool и размножить, на каждом из softmax ожидать собаку, кошку, макаку. Таким образом на каждом softmax я жду отдельное животное
О некоторых картинках я не могу с уверенностью сказать есть там кошки/собаки/обезьяны или нет. То есть у меня просто нет данных. То есть я точно знаю, что там есть/нет кошки, но о наличии собаки мне ничего неизвестно.
Теперь вопрос: Есть ли в Tensoflow способ не подавать какой-то item на обучение в конечный тензор, хоть в Input X тензоре этот item имеется?
Само собой, решением в лоб было бы обучение трех полностью отдельных сетей. Такой вариант в принципе тоже подойдёт
откуда вы только высрались такие, с курсов что-ли?
а вас тут как тут сразу нечётский петух к себе под крыло
а вас тут как тут сразу нечётский петух к себе под крыло
>>56316
Кабанчик замечтался
Кабанчик замечтался
16 Кб, 1045x162>>58961
Я наверное дико туплю, но, насколько я понимаю, в качестве X там тоже только двухмерные данные взять можно, а у меня трехмерные
Я наверное дико туплю, но, насколько я понимаю, в качестве X там тоже только двухмерные данные взять можно, а у меня трехмерные
Можно скормить нейросети обученной на картинках 128х128 картинки большего размера? Я по неопытности затупил и обучил сеть на кусках, теперь не могу большие файлы скармливать для тестов.
217 Кб, 1200x1161>>59059
Придется как-то резать картинки для проверок. Наверное так же как я их кормил, но это совсем не то что задумывалось. Обидно.
Спасибо.
Придется как-то резать картинки для проверок. Наверное так же как я их кормил, но это совсем не то что задумывалось. Обидно.
Спасибо.
>>58848
Ты реально собрался это обучать?
Сколько времени это займет?
Ты знаешь что в Orange есть vgg19?
Ты реально собрался это обучать?
Сколько времени это займет?
Ты знаешь что в Orange есть vgg19?
>>59063
Кокоя злая девочка на пике Давно не целовали в губы против её воли.
А почему просто не обучить с нуля? Там сотни вычислительных часов ушли?
Кокоя злая девочка на пике Давно не целовали в губы против её воли.
А почему просто не обучить с нуля? Там сотни вычислительных часов ушли?
>>59095
Сколько времени займёт пока не представляю. Да, реально собрался
Там не кошки и собаки, там другие классы. Я просто упростил
Сколько времени займёт пока не представляю. Да, реально собрался
Там не кошки и собаки, там другие классы. Я просто упростил
>>59095
погуглил, нашел вот это видео
https://www.youtube.com/watch?v=IYxU985meTM
Буду думать, спасибо
> vgg19
погуглил, нашел вот это видео
https://www.youtube.com/watch?v=IYxU985meTM
Буду думать, спасибо
Допустим я нормально шарю в мле, различной прикладной математике и алгоритмах. Но не шарю во всякой инженерной фигне: линукс, гит, докер, и еще куча названий которых я даже не слышал. Так вот, что из таких чисто программистских инженерных хреновин нужно знать, чтобы вкатиться на позицию интерна/джуна в мл?
115 Кб, 482x400>>59126
>Допустим я нормально шарю в мле, различной прикладной математике и алгоритмах. Но не шарю во всякой инженерной фигне: линукс, гит, докер, и еще куча названий которых я даже не слышал
>>58645
Если у тебя задача размещения, порядок тебе не важен, если порядок не важен, можно взять трансформер без пазишен энкодинга
Если у тебя задача размещения, порядок тебе не важен, если порядок не важен, можно взять трансформер без пазишен энкодинга
>>59126
Как повезет. Изучай все. Лучше - на практике. Попробуй например используя только ssh на удалённом сервере запустить хотя бы сервер жупитера. Ну или зафайнтюнь bert.
Как повезет. Изучай все. Лучше - на практике. Попробуй например используя только ssh на удалённом сервере запустить хотя бы сервер жупитера. Ну или зафайнтюнь bert.
>>58848
И зачем тебе 2 нейрона на выходе тогда? Достаточно одного
Заведи 3 tf.placeholder и умножай соответствующее слагаемое в лоссе (у тебя лосс должен быть суммой лоссов финальных слоев) на этот плейсхолдер. Дальше если данные есть отправляешь 1, если нет - 1e-12. В этой ситуации на неизвестных данных обучения не будет
>Само собой, сумма тегов в каждой паре = 1.
И зачем тебе 2 нейрона на выходе тогда? Достаточно одного
> Есть ли в Tensoflow способ не подавать какой-то item на обучение в конечный тензор, хоть в Input X тензоре этот item имеется?
Заведи 3 tf.placeholder и умножай соответствующее слагаемое в лоссе (у тебя лосс должен быть суммой лоссов финальных слоев) на этот плейсхолдер. Дальше если данные есть отправляешь 1, если нет - 1e-12. В этой ситуации на неизвестных данных обучения не будет
>>59179
Так, подожди. Вот есть у меня
Lf = L1 x P1 + L2 x P2 + L3 x P3
В обучении тензорфлоу я задаю таргет на уменьшение Lf. Допустим, для первого и второго тега данные известны (и на первом ошибка), для третьего нет, тогда
Lf = 1 x 1 + 0 x 1 + 1 x 0 = 1
Тензорфлоу, увидев 1 балл ошибки, пойдет ведь обучать все три разветвления, нет?
Или мне нужно задать таргетом уменьшение всех трех композиций L1 x P1, L2 x P2, L3 x P3?
Так, подожди. Вот есть у меня
Lf = L1 x P1 + L2 x P2 + L3 x P3
В обучении тензорфлоу я задаю таргет на уменьшение Lf. Допустим, для первого и второго тега данные известны (и на первом ошибка), для третьего нет, тогда
Lf = 1 x 1 + 0 x 1 + 1 x 0 = 1
Тензорфлоу, увидев 1 балл ошибки, пойдет ведь обучать все три разветвления, нет?
Или мне нужно задать таргетом уменьшение всех трех композиций L1 x P1, L2 x P2, L3 x P3?
>>59206
Что значит "пойдет обучать"? У тебя градиентный спуск. При прямом проходе по сети фреймворк вычисляет Lf. При обратном проходе он вычисляет dLf/dW, то есть на сколько нужно изменить W (каждый из миллиона весов у тебя), чтобы изменить L в нужную сторону. Затем в случае SGD выполняется
W=W-alpha x dLf/dW
то есть каждый из миллиона весов меняется согласно вычисленному dLf/dW.
Когда ты делаешь
Lf = L1 x 1 + L2 x 0 + L3 x 1
то
dLf/dW = dL1/dW + dL3/dW
у тебя L2 перестает влиять на вычисление dLf/dW, соответственно и апдейта весов для изменения L2 не происходит.
Единственное, P1.shape==(batch_size,) по понятным причинам - у тебя P1, P2, P3 должно быть разным для каждого примера в батче.
Что значит "пойдет обучать"? У тебя градиентный спуск. При прямом проходе по сети фреймворк вычисляет Lf. При обратном проходе он вычисляет dLf/dW, то есть на сколько нужно изменить W (каждый из миллиона весов у тебя), чтобы изменить L в нужную сторону. Затем в случае SGD выполняется
W=W-alpha x dLf/dW
то есть каждый из миллиона весов меняется согласно вычисленному dLf/dW.
Когда ты делаешь
Lf = L1 x 1 + L2 x 0 + L3 x 1
то
dLf/dW = dL1/dW + dL3/dW
у тебя L2 перестает влиять на вычисление dLf/dW, соответственно и апдейта весов для изменения L2 не происходит.
Единственное, P1.shape==(batch_size,) по понятным причинам - у тебя P1, P2, P3 должно быть разным для каждого примера в батче.
>>59212
Точно, я забыл, что конечный тензор это не черный ящик для тензорфлоу, а expression, и он видит, что полученный Lf разбирается на 3 суммы, каждая из которых разбирается на две переменные.
Теперь понял, благодарю
Точно, я забыл, что конечный тензор это не черный ящик для тензорфлоу, а expression, и он видит, что полученный Lf разбирается на 3 суммы, каждая из которых разбирается на две переменные.
Теперь понял, благодарю
>>58848
dense(128) -> dense(n_classes) -> sigmoid()
лосс - бинарная кроссэнтропия
в y_train хранишь векторы из нулей и единиц, где в i-ой позиции стоит 1 - если есть i-ый класс, 0 - если нет
>>59095
Ты реально собрался это обучать в 2020? Сколько времени это займет?
В кликер ничего посвежее не завезли?
dense(128) -> dense(n_classes) -> sigmoid()
лосс - бинарная кроссэнтропия
в y_train хранишь векторы из нулей и единиц, где в i-ой позиции стоит 1 - если есть i-ый класс, 0 - если нет
>>59095
>в Orange есть vgg19
Ты реально собрался это обучать в 2020? Сколько времени это займет?
В кликер ничего посвежее не завезли?
> Familiarity with the basic linear algebra (any one of Math 51, Math 103, Math 113, or CS 205 would be much more than necessary.)
И шо таки с этого выбрать? Или оно будет сложновато?
>>59647
Зачем? Даже мне, думеру, неинтересно как было раньше. Нынешние методы все равно лучше
> экскурс в забытые времена
Зачем? Даже мне, думеру, неинтересно как было раньше. Нынешние методы все равно лучше
>>59759
В моей шараге я почти всё делал через метод Гаусса. Ещё были полторы теоремы про ранг и про подсистему или как там линейной зависимых и независимых. Этого разве хватит? Можно как-то покодить это, кстати, чтобы лучше понять?
В моей шараге я почти всё делал через метод Гаусса. Ещё были полторы теоремы про ранг и про подсистему или как там линейной зависимых и независимых. Этого разве хватит? Можно как-то покодить это, кстати, чтобы лучше понять?
>>59761
Так оно и естественно, "думер", что неинтересно. Надо себя заставлять, развиваться, иначе так макакой трясуном и останешься.
Так оно и естественно, "думер", что неинтересно. Надо себя заставлять, развиваться, иначе так макакой трясуном и останешься.
>>59761
"Нынешние методы" это слегка подрихтованные не нынешние. Любая суперпупер современная нейрон очка очень недалеко ушла от перцептрона.
> Нынешние методы все равно лучше
"Нынешние методы" это слегка подрихтованные не нынешние. Любая суперпупер современная нейрон очка очень недалеко ушла от перцептрона.
>>59849
Ну так развивайся, школьник. Молча.
Ну так развивайся, школьник. Молча.
>>59443
так она потренирована уже.
на кошках и собачках.
>Ты реально собрался это обучать в 2020? Сколько времени это займет?
так она потренирована уже.
на кошках и собачках.
>>59966
Я посмотрел твой кликер - там архитектуры из 15 года, когда скип-коннекшенов ещё не было. Актуальненько.
Я посмотрел твой кликер - там архитектуры из 15 года, когда скип-коннекшенов ещё не было. Актуальненько.
>>60175
Независимо от задачи VGG19 всегда будет всасывать у семейства EfficientNet'ов. В зависимости от задачи ты можешь выбрать EfficientNetB0 или EfficientNetB7.
Это на пальцах, на деле все немного сложнее, но одно можно сказать наверняка - VGG19 сосет, он слишком тормозной и одновременно неточный. Выбирать сетку без residual связей в 2020 - ну это ооочень спорно.
Независимо от задачи VGG19 всегда будет всасывать у семейства EfficientNet'ов. В зависимости от задачи ты можешь выбрать EfficientNetB0 или EfficientNetB7.
Это на пальцах, на деле все немного сложнее, но одно можно сказать наверняка - VGG19 сосет, он слишком тормозной и одновременно неточный. Выбирать сетку без residual связей в 2020 - ну это ооочень спорно.
>>60179 ну что ты прикопался? Там еще inception v3 есть.
Меня больше интересует откуда берется априорное суждение о не подходящем соотношении цена-точность?
Меня больше интересует откуда берется априорное суждение о не подходящем соотношении цена-точность?
>>60220
Из первой картинки. Если тебе достаточно точности VGG19, бери ResNet-34, которая в 5 раз быстрее, легче и точнее при этом. По сути это та же VGG по своей философии (много-много одинаковых маленьких фильтров без наворотов как у той же inception), к которой добавили скип коннекшены, которые являются имбой для чего угодно.
>Меня больше интересует откуда берется априорное суждение о не подходящем соотношении цена-точность?
Из первой картинки. Если тебе достаточно точности VGG19, бери ResNet-34, которая в 5 раз быстрее, легче и точнее при этом. По сути это та же VGG по своей философии (много-много одинаковых маленьких фильтров без наворотов как у той же inception), к которой добавили скип коннекшены, которые являются имбой для чего угодно.
>>60185
Говорю на деле немного сложнее. Например, на реальных GPU эти теоретические гигафлопсы не всегда конвертятся в перформанс, можно бесплатно донавесить фильтров. Но это я на реддите когда-то давно прочитал в ответ именно на этот вопрос - почему EfficientNet такие крутые, а не используются. На самом деле это уже уровень конкретной ебли именно с классификаторами, какой там нынче в моде SOTA. А вот не знать про реснеты в 2020 это уже стыдно кому угодно.
Говорю на деле немного сложнее. Например, на реальных GPU эти теоретические гигафлопсы не всегда конвертятся в перформанс, можно бесплатно донавесить фильтров. Но это я на реддите когда-то давно прочитал в ответ именно на этот вопрос - почему EfficientNet такие крутые, а не используются. На самом деле это уже уровень конкретной ебли именно с классификаторами, какой там нынче в моде SOTA. А вот не знать про реснеты в 2020 это уже стыдно кому угодно.
>>60220
2015 год
Во-первых, ты споришь с голосами в голове - никто не говорил про соотношение цены-точности.
Во-вторых, архитектуры в твоем кликере устарели по сравнению с "sota" , занимают больше места, имеют более долгий инференс и трейн тайм, точность на имеджнете хуже.
>Там еще inception v3 есть
2015 год
>откуда берется априорное суждение о не подходящем соотношении цена-точность
Во-первых, ты споришь с голосами в голове - никто не говорил про соотношение цены-точности.
Во-вторых, архитектуры в твоем кликере устарели по сравнению с "sota" , занимают больше места, имеют более долгий инференс и трейн тайм, точность на имеджнете хуже.
19 Кб, 200x218>>56913>>57794
Ещё актуально.
Делал как тут https://github.com/caogang/wgan-gp/blob/master/gan_mnist.py или тут https://github.com/caogang/wgan-gp/blob/master/gan_toy.py
НО НЕ ЗАВОДИТСЯ!!1
Даже жж Лебедева проще найти.
Ещё актуально.
Делал как тут https://github.com/caogang/wgan-gp/blob/master/gan_mnist.py или тут https://github.com/caogang/wgan-gp/blob/master/gan_toy.py
НО НЕ ЗАВОДИТСЯ!!1
Даже жж Лебедева проще найти.
>>59155
Кстати, а что за нечеткий петух? Это математик-вкатывальщик или нечто большее?
Кстати, а что за нечеткий петух? Это математик-вкатывальщик или нечто большее?
>>60368
Это маняресерчеры, которые презирают программистов и начинают дико орать при упоминании кода, отличного от лапши в жупитере. Математику и машоб они скорее всего знают тоже так себе.
>Кстати, а что за нечеткий петух? Это математик-вкатывальщик или нечто большее?
Это маняресерчеры, которые презирают программистов и начинают дико орать при упоминании кода, отличного от лапши в жупитере. Математику и машоб они скорее всего знают тоже так себе.
>>60368
Да хуй его знает. В тредах он с самого начала и взбаламутил много неокрепших умов. Любит вапника, нечеткую логику и word2vec. Не любит дип лернинг, по политическим взглядам весьма ватен, если не ошибаюсь. О любой вещи может рассказать, что это все было 50 лет назад в статье каких-то японцев. В основания тредах в /math он известен как конструшок, насколько я знаю.
Да хуй его знает. В тредах он с самого начала и взбаламутил много неокрепших умов. Любит вапника, нечеткую логику и word2vec. Не любит дип лернинг, по политическим взглядам весьма ватен, если не ошибаюсь. О любой вещи может рассказать, что это все было 50 лет назад в статье каких-то японцев. В основания тредах в /math он известен как конструшок, насколько я знаю.
В чем принципиальное отличие активации ReLu от отсутствия активации вообще? Что такого дает ноль при отрицательном аргументе, что она практически вытеснила все остальные функции?
>>60396
Кодомакака ньюфажная плиз, нечёткий петух сначала возник в /math/ где заливал всё критикой натуральных чисел, нечёткой логикой и интуиционизмом, отчего и получил кличку. То есть это такой быдлокодер от математики, настоящей математики он не знает и не хочет.
Кодомакака ньюфажная плиз, нечёткий петух сначала возник в /math/ где заливал всё критикой натуральных чисел, нечёткой логикой и интуиционизмом, отчего и получил кличку. То есть это такой быдлокодер от математики, настоящей математики он не знает и не хочет.
>>60432
Отсутствие активации превращает твой стек из 1000 слоёв в банальный линейный классификатор. Потому что ты можешь просто перемножить все матрицы весов и получишь матрицу весов.
А с активацией у тебя уже нелинейная модель, которая умеет, например, сравнивать числа и отбрасывать информацию.
0 или не 0 тут роли не играет, главное сам факт нелинейности.
Вытеснила, потому что работает и очень быстро считается.
Отсутствие активации превращает твой стек из 1000 слоёв в банальный линейный классификатор. Потому что ты можешь просто перемножить все матрицы весов и получишь матрицу весов.
А с активацией у тебя уже нелинейная модель, которая умеет, например, сравнивать числа и отбрасывать информацию.
0 или не 0 тут роли не играет, главное сам факт нелинейности.
Вытеснила, потому что работает и очень быстро считается.
>>60432
она нелинейная, но простая для вычислений.
10 линейных функций можно заменить одной линейной. И поэтому сеть не может выделить нетривиальные закономерности.
она нелинейная, но простая для вычислений.
10 линейных функций можно заменить одной линейной. И поэтому сеть не может выделить нетривиальные закономерности.
>>60448
Там мы и так сидим в пещере и импортируем слесарьплов
Там мы и так сидим в пещере и импортируем слесарьплов
>>60451
А что я? Я его люблю нежной любовью
А что я? Я его люблю нежной любовью
Стакаем регрессии - последовательно аналитически находим решения через псевдообратные матрицы - бэкпроп больше не нужен (по крайней мере для полносвязных сетей)
https://arxiv.org/pdf/2011.08895.pdf
https://arxiv.org/pdf/2011.08895.pdf
>>60940
Это сколько же данной хуитке памяти нужно, чтобы заебенить в одну огромную матрицу весь датасет целиком с одной стороны, и все веса - с другой? Видимо поэтому дальше CIFAR-10 у них дело не пошло как всегда и бывает в общем-то
Это сколько же данной хуитке памяти нужно, чтобы заебенить в одну огромную матрицу весь датасет целиком с одной стороны, и все веса - с другой? Видимо поэтому дальше CIFAR-10 у них дело не пошло как всегда и бывает в общем-то
Кстати, раз уж здесь уже поднялась тема вопросов о функции активации от нубов(хотя для прошлого вопроса достаточно знать основы линала), то тоже спрошу:
Почему бы не использовать вместо логита такую функцию:
f(x) = x для -1<x<1 и f(x) = sgn(x) для остальных x?
Почему бы не использовать вместо логита такую функцию:
f(x) = x для -1<x<1 и f(x) = sgn(x) для остальных x?
50 Кб, 1190x456>>61198
Существует проблема vanishing gradients - когда точка функции находится в зоне насыщения, градиент маленький, и обучение идет медленно, а если это в нескольких слоях подряд - то совсем медленно. Это привело к смене сигмоид на ReLU. Ты же предлагаешь вообще обнулить градиент нахуй, то есть как только твой вес попадет в область с константой, он не будет двигаться совсем.
На твою функцию похожа функция активации relu6, но там нижний хвост на уровне нуля, как у relu, а верхний - аж на уровне 6, чтобы не было проблем с переполнением low precision арифметики. Задумка в том, чтобы благодаря батчнорму и прочим ухищрениям значения до такой большой величины, как 6, просто не добирались, но если уж добираются, то не выше, чтобы не создавать арифметических проблем.
Существует проблема vanishing gradients - когда точка функции находится в зоне насыщения, градиент маленький, и обучение идет медленно, а если это в нескольких слоях подряд - то совсем медленно. Это привело к смене сигмоид на ReLU. Ты же предлагаешь вообще обнулить градиент нахуй, то есть как только твой вес попадет в область с константой, он не будет двигаться совсем.
На твою функцию похожа функция активации relu6, но там нижний хвост на уровне нуля, как у relu, а верхний - аж на уровне 6, чтобы не было проблем с переполнением low precision арифметики. Задумка в том, чтобы благодаря батчнорму и прочим ухищрениям значения до такой большой величины, как 6, просто не добирались, но если уж добираются, то не выше, чтобы не создавать арифметических проблем.
>>61286
Ифа там вообще быть недолжно, relu это y=max(x,0), одна инструкция в PTX ассемблере, relu6 - две инструкции. А ботлнеки это всегда операции с памятью, а не подобная вычислительная хуитка. Вообще любые функции активации считай что бесплатные на GPU, эта хуйня идеально ложится на пайплайн GPU - грузишь байтики из памяти, применяешь активацию, грузишь назад, и все это конвеером
Ифа там вообще быть недолжно, relu это y=max(x,0), одна инструкция в PTX ассемблере, relu6 - две инструкции. А ботлнеки это всегда операции с памятью, а не подобная вычислительная хуитка. Вообще любые функции активации считай что бесплатные на GPU, эта хуйня идеально ложится на пайплайн GPU - грузишь байтики из памяти, применяешь активацию, грузишь назад, и все это конвеером
>>60940
ммм, как же я люблю эти революционно-ломающие пейперы от нонейм-авторов, которые тестятся всегда на каком-нибудь MNIST или CIFAR
ммм, как же я люблю эти революционно-ломающие пейперы от нонейм-авторов, которые тестятся всегда на каком-нибудь MNIST или CIFAR
>>61404
Мы в школе так играли. В тебя кидают тряпкой, ты должен кинуть тряпкой в ответ, а если не кинул - ты CIFAR
>CIFAR
Мы в школе так играли. В тебя кидают тряпкой, ты должен кинуть тряпкой в ответ, а если не кинул - ты CIFAR
Посоветуйте датасет для новичка. Чтобы по максимуму - почистить и подготовить данные, проанализировать, визуализировать, обучить, провести работу над ошибками. Но не сложный.
Пока что работал с несколькими датасетами на каггле, подготавливать особо не пришлось, кроме нарезки картинок для cnn. Хочу руки набить на простых задачах.
Пока что работал с несколькими датасетами на каггле, подготавливать особо не пришлось, кроме нарезки картинок для cnn. Хочу руки набить на простых задачах.
>>61725
А если я ей просто еще один датасет закину? Пока результат устраивает, но в долгосрочной перспективе имеет смысл так делать или лучше не стоит?
А если я ей просто еще один датасет закину? Пока результат устраивает, но в долгосрочной перспективе имеет смысл так делать или лучше не стоит?
>>61787
Ну вот я обучил нейронку на 3 категории, у нее вес на 2 гигабайта. Такое пока только со сверточной сетью получилось наговнокодить.
Ну вот я обучил нейронку на 3 категории, у нее вес на 2 гигабайта. Такое пока только со сверточной сетью получилось наговнокодить.
>>61789
Ну это совсем дохуя. Вот смотри на второй график >>60102
Самая большая сетка - 160 миллионов параметров, то есть 640 мегабайт, при чем 320 из них чтобы выжать 0.5% точности. Скорее всего у тебя избыточно много фильтров, попробуй сделать так, чтобы они росли хотя бы по правилу A*(2^N), где N - номер слоя. Плюс размеры фильтров важны - много 3х3 фильтров скорее всего будет работать лучше, чем один 7x7. Алсо изучи послойно, где именно у тебя максимум весов и флопсов, возможно у тебя в последних dense слоях слишком дохуя весов, и нужно просто еще пару раз добавить conv-conv-conv-pool блок, а не делать flatten раньше времени.
Ну а в целом просто возьми уже проверенную на разных датасетах архитектуру, где все это уже сделали за тебя.
Ну это совсем дохуя. Вот смотри на второй график >>60102
Самая большая сетка - 160 миллионов параметров, то есть 640 мегабайт, при чем 320 из них чтобы выжать 0.5% точности. Скорее всего у тебя избыточно много фильтров, попробуй сделать так, чтобы они росли хотя бы по правилу A*(2^N), где N - номер слоя. Плюс размеры фильтров важны - много 3х3 фильтров скорее всего будет работать лучше, чем один 7x7. Алсо изучи послойно, где именно у тебя максимум весов и флопсов, возможно у тебя в последних dense слоях слишком дохуя весов, и нужно просто еще пару раз добавить conv-conv-conv-pool блок, а не делать flatten раньше времени.
Ну а в целом просто возьми уже проверенную на разных датасетах архитектуру, где все это уже сделали за тебя.
>>61790
У меня в dense очень много параметров, не пойму что к этому привело. Это же перемноженные выходы с flatten на входы dense, тогда непонятно почему flatten такой большой. Надо разбираться, спасибо.
У меня в dense очень много параметров, не пойму что к этому привело. Это же перемноженные выходы с flatten на входы dense, тогда непонятно почему flatten такой большой. Надо разбираться, спасибо.
>>61790
То есть нормально будет обучить сетку с 32 > 64 > 128 > 32 входами на conv layer, условно?
>пару раз добавить conv-conv-conv-pool блок
То есть нормально будет обучить сетку с 32 > 64 > 128 > 32 входами на conv layer, условно?
>>61815
Я бы сделал что-то типа
32 > 64 > 128 > 128 > 128 - чтобы пару раз сдаунсэмплить данные, а число фильтров оставить старым, тогда общее число весов в последнем слое будет в 16 раз меньше
А вообще оптимум гридсерчем надо искать
Я бы сделал что-то типа
32 > 64 > 128 > 128 > 128 - чтобы пару раз сдаунсэмплить данные, а число фильтров оставить старым, тогда общее число весов в последнем слое будет в 16 раз меньше
А вообще оптимум гридсерчем надо искать
>>61645
извини, но в этом углу Магического Треугольника Уровня /AI/ все нудное и сложное.
Че ты с кабанчиками не знаком? попроси у них экселюшечки или выгрузочки из 1с.
А то так и будешь думать, что главное в датасеансе - это Титаник.
> Но не сложный.
извини, но в этом углу Магического Треугольника Уровня /AI/ все нудное и сложное.
Че ты с кабанчиками не знаком? попроси у них экселюшечки или выгрузочки из 1с.
А то так и будешь думать, что главное в датасеансе - это Титаник.
>>61813
Поменяй Flatten на Global average pooling.
Поменяй Flatten на Global average pooling.
Погромисты, есть у нас предположим букмекер и сайт на котором видны изменения коэффициентов, команды, их статистика и т.д, в теории можно написать алгоритм, который будет условно пару месяцев тренироваться используя эту информацию, чтобы он давал результат стабильно более 50%? Насколько сложно это реализовать? Если я захочу вкатится в машоб, то стоит ли брать такой проект как маяк на реализацию которого стоит ориентироваться?(деньги сливать не собираюсь, просто интересно)
>>62172
Можешь. Вот тебе алгоритм - "Ставить на команду с меньшим коэффициентом". Будешь правильно угадывать больше чем в 50% случаев.
А вот сколько ставить, чтобы при этом оставаться в плюсе, - задача посложнее.
>чтобы он давал результат стабильно более 50%?
Можешь. Вот тебе алгоритм - "Ставить на команду с меньшим коэффициентом". Будешь правильно угадывать больше чем в 50% случаев.
А вот сколько ставить, чтобы при этом оставаться в плюсе, - задача посложнее.
>>62172
Ты правда думаешь что один такой умный вилочник нарисовался?
>предположим букмекер и сайт на котором видны изменения коэффициентов,
Ты правда думаешь что один такой умный вилочник нарисовался?
Объясните, почему у VGG-16/19 входной слой 224x224? То есть откуда такое странное разрешение. Я понимаю, что это 2 ^ 5 x 7, то есть после 5 уменьшений в два раза там получается 7x7 с кучей слоёв-фич, но почему именно 7x7? Это типа минимальное разрешение, на котором видно морду кота/самолёт/цветок? Почему, например, не 8x8? Зачем вообще уменьшать до такого предела, почему не оставить 14x14 и побольше слоёв-фич?
Где-то расписано чем обусловлен именно такой выбор? Я искал сегодня, ничего кроме "ой, ну это стандартное разрешение)) на 256x256 было бы намного больше переменных обучения)))" и прочего не нашёл
Где-то расписано чем обусловлен именно такой выбор? Я искал сегодня, ничего кроме "ой, ну это стандартное разрешение)) на 256x256 было бы намного больше переменных обучения)))" и прочего не нашёл
>>62428
В пейпере по VGG они представляют 5 разных моделей и более менее понятен ход их мысли. Стекали слои из 3х3 фильтров, пока повышалась точность, короче эвристики+гридсерч+эвристики+гридсерч. Как обычно, короче. Расходитесь, здесь не на что смотреть.
А 224х224 это размер картинок в имейджнет-контесте, под победу в котором оно и затачивалось. У меня тоже есть предположение, что это связано с тем, что minst это 28х28, но пруфов нет.
>Где-то расписано чем обусловлен именно такой выбор?
В пейпере по VGG они представляют 5 разных моделей и более менее понятен ход их мысли. Стекали слои из 3х3 фильтров, пока повышалась точность, короче эвристики+гридсерч+эвристики+гридсерч. Как обычно, короче. Расходитесь, здесь не на что смотреть.
А 224х224 это размер картинок в имейджнет-контесте, под победу в котором оно и затачивалось. У меня тоже есть предположение, что это связано с тем, что minst это 28х28, но пруфов нет.
>>61747
А бустинги как?
А бустинги как?
Здравствуйте, посоветуйте литературу по ЧМ и оптимизации, которая будет полезна для работы в сфере машоба.
Бля, всегда разный стиль, мне не нравится.
>>62835
Шок, нейросеть научилась накладывать коричневые текстуры на изображение.
Шок, нейросеть научилась накладывать коричневые текстуры на изображение.
Подскажите как обучают на картинках без терабайт озу. Вот я прикинул. Квадрат на 224^2 пикселя.
224 x 224 x 3 = 150 528 значений, по 4 байта (ширина float) каждое. Итого 588 килобайт на картинку.
Допустим, я хочу картинку немного помутировать: поповорачивать, сделать grayscale (которых тоже несколько). По 5 мутаций (включая оригинал) на картинку это 2.8 мегабайт озу на картинку, только на входные данные.
Допустим, я хочу воткнуть 20 000 уникальных изображений = 56 гигабайт данных.
Это только входные данные, без тензоров, которые тоже занимают озу в процессе обучения.
Что если мне понадобится отправить в два раза больше картинок? У меня столько ОЗУ нет.
Каждую эпоху мне надо скармливать все картинки, так? То есть мне надо их все держать в памяти. И если памяти не хватает, то считывать вновь с SSD. Потом скармливать другие данные, потом третьи и так далее.
Или можно пару эпох подряд скармливать один чанк данных (допустим, 10 000 картинок), потом пару эпох второй и так пока не закончатся чанки и начинаем все заново? Если я правильно понимаю, без длительного нахождения айтемов в обучающей выборке, сеть их забывает.
224 x 224 x 3 = 150 528 значений, по 4 байта (ширина float) каждое. Итого 588 килобайт на картинку.
Допустим, я хочу картинку немного помутировать: поповорачивать, сделать grayscale (которых тоже несколько). По 5 мутаций (включая оригинал) на картинку это 2.8 мегабайт озу на картинку, только на входные данные.
Допустим, я хочу воткнуть 20 000 уникальных изображений = 56 гигабайт данных.
Это только входные данные, без тензоров, которые тоже занимают озу в процессе обучения.
Что если мне понадобится отправить в два раза больше картинок? У меня столько ОЗУ нет.
Каждую эпоху мне надо скармливать все картинки, так? То есть мне надо их все держать в памяти. И если памяти не хватает, то считывать вновь с SSD. Потом скармливать другие данные, потом третьи и так далее.
Или можно пару эпох подряд скармливать один чанк данных (допустим, 10 000 картинок), потом пару эпох второй и так пока не закончатся чанки и начинаем все заново? Если я правильно понимаю, без длительного нахождения айтемов в обучающей выборке, сеть их забывает.
>>63270
Про батчи и как работает SGD не слышал? Естественно весь датасет никто сразу не грузит в память, а лениво обрабатывается минибатчами.
Про батчи и как работает SGD не слышал? Естественно весь датасет никто сразу не грузит в память, а лениво обрабатывается минибатчами.
>>63281
нет, я знаю, что можно скармливать по куску и так скормить весь датасет, на чем можно посчитать, что эпоха окончена. Вопрос в том, что люди реально загружают/выгружают десятки гигабайт данных с SSD?
нет, я знаю, что можно скармливать по куску и так скормить весь датасет, на чем можно посчитать, что эпоха окончена. Вопрос в том, что люди реально загружают/выгружают десятки гигабайт данных с SSD?
Посоветуйте, пожалуйста, учебник по статистике, чтобы подтянуть знания и мочь читать не только популярные статьи по МЛ, но и научные.
Имеется: два семестра теорвера, немного подзабытые.
Имеется: два семестра теорвера, немного подзабытые.
>>63270
Покупаешь быстрый SSD на терабайт (желательно 970 EVO или что-то похожее), и используешь либо Numpy memmap, либо HDF5. В обоих случаях данные хранятся на диске, но использовать их можно как будто они лежат в памяти. Только желательно их самостоятельно перемешать и отключить shuffle во время обучения, поскольку последовательное чтение в разы быстрее даже на SSD.
20к это очень мало. Если аугментировать прямо во время обучения, то они без проблем влезут в память.
>Подскажите как обучают на картинках без терабайт озу
Покупаешь быстрый SSD на терабайт (желательно 970 EVO или что-то похожее), и используешь либо Numpy memmap, либо HDF5. В обоих случаях данные хранятся на диске, но использовать их можно как будто они лежат в памяти. Только желательно их самостоятельно перемешать и отключить shuffle во время обучения, поскольку последовательное чтение в разы быстрее даже на SSD.
>Допустим, я хочу картинку немного помутировать: поповорачивать, сделать grayscale
>Допустим, я хочу воткнуть 20 000 уникальных изображений
20к это очень мало. Если аугментировать прямо во время обучения, то они без проблем влезут в память.
>>63340
А зря. Всегда целься создавать уникальное, это необходимый скил. Особенно в такой околонаучной области, как ДС.
А зря. Всегда целься создавать уникальное, это необходимый скил. Особенно в такой околонаучной области, как ДС.
>>63270
Ищешь в своем фреймворке как с помощью коллбэков сделать так, чтобы пока GPU делает шаг градиентного спуска, CPU (в виде переданной фреймворку функции типа def day_mne_batch()). Так у тебя не будет тратиться время - пока GPU работает, CPU готовит новые данные.
В этой функции можешь спокойно и не торопясь прочитать с диска файл, наложить аугментации на лету, и вернуть подготовленный батч.
Далее, нюансы. Если CPU у тебя тормоз и ты не успеваешь на лету подготовить батч - придется сгенерить датасет с аугментациями заранее. Крайне не рекомендую. 5 мутаций - это хуйня. Каждый раз новая мутация - это сильно лучше.
Если аугментации совсем тяжелые, есть еще вариант делать их прямо на GPU, сделав специальные нетренируемые слои.
Если CPU у тебя наоборот ультрабыстрый, можно даже не конвертить картинки в сырые пиксели, а читать прямо jpeg'и и, возможно, обойтись HDD вместо SSD. Короче, ищи баланс.
Это ты совсем тупишь, тензоры лежат в памяти GPU.
>Подскажите как обучают на картинках без терабайт озу.
Ищешь в своем фреймворке как с помощью коллбэков сделать так, чтобы пока GPU делает шаг градиентного спуска, CPU (в виде переданной фреймворку функции типа def day_mne_batch()). Так у тебя не будет тратиться время - пока GPU работает, CPU готовит новые данные.
В этой функции можешь спокойно и не торопясь прочитать с диска файл, наложить аугментации на лету, и вернуть подготовленный батч.
Далее, нюансы. Если CPU у тебя тормоз и ты не успеваешь на лету подготовить батч - придется сгенерить датасет с аугментациями заранее. Крайне не рекомендую. 5 мутаций - это хуйня. Каждый раз новая мутация - это сильно лучше.
Если аугментации совсем тяжелые, есть еще вариант делать их прямо на GPU, сделав специальные нетренируемые слои.
Если CPU у тебя наоборот ультрабыстрый, можно даже не конвертить картинки в сырые пиксели, а читать прямо jpeg'и и, возможно, обойтись HDD вместо SSD. Короче, ищи баланс.
>Это только входные данные, без тензоров, которые тоже занимают озу в процессе обучения.
Это ты совсем тупишь, тензоры лежат в памяти GPU.
>>63393
Если у тебя не 160+ айсикью, то ты не создашь ничего уникального даже в нишевой области. Уникальное создается в больших организациях с огромными бюджетами и множеством людей с разными специальностями и топовым образованием.
Естественно, какая-нибудь сверточная нейросеть для классификации залуп к уникальному не относится - это типовая задача.
>Всегда целься создавать уникальное, это необходимый скил
Если у тебя не 160+ айсикью, то ты не создашь ничего уникального даже в нишевой области. Уникальное создается в больших организациях с огромными бюджетами и множеством людей с разными специальностями и топовым образованием.
Естественно, какая-нибудь сверточная нейросеть для классификации залуп к уникальному не относится - это типовая задача.
Почему при поиске по data science в моем городе (миллионник вна Украине) 95% вакансий - это "аналитики" со знанием экселя? Ну иногда еще могут 1с
или sql потребовать.
или sql потребовать.
>>63395
Джвачуб, если ты не дохтор пхилософии или не негр, то тебе делать нечего.
>топовым образованием
Джвачуб, если ты не дохтор пхилософии или не негр, то тебе делать нечего.
>>63395
Ты уникальность с научным прорывом попутал. Можно просто стремиться сделать немного лучше, чем сделано до тебя. Примерно 100% научных статей в машобе из этого и состоят.
Ты уникальность с научным прорывом попутал. Можно просто стремиться сделать немного лучше, чем сделано до тебя. Примерно 100% научных статей в машобе из этого и состоят.
>>63270
господи как ты заебал.
ты попробовал эмбединги на своей задаче?
каков результат ?
к чему это все?
господи как ты заебал.
ты попробовал эмбединги на своей задаче?
каков результат ?
к чему это все?
>>63437
Можно, только это нахуй никому не нужно, эти пейперы уровня "мы подняли SOA на никому не нужном датасете с 87 до 89 процентов" просто забывают через неделю после их публикации и никто никогда их нигде не использует.
>Можно просто стремиться сделать немного лучше, чем сделано до тебя.
Можно, только это нахуй никому не нужно, эти пейперы уровня "мы подняли SOA на никому не нужном датасете с 87 до 89 процентов" просто забывают через неделю после их публикации и никто никогда их нигде не использует.
В нейронках ваших не шарю совсем. Но хочу написать для себя поисковик по сохраненным мемам. Для этого мне нужны две нейронки:
1. Нейронка, что ищет текст на картинках. Текст печатный, но может быть искаженным, на ебанутом фоне и.тд.
2. Нейронка, в которую можно загружать образы и чтобы она находила их на картинке. К примеру, хочу я искать лягушонка пеппе. Для этого я скармливаю нейронке десятки изображений лягушонка, чтобы в следущий раз она нашла его на совсем левой картинке.
Существуют ли такие штуки, при чем забесплатно и чтобы их учить не надо было?
1. Нейронка, что ищет текст на картинках. Текст печатный, но может быть искаженным, на ебанутом фоне и.тд.
2. Нейронка, в которую можно загружать образы и чтобы она находила их на картинке. К примеру, хочу я искать лягушонка пеппе. Для этого я скармливаю нейронке десятки изображений лягушонка, чтобы в следущий раз она нашла его на совсем левой картинке.
Существуют ли такие штуки, при чем забесплатно и чтобы их учить не надо было?
Здравствуйте, подскажите, пожалуйста, как лучше перенести/создать среду с питоном (и с cuda, вообще для pix2pixHD) на сервере. Я сейчас пытаюсь задеплоить модель куда-нибудь, моя среда разработки- это просто базовый env миниконды с кучей установленного мусора (да, первая ошибка- я, когда начинал работать, еще не знал про среды). И всё это (вторая ошибка)- на win 10, в код pix2pixHD внесены минимальные изменения чтобы оно работало на винде, без поддержки нескольких видеокарт или AMP.
В теории я могу/должен собрать новую среду с нужными зависимостями и перенести её на сервер или повторить её установку по всем пунктам (cuda, pytorch) на сервере. И тут, вероятно, у меня третья ошибка- я беру google cloud VM с какой-нибудь виндой с поддержкой GUI на ЦП без видеокарты (ну я не могу в линукс пока что, тем более без GUI все образы, и поставить GUI у меня по гайдам почему-то не получилось, пишет что-то про недоступность устройства). В случае с win-server 2012 и 2019 после установки conda, cuda и зависимостей код запускается и выдаёт ошибку, что не может подклучить _ctypes, хотя плагин для поддержки - VStudio 2019 я ставил.
Вопрос- я вообще правильно делаю, что пытаюсь на VM от гугла без видеокарты поднять pix2pixHD ?(в теории процессора и 8 гб должно хватать, я не обучаю там модель, а только запускаю уже обработку обученного генератора.) Может мне стоит посмотреть на 1) другие сервисы с ubuntu VM с GUI , там должно быть чуть меньше проблем. 2) Пробовать учиться делать docker-изацию всего этого дела и поднимать потом всё это же на виртуальнйо машине (или на выделенном сервере? где-то читал, что в VM докер- это извращение). Я просто уже пару дней бьюсь. Может есть способ сделать образ или список типа freeze всех зависимостей для приложения только грамотно? Я смотрю в сторону докера, но не очень понимаю, как там сохранить, например cuda или конду с зависимостями или как передать внутрь контейнера мои файлы снаружи. Или может где-то у Нвидии есть уже готовые контейнеры с pix2pixHD и даже серверы чтобы с ними играть тестить?
В теории я могу/должен собрать новую среду с нужными зависимостями и перенести её на сервер или повторить её установку по всем пунктам (cuda, pytorch) на сервере. И тут, вероятно, у меня третья ошибка- я беру google cloud VM с какой-нибудь виндой с поддержкой GUI на ЦП без видеокарты (ну я не могу в линукс пока что, тем более без GUI все образы, и поставить GUI у меня по гайдам почему-то не получилось, пишет что-то про недоступность устройства). В случае с win-server 2012 и 2019 после установки conda, cuda и зависимостей код запускается и выдаёт ошибку, что не может подклучить _ctypes, хотя плагин для поддержки - VStudio 2019 я ставил.
Вопрос- я вообще правильно делаю, что пытаюсь на VM от гугла без видеокарты поднять pix2pixHD ?(в теории процессора и 8 гб должно хватать, я не обучаю там модель, а только запускаю уже обработку обученного генератора.) Может мне стоит посмотреть на 1) другие сервисы с ubuntu VM с GUI , там должно быть чуть меньше проблем. 2) Пробовать учиться делать docker-изацию всего этого дела и поднимать потом всё это же на виртуальнйо машине (или на выделенном сервере? где-то читал, что в VM докер- это извращение). Я просто уже пару дней бьюсь. Может есть способ сделать образ или список типа freeze всех зависимостей для приложения только грамотно? Я смотрю в сторону докера, но не очень понимаю, как там сохранить, например cuda или конду с зависимостями или как передать внутрь контейнера мои файлы снаружи. Или может где-то у Нвидии есть уже готовые контейнеры с pix2pixHD и даже серверы чтобы с ними играть тестить?
Здравствуйте, подскажите, пожалуйста, как лучше перенести/создать среду с питоном (и с cuda, вообще для pix2pixHD) на сервере. Я сейчас пытаюсь задеплоить модель куда-нибудь, моя среда разработки- это просто базовый env миниконды с кучей установленного мусора (да, первая ошибка- я, когда начинал работать, еще не знал про среды). И всё это (вторая ошибка)- на win 10, в код pix2pixHD внесены минимальные изменения чтобы оно работало на винде, без поддержки нескольких видеокарт или AMP.
В теории я могу/должен собрать новую среду с нужными зависимостями и перенести её на сервер или повторить её установку по всем пунктам (cuda, pytorch) на сервере. И тут, вероятно, у меня третья ошибка- я беру google cloud VM с какой-нибудь виндой с поддержкой GUI на ЦП без видеокарты (ну я не могу в линукс пока что, тем более без GUI все образы, и поставить GUI у меня по гайдам почему-то не получилось, пишет что-то про недоступность устройства). В случае с win-server 2012 и 2019 после установки conda, cuda и зависимостей код запускается и выдаёт ошибку, что не может подклучить _ctypes, хотя плагин для поддержки - VStudio 2019 я ставил.
Вопрос- я вообще правильно делаю, что пытаюсь на VM от гугла без видеокарты поднять pix2pixHD ?(в теории процессора и 8 гб должно хватать, я не обучаю там модель, а только запускаю уже обработку обученного генератора.) Может мне стоит посмотреть на 1) другие сервисы с ubuntu VM с GUI , там должно быть чуть меньше проблем. 2) Пробовать учиться делать docker-изацию всего этого дела и поднимать потом всё это же на виртуальнйо машине (или на выделенном сервере? где-то читал, что в VM докер- это извращение). Я просто уже пару дней бьюсь. Может есть способ сделать образ или список типа freeze всех зависимостей для приложения только грамотно? Я смотрю в сторону докера, но не очень понимаю, как там сохранить, например cuda или конду с зависимостями или как передать внутрь контейнера мои файлы снаружи. Или может где-то у Нвидии есть уже готовые контейнеры с pix2pixHD и даже серверы чтобы с ними играть тестить?
В теории я могу/должен собрать новую среду с нужными зависимостями и перенести её на сервер или повторить её установку по всем пунктам (cuda, pytorch) на сервере. И тут, вероятно, у меня третья ошибка- я беру google cloud VM с какой-нибудь виндой с поддержкой GUI на ЦП без видеокарты (ну я не могу в линукс пока что, тем более без GUI все образы, и поставить GUI у меня по гайдам почему-то не получилось, пишет что-то про недоступность устройства). В случае с win-server 2012 и 2019 после установки conda, cuda и зависимостей код запускается и выдаёт ошибку, что не может подклучить _ctypes, хотя плагин для поддержки - VStudio 2019 я ставил.
Вопрос- я вообще правильно делаю, что пытаюсь на VM от гугла без видеокарты поднять pix2pixHD ?(в теории процессора и 8 гб должно хватать, я не обучаю там модель, а только запускаю уже обработку обученного генератора.) Может мне стоит посмотреть на 1) другие сервисы с ubuntu VM с GUI , там должно быть чуть меньше проблем. 2) Пробовать учиться делать docker-изацию всего этого дела и поднимать потом всё это же на виртуальнйо машине (или на выделенном сервере? где-то читал, что в VM докер- это извращение). Я просто уже пару дней бьюсь. Может есть способ сделать образ или список типа freeze всех зависимостей для приложения только грамотно? Я смотрю в сторону докера, но не очень понимаю, как там сохранить, например cuda или конду с зависимостями или как передать внутрь контейнера мои файлы снаружи. Или может где-то у Нвидии есть уже готовые контейнеры с pix2pixHD и даже серверы чтобы с ними играть тестить?
>>63683
Эта задача называется OCR. Вроде бы есть бесплатные в открытом доступе. В целом задача для неироглифических языков хорошо проработана и решена
Для японского и китайского там всё сильно сложнее
> Нейронка, что ищет текст на картинках
Эта задача называется OCR. Вроде бы есть бесплатные в открытом доступе. В целом задача для неироглифических языков хорошо проработана и решена
Для японского и китайского там всё сильно сложнее
>>63688
1. запусти свою модель на CPU на винде. например с помощью CUDA_VISIBLE_DEVICES='' python yoba.py в виндовом баше
2. запусти ее на ubuntu VM
3. далее там же можешь либо создать докер образ, выписав все команды, либо повторить все действия через шелл
Гугли, в интернете все есть
1. запусти свою модель на CPU на винде. например с помощью CUDA_VISIBLE_DEVICES='' python yoba.py в виндовом баше
2. запусти ее на ubuntu VM
3. далее там же можешь либо создать докер образ, выписав все команды, либо повторить все действия через шелл
>не очень понимаю, как там сохранить, например cuda или конду с зависимостями
Гугли, в интернете все есть
>>63394
Если у меня будет по 15 мутаций и 40k картинок = 300 гигов. У меня столько свободного места на SSD нет, придется еще один докупать. Про мутации во время обучения ну это просто пушка. Если у вас такие CPU-кластеры, которые за время эпохи могут намутировать хотя бы 20k картинок, то можете обучать прямо на них. Зачем вам тогда GPU вообще?
> 5 мутаций - это хуйня
Если у меня будет по 15 мутаций и 40k картинок = 300 гигов. У меня столько свободного места на SSD нет, придется еще один докупать. Про мутации во время обучения ну это просто пушка. Если у вас такие CPU-кластеры, которые за время эпохи могут намутировать хотя бы 20k картинок, то можете обучать прямо на них. Зачем вам тогда GPU вообще?
>>63509
Во-первых, используют. Во-вторых, иметь репу с просто повторенным результатом и такую статью - это земля и небо в карьерном плане. Первое это ноль, не показывает ничего кроме макакинга. Второе это вклад, умение писать, понимание проблемы, умение решать задачи и добиваться результатов лучше других. Если еще и цитаты будут, а они будут если у тебя СОТА, то ты вообще будешь как боженька среди плебса.
Во-первых, используют. Во-вторых, иметь репу с просто повторенным результатом и такую статью - это земля и небо в карьерном плане. Первое это ноль, не показывает ничего кроме макакинга. Второе это вклад, умение писать, понимание проблемы, умение решать задачи и добиваться результатов лучше других. Если еще и цитаты будут, а они будут если у тебя СОТА, то ты вообще будешь как боженька среди плебса.
>>63884
Молодец, новые булшит баззворды усвоил успешно, зумерок, жди следующей осени теперь
Молодец, новые булшит баззворды усвоил успешно, зумерок, жди следующей осени теперь
>>63762
понел, впитал, попробую, спасибо.
понел, впитал, попробую, спасибо.
>>63768
Ну мань, ну хули ты диванствуешь.
Нейросетка тяжелая, чтобы обработать 1 картинку, GPU нужно пропустить данные сквозь кучу слоев, сначала forward, а потом backward, параллельно сделав дохуя расчетов.
А аугментация картинки - штука легкая, самая страшная вещь, которую ты делаешь - это афинные преобразования, потому что кропы/грейскелы/отражения и прочая хуйня вообще считай что бесплатная и по скорости равносильна переносу байтов из одного места в памяти в другое. Возьми блядь time.time и замеряй. Поэтому если у тебя аугментация требует раз в 100-1000 меньше флопсов, чем forward+backward pass, все сходится. А если нет - ты просто самые тяжелые части агументации переносишь на GPU, либо, в крайнем случае, только их переносишь на SSD.
>Если у вас такие CPU-кластеры, которые за время эпохи могут намутировать хотя бы 20k картинок, то можете обучать прямо на них
Ну мань, ну хули ты диванствуешь.
Нейросетка тяжелая, чтобы обработать 1 картинку, GPU нужно пропустить данные сквозь кучу слоев, сначала forward, а потом backward, параллельно сделав дохуя расчетов.
А аугментация картинки - штука легкая, самая страшная вещь, которую ты делаешь - это афинные преобразования, потому что кропы/грейскелы/отражения и прочая хуйня вообще считай что бесплатная и по скорости равносильна переносу байтов из одного места в памяти в другое. Возьми блядь time.time и замеряй. Поэтому если у тебя аугментация требует раз в 100-1000 меньше флопсов, чем forward+backward pass, все сходится. А если нет - ты просто самые тяжелые части агументации переносишь на GPU, либо, в крайнем случае, только их переносишь на SSD.
>>47673 (OP)
Залётный в треде. Поясните, пожалуйста. Если я хочу дома с помощью камеры видеонаблюдения распознавать лица, в какую сторону мне копать? Есть тренированные модели, подходящие для российского фенотипа? Платные/бесплатные? Можно ли получать какую-то условную хэш-сумму лица, чтобы сверять свой/чужой?
Залётный в треде. Поясните, пожалуйста. Если я хочу дома с помощью камеры видеонаблюдения распознавать лица, в какую сторону мне копать? Есть тренированные модели, подходящие для российского фенотипа? Платные/бесплатные? Можно ли получать какую-то условную хэш-сумму лица, чтобы сверять свой/чужой?
>>63997
Тебе сюда
https://www.youtube.com/watch?v=u_11jbdQA-8
>Если я хочу дома с помощью камеры видеонаблюдения распознавать лица
Тебе сюда
https://www.youtube.com/watch?v=u_11jbdQA-8
>>63683
2- Orange, конечно же.
С хуевым качеством, но ты удовлетворишь свою потребность в создании.
Иначе ничего не получится.
2- Orange, конечно же.
С хуевым качеством, но ты удовлетворишь свою потребность в создании.
Иначе ничего не получится.
>>63997
https://www.pyimagesearch.com/2018/09/24/opencv-face-recognition/
>Если я хочу дома с помощью камеры видеонаблюдения распознавать лица, в какую сторону мне копать?
https://www.pyimagesearch.com/2018/09/24/opencv-face-recognition/
>>63994
А, это ты что ли. Без картинки не узнал
А, это ты что ли. Без картинки не узнал
>>64107
Как ты его заканчиваешь в ноябре, наркоман
Как ты его заканчиваешь в ноябре, наркоман
>>63683
В принципе ты google фото описываешь. Картинки с нужным текстом ищет (довольно хуево). Определенные объекты ищет, даже если "аниме" в поиск написать, будет действительно только аниме. Но как бы у Гугла это всё работает неидеально, так что сомневаюсь, что у тебя лучше получится.
В принципе ты google фото описываешь. Картинки с нужным текстом ищет (довольно хуево). Определенные объекты ищет, даже если "аниме" в поиск написать, будет действительно только аниме. Но как бы у Гугла это всё работает неидеально, так что сомневаюсь, что у тебя лучше получится.
>>63997
Айфон купи и свой апп напиши для него.
Айфон купи и свой апп напиши для него.
>>64134
Я не про поиск гугл по изображениям. Приложение google photos на ведро, галерея гугловская короче. Он ищет по твоим фоткам. Первый скрин ищет по слову сыр на изображении (ну и по объекту сыр тоже), второй скрин ищет объекты аниме.
>Но гугол ищет фото по всему интернету, я же буду искать только в своей папке на 2 гигабайта.
Я не про поиск гугл по изображениям. Приложение google photos на ведро, галерея гугловская короче. Он ищет по твоим фоткам. Первый скрин ищет по слову сыр на изображении (ну и по объекту сыр тоже), второй скрин ищет объекты аниме.
>>64143
Он набивает себе цену, чтобы впаривать свои услуги
Он набивает себе цену, чтобы впаривать свои услуги
>>64169
Если джун то нельзя, если синииоор то можно.
Если джун то нельзя, если синииоор то можно.
>>64143
Можно, просто посмотри его блог поподробней подпишись и поставь палец вверх :), там он разные подробности связанные с реальным применением всяких таких штук в основном обсуждает.
Можно, просто посмотри его блог поподробней подпишись и поставь палец вверх :), там он разные подробности связанные с реальным применением всяких таких штук в основном обсуждает.
>>64203
У меня уже не печет. В конце концов, есть же плохая погода, нечестные выборы и школьник в ML-треде, который постоянно носит какие-то сомнительные видео. Пора смириться
У меня уже не печет. В конце концов, есть же плохая погода, нечестные выборы и школьник в ML-треде, который постоянно носит какие-то сомнительные видео. Пора смириться
193 Кб, 400x534>>64224
Главзумер пришел
Главзумер пришел
>>64036
Угу, тото у либерах гонконгских не горит и следом за ними не горит у демократической мировой общественности как у коммуняк нейросети не работают.
Угу, тото у либерах гонконгских не горит и следом за ними не горит у демократической мировой общественности как у коммуняк нейросети не работают.
>>64230
Фу тобой быть
Фу тобой быть
>>64230
О, на сей счёт вот (миф второй)
https://www.youtube.com/watch?v=wHPp8L0KtMg
>у коммуняк нейросети не работают
О, на сей счёт вот (миф второй)
https://www.youtube.com/watch?v=wHPp8L0KtMg
>>64251
Брат, Тоха, я тебя давно искал!
Брат, Тоха, я тебя давно искал!
>>63290
Кобзарь, "Прикладная математическая статистика".
Кобзарь, "Прикладная математическая статистика".
>>64211
Что за эйджизм
Что за эйджизм
>>64166
Дай совес второй строки и второго объекта четвертой строки.
Дай совес второй строки и второго объекта четвертой строки.
https://hh.ru/resume/3d28eb2e00087b22ce0039ed1f4e63336f7849
Зумер-вкатывальщик.
Зумер-вкатывальщик.
>>64642
Хотя я конечно b1, но я нихрена в его с1 не верю, как-то максимально криво звучит эта фраза даже для меня.
>have experience in working with databases.
Хотя я конечно b1, но я нихрена в его с1 не верю, как-то максимально криво звучит эта фраза даже для меня.
>>64634
Перегнул с зарплатой раза в 3-4. Даже если закрыть глаза на отсутствие профильной вышки, я все равно не понимаю, как и когда 17-летний зумер может вкатиться в датасаенс.
>>64643
Вообще-то так правильно. С английским у него как раз проблем нет.
>17 years old
>Self-taught
>3000 USD
Перегнул с зарплатой раза в 3-4. Даже если закрыть глаза на отсутствие профильной вышки, я все равно не понимаю, как и когда 17-летний зумер может вкатиться в датасаенс.
>>64643
>have experience in working with databases
>максимально криво звучит эта фраза даже для меня
Вообще-то так правильно. С английским у него как раз проблем нет.
>>64651
Хмм, а разве не проще дропнуть "in working" и оставить have exp with...
>>have experience in working with databases
>>максимально криво звучит эта фраза даже для меня
>Вообще-то так правильно. С английским у него как раз проблем нет.
Хмм, а разве не проще дропнуть "in working" и оставить have exp with...
>>64651
Типичные славянизмы, прямо чувствуется, что русский хохол писал
>С английским у него как раз проблем нет.
Типичные славянизмы, прямо чувствуется, что русский хохол писал
>>64669
Так тоже можно. Пиши длиннее если резюме пустое, короче - если наоборот нет места.
>>64671
А ты сам кем будешь? Вбей эту фразу в кавычках в гугл и увидишь, что так много кто пишет.
>Хмм, а разве не проще дропнуть "in working" и оставить have exp with...
Так тоже можно. Пиши длиннее если резюме пустое, короче - если наоборот нет места.
>>64671
>Типичные славянизмы, прямо чувствуется, что русский хохол писал
А ты сам кем будешь? Вбей эту фразу в кавычках в гугл и увидишь, что так много кто пишет.
>>64684
Да похуй. Ничего плохого в славянизмах нет
Да похуй. Ничего плохого в славянизмах нет
>>64701
Не слыхал о таком, обычно проверяют банальным разговором на заезженные темы (настолько заезженные, что следующий раз как буду искать работку думаю припизднуть маленько и сказать что у меня уже аппер, заготовив текста на попсовые темы заранее).
Но мои познания это B1-B2, может для сС рли требуют. Я видел такие формальные требования только для вакансий инглиш тичеров на крупных галерах, при этом для тех же сейлзов например я не припомню требований по бумажкам.
Да и вообще о каком сертификате речь?. Резюме - кусок дерьма. Не говоря о том где оно опубликовано. Насколько я понимаю у вас в РФ hh действительно ходовой сайт для ит, но в украхе в ит сфере работу на досках объявлений никто не ищет. Есть узкоспециализированные сайты и линкедин, а hh и прочие работа.уа имеют статус помойки (или около того).
Не слыхал о таком, обычно проверяют банальным разговором на заезженные темы (настолько заезженные, что следующий раз как буду искать работку думаю припизднуть маленько и сказать что у меня уже аппер, заготовив текста на попсовые темы заранее).
Но мои познания это B1-B2, может для сС рли требуют. Я видел такие формальные требования только для вакансий инглиш тичеров на крупных галерах, при этом для тех же сейлзов например я не припомню требований по бумажкам.
Да и вообще о каком сертификате речь?. Резюме - кусок дерьма. Не говоря о том где оно опубликовано. Насколько я понимаю у вас в РФ hh действительно ходовой сайт для ит, но в украхе в ит сфере работу на досках объявлений никто не ищет. Есть узкоспециализированные сайты и линкедин, а hh и прочие работа.уа имеют статус помойки (или около того).
>>64724
Та за що?
Та за що?
>>64634
Может он еще и винду ставить умеет и блокировщик экрана снимать, почему не указал computer science? Мне вот подгорело, явно троллинг.
>Have experience in working with databases.
Может он еще и винду ставить умеет и блокировщик экрана снимать, почему не указал computer science? Мне вот подгорело, явно троллинг.
>>64781
Позвони когда вылезешь из скрепного.
Позвони когда вылезешь из скрепного.
>>64714
О, а не подскажешь, где смотришь? А то я тут как раз недавно ныл, что на всяких ворк.юа в основном тупо работа в эксельке.
хохол зумер вкатывальщик к-к-комбо!
О, а не подскажешь, где смотришь? А то я тут как раз недавно ныл, что на всяких ворк.юа в основном тупо работа в эксельке.
хохол зумер вкатывальщик к-к-комбо!
Из специалезированных только джобс.доу знаю. Но я еще не то чтобы прям сильно в это вникал, все равно еще рано мне работать, пока учусь.
специализированных*
>>65076
Генерят контент типа камней, текстур и прочей поебени. Насчет работы не знаю. Тут скорее нужно уже на работе ездить по мозгам кабанчику роликами с two minute papers
Генерят контент типа камней, текстур и прочей поебени. Насчет работы не знаю. Тут скорее нужно уже на работе ездить по мозгам кабанчику роликами с two minute papers
>>65157
Одну видюху для графики, одну для физики, ещё вот для ML хочется. Вопрос сколько надо видюх для того, чтоб майнкрафт не лагал?
Одну видюху для графики, одну для физики, ещё вот для ML хочется. Вопрос сколько надо видюх для того, чтоб майнкрафт не лагал?
>>65358
Сторгуется на 300, а ты так и будешь вкатываться
Сторгуется на 300, а ты так и будешь вкатываться
>>64634
Почему у него резюме на англоговне? Мог бы хотя бы на своем хохлятском суржике написать
Почему у него резюме на англоговне? Мог бы хотя бы на своем хохлятском суржике написать
>>65363
Хохлы и никчемная всегда пишут на английском, набивая себе цену и пытаясь вкатиться в зарубежные команды
Хохлы и никчемная всегда пишут на английском, набивая себе цену и пытаясь вкатиться в зарубежные команды
>>65074
djinni.co, linkedin, dou.ua, сайты интересующих тебя контор. В качестве агрегатора всех возможных ворк.юа можно jooble мониторить.
Олсо, не советую вкатываться сразу на джуна, это очень сложно. Смотри интернатуры/обучения/стажировки, через них имхо вкатится гораздо легче.
djinni.co, linkedin, dou.ua, сайты интересующих тебя контор. В качестве агрегатора всех возможных ворк.юа можно jooble мониторить.
Олсо, не советую вкатываться сразу на джуна, это очень сложно. Смотри интернатуры/обучения/стажировки, через них имхо вкатится гораздо легче.
>>65374
Обусловлено аутсорсной природой отрасли. В рахе есть какая-никакая экономика и внутренний рынок, продуктовые компании. В украхе напротив, почти все идет на аутсорс к дяде Джо, поэтому и пишут резюме сразу на понятном Джо языке (вполне вероятно что твоя кандидатура будет требовать апрува от заказчика) и поэтому и инглиш мастхев. Если ты не можешь на инглише даже резюме написать - то на работу тебя вряд ли возьмут вообще, даже обсосанной куа-макакой.
Обусловлено аутсорсной природой отрасли. В рахе есть какая-никакая экономика и внутренний рынок, продуктовые компании. В украхе напротив, почти все идет на аутсорс к дяде Джо, поэтому и пишут резюме сразу на понятном Джо языке (вполне вероятно что твоя кандидатура будет требовать апрува от заказчика) и поэтому и инглиш мастхев. Если ты не можешь на инглише даже резюме написать - то на работу тебя вряд ли возьмут вообще, даже обсосанной куа-макакой.
>>65805
В телеге найди sberlogawithgraphs
В телеге найди sberlogawithgraphs
Привет. Есть задача классификации, 300+ числовых фичей(измерения) и дофига пропусков. Есть гипотеза, что пропуски начинаются после того как измерения прекращаются, так что думаю реализовать алгоритм LOCF. Качество сейчас 0.71. Подскажите пожалуйста как еще можно улучшить?
Пробовал разные модели, лучший результат показали ExtraTrees и обычный бустинг.
Пробовал разные модели, лучший результат показали ExtraTrees и обычный бустинг.
Почему за 25 лет не изобрели ничего лучше чем lstm? Есть какие-то теоретические обоснования или шмидхубер просто гений?
Вроде GRU форсили пару лет назад, но сейчас вообще нигде не встречается. Неужели не могут подрубить свой модный архитектурный поиск и найти что-то получше чем LSTM.
Вроде GRU форсили пару лет назад, но сейчас вообще нигде не встречается. Неужели не могут подрубить свой модный архитектурный поиск и найти что-то получше чем LSTM.
В общем захотел сделать ремастеринг видео нейрончиками:TecoGan +colab.
https://colab.research.google.com/github/ak9250/TecoGAN/blob/master/Tecogan.ipynb
Нарезал кадры ффмпегом. Прописал в runGan.py путь к кадрам(фреймам).
Запускаю
Матюкнулось что не находить results/calendar
Переписал
на
Запустил снова
Теперь пишет
Preparing train_data
Traceback (most recent call last):
File "main.py", line 280, in <module>
rdata = frvsr_gpu_data_loader(FLAGS, useValidat)
File "/content/TecoGAN/lib/dataloader.py", line 289, in frvsr_gpu_data_loader
batch_list, num_image_list_HR_t_cur = loadHRfunc(FLAGS, tar_size)
File "/content/TecoGAN/lib/dataloader.py", line 179, in loadHR
raise ValueError('Video input directory not found')
ValueError: Video input directory not found
Что делать хэлп????
https://colab.research.google.com/github/ak9250/TecoGAN/blob/master/Tecogan.ipynb
Нарезал кадры ффмпегом. Прописал в runGan.py путь к кадрам(фреймам).
Запускаю
>%tensorflow_version 1.x
>!python3 runGan.py 2
Матюкнулось что не находить results/calendar
Переписал
> elif( runcase == 1 ): # inference a trained model
> dirstr = './results'
на
>elif( runcase == 1 ): # inference a trained model
> dirstr = '/content/TecoGAN/results'
Запустил снова
>%tensorflow_version 1.x
>!python3 runGan.py 3
Теперь пишет
Preparing train_data
Traceback (most recent call last):
File "main.py", line 280, in <module>
rdata = frvsr_gpu_data_loader(FLAGS, useValidat)
File "/content/TecoGAN/lib/dataloader.py", line 289, in frvsr_gpu_data_loader
batch_list, num_image_list_HR_t_cur = loadHRfunc(FLAGS, tar_size)
File "/content/TecoGAN/lib/dataloader.py", line 179, in loadHR
raise ValueError('Video input directory not found')
ValueError: Video input directory not found
Что делать хэлп????
В общем захотел сделать ремастеринг видео нейрончиками:TecoGan +colab.
https://colab.research.google.com/github/ak9250/TecoGAN/blob/master/Tecogan.ipynb
Нарезал кадры ффмпегом. Прописал в runGan.py путь к кадрам(фреймам).
Запускаю
Матюкнулось что не находить results/calendar
Переписал
на
Запустил снова
Теперь пишет
Preparing train_data
Traceback (most recent call last):
File "main.py", line 280, in <module>
rdata = frvsr_gpu_data_loader(FLAGS, useValidat)
File "/content/TecoGAN/lib/dataloader.py", line 289, in frvsr_gpu_data_loader
batch_list, num_image_list_HR_t_cur = loadHRfunc(FLAGS, tar_size)
File "/content/TecoGAN/lib/dataloader.py", line 179, in loadHR
raise ValueError('Video input directory not found')
ValueError: Video input directory not found
Что делать хэлп????
https://colab.research.google.com/github/ak9250/TecoGAN/blob/master/Tecogan.ipynb
Нарезал кадры ффмпегом. Прописал в runGan.py путь к кадрам(фреймам).
Запускаю
>%tensorflow_version 1.x
>!python3 runGan.py 2
Матюкнулось что не находить results/calendar
Переписал
> elif( runcase == 1 ): # inference a trained model
> dirstr = './results'
на
>elif( runcase == 1 ): # inference a trained model
> dirstr = '/content/TecoGAN/results'
Запустил снова
>%tensorflow_version 1.x
>!python3 runGan.py 3
Теперь пишет
Preparing train_data
Traceback (most recent call last):
File "main.py", line 280, in <module>
rdata = frvsr_gpu_data_loader(FLAGS, useValidat)
File "/content/TecoGAN/lib/dataloader.py", line 289, in frvsr_gpu_data_loader
batch_list, num_image_list_HR_t_cur = loadHRfunc(FLAGS, tar_size)
File "/content/TecoGAN/lib/dataloader.py", line 179, in loadHR
raise ValueError('Video input directory not found')
ValueError: Video input directory not found
Что делать хэлп????
Киньте ссылку на сравнительную статью алгоритмов обучения, которые существуют в Tensorflow (Адамы всякие).
>>66105
все разобрался
все разобрался
>>66324
Набери в гугле adam vs sgd
Набери в гугле adam vs sgd
>>66092
T R A N S F O R M E R
R
A
N
S
F
O
R
M
E
R
1. Шустрее
2. Делает текста, в которых действительно есть смысл
T R A N S F O R M E R
R
A
N
S
F
O
R
M
E
R
1. Шустрее
2. Делает текста, в которых действительно есть смысл
>>66406
Зато первый или любой другой токен влияет на веса всех остальных, а не затухает после 10ого слова.
Зато первый или любой другой токен влияет на веса всех остальных, а не затухает после 10ого слова.
Реквестирую книг по статистическому обучению с примерами на питоне.
только теория
только теория + слишком глубоко
хорошая книга, но фокус на глубоком обучении
Для любитей R от себя могу посоветовать "An Introduction to Statistical Learning" Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani - хотелось бы вот такого, но на питоне
>Trevor Hastie et al. "The Elements of Statistical Learning"
>Christopher M. Bishop "Pattern Recognition and Machine Learning"
только теория
>Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
только теория + слишком глубоко
>Франсуа Шолле - Глубокое обучение на Python
хорошая книга, но фокус на глубоком обучении
Для любитей R от себя могу посоветовать "An Introduction to Statistical Learning" Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani - хотелось бы вот такого, но на питоне
Напомните сайт, где можно выбирать регионы на изображении и тегать их как регионы конкретного типа. Загружаешь туда свой save-файл, загружаешь 10 изображений, по именам файлов система понимает, что два изображения уже протеганы и надо протегать остальные 8.
Я помню, что у сайта отвратительный интерфейс, но больше не помню ничего
Я помню, что у сайта отвратительный интерфейс, но больше не помню ничего
>>66614
Как что-то плохое. Теория и нужна, более конкретно - в документации к какому-нибудь sklearn.
"ISLR python" загугли, на гитхабе полно переписанного под пистон кода из этой книги.
> только теория
> только теория + слишком глубоко
Как что-то плохое. Теория и нужна, более конкретно - в документации к какому-нибудь sklearn.
> хотелось бы вот такого, но на питоне
"ISLR python" загугли, на гитхабе полно переписанного под пистон кода из этой книги.
>>66666
Ебать, пентипл
Ебать, пентипл
>>66620
Нашёл, оказывается это был не сайт, а standalone html-файл
http://www.robots.ox.ac.uk/~vgg/software/via/
Тут другие image labeling tool
https://medium.com/tektorch-ai/best-image-labeling-tools-for-computer-vision-393e256be0a0
Нашёл, оказывается это был не сайт, а standalone html-файл
http://www.robots.ox.ac.uk/~vgg/software/via/
Тут другие image labeling tool
https://medium.com/tektorch-ai/best-image-labeling-tools-for-computer-vision-393e256be0a0
>>66705
Разве html это язык программирования?
Разве html это язык программирования?
![png-clipart-emoji-sticker-thought-computer-icons-emoji-smil[...].png](https://2ch.hk//pr/src/1847673/16065330538490.png)
>>67541
Это нечеткий петух, не обращай внимания, он шиз
Это нечеткий петух, не обращай внимания, он шиз
>>67541
Джонатан Хуй
Джонатан Хуй
Сап работяги, мне тут диплом надо написать по нейронкам, что можете подсказать, чтобы не слишком запарно было и реально было защитить ну и гайды мб какие, помимо тех что в шапке
>>67673
Собери каких-нибудь данных и Orange заюзай.
Хуй знает как ты собираешься защищать его. Но для имитации научной деятельности подойдет
Собери каких-нибудь данных и Orange заюзай.
Хуй знает как ты собираешься защищать его. Но для имитации научной деятельности подойдет
>>67821
А там есть что-то свежее 2016 года? А то перцептроны розенблатта в 2020 использовать не комильфо.
>Собери каких-нибудь данных и Orange заюзай.
А там есть что-то свежее 2016 года? А то перцептроны розенблатта в 2020 использовать не комильфо.
250 Кб, 400x300Создан алгоритм для «сжатия» научных статей в 238 раз
https://www.youtube.com/watch?v=chVM-rBeo4E
https://scitldr.apps.allenai.org/
Очень часто при подготовке к экзаменам или обучении какой-либо дисциплине приходится читать десятки научных статей и книг. Это сотни и тысячи страниц. Американские исследователи создали систему на основе ИИ, способную сократить даже самый внушительный многотомник до одного предложения.
Полезное ПО было создано усилиями исследователей Института искусственного интеллекта Аллена в Сиэтле. Программа специализируется на объёмных статьях по информатике, предлагая экстремальное сжатие данных, что позволяет сократить до минимума время, необходимое для изучения сложной научной литературы.
Уже сейчас в базе данных Semantic Scholar насчитывается более 10 миллионов статей по информатике. Исследователи уверяют, что со временем их количество будет расти, расширяясь за счёт других дисциплин. Сообщается, что первые пользователи уже оценили эффективность работы ИИ и остались довольны новым опытом.
Semantic Scholar обладает наиболее высокой степенью сжатия среди всех доступных инструментов. Так, из научной работы со средним количеством символов около 5000 программа может выделить 21 главное слово: они способны передать весь смысл материала. Сообщается, что ближайший конкурент сжимает документы в 36 раз, в то время как Semantic Scholar обладает экстремальным сжатием в 238 раз.
В сети доступен демонстрационный сайт, где можно проверить эффективность ПО. Версия работает только на английском языке. В будущем не исключается появление и других языков.
https://www.youtube.com/watch?v=chVM-rBeo4E
https://scitldr.apps.allenai.org/
Очень часто при подготовке к экзаменам или обучении какой-либо дисциплине приходится читать десятки научных статей и книг. Это сотни и тысячи страниц. Американские исследователи создали систему на основе ИИ, способную сократить даже самый внушительный многотомник до одного предложения.
Полезное ПО было создано усилиями исследователей Института искусственного интеллекта Аллена в Сиэтле. Программа специализируется на объёмных статьях по информатике, предлагая экстремальное сжатие данных, что позволяет сократить до минимума время, необходимое для изучения сложной научной литературы.
Уже сейчас в базе данных Semantic Scholar насчитывается более 10 миллионов статей по информатике. Исследователи уверяют, что со временем их количество будет расти, расширяясь за счёт других дисциплин. Сообщается, что первые пользователи уже оценили эффективность работы ИИ и остались довольны новым опытом.
Semantic Scholar обладает наиболее высокой степенью сжатия среди всех доступных инструментов. Так, из научной работы со средним количеством символов около 5000 программа может выделить 21 главное слово: они способны передать весь смысл материала. Сообщается, что ближайший конкурент сжимает документы в 36 раз, в то время как Semantic Scholar обладает экстремальным сжатием в 238 раз.
В сети доступен демонстрационный сайт, где можно проверить эффективность ПО. Версия работает только на английском языке. В будущем не исключается появление и других языков.
>>67866
42
>Это сотни и тысячи страниц. Американские исследователи создали систему на основе ИИ, способную сократить даже самый внушительный многотомник до одного предложения.
42
>>67866
Потому что в этих статьях всего контента именно на одно предложение. Что-то вроде: замена функции активации в resnet на SeLU увеличивает точность на imagenet на 0.01%. Все остальное просто структурный текст ради соблюдения формата.
Потому что в этих статьях всего контента именно на одно предложение. Что-то вроде: замена функции активации в resnet на SeLU увеличивает точность на imagenet на 0.01%. Все остальное просто структурный текст ради соблюдения формата.
>>67926
Обычно там еще в конце добавляют, что необходимы дополнительные, кек, исследования.
Болонская система, лол, она же не для прогресса придумана.
>Потому что в этих статьях всего контента
Обычно там еще в конце добавляют, что необходимы дополнительные, кек, исследования.
Болонская система, лол, она же не для прогресса придумана.
>>67951
Талантливые кадры устраиваются в FAANG, где работают над закрытыми проектами, изредка публикуя революционные исследования. Менее талантливые перекатываются в индустрию либо кодером, либо машобщиком. Ну а большинство пейперов пишется людьми из третьей категории - теми, у кого не хватило мозгов ни на работу в топовой фирме, ни на перекат в кодеры. Именно они пишут тонны макулатуры, которая не несет никакой пользы.
>она же не для прогресса придумана
Талантливые кадры устраиваются в FAANG, где работают над закрытыми проектами, изредка публикуя революционные исследования. Менее талантливые перекатываются в индустрию либо кодером, либо машобщиком. Ну а большинство пейперов пишется людьми из третьей категории - теми, у кого не хватило мозгов ни на работу в топовой фирме, ни на перекат в кодеры. Именно они пишут тонны макулатуры, которая не несет никакой пользы.
>>68019
Через эту макулатуру они получают жирные позиции, на которые требуется ПхД + публикации.
Но это они пока что жирные. Уже ходят слухи, что наступает отлив, и из-за огромных толп кандидатов со статьями происходит их инфляция. Не только требования становятся абсурдно-клоунски высокими (10+ статей в НеурИПС чтобы чистить вилкой цсвшники), но и вожделенные ЗП проседают.
Через эту макулатуру они получают жирные позиции, на которые требуется ПхД + публикации.
Но это они пока что жирные. Уже ходят слухи, что наступает отлив, и из-за огромных толп кандидатов со статьями происходит их инфляция. Не только требования становятся абсурдно-клоунски высокими (10+ статей в НеурИПС чтобы чистить вилкой цсвшники), но и вожделенные ЗП проседают.
>>68045
Я имел в виду тех, кто остается в академии - это в основном те, кто больше не смог никуда устроиться.
Жирную позицию ты не получишь в любом случае, максимум +1 от entry-level, что равносильно паре лет опыта. Вообще, насколько я понимаю, крупные конторы смотрят по большей части на твои навыки, а количество статей - это хуевый показатель навыков.
>Через эту макулатуру они получают жирные позиции, на которые требуется ПхД + публикации
Я имел в виду тех, кто остается в академии - это в основном те, кто больше не смог никуда устроиться.
Жирную позицию ты не получишь в любом случае, максимум +1 от entry-level, что равносильно паре лет опыта. Вообще, насколько я понимаю, крупные конторы смотрят по большей части на твои навыки, а количество статей - это хуевый показатель навыков.
>>68070
В академии такая крысиная гонка, что хоть святых выноси. Профессорских позиций в год открывается - по пальцам пересчитать, а кандидатов, мечтающих о них, море. Там и маму родную не пожалеешь ради очередной статьи.
В академии такая крысиная гонка, что хоть святых выноси. Профессорских позиций в год открывается - по пальцам пересчитать, а кандидатов, мечтающих о них, море. Там и маму родную не пожалеешь ради очередной статьи.
>>67866
Я могу сжать любой пейпер до двух слов: "дойти грант!!!!!111"
Я могу сжать любой пейпер до двух слов: "дойти грант!!!!!111"
>>68120
Максимально неправда. Если речь о России, то в университетах большая текучка за счет мизерных зарплат и желающих преподавать не особо много.
Максимально неправда. Если речь о России, то в университетах большая текучка за счет мизерных зарплат и желающих преподавать не особо много.
Тред утонул или удален.
Это копия, сохраненная 22 апреля 2021 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Это копия, сохраненная 22 апреля 2021 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.