Это копия, сохраненная 26 мая 2020 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".
Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.
Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материала
В чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examples
Где набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/
Где работать? https://www.indeed.com/q-deep-learning-jobs.html
Где узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихся
Где посмотреть последние статьи? http://www.arxiv-sanity.com/
Где ещё можно поговорить про анализ данных? http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущий:
https://2ch.hk/pr/res/1578978.html (М)
Архивач:
http://arhivach.ng/thread/412868/
Остальные в предыдущих тредах
Там же можно найти треды 2016-2018 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
Делай как хочешь. Релу во все поля обычно нормально работает.
что такое модель для tensorflow если своими словами?
почему не функция?
>In machine learning, a model is a function with learnable parameters that maps an input to an output.
Ты просил своими словами - я написал своими словами. Функция лучше подходит, но не похуй ли
Множество, которое изменяется под воздействием минимизации ошибки.
Да я мимо проходил, не разбираюсь в этом хипстерском говне.
https://colah.github.io/posts/2014-03-NN-Manifolds-Topology/
>конечно не похуй
Тогда формула. Функция подразумевала бы тождественность моделей при совпадении домена и кодомена, чего в случае tf нет, у тебя могут быть разные модели, выдающие одно и то же при одних и тех же входных данных. Но если тебя это ебет, то это не я баран, а ты аутист ебаный, который вместо понимания решил заниматься стандартным для аутистов буквоедством.
я про летнюю школу
>выпускники школ в России сегодня совершенно не интересны рынку труда.
>«В стране крайне низок процент выпускников школ, прошедших профессиональное обучение, имеющих некую профессию и готовых начать трудовую жизнь»
А причем тут школа? Они там вообще уже запутались что для чего? Школа для фундаментальных знаний, для проф обучения ПТУ, для науки ВУЗы.
Какая разница, подо что в тилибон тыкать? Рассказывала марьванна про теорему Виета, теперь будет про перцептрон. Будто что-то изменится.
Что поставить на Win7, чтобы взять и начать вникать?
Что хочу научиться делать - обучить нейроночку игре в крестики-нолики, потом в игры с russianAiCup 2015-16, потом в свою пошаговую стратегию
Keras+TensorFlow+Jupyter Notebook пойдет?
>Что поставить на Win7, чтобы взять и начать вникать?
Скачать книжку барто и саттона, просмотреть practical rl и/или berkeley cs285, пролистать spinningup.openai.com/. Естественно, после изучения основ тф/кераса.
>обучить нейроночку игре в крестики-нолики
там 3 ифа решают игру, выбери посложнее что-нибудь
>потом в игры с russianAiCup 2015-16
codewizards не сможешь, с гонками хз. Имхо, легче всего должна зайти madcars с mini ai cup
>потом в свою пошаговую стратегию
что за стратегия, если не секрет?
>Скачать книжку барто и саттона, просмотреть practical rl и/или berkeley cs285, пролистать spinningup.openai.com/. Естественно, после изучения основ тф/кераса.
Это все хорошо, но мне НИНУЖНО, вопрос больше про практическую часть. Заведется ли все это на Win7 в принципе.
>там 3 ифа решают игру
Да и пофиг, для хеллоу ворлда, не? Не с шахмат же начинать.
>codewizards не сможешь
Почему? На хабре есть примерное описание.
>что за стратегия, если не секрет?
Секрет, ну допустим что-то похожее на Neverwinter Nights.
че за наебалово я вас спрашиваю!!!
>Заведется ли все это на Win7 в принципе
должно завестись, в крайнем случае всегда есть докер
>Да и пофиг, для хеллоу ворлда, не?
Там что-то близкое к рандому уже неплохо работать будет. Какой-нибудь connect four с кегла лучше взять, имхо.
>Почему? На хабре есть примерное описание.
700 место, DDPG в POMDP без памяти/рекуррентных сетей, всратый формат наблюдений. Если тебя такое устраивает, то удачи.
Задачки на кагле.
Пока соснул, у меня процессор два ядра без AVX, тензорфлоу не встал. Хотя я собирался gpu пользоваться, может завтра найду решение.
Решение либо собрать tensorflow самому (на древнем железе собираться будет часов 10, не меньше), либо устанавливать древнюю версию без avx, то ли 1.0.9, то ли 1.0.4 ЕМНИП
Для обучения керасу сойдет, на сам тф не трать время, у него все апи перепидорасилось
Попробую тут у васяна скачать, вроде есть 2.0 на SSE2.
https://github.com/fo40225/tensorflow-windows-wheel
>Для обучения керасу сойдет
Понятно, спасибо. Но ему же какой то бекенд все равно нужен вроде?
А, т.е. ты имел в виду что любой tf ставить.
Ну да, бинарник под винду возможно кто-то уже собрал вместе с майнером биткоинов
Тф да, у версии кераса есть минимально требуемая версия тф, но в целом керас более консистентен и стабилен, поэтому даже на древней версии можно сидеть учиться без проблем.
Потом научишься и у мамки денег на новую пеку попросишь, благо будешь уже не просто лодырем, а ML-инжинером, на зависть зумерошизикам
Выковыривай из этой помойки student assignments. Т.е. готовые домашки студентам. Они простые и устроены так, что любая манька разберется. Сделав так пару десятков домашек, считай, что универский курс по ML освоил. Правда зарабатывать ты будешь $3 в час в лучшем случае, потому что студенты больше ста баксов платить не будут, а ебаться с каждым заданием ты будешь дня по три, не меньше.
В общем, листаешь задания, отбираешь их. Если хоть примерно понимаешь, о чем речь, восполняешь пробелы информации. Пока восполняешь, задание с 90% соскочит, но с 10% можешь отписать автору. Дальше с горящей жопой жулика делаешь его неделю, получаешь сто баксов.
Если сделать не можешь - закрываешь заказ и вежливо сливаешься до тех пор, пока тебе перечислили деньги, тогда негативый отзыв тебе не поставят. Дальше при определенном везении через год такого ебланства ты будешь знать об ML больше, чем какой-нибудь московский корпоративный хуесос.
Путь сильно спорный, но рабочий.
Спасибо за ответ. А где получить начальные знания чтоб вообще приступить к этой теме? Онлайн курсы подойдут для этого?
для кого интересно шапку вообще писали
Есть датасет с отзывами, нужно из этих документов-отзывов вытащить темы, потом на основе отношения документа к темам дать ответ.
Пока вопрос стоит как вытащить темы с помощью нейронок, ответ будет из набора готовых ответов.
Я могу сделать через классический Topic Modeling с помощью ARTM, но точность меня явно не устраивает, хотя модель настроил нормально.
Через векторы по FastText я тоже пробовал, но держать такую большую модель в памяти желания особо нет.
Какое направление в нейронках гуглить? Это задача Text classification ведь, правильно я понимаю?
Topic modeling, как я понял, обычно относят к классическим вероятностным алгоритмам (ARTM, LDA, PLSA).
Нашел одну научную работу, которая подходит под мои цели: https://www.aclweb.org/anthology/N18-1145.pdf , но прежде чем кидаться имплементировать их модель я решил у анонов проконсультироваться.
>но держать такую большую модель в памяти желания особо нет.
Тогда BERT советовать, как я понимаю, бесполезно.
Не знаю тут специализирующихся на NLP не-шизиков.
Но в целом я в верном направлении рассуждаю, что задача "определения темы документа/коллекции", относится к задаче Text classification и нужно копать в этом направлении?
Классификация подразумевает что
1. У тебя supervised алгоритм. То есть ты заранее знаешь, какие у тебя будут лейблы, в твоем случае топики. Topic modelling - это unsupervised algorithm по извлечению топиков из датасета.
2. Что тема в каждом тексте скорее всего одна (потому что говоря classification мы скорее всего говорим о multi-class classification, а не multi-output classification, т.е. на картинке либо кот, либо негр, а кот с негром выдаст не P=1 для кота и P=1 для негра, а P=0.5 для кота и P=0.5 для негра, что методологически неверно)
На практике это проявляется в том, что если у тебя на конце нейронки softmax, который
The softmax function squashes all values of a vector into a range of [0,1] summing together to 1. Which is exactly what we want in a single-label classification. But for our multi-label case, we would like our resulting class probabilities to be able to express that an image of a car belongs to class car with 90% probability and to class accident with 30% probability etc.
Может ли в задаче классификации сигмоида применяться ко всем слоям? Или к последнему слою надо что-то иное типа софтмакса применять если классов много?
Можешь что угодно делать, лишь бы функция потерь была и градиенты считались. Сигмоиду на последний слой обычно лепят, если классификация мультилейбловая. Для мультиклассовой есть софтмакс, зачем ещё что-то выдумывать?
Вопрос такой, что вообще необходимо знать, чтобы джуном взяли? Из теории, например? Или какие библиотеки?
По джаве или питону, например, все просто - зашёл в ютуб, вбил собеседование джава и куча видосов.
Подскажите что-нибудь подобное, чтобы подробно было описано, а то все что не найду конкретики никакой
Двэч, призываю анонов-тензорфлоу экспертов.
Пытаюсь понять как зафигачить правильный пайплайн для обучения ТФ и Керас моделей, чтобы загрузка ГПУ была побольше, обучение шло побыстрее, всё скейлилось и тд. В чём профит tfrecord? Пробовал с ними и без них, результаты такие: если делаешь через fit_generator то работает медленно, потому что питон не может многопоточно запихивать данные в модель и никакого prefetch нету, если делаешь через tf dataset API работает быстро, загрузка ГПУ 95-97%, вне зависимости от того, джпеги я читаю, или tfrecords. Более того, я думал, что tfrecords -- структурированный формат, наподобии .npy, но реально это просто сериализованные в стринг данные, т.е записать картинку как тензор и потом прочитать без обработки нельзя, нужно писать как бинарную строку и потом опять декодировать со всеми вытекающими. Это оно почему так сделано? Чтобы переносимость между платформами была, тип чтобы везде работало? В бинарном виде такого нельзя добиться?
Тханкс за ответы.
Сигмоида имеет насыщение, которое убивает градиенты в ноль. Если между точкой твоего графа и выходом (т.е. точкой входа бэкпропагейшена) 3 сигмоиды без skip коннекшенов, обучаться будет вечность. Поэтому их нужно применять грамотно, с умом, иначе они убьют тебе весь gradient flow
>>18350
По дефолту да
Да в общем-то я тебе все написал. Гугли vanishing gradients problem, можешь еще пейпер по swish почитать, разобрать как lstm устроена - почему там сигмоиды есть, но их можно стекать
Спасибо.
>В чём профит tfrecord
В обучении на йоба-кластерах с пересылкой данных между кластерами
Говнище короче оверинжинернутое, как и сам tf
>но реально это просто сериализованные в стринг данные
Не, это protobuf, это сериализованные бинарные данные
>если делаешь через fit_generator то работает медленно, потому что питон не может многопоточно запихивать данные в модель и никакого prefetch нету
Во-первых, укажи use_multiprocessing=True и настрой его
https://stackoverflow.com/questions/55531427/how-to-define-max-queue-size-workers-and-use-multiprocessing-in-keras-fit-gener
Но. Процессы питона живут в разных адресных пространствах, поэтому дохуя оверхеда тратится на упаковку и распаковку данных между ними. В частности, велика вероятность, что каждый воркер будет держать у себя по копии гигабайтного датасета, а еще все это дело будет полчаса запускаться, пока эти гигабайтные датасеты будут копироваться между воркерами.
Поэтому открой для себя numpy memmap. В инициализации воркера ты создаешь np.memmap, отображая датасет из файла в память, и так как все воркеры будут смотреть на один и тот же файл, ОС это увидит и объединит память.
Вообще numpy memmap сильно недооценен. Когда ты его используешь, датасет у тебя просто лежит на диске, питон считает его просто numpy массивом, а менеджментом памяти занимается ОС. Это позволяет заниматься машобом датасетов в десятки гигабайт даже на машине с 8 ГБ памяти.
Думал об этом, но к чему ган применять? Чтобы было какое-то практическое применение.
братиш, тогда сьеби не трать время зря, не мешай "баранам" опщаца.
Думает, что кто будет цепляться за хамло, да еще и проверяльщика/нюфага.Да в твоих маняфантазиях приходит такой гейрой к нормальным спецам и начинает хуйню спрашивать азовую. Сразу трусы на голову наденут и под шконарь палками загонят.
генерация лиц людей, text-to-image, image-to-image, super resolution, photo inpainting
Спасибо тебе!
Спасибо, анон, стало намного понятнее, конечно некрасиво это выглядит, костыльно как-то, хотелось бы чтобы tensorflow всё от начала до конца делал.
Весь вечер провозился, с третьей попытки все поставил.
Получился такой винегрет
CUDA+cudnn 9.2
python 3.6.4
tensorflow-gpu 1.10.0
keras 2.2.4
jupyterlab 2.0.0
numpy 1.14.5, scikit-learn 0.22.2
Не пойму как заставить эту дрянь считать только на GPU, все равно лезет на мои драгоценные два ядра, которые я не хочу перегревать лишний раз.
CPU готовит данные для видюхи в любом случае, но саму нейронку он обсчитывать не будет.
Если у тебя на MNIST ядра сильно греются, это потому что видюха быстро отрабатывает, а CPU не успевает, на реальной задаче (картинке хотя бы 200х200х3, а не 27х27х1) CPU будет простаивать большую часть времени
Об этом я не подумал. Думал он просто распределил нагрузку на гпу и оба ядра цпу. Выглядит слишком горячим, с 40 до 60 градусов. У меня в играх так не всегда. Завтра проверю по времени обучения если гпу отключить. В целом первый день считаю успешным.
Батчсайз увеличь до 10000 (или какой там максимум у датасета), тогда GPU захлебнется, а CPU будет хуи пинать
Можешь во время выполнения чекать гпушку с помощью nvidia-smi
> Это оно почему так сделано? Чтобы переносимость между платформами была, тип чтобы везде работало? В бинарном виде такого нельзя добиться?
Как минимум для охуенного сжатия файлов.
>но саму нейронку он обсчитывать не будет
Буквально в среду выяснил, что у некоторых операций в tensorflow 1.15 нет cuda-ядра (конкретно embedding_lookup_sparse).
Я знаю, что такое learning rate) Как видишь, одноцикловая политика применяется.
Разобрался, тащемта, проблема была в том, как я подаю данные в модель, разбил один tfrecord файл на 32, теперь DatasetDataProvider перетасовывает источники данных вместе с обычным батч шаффлингом, и нет больше таких скачков.
Алсо, посоны, я все думаю, чего я сижу на старой InceptionV3 модели, как минимум в слиме есть Inception ResNet v2, у которого результаты лучше.
Но есть ли другие CNN, которые на данный момент выдают лучшие результаты и не жрут очень много памяти при обучении?
>Разобрался, тащемта, проблема была в том, как я подаю данные в модель
А я тебе говорил, что ты не мешаешь нихуя. Правда способ которым ты мешаешь какой-то странный.
>Но есть ли другие CNN, которые на данный момент выдают лучшие результаты
EfficientNetB5
> и не жрут очень много памяти при обучении?
EfficientNetB0
> А я тебе говорил, что ты не мешаешь нихуя. Правда способ которым ты мешаешь какой-то странный.
Да, ты изначально был прав, Анон, от твоего ответа я и отталкивался.
> Правда способ которым ты мешаешь какой-то странный.
Издержки либы, она хоть и устарела, но я уже привык.
> EfficientNetB5
Окей, тогда доработаю датасет до тех пор, пока нынешняя модель не будет выдавать хороший результат и уже потом перепишу.
Что делать с значениями NaN в столбце? Столюец - тестовый, просто заполнить средним или 0 не канает.
Просто дропнуть?
Заполнить средним/медианой или каким-то значением вне диапозона или выбросить весь столбец. В принципе деревья решений могут работать с нанами.
>Столюец - тестовый
Что это значит? В тренировочных данных его нет или все заполнено? И то и то не будет работать, в тренировочных данных тогда тоже нужно добавить NaN.
Как вариант добавь еще одну ось, типа is_stolbec_nan, и заполняй его 1, если в столбце stolbec NaN. Тогда есть шанс, что нейронка выцепит что к чему.
можешь попробывать псевдо лейблинг, это когда ты пропущенные значения предсказываешь другой моделью(обычным бустом) а потом заполняешь пропуски предсказаниями
Окей, попробую.
>>19543
>Что это значит?
Это значит, что в столбце указывается город. Для большей части строк он есть, для меньшей отсутствует. Причём, там где есть, данные не очищены - где-то просто город, где-то город и щтат, где-то город и страна, где-то город и индекс, в одном месте вообще просто континент указан.
>>19603
Yo dawg, I heard you like model, I also heard you like predictions... so we put a model into model so you can predict while you predict.
Спасибо, посмотрю.
Это вопрос техники. Возможно, во фреймворке, с которым ты работаешь, предполагается, что на вход методы fit() модели ты передашь просто вектор ответов, тогда не надо - так работает sklearn. А может, предполагается, что передаётся уже двоичная матрица one-hot, и тогда надо - так работает keras. Короче, читай документацию, что там ожидается.
Есть одна задача по NLP. В принципе, я представляю, как её решать, вопрос в другом. Решил я посмотреть уже готовые решения, и вот один товарищ https://www.kaggle.com/gunesevitan/nlp-with-disaster-tweets-eda-cleaning-and-bert в пункте 4.2 очистку текста проводит, фактически, вручную. Это так и должно быть? Есть же техники лемматизации и стемминга для подобных целей. Или я чего-то не понимаю?
как ты автоматически собрался разбивать "GOPDebate" на"GOP Debate" и "USAgov" на "USA government" ?
Ну и он в комментах пишет "I started NLP last month so I haven't done much research about those text processing libraries"
Мне в самом деле стоит использовать питон? Это точно не говно ебаное?
Если я хочу поэкспериментировать - эта штука позволяет добавлять свои функции активации, и позволяет ли соединять нейроны произвольным образом, с обратными связями, связями через несколько слоёв, не полную связь слоя со слоем и всё в таком роде? Или просто сложный конструктор, где можно собирать блоки из деталей и учить это с графиками?
Пока не слишком разобрался что оно умеет, тыкаю методом тыка пример с грузовиками/самолётами/кошечками пытаясь какие-то принципы выбора структуры сетей выработать. Очень нравится, как ребёнку.
Это норма, что при попытке использования gpu половина моделей вылетает с ошибками cudnn, но на процессоре всё работает? Или нужно переставлять?
Этой штуке действительно нужно по 20к примеров, и обучить по 500 примерам чему-то вразумительно невозможно?
>Если я хочу поэкспериментировать - эта штука
Какая штука, которую ты скрыл под спойлером? Писать научись сначала, чтобы читающий не ебал мозг с твоим художественным форматированием
> Мне в самом деле стоит использовать питон? Это точно не говно ебаное?
Нет, юзай плюсы, потом расскажешь как оно там.
> Если я хочу поэкспериментировать - эта штука позволяет добавлять свои функции активации
Тебе нужен pytorch.
> Это норма, что при попытке использования gpu половина моделей вылетает с ошибками cudnn
Нет.
> Этой штуке действительно нужно по 20к примеров, и обучить по 500 примерам чему-то вразумительно невозможно?
В зависимости от задачи и данных естественно. Погугли.
ValueError: Negative dimension size caused by subtracting 3 from 1 for 'AttentionOcr_v1/conv_tower_fn/INCE/InceptionV3/Mixed_7a/Branch_0/Conv2d_1a_3x3/Conv2D' (op: 'Conv2D') with input shapes: [64,1,42,192], [3,3,192,320].
С чем это может быть связано? Пытаюсь использовать самый глубокий слой, может у меня просто слишком маленькие картинки? На других слоях работает, на любом слое Mixed_7 вылетает подобная ошибка
Да, слишком маленькие картинки.
На входе картинка 1x42, он пытается применить к ней фильтр 3x3 с пэддингом valid и вылетает.
Очевидно, что чем больше данных, тем меньше их можно чистить, моделька все равно разберется.
Ну и к тому же это соревнование на кеггле, где тысячные значения метрики решают. Там можно и терабайты поразбирать (например, брать самые частые слова в корпусе, которых нет в твоём словаре, а ля "USAgov")
Аноны, есть приложуха на питоне которая считывает видеопоток с IP камеры и определяет лица. Хотелось бы сделать так, чтобы в режиме реального времени она могла определять принадлежит ли лица того/тех людей которых сейчас снимают мне(или какой-то определённой группе лиц), и если нет, то выдавало бы какое-то сообщение. Я совсем не представляю как поступиться ко второй части , возможно аноны знают какое-то готовое решение, или могут на правильный путь?
Спасибо
Хм, а вообще более глубокие фильтры могут сильно влиять на итоговую точность в моем случае?
Авторы пейпера по схожей сети говорили
> We see that the accuracy improves for a while, and then
starts to drop as the depth increases. This trend holds for all three models. We believe the reason for this is that character recognition does not benefit from the high-level features that are needed for image classification. Also, the spatial resolution of the image features used as input for attention decreases after every max pooling operation, which limits the precision of the attention mask on a particular character. We don’t see any dependency between accuracy and the theoretical receptive field of the neurons in the last convolutional layer, but the effective field of view can be much smaller.
Но они работали на FSNS датасете, у меня же датасет с иероглифами, задача немного сложнее.
Вообще, со временем мне задача объединения сетей и использования CNN таким образом перестает казаться разумной, в мире существует множество шрифтов, почему бы не обучить CNN в качестве классификатора.
Блять, таки проебал разметку.
>>162101
Благодарю
Boxplot ака ящик с усами.
найди такую же по содержательности статью не на хабре
https://pypi.org/project/face-recognition/
Вот тебе без хабра и без теории, просто бери 3 юзкейз и пользуйся.
>>14936 (OP)
Аноны, наверное платина, но всё таки: у меня есть дохерища логов из разных систем. Есть целевая переменная для каждого файла, которая обозначает произошло определённое событие в этом лог файле, или нет. Правильно ли я понимаю, что наилучшим решением будет парсить логи обычным способом (регулярками например) и выковыривать из них какие-то ключевые слова или нграммы? В такой задаче мне вряд ли помогут эмбединги, диплёрнинг и всё такое, правильно?
>Ну и к тому же это соревнование на кеггле, где тысячные значения метрики решают
Поэтому собственно блядский кагл и с его "топами" и не нужен. Превратили все ебучий спорт, где ты вместо того, чтобы набрать побольше данных, вилкой чистишь их датасет.
Обученная нейронка на старых логах определит к какому классу относятся новые логи: с ошибками или без.
Спасибо, буду использовать для этой задачи машинное обучение!
А если серьёзно то вопрос заключается в том, в каком виде мне подавать логи в нейронку? Bag of words, TF IDF, прогнать через каждое слово fasttext и усреднить? Все эти варианты выглядят бессмысленными для логов. Можно конечно попробовать построить LSTM и запихивать туда по одному слову, но у неё столько таймстепс будет, что я офигею это дело обучать.
> Правильно ли я понимаю, что наилучшим решением будет парсить логи обычным способом (регулярками например)
Да.
> Мне в самом деле стоит использовать питон? Это точно не говно ебаное?
Юзаешь питон, чтобы поэкспериментировать и обучить модель, экспортишь результат в тензорфлоу лайт, дальше уже запускай чем хочешь, можно на мобилке, можно на плюсах.
> Если я хочу поэкспериментировать - эта штука позволяет ...
Всё позволяет.
> Пока не слишком разобрался что оно умеет, тыкаю методом тыка
Очень долго будешь тыкать, очень непродуктивно. Лучше почитай какие уже существующие архитектуры бывают, посмотри какие из них прямо в Керасе сразу заимплеменчены, когда нормально разберёшься с готовыми архитектурами начинай думать про свои какие-то улучшения (я ещё не дошёл до этого этапа, мои кривые руки делают только хуже обычно).
> Это норма, что при попытке использования gpu половина моделей вылетает с ошибками
Точно не норма, переставляй, ищи косяки.
> Этой штуке действительно нужно по 20к примеров, и обучить по 500 примерам чему-то вразумительно невозможно?
Гугли в сторону трансфер лёрнинг, у меня получалось обучать (дообучать) и меньшим количеством примеров. Это кстати одна из причин, по которой лучше пользоваться предобученными архитектурами, для них сразу есть набор весов, обученных на каком-нибудь imagenet например, самостоятельно на imagenet без ГПУ ты ооочень долго будешь обучаться.
>>18647
Вот не поверил сразу в это утверждение, подумал как это тензорфлоу может магически справляться со сжатием данных лучше, чем специализированные алгоритмы. Взял папку с некоторым количеством jpg файлов, 255 мб. Перегнал её в tfrecords -> 205 мб. Зафигачил её в 7z -> 177 мб. Мораль сей басни такова, что действительно сжимает, но назвать сжатие
охуенным скорее всего нельзя.
Ну и чисто для полноты сравнения, zip тоже показывает примерно 205 мб.
Сейчас бы насиловать свою машину, когда есть удаленные и даже бесплатные варианты.
Спасибо анон
>Хм, а вообще более глубокие фильтры могут сильно влиять на итоговую точность в моем случае?
Конечно. У тебя же есть пулинг-слои, которые понижают пространственное разрешение в два раза с ростом глубины. Классификатору на это дело насрать, а вот если ты передаешь сырые фичи с нужного слоя, там все будет гораздо сложнее.
Намного проще, если ты передашь информацию с того слоя, где пространственной информации достаточно. А RNN уже разберется с остальным. По идее в этом месте можно добавлять новые слои, но уже без последующих пулингов, тогда возможно точность будет расти дальше. Но не сильно и не много.
Криво написал как-то.
Короче, для максимальной точности нужно правильное разрешение (и размер receptive field), не меньше, не больше. Если хочешь повысить точность, нужно стремиться к этому разрешению, и добавлять новые слои, не увеличивая пулинг
кто платит дата саентологу, тот его и танцует
https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/
1660 для дипленинга отпадают, потому что у них 6 гб памяти. Это очень мало, многие модели будут обучаться, если им совсем урезать батчсайз. Для инференса на сервере поставить они норм.
2060 конечно заебись, но они оверпрайснуты из-за хайпа, поэтому если тебе не нужны расчеты в fp16, лучше смотреть на старую добрую 10xx серию.
30% прибавки по перформансу вообще ничего не значат, все равно модель ставить обучать на ночь. Имеет смысл задумываться об апгрейде, когда карта быстрее раза в два-три.
tldr если есть деньги на 2060, бери материнку с двумя слотами под GPU и ставь туда два 1070Ti с 11 гб памяти.
Если денег нет, бери один 1070ti.
Почему на пикрелейтед 10х0 настолько быстро работают с word RNN?
> Колаб же не сравнится даже с 1060?
Пикрил.
Ещё можешь взять гугл клауд
> Several GPU types available
> NVIDIA Tesla K80, P100, P4, T4, and V100 GPUs are available today, depending on your compute or visualization needs.
Странно, мне казалось я видел 2 версии, с 8 и 11.
Но в любом случае, по текущим ценам 1070ti получается самый выгодный. Хотя если 1080ti за 20к найдешь, типа https://www.avito.ru/moskva/tovary_dlya_kompyutera/videokarta_zotac_gtx_1080_ti_extreme_11gb_1881670765 можно рассмотреть
Бля, надо апдейтиться короче
чел зачем тебе тратится на видеокарту когда колаб тебе бесплатно блять теслу п100 даёт, это мега мега йоба карта
Чел, зачем тебе тратиться на еду, в ночлежках бесплатно кормят
https://ru.wikipedia.org/wiki/Кубический_сплайн
Так получилось, что я хотел в науку (фундаментальную математику), но работаю в энтерпрайзе и думаю о том, что у меня нет самореализации. Насколько связано реальное создание нейронок с математикой? Можно ли зарабатывать нейронками и чувствовать, что занимаешься именно математикой, а не прикладным говном? Душа хочет красивых знаний, а продакшена я наелся.
Там же просто какой-то ебучий калькулюс. Даже про идеалы алгебраических многообразий и эллиптические кривые, кривые Эдвардса, многообразия Веронезе ничего нет. Пацаны, стоит ли вкатываться в ваше говно за самореализацией?
Основа - матстат. Если копнуть внутрь - линал.
Нет, я патриот.
Да, на кеггле ты можешь запускать нотебуки на их железе.
Там же вроде только т80? Как выбрать v100?
>Тебе нужен pytorch
Действительно. Спасибо, посмотрю его попозже, надо в тензор всё-таки вникнуть для начала, чтобы понимать код его примеров - потом полезу в торч и сравню производительность, вдруг он в два раза хуже работает.
Хм, переставил те же версии куды, тензора, cudnn и теперь нормально работает. Странная фигня.
>>21422
>очень непродуктивно
Как знать. Конкретной задачи то нет, да и я более-менее знал про имеющиеся. Да и всего часов десять потыкал, не так уж и много.
Книжку начал читать, хотя бы просто чтобы имеющиеся в тензоре типы слоёв узнать, а то на сайте довольно скудное описание.
>лучше пользоваться предобученными архитектурами
Логика то понятна, свёрточные слои уже научилось выделять какие-то полезные признаки и достаточно лишь верхушку сети переучить, так как скорее всего те полезные признаки более-менее универсальные.
>>21565
>NVIDIA Tesla
Посмотрел, а в чём суть, если обычная видеокарта той же производительности (по крайне мере с 32-битными флоатами) в два-три раза дешевле?
Видно только, производительность 64-битных отличается более чем в десять раз (которая невероятно сильно проседает на видеокарточках). Производительность половинной точности указана только для вычислительных карт - она проседает так же как и двойная точность по сравнению с теслами что ли?
Смотря какую цель ты преследуешь, если просто немного подкачаться, то можешь, если хочешь сражаться за призовые места то маловероятно.
>>21935
kernel-only это чаще всего сабмишен кернел онли, а обучаться нужно на своём железе, чистых кернел онли, где вообще даже данные не дают отдельно я что-то не припомню (но я не особо часто слежу).
>>21951
Гугловый колаб в пользовательском соглашении пишет, что использовать можно только чтобы шарить ноутбуки с другими датасаентистами, немного что-то считать в обучающих целях и всё такое. На практике это значит что они могут раз примерно в 3-4 часа ложить твоё ядро. Если они заподозрят что ты майнишь крипту, положат сразу. Такого, чтобы можно было на ночь колаб оставить, а утром просто проснуться и посмотреть результат у меня ни разу не получалось.
>>22221
>Тебе нужен pytorch
Если учишь тензорфлоу то не не сказал бы что так уж нужен. Лучше сначала почитай статей, посмотри сравнения что с какой скоростью работает и для каких задач подходит и потом во что-то одно поинты кидай. Учить сразу и то, и другое смысла не очень много как мне кажется.
>Посмотрел, а в чём суть, если обычная видеокарта той же производительности (по крайне мере с 32-битными флоатами) в два-три раза дешевле?
Основная суть в том, что нвидиа хочет больше золота. Официально консумерские ГПУ типо 1080 и 2080 запрещено использовать в датацентрах, только дорогие теслы. При желании можно найти кучу хостингов, которые сдадут 1080 в аренду, но вообще по лицензии так нельзя.
Я слышал мнение что это потому, что у Теслы пассивное охлаждение и она лучше приспособлена для длительных нагрузок, но считаю что это бред, потому что на обычных видяхах люди неделями гоняют нейронки и майнят и тоже всё прекрасно работает.
На некоторых задачах тесла действительно решает, но для диплёрнинга обычные видяхи лучше.
> но для диплёрнинга обычные видяхи лучше
Наоборот же, обычные дискретки для бытовых задач (игори, фотожоб и тд), а теслы для диплернинга специально.
> Если учишь тензорфлоу то не не сказал бы что так уж нужен
Если человек хочет разбираться как и что работает, чтобы всё было прозрачно, то ему нужен pytorch очевидно.
> если хочешь сражаться за призовые места то маловероятно
Бронзу, серебро можно взять, запуская нотебуки на кэггле. Почему нет
> Наоборот же, обычные дискретки для бытовых задач
https://lambdalabs.com/blog/2080-ti-deep-learning-benchmarks/
Вот тебе первое сравнение из гугла, тесла в100 всего в 2 раза быстрее, чем ртх2080 (даже не в 2, а меньше), при этом стоит в 7.5 раз дороже. Специально для диплёрнинга сделали ТПУ, а теслы были ещё до хайпа и до нейронок на ГПУ. На теслах хорошо решались и решаются другие вычислительные задачи. Если не веришь бенчмарку из гугла, зайди напрмер на vast.ai (это сайт, который ГПУ в аренду сдаёт), там есть DLscore, что является примерной оценкой производительности карточки на задачах диплёрнинга, и посмотри какая карточка сколько показывает и сколько стоит, офигеешь от разницы.
> ему нужен pytorch очевидно
Мне это не очевидно, на тензорфлоу тоже можно прекрасно разбираться что и как работает и всё тоже в некотором роде прозрачно. Навязывать людям фреймворки, пользуясь выдуманными аргументами это так себе затея, начал человек с тензорфлоу, пусть себе работает с ним, прекрасно с ним и разбираться можно и кастомный лосс писать, никаких проблем.
> Бронзу, серебро можно взять, запуская нотебуки на кэггле.
Чисто теоретически можно градиенты посчитать на листике в клеточку, зафигачить сабмишен в виме и взять голд, почему нет?
Чисто практически я хз, может ты и прав, может ты и не прав, но в любом случае кэггл ноутбуки это более напряжно, чем собственное железо под рукой. Сейчас на каггле довольно жёсткая конкуренция, много сильных спецов. Я думаю что к моменту, когда человек по скилам становится готов занимать призовые места, он уже трудоустроен так, что о ноутбуках и аренде серверов особо не парится.
В кэггловские нотебуки легко подгружать датасет с контеста. Супер профит, не нужно засирать комп гигабайтами данных
>Основная суть в том, что нвидиа хочет больше золота.
Я потыкал вычислительный шейдер и opencl (прихотливую куду запускать не умею).
1660ti проседает почти в 50 раз на fp64, по сравнению с fp32, хотя должна всего в 32 (если верить этому сайту для домохозяек). Ускорение на fp16 в два раза.
Если я правильно понял, на паскалях и ранее fp16 имею такую же производительность, как и fp32. А на тьюрингах они прикрутили х2 ускорение для fp16. fp64 в ауте во всех случаях.
На теслах вроде как нет проблем с fp64, и если поверить числам с сайта нвидии, то там якобы fp16 имеет скорость x8 по сравнению с fp32.
Да, кроме этого, в самом тупом тесте по перемножению матриц скорость только 300 гигафлопс в секунду (считал, что перемножение двух матриц 4х4 = 64 флопса). Простое C=AxB в цикле. И если извлечь корень из каждой компоненты матрицы - время выполнения никак не меняется, походу оно в доступ к памяти упирается.
С другой стороны, если не обращаться к глобальной памяти, а забрать из него матрицы и в цикле перемножать их друг на друга возводя в громадные степени, а потом один раз записать результат, то оно достигает почти 7 терафлопс в секунду, что выше теоретической производительности с сайта нвидии. Что любопытно, такое в состоянии сделать только вычислительный шейдер, аналогичный opencl код работает почти в два раза дольше, хотя все размеры локальных групп такие же и всё остальное такое же - такая же проблема была в 2013 на древней карточке, думал они пофиксят со временем и это из-за необкатанности opencl, но ничего не поменялось - даже усугубилось.
Хрен его знает, как оценивать производительность в общем, нейронки же как раз про доступ к глобальному массиву, и за 50 кб локальной памяти они в любом случае выйдут.
Надо попробовать что-то простое переписать вручную - посмотреть можно ли обогнать тензорфлоу, если написать код с учётом ограничений на локальную память.
>Если я правильно понял, на паскалях и ранее fp16 имею такую же производительность, как и fp32.
На твоей картинке видно, насколько 1080 Ti сосет на fp16, падает на два порядка. По сути fp16 оно может только эмулировать, отсюда и проблемы. С другой вместо 26 терафлопс 2080 Ti на fp16 ты можешь купить 2 1080 Ti и получить те же 26 терафлопс на fp32. Учитывая огромное количество сбывающих подешевке ставшими убыточными карт майнеров, 10xx серия еще как минимум год будет самой конкурентной.
>На теслах вроде как нет проблем с fp64, и если поверить числам с сайта нвидии, то там якобы fp16 имеет скорость x8 по сравнению с fp32.
Главное преимущество тесл - это стабильный результат. Консьюмерские видюхи иногда ошибаются - бит не тот устанавливают, и т. п. Для гейминга это нормально, а для научных расчетов нвидия ничего не гарантирует. Дипленинг в этом плане не ядерные взрывы считать, при тренировке специально все замусоривается.
> аналогичный opencl код работает почти в два раза дольше
Нвидия специально нерфит opencl, чтобы разрабы не могли поддерживать кроссплатформенный код и поднасрать AMD. Из-за этого нам в одном проекте приходится держать 2 одинаковых кода - под cuda для нвидиевских карточек, и под opencl для amd и intel. Разница между opencl и cuda на одном железе - в 2-3 раза. Правда эпл пообещала opencl убить в пользу metal, поэтому все еще грустнее.
>Хрен его знает, как оценивать производительность в общем
Нейронки - это ехал GEMM через GEMM, почти все считается через умножение матриц, которое, в свою очередь, выполняется через активное использование shared memory https://www.quantstart.com/articles/Matrix-Matrix-Multiplication-on-the-GPU-with-Nvidia-CUDA/ , матрицы делятся на блоки, которые помещаются на одном CUDA-ядре, затем все мерджится. Быстрее cudnn ты все равно не сделаешь, и все фреймворки в конечном счете вызывают cudnn.
Соответственно оценивать производительность несложно, берешь любую классическую сетку типа ResNet и вычисляешь время либо forward либо forward+backward проходов, желательно с максимально толстым батчасайзом, чтобы учесть еще и то, что карточка на 12 гб лучше, чем на 6.
Если не хочешь учитывать размер памяти, сравниваешь на одном bs.
Собственно здесь чел это сделал https://lambdalabs.com/blog/2080-ti-deep-learning-benchmarks/
>Надо попробовать что-то простое переписать вручную - посмотреть можно ли обогнать тензорфлоу, если написать код с учётом ограничений на локальную память.
Кончай херней страдать, tf вызывает cudnn, и очень самонадеянно думать, что ты родишь код быстрее инженеров nvidia.
>Если я правильно понял, на паскалях и ранее fp16 имею такую же производительность, как и fp32.
На твоей картинке видно, насколько 1080 Ti сосет на fp16, падает на два порядка. По сути fp16 оно может только эмулировать, отсюда и проблемы. С другой вместо 26 терафлопс 2080 Ti на fp16 ты можешь купить 2 1080 Ti и получить те же 26 терафлопс на fp32. Учитывая огромное количество сбывающих подешевке ставшими убыточными карт майнеров, 10xx серия еще как минимум год будет самой конкурентной.
>На теслах вроде как нет проблем с fp64, и если поверить числам с сайта нвидии, то там якобы fp16 имеет скорость x8 по сравнению с fp32.
Главное преимущество тесл - это стабильный результат. Консьюмерские видюхи иногда ошибаются - бит не тот устанавливают, и т. п. Для гейминга это нормально, а для научных расчетов нвидия ничего не гарантирует. Дипленинг в этом плане не ядерные взрывы считать, при тренировке специально все замусоривается.
> аналогичный opencl код работает почти в два раза дольше
Нвидия специально нерфит opencl, чтобы разрабы не могли поддерживать кроссплатформенный код и поднасрать AMD. Из-за этого нам в одном проекте приходится держать 2 одинаковых кода - под cuda для нвидиевских карточек, и под opencl для amd и intel. Разница между opencl и cuda на одном железе - в 2-3 раза. Правда эпл пообещала opencl убить в пользу metal, поэтому все еще грустнее.
>Хрен его знает, как оценивать производительность в общем
Нейронки - это ехал GEMM через GEMM, почти все считается через умножение матриц, которое, в свою очередь, выполняется через активное использование shared memory https://www.quantstart.com/articles/Matrix-Matrix-Multiplication-on-the-GPU-with-Nvidia-CUDA/ , матрицы делятся на блоки, которые помещаются на одном CUDA-ядре, затем все мерджится. Быстрее cudnn ты все равно не сделаешь, и все фреймворки в конечном счете вызывают cudnn.
Соответственно оценивать производительность несложно, берешь любую классическую сетку типа ResNet и вычисляешь время либо forward либо forward+backward проходов, желательно с максимально толстым батчасайзом, чтобы учесть еще и то, что карточка на 12 гб лучше, чем на 6.
Если не хочешь учитывать размер памяти, сравниваешь на одном bs.
Собственно здесь чел это сделал https://lambdalabs.com/blog/2080-ti-deep-learning-benchmarks/
>Надо попробовать что-то простое переписать вручную - посмотреть можно ли обогнать тензорфлоу, если написать код с учётом ограничений на локальную память.
Кончай херней страдать, tf вызывает cudnn, и очень самонадеянно думать, что ты родишь код быстрее инженеров nvidia.
> По идее в этом месте можно добавлять новые слои, но уже без последующих пулингов, тогда возможно точность будет расти дальше. Но не сильно и не много.
Окей, можно попробовать переписать сеть без лишних пулингов.
Но думаю более эффективно будет перейти от Inception к другой, более эффективной архитектуре EfficientNetB5. Осталось ее только имплементировать, единственную реализую я видел под keras-tpu, ну да ладно, не думаю, что это будет проблемой.
>сосет на fp16, падает на два порядка
Такая цифра смысла не имеет же.
>Консьюмерские видюхи иногда ошибаются - бит не тот устанавливают
Во-первых, можешь показать пример? Я запускал симуляцию на тысячи частиц и считал хеши часами. Они один в один совпадали с результатом на процессоре. Из сложных операций были скалярные произведения, корни, быстрые инверсные корни и деления.
Во-вторых, разве это критично для машинного обучения?
>opencl и cuda на одном железе - в 2-3 раза
>Нвидия специально нерфит opencl
Ну это вообще. Разве оно не так работает, что есть какое-то особое низкоуровневое nvidia-api, так что оно даже не может узнать использует его opencl или ещё что?
>Собственно здесь чел это сделал
А какой смысл имеет тогда цифры с сайта нвидии, где написано х8 для fp16?
>Кончай херней страдать, tf вызывает cudnn, и очень самонадеянно думать
Это вроде бы всего часа на два кодинга. Стоят два часа того, чтобы потом я мог с чистой душой верить в производительность cudnn?
Я не хочу быстрее, я хочу сравнить. Взять линейную сеть, написать код в лоб без оптимизаций и посмотреть насколько быстрее её обучает тензор. Если там будет х1.3 и оно не скейлится от размера, то можно считать что скорость такая же и они просто оптимизировали мелочь. А если там будет х8 всё увеличивающийся отрыв, то значит они что-то принципиально другое придумали.
Просто немного обидно, что теоретическая производительность карточек почти в 100 раз выше процессорной, а в действительности ускорение даже в 10 раз получить почти невозможно.
Душнее статистики только теория множеств и конечные автоматы. Весь сок - в алгебраической геометрии
Вы оба душные дауны, которые зачем-то пришли в ML-тред рассказывать о душности стастики. Создайте себе тред и дрочите там друг другу
>Такая цифра смысла не имеет же.
Почему, вполне реальная цифра: о fp16 на 1080Ti лучше забыть и оно годится только протестить инференс.
>Я запускал симуляцию на тысячи частиц и считал хеши часами. Они один в один совпадали с результатом на процессоре.
Сутками надо считать. А потом еще две недели проверять на процессоре.
>Во-вторых, разве это критично для машинного обучения?
Не критично, я об этом прямо написал. Для машинного обучения достаточно геймерских карт
>Ну это вообще. Разве оно не так работает, что есть какое-то особое низкоуровневое nvidia-api, так что оно даже не может узнать использует его opencl или ещё что?
Компилятор opencl работает хуже и nvidia не будет тратить деньги на его оптимизацию
>А какой смысл имеет тогда цифры с сайта нвидии, где написано х8 для fp16?
Nvidia нужно продавать 20xx
>Это вроде бы всего часа на два кодинга. Стоят два часа того, чтобы потом я мог с чистой душой верить в производительность cudnn?
Чтобы верить в производительность cudnn, тебе нужно взять cudnn и сделать например GEMM пары матриц 4096х4096, у которых известно число флопсов. Производительность должна быть близка к пиковой
>Просто немного обидно, что теоретическая производительность карточек почти в 100 раз выше процессорной, а в действительности ускорение даже в 10 раз получить почти невозможно.
У тебя код какой-то совсем хуевый, тебе нужно поучиться писать под видюхи. Я получал пиковые терафлопсы на своем коде. Выжимать скорость из x86 лично мне сложнее - чуть пукнешь и у тебя cache miss и производительность падает в 2 раза. Видюхи в этом плане как-то попроще.
>А потом еще две недели проверять на процессоре.
Угу, я только день осилил. Мне не было это нужно, но было любопытно. Ошибку не нашёл.
Может быть там ошибки только при денормализованных числах каких-нибудь происходят, которые никому не нужны, и тебе лишь не повезло?
>У тебя код какой-то совсем хуевый
Я про тензорфлоу вообще-то, лол.
Поучиться энивей надо, но я не могу найти работу где нужны видеокарты, а дома в рамках хобби довольно-таки посредственные задачи получаются - я их изначально придумываю зная какие смогу ускорить в 100 раз, не считая что они все из пальца высосаны.
Дело не в том, что мышление это боль, а то, что вот эти пункты
- Математика, за которую платят
- Математика, которая внутренне красива
это разные области математики. Статистика, графы, множества и конечные автоматы это говно.
Давай ты назовешь эти области, которые внутренне красивы, и если они применяются в теории струн, я тебя обоссу
Какое же говнище, для швабропиларах наверное как раз
Алгебраическая геометрия применяется не только в теории струн, но еще в криптографии, и благодаря ней ты можешь совершать платежи из дома
>Платон считал математику высшей формой прекрасного
Платон говорил о маняматике своего времени, а не об это говнище что она представляет сейчас. Да и много чего этот педераст говорил.
Ну то есть нейронки переоценены и на самом деле их можно заменить людьми, заодно больше рабочих мест будет.
Чувак, юзай гугл колаб и не парься, на процессоре ты месяц будешь считать то, что колаб тебе посчитает за день-два
Нейронка может работать круглосуточно, не требует рабочего места, условий труда, инфраструктуры.
Я бы не сказал, человеку нужен компьютер, человеку нужно есть, скорее-всего в офисе он будет пользоваться электрочайником, принтером, микроволновкой, плюс нужно считать энергопотребление на производство еды для человека, ее доставку, человеку также нужно освещение.
Все это в итоге будет жрать столько же света, сколько и нейронка, если не больше.
Да, файлы можешь загружать куда-нибудь или сохранять себе на гугл диск.
Даже по чистым ваттам человек сосет. Человек потребляет 100 Вт, при этом работает максимум 16 часов в сутки. То есть 150 Вт на рыло. Пека с современной картой потребляет где-то 350 Вт. То есть, чтобы обогнать человека, нужно всего лишь в 2 раза быстрее выдавать результаты инференса. Но топовые карты работают сильно быстрее даже на сетках типа BERT, не говоря уже о сетях из 2016.
Единственное, что дорого по потреблению энергии - это обучение, но его энергетический вклад размазывается на количество инстансов. Человека нужно учить каждый раз заново.
> Самое важно в жизни — заниматься тем, что тебе больше всего интересно и с чем ты справляешься, а не идти учиться на какую-то профессию, потому что с ней легче будет найти работу или потому что кто-то так сказал. Ведь работать 40 лет на работе, которая тебе не интересна, — это катастрофа.
Вот это пример измышлений, которыми так любят пичкать людей. На самом деле не существует работы, которой тебе будет интересно заниматься 40 лет. Поэтому надо идти туда, где больше заработаешь.
Можешь посчитать, сколько стоят колясочки и содержание человеческой личинки в первые 6 лет.
Выйдет куча миллионов
Можешь посчитать, сколько стоят исследование и разработка архитектур процессоров...
Ты просто нанимаешь человека, так же как и покупаешь карточку. За столько, за сколько оно покупается/нанимается. О том, сколько было затрачено миллионов на разработку человека и карточке тебе вообще не интересно ничего знать.
А ещё у человека может быть плохое настроение, и он будет на одних и тех же данных выдавать разные результаты. Можешь посмотреть ситуацию из "думай медленно - решай быстро" - если не ошибаюсь, даже когда их прямо спрашивали, судьи говорили что "не-не-не, мы всё всегда объективно оцениваем" и перерыв никакого влияния не оказывает. Такая же ситуация в других примерах из книги, дичь невероятная.
Нейронка такому не подвержена.
>Можешь посчитать, сколько стоят исследование и разработка архитектур процессоров...
Архитектура одна на миллионы экземляров процессоров, человек же уникален.
>Можешь посчитать, сколько стоят исследование и разработка архитектур процессоров...
Человеку тоже нужен компьютер) Да, оборудование у него дешевле будет.
>На самом деле не существует работы, которой тебе будет интересно заниматься 40 лет.
Ты так скозал? Ну и ковыряй говнокод всю жизнь, пока кто-то работает с кэлеровыми многообразиями
Говнокодером твой софт могут юзать миллионы, а с математикой скорее всего ты родишь какой-то невнятный высер, которым никто не воспользуется
Я не понимаю, что тут удивительного. Голодный и усталый человек склонен к более суровым решением, это ожидаемо.
Предполагается, что человек много лет работающий в этой сфере вырабатывает хоть какую-то непредвзятость и объективность (причём не просто где-то, а в сравнительно важных решениях), или хотя бы сам начинает отдавать себе отчёт в таком эффекте. Не знаю что там в конце, но 65% в начале и 35% в среднем (это около 10% в конце, если равномерно снижается?) - это перебор. Ладно бы было 65/50 хотя бы. Если предположить, что врачи так же работают, то не очень радостная картина получается.
В важных решениях всегда есть консилиумы и дублирование функций, то, что на зеков всем похуй - совершенно не удивительно.
Похоже на то, что ты один из несчастных лузеров в этой стране, которые отчаянно пытаются найти себя в жизни. Видимо, миллионы юзеров это единственное, что у тебя есть в жизни. Вот только все эти миллионы юзеров не скрасят твое печальное существование в жизни, в которой тебя никто не любит. Из-за работы ты даже пожить для себя не можешь. Возьмешь год отпуска, и эйчарки уже будут воротить нос от тебя.
Ну что ты начинаешь..
С чего мы должны тебе верить? Это похоже на батхерт неудачника, завидующего более умной и успешной женщине просто по причине того, что она женщина
Да не, я вообще не из машоба)) Просто зашел почитать/сравнить, как вы вкатываетесь и как вкатывается знакомая шлюхенция(точнее уже вкатилась) и вкинуть это сюда. Но на самом деле это так, хотите верьте, хотите нет)
Типо она ходила на каждую конференцию машинного обучения и занала теорию по матеше, чисто в кругах общалась математических, поэтому могла поддержать разговор.. Одевается как шлюха, ведет так же, ходит в зальчик для этого.. Ну ее заметил какой-то куколд и предложил ей работу и еще поездки в финляндюи на халяву )) (Хз мб кто-то таким же путем захочет пойти.. вдруг тут есть телочки, только у них должны быть сиськи и жопа и мало жира, а то не заметят)
Ну да ладно.. Типо понятно что бабам легко вкатиться в любое место, используя свой пирожок, но самое потешное, что я ей сказал, что мол ее заметили только из-за жопы и сисек.. на что получил лютый баттхерт, что ее заметили прежде всего из-за УМА! Оценили только лишь ее УМ! И вообще она топ машинный обучатель и много чего может...
Я попросил при мне обучить машину, она сказала что там на джюпитере 3 часа ее машина будет (хз как это на вашем языке, но я понял что типо компилировваться или загружаться) ..
Вот такая кул стори))
>Ну ее заметил какой-то куколд
Очень странно, поскольку среди математиков зашкаливающий процент пидоров.
>Да не, я вообще не из машоба
Тогда откуда у тебя уровень экспертизы, позволяющий оценить ее ум? Ты же как последнее быдло оцениваешь человека, по тому, как он одевается. Фу таким быть.
Ну хз) Умный человек будет фотать полуголое тело и подписывать "Математически" в инстаграме? и вообще все свои достижения выставлять на показ? Сейчас правда после вката перестала.
Или быть может умный человек учиться на одни пятерки не своим трудом, а чужим? просто подлизывая всем и прося сделать за нее.. А потом всем говорить, что она САМА всего достигла и добилась..Да, типо заставлять других делать за тебя, даже если ты баба это круто, но это не ум)) Просто повезло с телом, вот и пользуется им..
Я лично с ней знаком уже года 3, общался часто с ней и да.. она не тупая, но и не настолько умная, какой она себя представляет и мнит..
Или может быть умный человек будет орать на весь кабинет, что она девственница и гордится этим?
Только лично мне она рассказывала давно, что ее школьный парень трахал и она нецелка ) (Я просто топ подружка для девчат, мне они доверяют тайны.. зря )))))) )
>Умный человек будет фотать полуголое тело и подписывать "Математически" в инстаграме? и вообще все свои достижения выставлять на показ?
Конечно. Даже если человек от природы скромный, но умный, он будет перебарывать свою скромность, потому что это ключ к успеху в информационном мире. Скромные на длинной дистанции проигрывают. Если же умный человек сам по себе нарциссичен, в чем проблема вообще - я имею в виду для него. Полно умных людей является неприятным говном, но тупыми от этого они не становятся.
Вообще такие стереотипы думают обычно туповатые лузеры, которые, естественно, считают себя гениальными, но их удел быть штатными шизиками на анонимных бордах. И это я не про тебя (потому что на тебя мне похуй), но тут в треде есть несколько таких.
>Я лично с ней знаком уже года 3, общался часто с ней и да.. она не тупая, но и не настолько умная, какой она себя представляет и мнит..
То есть все претензии в том, что нужно, подобно тебе, засунуть язык в жопу и не высовываться. У тебя ментальность крепостного крестьянина, которому барин может пиздюлей выписать за лишние слова. Воспитывается она в дурной совковой школе. Умные люди это перерастают, глупые нет.
Вообще же для тянок в ML действительно есть определенная скидка к их уму, но это фича, а не баг. Во-первых, банально приятнее работается, когда в отделе у тебя не одни носители сосисек, особенно когда тянка достаточно умна, чтобы понимать, насколько умнее ее ты. Во-вторых, разного рода тестирование и прочую рутину тянки делают лучше. Тупого самца для таких дел нанимать страшнее, потому что он либо своими неудовлетворенными амбициями всех заебет, либо начнет капчевать сутками вместо работы от депрессии, что он весь такой умный, а его никто не принимает.
>Тупого самца для таких дел нанимать страшнее, потому что он либо своими неудовлетворенными амбициями всех заебет, либо начнет капчевать сутками вместо работы от депрессии, что он весь такой умный, а его никто не принимает.
Какая же жизель. Такое вообще сильно заметно окружающим людям, когда ты этот самый тупой самец?
>>25142
>>25148
>>25160
В Блинолопатии машобчик вообще существует только милостью доброго американского барина, позволяющего пастись у этой темы всяким папуасам. Достаточно ввести эмбарго на такие технологии, и пизда рулю. Даже коровавирусные кетайсы не смогут анально угнетать своих уйгуров всякими социальными рейтингами.
>Достаточно ввести эмбарго на такие технологии, и пизда рулю.
Здесь поподробней пжлст, подпендоха, объясни что изменится? Исчезнет говнореклама и всратые котики?
https://nplus1.ru/news/2020/03/04/parrotstatistics
Теперь демпингуют рыночек - будут работать за кормушку корма.
А вот и главный лузер треда приперся. Нихуя про тянку не знает, но уже готовы выводы - он самый умный, остальные тупые
Так для нейронок не нужно знать азы тервера. Умеет ли этот попугай стакать слои?
> Нихуя про тянку не знает, но уже готовы выводы -
Знаешь одну селёдку = знаешь всех. Там кроме массогабаритных характеристик и паспортных данных разница стремится к нулю.
> он самый умный, остальные тупые
По сравнению с местными зумерами вкатывальщиками и всяким плоскоземельным шизлом я вообще гений так-то.
допустим
но только вряд ли это сильно отличается от любого вката через конференции и работу/стажировку студентом, мальчиком надо казаться серьезным и перспективным, девочкой милой и перспективной
Ну и где тысячи этих "перспективных" зумеров? В чем перспективность, где результаты хоть какие-то? В Яндексе научились стандартно установленный адблок обходить, ебать достижение, снимаю шляпу и апплодирую стоя.
>я вообще гений так-то
И сколько вас таких непризнанных шизогениев на бордах? Кроме самоподдува у тебя нихуя нет, при чем механизм самоподдува очень примитивный, в стиле "группа Х - тупые, потому что они тупые". Был бы ты чуть умнее, тебе бы хватило ума это отрефлексировать.
> Кроме самоподдува у тебя нихуя нет,
Есть )
> при чем механизм самоподдува очень примитивный, в стиле "группа Х - тупые, потому что они тупые".
Это не так. На самом деле:
- это не самоподдув
- "группа Х тупые, потому что это доказуемый факт".
Про какие колебания, кручения в матрицах он говорит?
Еще какие-то стихи вначале.
Нейроночки не только в Америке делают, так что вводить эмбарго придётся не одной стране. А это как-то малоправдоподобно сейчас выглядит.
Да и в Китае ничего сверхъестественного для социальных рейтингов не нужно, к тому же там тоже есть кому этим заняться.
Как думаешь, картинки с японским текстом смогут разметить? Там же русские
хочу отдрочить нейронку на всем подряд, и потом затрансферить на биткоин
типа, в современных работах по распознаванию образов от гугла, например https://arxiv.org/pdf/1912.11370v1.pdf делалось то же самое, но с изображениями - обучали сеть на одном разрешении, а потом файн-тьюнили до целевого перед тестированием (разница образовывалась из-за аугментации)
если так можно с картинками, то с временными рядами может тоже?
может таймфрейм как входной параметр добавить вообще
>знаешь одну селедку - знаешь всех
>разница стремится к нулю
значительность различия определяется выборкой, если разница не нулевая, то то, что тебе разница кажется незначительной означает только одно - ты ошибся при выборе масштаба при сравнении характеристик
иначе сравнение просто не имеет ценности и следствий
>>26794
>>26806
Не, зумерок, миллиардером ты так не станешь. Финансовые временные ряды не предсказываются, там либо слишком хитрые суперпозиции разных функций, либо просто случайное блуждание. Алсо, какой из тебя вкатывальщик, если ты датасеты нагуглить не можешь, лол. Тут и гуглить нечего, бери метатрейдер4, там все данные за выбранный период можно в csv импортировать.
>миллиардером не станешь
не стану, мне делай нехуй, машоблю вместо просмотра аниме
>не предсказываются
ну у меня были раньше какие-то (кажущиеся?) результаты, была обученная предсказывать следующий фрейм нейронка, потом весь временной ряд прогонялся через нее чтоб получить некие абстрактные признаки, потом RL (да да прихуярил еще и не самую развитую область машоба) агент обучался действовать в простой торговой среде, покупка и продажа какого-то не помню какого типа актива с коммисией за операции
завис на том, что агент справлялся без и с очень низкой коммисией, но на взятой с биржи проебывался в ноль консистентно, мне казалось что это решаемо исправлением каких-то ошибок моих именно, которые к этому привели, но к тому моменту я так заебался этим заниматься что забил на несколько месяцев
я тогда все на 1m таймфрейме делал, с часовым не получалось особо (да и вообще пока в тренировочной выборке меньше пары лямов фреймов было), вот думаю может повторю хотя бы то что было, если достану данных побольше для 1h и затрансферю
вообще, я просто не додумался до этого до схемы обучения на большой сторонней выборке + файнтьюнинга на бтк, ну тупой мейби
>метатрейдер
спасибо, чекну, я по некоторым причинам подумал, что в нем самом по себе готовых данных нет
> Финансовые временные ряды не предсказываются, там либо слишком хитрые суперпозиции разных функций,
То есть всякие датакванты хуйнёй занимаются?
Почему же они такие зарплаты платят? Откуда бабло?
В квантитатив ресёрче нет мл как такового, ну максимум логрегрессия и эконометрические модели разные.
>Тупого самца для таких дел нанимать страшнее, потому что он либо своими неудовлетворенными амбициями всех заебет, либо начнет капчевать сутками вместо работы от депрессии, что он весь такой умный, а его никто не принимает.
Так это, как и 99% проблем на рынке, проблема хайринга.
Не надо просто искать "математиков с минимум 5 публикациями за последние полгода и топ-100 на каггле" шоб потом они сидели селектами фичи собирали, и никакие тянки будут не нужны.
Бизнес-воротилы платят за то, что их успокаивают, мол, вы не просто хуячите рандомом или по примитивным правилам (периодически проёбываясь и утягивая за собой рынок), а согласно хитрому анализу данных.
Через анус
Насколько я понимаю, кроме предсказания ряда есть еще много финансовых показателей, которые уже лучше поддаются машобу, всякие анализы рисков, волатильность etc
Разве соревнование, например, с призом в миллион баксов можно успешно в одно лицо решить?
Зайди на прошедшие соревнования и посмотри топ лб. Ещё учти, что многие из топа объединяются в самом конце соревнования.
Старый эир совсем перестал устраивать. Для своей джавы я бы просто взял 13" прошку со встроенной графикой.
Но вкатываюсь в ml (курсы прохожу), и как я понял без полноценной видюхи я ничего не смогу делать локально.
вроде как крединый скорринг и обнаружение фрода как раз машобчиком и делается
Это неудобный вопрос.
Лемматизация и стемминг тут, вероятно, не помогут.
Ага.
>Автоматизированных решений в данный момент нет?
Ну есть там дистанция Левенштейна и прочие хитрые изъебоны, но это такое себе
двачую, я вылетел из реальности на полгода+ из-за ваших ебучих нейронок, лучше бы в доту играл
меньшие
[x(0), x(1), ... x(n)] -> x(n+1)
, а сопоставление входного массива к сдвинутому на один элемент:
[x(0), x(1), ... x(n)] -> [x(1), x(2), ... x(n+1)]
ну там немного по другому, но суть такая
короче, какие современные нормализации не дадут какого-то усреднения по пространственному слою например, что даст протечку из будущего в прошлое в моем случае
Соболезную.
в word2vec все незнакомые/редкие слова обычно помечаются отдельным токеном.
Но лучше используй fastText, там слова на символьные н-грамы разбираются и проблема сама собой решается.
Хуй знает, я вот вообще самостоятельно учился на машин лернинг, параллельно учась в местном пту-универе, ибо стипуха большая, по лабам нет напряга вообще (лабы уровня сортировка на сиплюсах). Единственное, что получил оттуда - багаж знаний по матану. Каеф.
И к чему пришел на данный момент?
бери 13, для вката достаточно google-colab
>Учиться с учителем проще, чем самостоятельно.
лол, не прочитал пост выше и подумал, что это срач про supervised learning, только на моменте с общагой понял, что что-то не так
google translate rus->eng->rus превращает твой пример в "сегодня я иду на работу"
Вообще-то гугл картинки это то, особенно последние годы, когда стало больше нейронок и меньше поисковой статистики
Принято, спасибо
Ща уже не просто ищут, а генерят картиночки по описанию. Гугли text to image
https://towardsdatascience.com/summarizing-popular-text-to-image-synthesis-methods-with-python-dc12d0075286
>>18123
Всё же попробовал поработать с бертом и у меня 3 вопроса:
1) Как правильно и наименее ресурсоемко сохранять тензоры которые выдает нейросетка?
Тензоры десяти отзывов весят 8 Мб если я через pickle их сохраняю, таких отзывов у меня 65к, т.е около 50 gb будет весить. В каждом тензоре N слов( по длине отзыва) с размерностью M.
2) Стоит ли просто взять среднее между всеми векторами слов, чтобы получить "вектор отзыва-документа" или для анализа нужно другие техники использовать?
3) Как мне делать Kmeans на таких больших данных?
Подозреваю что нужно будет по одному считывать и делать перерасчёт KMeans каждую итерацию, а не грузить сразу всё в память. Ну или батчами считать, сделать Kmeans, считать снова и так пока не пройду по всей коллекции.
>Как правильно и наименее ресурсоемко сохранять тензоры которые выдает нейросетка?
Зачем? Она настолько долго работает, чтобы это делать?
>Стоит ли просто взять среднее между всеми векторами слов, чтобы получить "вектор отзыва-документа" или для анализа нужно другие техники использовать?
Это было бы слишком охуенно, чтобы подбный линейный предиктор поверх BERT работал бы.
Тебе нужно отфайнтюнить BERT под свою задачу, то есть поверх всей этой сетки добавить несколько своих слоев, которые бы делали уже твою задачу.
Смотри
https://yashuseth.blog/2019/06/12/bert-explained-faqs-understand-bert-working/
https://github.com/nlpyang/BertSum
Ну и погугли finetuning bert, там что-то будет
Через твою шизофазию очень трудно пробраться. Ты не casual convolutions ищешь случаем?
Возможно, даже не апскейлер, а просто фильтр. Желательно чтобы и так и так, как вайфу, но похуй. Устроит в любом виде.
Материал для обучения подготовить могу, но что дальше делать не знаю.
Советы? Обломаться?
Ученные, ответьте, почему вы решили вкатиться в ML/DS, вместо того чтобы пилить сайтики/разрабатывать приложения на джаве? Там ведь и денег больше и востребованность и знаний нужно меньше. Я не троллю, просто пасую вас вопрос который задали мне.
Ну DS области связанные именно с обучением машин, вопрос тут достаточно обширный конечно, типа прогнозирования покупок, рекомендаций и прочего такого. Но как вообще люди понимают что они именно в это хотят вкатиться? Мне к примеру просто интересно изучать и работать с чем-то, что требует интересного мыслительного процесса, интересно находить взаимосвязи и предсказывать будущее. Но тут чел с курсов приложил меня вопросом о том, может мне лучше сайты изучать, или приложения, а то и геймдев, типа первые 2 направления уж точно выше оплачиваются и адово востребованные, и в целом вел к тому - а нахуй тебе оно вообще нужно? Но вот мне сайты вообще ни разу не уперлись, с приложениями так же, плюс джава мне просто эстетически как-то не понравилась едва я её увидел. А в геймдеве я уже работаю как дизайнер, и в рот это всё ебал. Скучнешие задачи, унылый ноубрейн дроч уровня разнорабочего на стройке, это все только выглядит красиво и весело
>Там ведь и денег больше и востребованность и знаний нужно меньше
Большое заблуждение по всем трем пунктам.
Я пару раз в жизни пробовал вкатываться в веб, и не осилил. Потому что это примерно как стать автослесалем - ну да, ничего сложно, и да, каждый раз делаешь одно и то же, но первоначально осилить все нужные технологии не так уж и просто. Неспешный вкат и там и там 1-2 года занимает.
Востребованность - зависит от твоего опыта. Веб-сеньер с опытом 10 лет - это, ну, сеньер. ML-спец с опытом 10 лет - это бог рынка труда. Ты как минимум не будешь идиотские собеседования проходить на ту же зарплату.
Знаний меньше не нужно, просто знания не устаревают, в отличие от. Условно, в 2008 году я занимался всем подряд, и, с одной стороны, я по просьбе препода написал нейронку SOM для его книги. С другой, сверстал сайт для батиной фирмы. Ну что по итогу. Знания о SOM мне до сих пор пригождаются. А табличная верстка сайта в ту добустрепную эру? Нахуй оно не нужно сейчас. Разве что логи генерить может быть удобно.
Грубо говоря знания ML это как хранить деньги в баксах, а веб - в рублях. Иногда тебе везет, но на длинной дистанции ML всегда выиграет.
Я конечно все понимаю, но есть какие-то базовые курсы/книги для того чтобы освоиться хотя бы на базовом уровне? А то начинать с книги под названием deep learning, которая целиком состоит из математических формул без единой строки кода как-то слишком жестко. В этой области вообще существует какой-то базовый уровень? Нашел пока что книгу https://www.amazon.com/gp/product/1491957662 , если ничего лучше не найду, то по ней стартану и еще курс на udemy. И может кто-то из вас знает что по поводу всяких курсов по DS на яндексе/skillbox/skillfactory? А то там только слышплоти и почти нихуя нет инфы о том, что собственном курс из себя представляет, только у яндекса вроде бы есть парочка вводных уроков, но пока не разбирался что там.
> fastText
Я так понял в модель просто пихаешь обработанный текст и он сам всё делает?
Текст этот в файл надо сохранять? Или можно из датафрейма?
А что насчёт меток, если обучение с учителем?
>А то начинать с книги под названием deep learning, которая целиком состоит из математических формул без единой строки кода как-то слишком жестко.
Тогда это не для тебя
>В этой области вообще существует какой-то базовый уровень
Да, учиться в школе математике хотя бы на 4 и осилить базовую высшую математику в вузе
Презумпция о невиновности нихуя не значит
В одних странах ворьё, мерзавцы и охуевшие малолетки считающие себя умнее и лучше их. В других муслимы/муслимы-беженцы. В третьих куколды, каблуки открывающие рот, когда представители "меньшинств" расстегивают ширинку.
Ублюдские люди, ублюдское общество куда не плюнь.
Сука.
Может кто нибудь знает ответ, где находится нормальная страна с более-менее вменяемыми людьми?
Если ты ответишь-Польша, я харкну тебя в ебало, потому что польша притон ичкерийцев
> учиться в школе математике хотя бы на 4 и осилить базовую высшую математику в вузе
Сильное заявление.jpeg
Только чтобы набросать нейросетку в TF, керасе или торче, математику знать не особо надо.
Это тем кто исследования ведёт в области глубокого обучения, в том числе прикладные - да - там математика через математику.
Ты ещё скажи, чтобы стать смуззихлёбом, надо кандидатский минимум сдать по физике полупроводников.
>Это тем кто исследования ведёт в области глубокого обучения, в том числе прикладные - да - там математика через математику.
Это не математика, а вторая культура.
Поддерживаю оратора выше, без уверенного знания матана тебе даже вёрстке делать нечего. Рекомендую тебе не тратить на это время, это не для таких как ты. Тут тебе даже программирование по сути не нужно и всё это вторично. Главное глубокое знание матана в идеале. Вчерашним домохозяйкам тут не место.
Жирновато.
Ох интегралы сладкие, обожаю брать интегралы под водовку и махорку. А эти ваши модули, торические многообразия, гомологии и гомотопии это что вообще такое?
На степике есть хорошие курсы по CV и NLP от Samsung Research
Мы тебе не мешаем заниматься твоим протухшим говном, по которому нет актуальных исследований и которое изучено вдоль и поперек в 30-м году
>Только чтобы набросать нейросетку в TF, керасе или торче, математику знать не особо надо.
>Это тем кто исследования ведёт
Эта дихотомия - самоподдувный миф вкатывальщиков. Если ты устраиваешься на вакансию DL-сеньера, ты именно что ведешь исследования. Разница с наукой только в том, что публиковаться не обязательно, а то и вредно. Ну и еще по мелочам, например, рост перформанса в 1% в науке может быть сенсацией, а в бизнесе будут доводить до ума существующие модели. Что, кстати, тоже нихуя не то, как ты себе это представляешь.
>что ведешь исследования
Там еще исследования ведутся? То есть вот за этим всем неработоспособное МЛ говнищем, за ним стоят исследования и человекочасы неглупых людей хоть и матанопетухов? Ой, вей
Мимо
>Мы тебе не мешаем заниматься
Как минимум ты очередной раз протек в ML-тред.
>протухшим говном, по которому нет актуальных исследований
Протухшим говном является М-теория, теория струн и прочая отрыжка математиков, которая оказалась соврешенно неприспособленной к описанию реального мира. То есть эти уебки хотели стать новыми миньковскими, а оказались просто долбоебами. А дальше начали делать вид, что не больно-то и хотелось, мы же фундаментальная математика епт.
В интегральчиках же дохуя работы и неизвестного, до сих пор нормальный симулятор всего не написан, везде какие-то частные случаи и ухищрения.
>Так маняматика говно без задач, какие там исследования?
Как раз таки ЗАДАЧ там очень много. Может быть ты, быдло, хотел сказать, что за это тебе не заплатят 300к в секунду? Ты настолько увяз в коммерс системе, что уже не понимаешь, что и для чего тебе нужно. Вся цивилизация построена на интересе, наука развивалась благодаря интересу. А у таких как ты тристакавсекундышей нет ни цели, ни смысла, убогое быссмысленное существование
>Как мне делать Kmeans на таких больших данных?
А в чём проблема, зумерок, эффективных алгоритмов поиска ближайших выше крыши, не говоря уже о приближённых. Понаизучают свои няронки, а простейшего компьютер саенса уже и не знает никто.
Когда очень хочешь выебнуться в ML-треде, а нечем
multilingual бери
>Как раз таки ЗАДАЧ там очень много
Ну так давай по простому, вот задача, вот ее решение, вот невероятный профит для человечества, примеры пазязя.
>вот невероятный профит для человечества
У тебя стадная когнитивка, тебе жизненно важна работа на публику. Так, например, у всех чинов происходит, им нужен пиздеж и публичность. Смысл математики есть для самого математика. Ты его не видишь потому, что у тебя нет понятия самого "я", твоя личность смешана со всей окружающей биомассов. Если эта биомасса не одобрит твои увлечения или даже твое существование, то это твое существование как бы не имеет смысла.
>Смысл математики есть для самого математика
Ну, ок, я согласен, только почему я его должен кормить со своих налогов, а их не одна сотня тащемто? Почему мне за мои увлечения не платят, несправедливости ты не видишь?
>только почему я его должен кормить со своих налогов
Потому что социальная справедливость. Учитель, врач и воспитатель платят налоги и не бухтят, только убогие типа тебя возмущаются тем, что от своей зарплаты 300к они платят 5к налогов. Я бы еще ввел прогрессивный налог, чтобы такие как ты отчисляли от своей зп 50-60к налогов на благо социума.
>Потому что социальная справедливость
>Учитель, врач и воспитатель
Ох лол, вот последние приносят реальную пользу человечеству, а матанопетушнят нет. Тебе не кажется что математики это паразиты?
>У тебя стадная когнитивка, тебе жизненно важна работа на публику.
Ты это только чато на публику высрал. Я уже говорил, что вербитоблядки - это худшая порода людей.
Тут та же самая хуйня. Люди, которые прикидываются не людьми. Которые громко орут о том, как им не нужно социальное одобрение. Ебаные лицемеры.
Деточка, твой компьютер работает на математике.
Выйди из интернета и больше в нём никогда ничего не пиши.
>твой компьютер работает на математике
Куча транзисторов с примитивной двоичной логикой, это ты в заслугу ставишь? Помнишь того, кто первый программируемый ткацкий станок изобрел, а?
>Люди, которые прикидываются не людьми. Которые громко орут о том, как им не нужно социальное одобрение
Мысли научись выражать.
>Мысли научись выражать.
Доказательство теорем лучше всего развивает способность выражать мысли.
>Ты туповат просто, вот тебе и не понятно
Ясно, но вас математических говноедов, я деньгами кормить не буду.
>Деточка, твой компьютер работает на математике.
Компьютер создан инженерами за миллионы человеколет проб и ошибок с использованием открытий физики.
Математики тут седьмая вода на киселе. Самое уебищное это конечно одержимость доказательствами, при этом зачастую бесполезными манядоказательствами типа доказательства существования.
>А спам на дваче развивает мышление?
Конечно, я все больше убеждаюсь в своей правоте, поскольку вы не можете внятно объяснить какая мне от математиков польза.
> с примитивной двоичной логикой
Оно работает, маня. Сделай лучше, если сможешь - это первое.
Статистика, фотошопы и различные фильтры, расчёты самолётов, ракет и кораблей, моделирование процессов- - это всё математика - это второе.
Математика везде.
>Самое уебищное это конечно одержимость доказательствами, при этом зачастую бесполезными манядоказательствами типа доказательства существования.
Это не проблема фундаментальной науки.
Ты совсем тупой, если не понял, что нас тут минимум трое.
Вербитошизик, вылетевший из универа за токсичность, ты (нечеткий петух, кефирщик и далее по тексту), и я, единственный, кто среди вас, говноедов, имеет к ML прямое отношение. В плане "компьютер работает на математике" я скорее на твоей стороне, подобное только вербитошизик может высрать.
>Статистика, фотошопы и различные фильтры, расчёты самолётов, ракет и кораблей, моделирование процессов- - это всё математика - это второе.
сначала: ИНТЕГРАЛЫ КАРТОФАН КАРФТОФАН ВТОРАЯ КУЛЬТУРА
через пару часов: Статистика, фотошопы и различные фильтры, расчёты самолётов, ракет и кораблей, моделирование процессов- - это всё математика - это второе.
Лицемеры-первокультурщики как есть.
>Математика везде
Что вы изобрели нового?
> фотошопы и различные фильтры
Это пиздец без комментариев
>расчёты самолётов, ракет и кораблей, моделирование процессов
Все это было придумано до вас, да и после каждого проектирования идут тысячи часов допиливания напильником реальной модели. Математику на хуй.
>и я, единственный, кто среди вас, говноедов, имеет к ML прямое отношение
И я тебя уже много раз просил похвастаться твоими достижениями, но увы...
Картофаном
>обработка изображений
О кей, есть задача детектить 2д геометрические фигуры на плоскости с определенной скоростью, только вся ваша магия нихуяшеньки с этим не справляется, объсни?
Мой работает на процессоре.
Пару раз ты просил, последний раз это было еще в прошлом году, а мы на рынок вышли только в январе. Сотни установок (с ценой установки в сотню баксов) в неделю от живых людей - это достижение или нет? Или эти люди тоже оболванены маркетингом? Ты же шизик и всегда придумаешь объяснение, почему конкретно в этот раз нейронки сосут.
>обработка аудио
Ты это уже говорил, ну ты же понимаешь что это так себе, говно для тех кто в теме? Где прогресс?
>Где прогресс?
Заранее манипулятивный вопрос. Дай сначала определение прогресса и пример. Мол - вот это прогресс, а это нет
Вроде, понял как обучить вайфу. Но она же толстожопая и медлительная. И подозреваю, что с задачей отличной от шумодава она справится очень хуёво.
Нахуя вы тут сидите вообще, если по самым даунским вопросам ноль помощи?
Пиздец.
>Вроде, понял как обучить вайфу. Но она же толстожопая и медлительная.
Это просто софтина, гоняющая разные модели, есть быстрые, есть медленные. Совсем быстро будет что-то типа unet mobilenet или вообще типа https://www.paperswithcode.com/paper/190807985 (2 секунды в гугле по запросу mobile super resolution)
Обучение медленно всегда, покупай видюху или пиздуй на google colab нищенствовать
>Нахуя вы тут сидите вообще, если по самым даунским вопросам ноль помощи?
У даунских вопросов как раз мало шансов на ответы. Лично я не нашел у тебя в посте вопросов, кроме "я даун и не прочитал ридми у waifu2x", да и то после дешифровке, за такие формулировки даже на малотоксичном stackoverflow пиздят.
2070s присутствует. Наверное, приемлемо?
Ну, "читай ридми вайфу" — тоже ответ.
Конкретика состоит в том, что я хочу автоматизировать создание специфического шума на картинках. Сорт оф дизеринг.
Могу ради этого запилить дохуя примеров изображений с шумом и без.
И вот, прежде чем вникать, пришёл к вам с вопросом стоит ли это того вообще.
То есть, если вкатываться пол года самому и обучать ещё пол года сеть после этого — оно того явно не стоит.
Если "возьми вот это да скорми свои картинки, и за пару недель у тебя будет примерно то, чего ты хочешь" — это другой разговор.
Волнует скорость обучения. Скорость обработки не так сильно.
Пока всё прочитанное намекает, что короткого пути нет.
>2070s присутствует. Наверное, приемлемо?
Наверное, особенно если fp16 для твоей задачи заведется
>Конкретика состоит в том, что я хочу автоматизировать создание специфического шума на картинках
Покажи
>Могу ради этого запилить дохуя примеров изображений с шумом и без.
Если ты можешь запилить дохуя примеров, ты видимо их генерируешь. Нахуя тогда тебе нейронка
>Если "возьми вот это да скорми свои картинки, и за пару недель у тебя будет примерно то, чего ты хочешь" — это другой разговор.
Пара недель - это что-то из 2015. Сейчас самая первая сетка вайфу, которая SRCNN называется, должна обучаться за несколько часов (и то я дохуя загнул). Сетки со скипконнекшенами с тем же числом параметров еще быстрее обучаются
Тут скорее вопрос в том, что из себя представляет шум, какой receptive field тебе нужен, чтобы модель полно его воспроизводила, сколько слоев настакать, и так далее.
waifu2x тут конечно нахуй не нужен, во-первых, lua, во-вторых, там слишком много хуйни для юзеров. https://medium.com/datadriveninvestor/using-the-super-resolution-convolutional-neural-network-for-image-restoration-ff1e8420d846 вот например туториал индуса какого-то с той же самой SRCNN
SRCNN это конечно древняя хуйня я ебал, она появилась до массового использования скипконнекшенов, которые очень сильно облегчают жизнь, поэтому в принципе ее лучше не юзать. Но найти человеческий индусотуториал я не могу. Например вот отсюда https://github.com/ChaofWang/Awesome-Super-Resolution вот в этой репе https://github.com/titu1994/Image-Super-Resolution есть DSRCNN, вот что-то подобное выглядит не сильно тяжелее DSRCNN и при этом уже со скипконнекшенами. Вообще найди Awesome-Super-Resolution репу по вкусу и используй.
> Покажи
Что-то такое. Хочу имитацию "полезного" шума.
> ты видимо их генерируешь
Могу генерировать при наличии хайреза и на определённых исходниках. Иначе заёбно. Хочу чтобы комплюхтер заёбывался вместо меня.
Такое за пару дней сделать должен. Возьми индусотуториал, убедись, что обучение идет на родном датасете, затем подмени датасет на свой и ебашь. А там посмотрим, интересная задача, пиши как что
Большое спасибо. Буду пробовать.
>Дай сначала определение прогресса и пример. Мол - вот это прогресс, а это нет
Ну вот представь, что ты живущий на рубеже 18 века маняматик и тут хуяк, железные дороги вместо лошадей, паровые/бензиновые двигатели, лепездричестао, самолеты, телеграф. Сейчас собственно технологический тупик уже как лет 50, оптимизация технологий. Все становится чуть меньше, надежней, дешевле, но это не прогресс.
>Ну вот представь, что ты живущий на рубеже 18 века маняматик и тут хуяк, железные дороги вместо лошадей, паровые/бензиновые двигатели, лепездричестао, самолеты, телеграф.
Сколько лет прошло между паровым двигателем и железной дорогой между двумя городами? Между локальной железной дорогой и региональной? Между региональной и транссибом?
Если ты безграмотная манька, не знающая истории - то хуяк, и 200 лет истории развития - это короче, чем год сейчас, ведь год сейчас - это столько новостей в бложиках, а про 200 лет надо в унылых книжках читать.
Ну и я молчу о том, как ты бы в каком-нибудь 1848 году ныл о том, что прогресса последние 50 лет нихуя нет.
>Сейчас собственно технологический тупик уже как лет 50
Это у тебя в голове технологический тупик. Не по Сеньке шапка, "хуяк, железные дороги" - твой уровень, а вот оценивать технологии последнего полувека - нет, ты даже железные дороги осилить не можешь, они просто у тебя просто хуяк и появились.
Не заебало с собственными фантазиями разговаривать?
Ты по существу и не ответил. Помнишь MYCIN и как ее торпедировали? Ты там сигналы обрабатываешь, ну ок, зделой синтезатор речи котрый не похож на говно, ок?
>Ты по существу и не ответил.
Я ответил по существу.
>В 1705 г. француз Дени Папин поставил на лодку изобретенную им паро-атмосферную машину и получил желаемый результат. Но лодочники реки, где производил свои опыты Папин, уничтожили его лодку из боязни конкуренции. Папин не смог найти средств для продолжения опытов.
>В 1768 г. и в 1801 г. английский инженер Саймингтон построил два удачных парохода, но владельцы каналов запретили плавание под тем предлогом, что пароходы будут разрушать каналы
>Зимой 1802 г. маленький пароходик Фультона уже ходил по Сене. Весной 1803 г. был построен второй пароход, но неизвестные злоумышленники уничтожили его.
>Адмиралтейство предложило Фультону крупную сумму за то, чтобы он навсегда отказался от постройки подводной лодки…
Алсо, первые пароходы были дико неэффективны по сравнению с парусниками и по сути везли только уголь, который сами же и жгли, ну и немного богатеньких пассажиров. Можно поднять газеты тех лет и наслаждаться количеством вылитой вони и карикатур о куче изобретений, которые довели до ума. Такие как ты были всегда. Потому что прогресс и его принятие - это страшно. Открытия 19 века привели не только к небывалому росту продолжительности жизни, но и к двум мировым войнам. Гораздо проще кричать "врети" и жить в манямирке.
Это - история открытий и изобретений. Полно успехов, полно неудач. Неудач намного больше - это нормально. Полно "этот зумер пытается что-то изобрести, давайте его отпиздим". Любая технология в то время - это стечение удачных обстоятельств. А у тебя - "хуяк, железные дороги вместо лошадей". По сравнению с 19 веком сейчас время охуенное, потому что люди поняли цену технологий и поняли, насколько вреден луддизм (ну, кроме диктаторов в банановых республиках). Нейронки развиваются быстро, благодаря достижениям последних лет, от интернета, позволяющего моментально меняться идеями, до института венчурных инвестиций, которые вместо того, чтобы сжигать пароходы, помогают их строить. Но они не могут развиваться моментально.
Ну и теперь поместим в это время нытика, подобного тебе. Сидит себе где-то на печи крестьянин, за год не происходит НИХУЯ, и за два нихуя не происходит, потом какой-то чудак делает пароход, и этот крестьянин начинает ныть, какой он неэффективный, и вообще парусники - это охуенно и красиво, а пароходы - он ебанутый что ли. Такие как ты оценивать будущее и перспективность технологий не могут, потому что не дано.
А так как жизнь крестьянина короткая и хуевая, то весь прогресс 18, 19 и 20 века прошел мимо него. Он и в 60-е годы 20 века на лошадях инструмент возил. А самолеты - вообще хуета, 100 лет назад французы на воздушном шаре летали, какие нахуй самолеты, они тяжелые и сложные.
И через 200 лет такой, как ты, будет рассказывать о событиях 1970-2020 года в стиле "хуяк - нейронки". Ну и естественно никакого прогресса видеть не будет, потому что история наука скучная, а читать блоги, бесконечно репостящие хайпующих google/facebook/openai - это сколько угодно.
>Ты по существу и не ответил.
Я ответил по существу.
>В 1705 г. француз Дени Папин поставил на лодку изобретенную им паро-атмосферную машину и получил желаемый результат. Но лодочники реки, где производил свои опыты Папин, уничтожили его лодку из боязни конкуренции. Папин не смог найти средств для продолжения опытов.
>В 1768 г. и в 1801 г. английский инженер Саймингтон построил два удачных парохода, но владельцы каналов запретили плавание под тем предлогом, что пароходы будут разрушать каналы
>Зимой 1802 г. маленький пароходик Фультона уже ходил по Сене. Весной 1803 г. был построен второй пароход, но неизвестные злоумышленники уничтожили его.
>Адмиралтейство предложило Фультону крупную сумму за то, чтобы он навсегда отказался от постройки подводной лодки…
Алсо, первые пароходы были дико неэффективны по сравнению с парусниками и по сути везли только уголь, который сами же и жгли, ну и немного богатеньких пассажиров. Можно поднять газеты тех лет и наслаждаться количеством вылитой вони и карикатур о куче изобретений, которые довели до ума. Такие как ты были всегда. Потому что прогресс и его принятие - это страшно. Открытия 19 века привели не только к небывалому росту продолжительности жизни, но и к двум мировым войнам. Гораздо проще кричать "врети" и жить в манямирке.
Это - история открытий и изобретений. Полно успехов, полно неудач. Неудач намного больше - это нормально. Полно "этот зумер пытается что-то изобрести, давайте его отпиздим". Любая технология в то время - это стечение удачных обстоятельств. А у тебя - "хуяк, железные дороги вместо лошадей". По сравнению с 19 веком сейчас время охуенное, потому что люди поняли цену технологий и поняли, насколько вреден луддизм (ну, кроме диктаторов в банановых республиках). Нейронки развиваются быстро, благодаря достижениям последних лет, от интернета, позволяющего моментально меняться идеями, до института венчурных инвестиций, которые вместо того, чтобы сжигать пароходы, помогают их строить. Но они не могут развиваться моментально.
Ну и теперь поместим в это время нытика, подобного тебе. Сидит себе где-то на печи крестьянин, за год не происходит НИХУЯ, и за два нихуя не происходит, потом какой-то чудак делает пароход, и этот крестьянин начинает ныть, какой он неэффективный, и вообще парусники - это охуенно и красиво, а пароходы - он ебанутый что ли. Такие как ты оценивать будущее и перспективность технологий не могут, потому что не дано.
А так как жизнь крестьянина короткая и хуевая, то весь прогресс 18, 19 и 20 века прошел мимо него. Он и в 60-е годы 20 века на лошадях инструмент возил. А самолеты - вообще хуета, 100 лет назад французы на воздушном шаре летали, какие нахуй самолеты, они тяжелые и сложные.
И через 200 лет такой, как ты, будет рассказывать о событиях 1970-2020 года в стиле "хуяк - нейронки". Ну и естественно никакого прогресса видеть не будет, потому что история наука скучная, а читать блоги, бесконечно репостящие хайпующих google/facebook/openai - это сколько угодно.
>Нейронки развиваются быстро
Так развились, что нихуя не могут, лол.
>Это - история открытий и изобретений.
В которой математики в лучшем случае сосут хуй, а в худшем вся научная пиздобратия торпедирует изобретателей
чтобы он навсегда отказался от постройки подводной лодки…
Это что, реально самое простое что работает? Выглядит, честно говоря как нагромождение костылей.
Как до таких громоздких архитектур додумываются вообще, не брутфорсом же подбирают?
Съеби
Ты постом ошибся, это 2 разных человека писало. Хотя ко мне в принципе тоже относится.
CountVectorizer + OneVsRestClassifier работает, но даёт хуйню (~0.45 precision). Как можно точность повысить? Можно ли сюда вхуйнуть BERT?
>Как до таких громоздких архитектур додумываются вообще, не брутфорсом же подбирают?
Ты почти угадал
если тебя пугают слова типа матрица, вектор, градиент, функционал, принцип максимизации правдоподобия, марковская гипотеза, интеграл, градиент. То однозначно надо учить математику.
Про градиент забыл.
А есть какой-то более менее вменяемый курс по математике, которую полезно было бы знать именно в области ML/DS? Я тут на степике открыл курс по основам матана, так меня там с первых же страниц пределом последовательности так приложили, что хоть под стол скатывайся и реви. Потому что забыта какая-то база и я элементарных вещей сделать не могу. И тут вроде бы эту базу тоже сначала надо изучить, и таким образом я сам того не зная могу прийти к тому, что один только матан придется изучать ближайшие 10 лет просто буквально начиная с таблицы умножения. Пока там кабанчики по курсам одного только пайтона вкатываются в машоб за полгода-год просто вертя на хую библиотеки даже не задумываясь о математике. Вот и не знаю что именно то блядь учить. Как вариант начать с другого конца - именно с юпитеров, уроков по DS и потом в случае чего уже подтягивать знания. Но тут господа только между собой сраться на пол треда горазды, хотя казалось бы нахуй их срач тут вообще кому-то сдался. А что-то посоветовать просишь, все игнорят.
Вроде есть курс от яндекса математика для анализа данных на курсере такой вроде есть.
Не пугают, меня смущают скорее какие-то немотивированные нагромождения из настаканных трансормеров.
Пока добавление слоев работает исследователи будут это использовать. В принципе есть модели seq2seq с RNN и аттеншоном, но они долго обучаются из-за множества последовательных операций, в этом смысле трансформер гораздо эффективнее.
bump
Ещё вопрос: какие есть аналоги CountVectorizer для multi-class classification? Есть TF-IDF, а ещё? Есть ли какие-нибудь похожие векторные представления для BERT/RoBERT/..., чтоб я всё смог скормить это SVM-у?
>Я тут на степике открыл курс по основам матана, так меня там с первых же страниц пределом последовательности так приложили, что хоть под стол скатывайся и реви. Потому что забыта какая-то база и я элементарных вещей сделать не могу.
Нет, ты просто туповат и никогда математики и не знал. Задрочил 2-3 правила, чтобы сдать егэ, или что у тебя там - и все. Тупым людям необходимо работать над базой больше, а не меньше.
Нет, предел последовательности тебе конечно для ML не особо нужен, можно интуитивно, блядь, понимать, что такое градиент, но... чувак. Эту хуйню школьникам в семнадцать лет дают.
Так себе это. Обучение нейросетки больше похоже на высекание скульптуры из камня, есть изначальный шум, из него прорисовываются контуры будущей математической функции. Соответственно когда ты из камня высек девочку, а к тебе пришел заказчик, и сказал, что это должна быть венера с огромными сиськами, а у тебя уже материала нет.
Но если тебе повезло и новые данные в целом близки по распределению к старым, то немного дообучить можно.
Ну там данные в целом близки по распределению, мне просто вручную размечают текст, он из того же источника, с тем же шрифтом.
>В чем там проффит многослойности основной?
Выше скор
>Бля, я чет недавно узнал про трансформер, он эффективнее seq2seq на lstm и аттеншионе?
Гораздо
>Это что, реально самое простое что работает?
Кому-то и собака работает
>Как до таких громоздких архитектур додумываются вообще, не брутфорсом же подбирают?
Каждый день читаешь arxiv-sanity в поисках идей, тестишь эти идеи. Желательно не один, потому что один сильно заебешься. Потом собираешь все идеи в большую кучу, и при должном везении получаешь новый state of art. Сами по себе идеи как правило простые. Сложно их притесать друг другу так, чтобы они не подсирали. Для этого нужно понимать, что происходит. BERT совсем несложен, это просто тонна настеканных аттеншенов. Лично мне тяжелее понять как работает лосс в вариационном автоэнкодере, а совсем шаманство - это GAN'ы. Аттеншены стали хайповой темой после сверток, почему - есть свои причины.
У того, что сетки глубокие - тоже есть причины.
Я бы не стал даже думать в эту сторону.
Основная проблема у этой хуйни даже не то, что оно хуже работает, оно еще и хуево воспроизводимо. То есть одно дело, когда у тебя есть датасет, и ты знаешь, что если ты проебешь модель, ты с нуля возьмешь и натренируешь тот же перформанс. А другое дело - когда у тебя хуй пойми по какой процедуре тренированная сетка. На каком-то этапе ты решишь все-таки тренернуть с нуля (например, модель потолще взять), а тебя перформанс дроп, а причины ты вообще не ебешь, потому что невоспроизводимо и A/B тестирование хуй проведешь.
Окей, тогда не буду.
>Аноны, так ответит кто-нибудь? В чем там проффит многослойности основной?
Ты в слове deep learning слово deep совсем не заметил? В многослойности вообще весь профит. Больше слоев - более выразительно сложные модели, которые при этом легче оптимизируются по определенным причинам
>Бля, я чет недавно узнал про трансформер, он эффективнее seq2seq на lstm и аттеншионе?
Рекуррентные сети неэффективны из-за того, что для их тренировки ты их все равно раскручиваешь в feed-forward сеть, но с одними и теми же параметрами в каждом чанке
Т.е. сетка y=rnn(w, x) при обучении разворачивается в y=rnn(w, rnn(w, rnn(w, rnn(w, rnn(w, x)))))
При этом нерекуррентная сетка типа
nn(w1, nn(w2, nn(w3, nn(w4, nn(w5, x)))))
Лучше во всем: у нее в 5 раз больше параметров, градиент считается проще (если бы ты знал матан, понимал бы, почему), а число флопсов в целом такое же. Поэтому смысла в рекуррентных сетках на видюхах нет и мода на них ушла года 3 назад. Сначала их вышибло из распознавания образов, но только потому, что локальность рецептивного поля у сверток удобна для задач компьютерного зрения. Но для языка свертки сосут, потому что в язык нихуя не локален сам по себе. Поэтому там чуть подольше задержались RNN, которые в конце концов убрали на основе идеи развернуть рекуррентую сетку в длинную колбасу, но без сверток, а с помощью attention'ов. Вот так и появились все эти трансформеры
> Лучше во всем: у нее в 5 раз больше параметров, градиент считается проще (если бы ты знал матан, понимал бы, почему)
Ну это я понимаю, еще число операций со всеми этими LSTM очень большое, что мне не очень всегда нравилось.
Тогда и правда пойду менять в своей модели seq2seq на трансформер, буду с CNN в него экстрактить признаки.
Без пейпера ты пупи
> Пока добавление слоев работает исследователи будут это использовать.
А когда-то над этой картинкой смеялись...
Она и сейчас смешная. Особенно оси на нижнем графике, каждый раз когда смотрю хайрез ржу
>You should preinstall Microsoft Visual Studio (VS)
Ну пиздец. Чем дальше в лес, тем больше дерьмом надо засирать пека. Кудкуда не будет без вижуал студио работать штоле? Нахуя ей студия?
Я уже охуел.
Это говно вон всем довольно и так на вид
>tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cudart64_101.dll
>шиндошс
Земля тебе пухом, братишка.
>куда не будет без вижуал студио работать штоле
Куде нужен компилятор с++. Не уверен, правда, что он нужен для тензорфлоу
Еще есть visual studio build tools, типа все для билда студийных проектов без самой студии. Я как-то юзал на некропк, на котором не было нужного для студии место на hdd
Тебе для твоей задачи проще google colab заюзать
>Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 6281 MB memory) -> physical GPU (device: 0, name: GeForce RTX 2070 SUPER, pci bus id: 0000:02:00.0, compute capability: 7.5)
Вроде, и так завёлся. Видимо, студия нинужна.
Ну, теперь осталось понять КАК ОБУЧАТЬ.
Индусокод работает, только обучение в нём отсутствует.
Видимо, придётся брать что-нибудь случайное под тензорфлоу и смотреть что будет.
>Индусокод работает, только обучение в нём отсутствует.
Хм, ты прав.
Обучать сетки в керасе легко, в созданной модели ты сначала ее компилируешь с нужным оптимизатором https://github.com/MarkPrecursor/SRCNN-keras/blob/master/main.py#L50 - две строчки отсюда
Потом вызываешь у нее либо метод fit, который принимает 2 параметра, либо fit_generator (а еще train_on_batch), который принимает коллбэк, в котором ты возвращаешь через yield по кусочку датасет https://github.com/MarkPrecursor/SRCNN-keras/blob/master/main.py#L64
Первый вариант удобен, но тогда весь датасет должен влезть в оперативку, либо хотя бы в свопфайл, другие варианты более гибкие
Собственно и все. После этого на обученной сетке делаешь save_weights/load_weights, чтобы не проебать веса, а затем вызываешь predict
Данные в fit кормишь в виде numpy массива следующего shape'а: [число_примеров, длина, ширина, число_цветов].
Мхех. Ну, может что-то и получится.
>Нет, ты просто туповат и никогда математики и не знал. Задрочил 2-3 правила, чтобы сдать егэ, или что у тебя там - и все. Тупым людям необходимо работать над базой больше, а не меньше.
Чел, пчелик я в школу ходил только для того, чтобы меня там одноклассники с учителями пиздили и унижали
>>31772
Спасибо
Кому не нужны? Жидам-дельцам из бизнеса?
Если так рассуждать, то не нужен никто кроме таксистов, сантехников, электриков и юристов. Программисты тоже не нужны. Жили без них раньше, проживем и еще столько же
> 2020
> спорить с кефирщиком - плоскоземельным шизлом, утверждающим что во швятые экспертные системы никто не верует из-за мирового заговора жидомасонов, которые скрывают эффективность ЭС
>Вот швабропидарахи сами записали погромистов в илитарии и интеллигенцию
Всегда была только одна элито - андеграундные реверс-инженеры и хакеры. Куда бы себя швабропидарахи ни записывали - элито они от этого не станут
https://github.com/zzz66686/simple-virtual-machine/blob/master/VM_crackme/vm_crackme.cpp
В машобе есть интерпретируемые методы
Двачую настоящие программисты вбивают программы в перфокарты
>Коммерческая разработка это говно. Обновляйте свои jsonb в постгре, собирайте датасеты годами.
Ну, в общем смысл в шизовысере есть: если хочешь поднатореть в мл не нужно идти в большие компании, там до одурения просто будешь селектики писать, а ни к чему релевантному наверное даже подойти не дадут.
>Чел, пчелик я в школу ходил только для того, чтобы меня там одноклассники с учителями пиздили и унижали
Как видишь, унижать тебя никто не прекратил бггг.
Тогда начни с этого чувака https://www.youtube.com/watch?v=ZmwdHAhVsPM
Точнее, там цикл лекций, можешь с первой начать. Это матан для школьников, проще уже некуда
Да ладно, это же perfect match, инь и ян практически, два шизика с полярной шизой
почему все так любят этого душного, всратого математика? неужели на всем ютубе не нашлось экземляра получше?
Это ты душное одноклеточное, судящее людей по внешности. А он охуенный, да и если говорить о всратости, тянки по таким текут
боря, ты? Я узнал тебя по твоим шизоидным словам и высерам.
Саббатонов есть, но он всю эту мошонную петушню вроде не жалует.
Все решения что нахожу создаются для перевода с языка на язык.
Вот например, нужны ли мне вообще эмбеддинги или выкинуть эту часть из оригинальной архитектуры?
Вместо эмбеддингов у тебя фичи cnn. Главное сплющи высоту до 1, оставь только ширину и каналы
Продолжаю держать в курсе™, почему бы и нет.
SRCNN-keras нихуя не заводится нормально. За три дня с питоном не подружиться, чтобы понять в чём дело.
Попробовал ради эксперимента обучить шумным сетом вот эту штуку https://github.com/jiny2001/dcscn-super-resolution
Само то для даунов-вкатывальщиков.
Не понял как и можно ли вообще скормить ей изображения парами.
Шум от только одного сета, очевидно, генерироваться не начал.
Попытка — не пытка, зато теперь твёрдо и чётко ясно, что нужно давать пары картинок для обучения.
Думою дальше.
подсчитай взаимную информацию
Никак.
machinelearning.ru/wiki/images/e/e7/Psad_corr.pdf - про категориальные.
Категориальный-численный - дисперсионные анализом.
Ебать, и как тогда датасаентисты оценивают корреляцию? Пиздос какой то, как вы так живёте
>Попытка — не пытка, зато теперь твёрдо и чётко ясно, что нужно давать пары картинок для обучения.
Конечно пары. На вход и на выход. Для этого у функции fit есть два параметра, data и label. Наименования для классификации, в твоем случае это просто вход и выход. А ты как хотел?
Я стакал признаки по высоте в прошлый раз и подавал их в seq2seq декодер в attn_states.
Вот с трансформером не очень понятно, как их подавать, прочитал пейпер, посмотрел на имплементации архитектур на гитхабе.
Тут на входе в энкодер есть Q, K, V, это 3 размерные тензоры (N, T1, d_model), как мне сконвертить CNN выход в этот формат?
Извини, если вопрос глупый
Набор для тестирования - по нему не идет тренировки, а просто замеряется перформанс
https://github.com/google-research/bert/blob/master/modeling.py#L441
Видишь input_vector у эмбедингов это input_tensor: float Tensor of shape [batch_size, seq_length, embedding_size].
У тебя вместо этого будет input_tensor: float Tensor of shape [batch_size, seq_length, number_of_cnn_channels]
Соответственно вот тут https://github.com/google-research/bert/blob/master/modeling.py#L131 тебе нужно выкинуть нахуй embedding_lookup, передав в embedding_postprocessor непосредственно выхлоп CNN
Про Q, K, V в этом коде тоже есть.
Возможно где-то я написал хуйню, это все чисто навскидку. Можешь поискать конкретный пейпер, где есть переход CNN->transformer.
Мы просто знаем, что такое корреляция и когда её считать нужно, а когда нет, в отличие от некоторых.
>Ну а чо, сама обучится, понимать ничего не надо, надо код писать.
Ну вообще-то да. Понимание приходит в процессе решения задач, а не теоретизирования на двачах. Это касается практически любой сферы деятельности, за редким исключением, типа хирургии, где цена ошибки слишком дорога. Ты просто сам по себе сраный прокрастинатор, который нихуя не умеет и пытается оправдать это неумение подобным подпездыванием
Понимание приходит многими путями. Например, путём изучения наследия древних, хотя бы стэнфордского курса по сетям, где вопрос применения механизма внимания к изображениям (в контексте задачи image captioning) вполне себе рассмотрен.
Или я что-то пропустил, или нет там про трансформеры с multi-head attention, там сетки CNN->RNN из 2016.
И как? Не делать же на каждое значение качественного столбца отдельный столбец булевского типа. Я тогда заебусь для каждого значения отдельно смотреть корреляцию.
Так там можно прочитать, как применить attention к выходу cnn, а дальше уже применить это в своём трансформеры. От того, что голова там всего одна и используется rnn, суть не меняется.
Если ты про http://cs231n.stanford.edu/reports/2016/pdfs/362_Report.pdf , то меняется и сильно
Ну вообще-то меняется, похоже, что ты сам не очень понимаешь работу трансформера.
Анон выше уже писал, что с rnn у него получилось.
Это глупость или троллинг?
В cs231n - attention gate. В трансформере - scaled dot-product attention (с Q, K и V)
Может, одно к другому и сводится, но мне это нихуя не очевидно, например
https://www.codepile.net/pile/7ne7Xe4j
Вопросы именно к содержимому Conv2d(), а также аналогам flatten и dense в торче. Я правильно понимаю, что они просто линейными слоями заменятся?
Спасибо.
В помощь:
https://discuss.pytorch.org/t/using-linear-layers-new-user-transfering-from-keras/4400/5
https://discuss.pytorch.org/t/pytorch-equivalent-of-keras/29412
Какая нахуй разница, по каким формулам оно считается? Там хоть сиамскую сеть можно засунуть для подсчёта спора для q и k, только это нахуй не нужно. Важно, что объект состоит из примитивов, у каждого из примитивов есть k и v. Дальше поступает q, мы считаем коэффициенты si = s(q, ki) и получаем z = sum(si * vi). В image captioning в качестве q выступает выход rnn, в трансформере - считается по примитивам. Соответственно, при использовании аттеншона нужно разделить объект на примитивы: для текстов это делается очевидно (слова), для изображений - можно нарезать на квадратики выход слоя cnn.
>Flatten в pytorch нет, но пишется в 3 строчки.
Типа так
https://gist.github.com/VoVAllen/5531c78a2d3f1ff3df772038bca37a83
А что насчёт Conv2d()? В торче же фильтры вроде не указываются.
Это не слой а функция
Ну вот первый слой.
Керас:
model.add(Conv2D(filters=32, kernel_size=(3, 3), padding='SAME', input_shape=(img_size, img_size, 3), activation='relu'))
В торче будет:
nn.Conv2D(1, 32, kernel_size=(3, 3), bias=False),
nn.ReLU(),
Или я что-то упустил?
>Какая нахуй разница, по каким формулам оно считается?
Потому что это обсуждаемый вопрос, как из фич CNN получить K, Q и V. Ответ есть в этом коде https://github.com/google-research/bert/blob/master/modeling.py#L558 - простой маппинг полносвязными слоями (в случае CNN нужны сверточные слои, понятное дело, но мне лень это расписывать, математика же не нужна в машобе).
А тебе нужно научиться формулировать мысли, сейчас выходит очень хуево.
>простой маппинг полносвязными слоями
Понятно, что полносвязными слоями, это, блядь, ещё в attention is all you need чёрным по белому написано. Но это просто рекомендация, так-то можно вообще многослойную сеть заебенить, только это нахуй не нужно.
Разве это никак не отразиться на результате корреляции? По моему, она будет не правильной
Конечно она будет неправильной, потому что корреляция можно посчитать только для количественных величин. Сам подумай, что она измеряет, и как это натянуть на включенные битики
Я уже писал тебе, что само понятие корреляции в твоём случае бессмысленно. Хотя, возможно, ты спрашиваешь про выявление зависимостей, просто называешь неправильно.
Главное не бухтеть
>Хотя, возможно, ты спрашиваешь про выявление зависимостей, просто называешь неправильно.
Да, именно это я хотел узнать. Есть ли зависимость между каким нибудь входным признаком и выходным, что бы слабозависимые признаки выкидывать. В интернетах сказано, что для этого находят коэффициент корреляции.
Тебе нужно превратить категории в биты и у полученного многомерного облака точек сделать pca. Как вариант
А зачем тебе собственно выкидывать, у тебя модель есть уже? Если нет то обучай и тогда уже смотри, попробуй обучить модель без этого признака и сравни результаты или посчитай feature importance, разных методов выкидывания фичей изобретено до жопы тоже. Сама по себе корреляция тебе ничего не скажет потому что даже слабоскореллированные признаки могут давать прирост к качеству как дополнительный фактор.
https://djl.ai/
Dataset trainingSet = new Mnist.Builder().setUsage(Usage.TRAIN) ... .build();
Dataset validateSet = new Mnist.Builder().setUsage(Usage.TEST) ... .build();
TrainingConfig config = setupTrainingConfig();
try (Trainer trainer = model.newTrainer(config)) {
Больше букв богу букв
Чем это отличается от DL4J, которому уже много лет, а ты о нем даже не слышал? Почему джависты думают, что глубинном обучении язык имеет значение?
Также плиз почему берты с трансформерами, раз уж они так хороши, не запускают на посимвольном энкодинге?
Вычислительная сложность растет в разы.
> в случае CNN нужны сверточные слои, понятное дело, но мне лень это расписывать, математика же не нужна в машобе
А можно немного поподробнее? Насчет применения dense я понял, это еще было видно в проекте, где предсказывали временные последовательности, правда там и на выходе dense слой запихнули.
Алсо, в остальном кодом из этого проекта можно пользоваться, если выкинуть часть с эмбеддингами и лэйблы в нужный формат привести? Эта реализация немного отличается от официальной реализации от авторов пейпера в tensor2tensor.
Хотя, судя по этому пейперу все верно и можно использовать просто полносвязный слой https://res.mdpi.com/d_attachment/applsci/applsci-08-00739/article_deploy/applsci-08-00739.pdf
Тут вообще использовали пулинг, полносвязный слой и relu и подавали на декодер разными способами.
Bert, насколько я понял, использует только энкодер. Надеюсь, что не придётся писать много лишнего кода, дабы это все заработало вместе
Как дела, петуханы? Еще на мороз не выгнали?
Подобное притягивает подобное.
>А что вообще такое "маппинг полносвязными слоями"?
Если у тебя есть вектор размера N и тебе нужен вектор размера M, то самое простое, чтобы превратить одно в другое, это умножить его на матрицу, ака dense-слой с матрицей весов размера [N, M].
То есть yoba_sized_m = Dense(size=M)(yoba_sized_n)
Это маппинг, то есть проекция N-мерного вектора на M-мерное пространство.
Для self attention тебе из входных данных нужно получить 3 тензора, K, Q и V, и у них должны быть специфические размеры, чтобы сработала формула механизма внимания, та, которая софтмаксом. Самый простой способ здесь это отмапить входные данные. Но вообще можно хоть целую нейронку добавить, которая будет тебе делать K, Q и V из входа.
>>34499
Dense-слой можно рассматривать как частный случай сверточного, у которого width и height фильтра равны габаритам твоего входного центра, padding указан valid. В этом случае входной тензор размера [IN, WIDTH, HEIGHT] будет обработан фильтром размера [IN, OUT, WIDTH, HEIGHT] на выходе будет тензор размера [OUT, 1, 1]. Это эквивалент Flatten'а ( [IN, WIDTH, HEIGHT] = > [IN x WIDTH x HEIGHT] ) с последующим применением Dense(Out) - (размер на выходе - [Out]) и затем дважды expand_dims чтобы сделать [OUT, 1, 1], что вообще не обязательно, но так ты добьешься полной эквивалентности.
То есть Dense слой - это такая свертка с максимально возможным размером фильтра и соответственно нулевой пространственной инвариантностью.
Это может быть сильно лишним, если у тебя есть какая-то локальность. Например, в OCR у тебя для отдельных букв требуется чтобы каждая буква попадала в рецепторное поле нейрона, но не более того, тебе не нужно мапить весь огромный тензор фич на K, Q, V используя огромный dense-слой. Пусть с дальними взаимодействиями разберается уже attention-слой.
Поэтому вычислительно легче сделать что-то типа
K = Conv(filter_count=n_k, filter_width=порядка размера буквы, stride = четверть размера буквы)
Q = Conv(filter_count=n_q, filter_width=порядка размера буквы, stride = четверть размера буквы)
V = Conv(filter_count=n_v, filter_width=порядка размера буквы, stride = четверть размера буквы)
Но для ускорения процесса можно сделать
mapper = Conv(filter_count=n_k+n_q+n_v, filter_width=порядка размера буквы, stride = четверть размера буквы)
А затем уже поделить тензор mapper на 3 тензора, K, Q и V. Это эквивалентно.
>А что вообще такое "маппинг полносвязными слоями"?
Если у тебя есть вектор размера N и тебе нужен вектор размера M, то самое простое, чтобы превратить одно в другое, это умножить его на матрицу, ака dense-слой с матрицей весов размера [N, M].
То есть yoba_sized_m = Dense(size=M)(yoba_sized_n)
Это маппинг, то есть проекция N-мерного вектора на M-мерное пространство.
Для self attention тебе из входных данных нужно получить 3 тензора, K, Q и V, и у них должны быть специфические размеры, чтобы сработала формула механизма внимания, та, которая софтмаксом. Самый простой способ здесь это отмапить входные данные. Но вообще можно хоть целую нейронку добавить, которая будет тебе делать K, Q и V из входа.
>>34499
Dense-слой можно рассматривать как частный случай сверточного, у которого width и height фильтра равны габаритам твоего входного центра, padding указан valid. В этом случае входной тензор размера [IN, WIDTH, HEIGHT] будет обработан фильтром размера [IN, OUT, WIDTH, HEIGHT] на выходе будет тензор размера [OUT, 1, 1]. Это эквивалент Flatten'а ( [IN, WIDTH, HEIGHT] = > [IN x WIDTH x HEIGHT] ) с последующим применением Dense(Out) - (размер на выходе - [Out]) и затем дважды expand_dims чтобы сделать [OUT, 1, 1], что вообще не обязательно, но так ты добьешься полной эквивалентности.
То есть Dense слой - это такая свертка с максимально возможным размером фильтра и соответственно нулевой пространственной инвариантностью.
Это может быть сильно лишним, если у тебя есть какая-то локальность. Например, в OCR у тебя для отдельных букв требуется чтобы каждая буква попадала в рецепторное поле нейрона, но не более того, тебе не нужно мапить весь огромный тензор фич на K, Q, V используя огромный dense-слой. Пусть с дальними взаимодействиями разберается уже attention-слой.
Поэтому вычислительно легче сделать что-то типа
K = Conv(filter_count=n_k, filter_width=порядка размера буквы, stride = четверть размера буквы)
Q = Conv(filter_count=n_q, filter_width=порядка размера буквы, stride = четверть размера буквы)
V = Conv(filter_count=n_v, filter_width=порядка размера буквы, stride = четверть размера буквы)
Но для ускорения процесса можно сделать
mapper = Conv(filter_count=n_k+n_q+n_v, filter_width=порядка размера буквы, stride = четверть размера буквы)
А затем уже поделить тензор mapper на 3 тензора, K, Q и V. Это эквивалентно.
> Сбербанк 4 марта собирался торжественно подписать соглашение с Федеральной службой исполнения наказаний. Однако по техническим причинам само подписание было перенесено на более поздний срок. Тем не менее, как стало известно “Ъ”, сам проект начал работать.
> По словам сразу нескольких источников “Ъ”, знакомых с реализацией проекта, его суть заключается в том, что осужденные обучают искусственный интеллект распознавать рукописный текст и детали изображения. Этот проект осуществляется в одном из учреждений ФСИН в Новосибирске.
> По его словам, на распознавание группе осужденных выдаются обезличенные данные либо изображения, которые необходимо разметить либо верифицировать. «Никаких рисков для клиентов Сбербанка этот проект не несет. Информация, которая будет предоставляться в работу людям, находящимся в исправительных учреждениях, не содержит никаких персональных данных, банковской или иной тайны, она обезличена, ее невозможно использовать для незаконной деятельности»,— пояснил он и добавил, что кандидатуры участников пилотного проекта подобраны местным управлением ФСИН, после чего проверены профильными службами Сбербанка.
https://www.kommersant.ru/doc/4291087
Так нормас идея, зеки будут размечать тысячи всякой хуйни
Аноны, помогите пожалуйста советом. Изучаю ML около полугода, решил выполнить реальную задачу. Суть в том, что есть собранный датасет с физической активностью людей(есть дата и некий коэффициент активности(т.е. данные достаточно простые)). Нужно на примере одного человека построить функцию, которая при поступлении новых данных (при этом ранее обучившись на старых) могла сказать пользователю, достаточно ли он позанимался сегодня или нет. Я планирую использовать логистическую регрессию. Опытные аноны, подскажите пожалуйста, какой бы вы метод использовали для решения подобной задачи?
Это копия, сохраненная 26 мая 2020 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.