Вы видите копию треда, сохраненную 30 июля 2022 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Тут оффтоп, психиатрические термины и экзистенциальные вопросы вместо программирования.
Прошлый тут >>2221689 (OP)
Шапку не копирую, потому что она не нужна.
Хочешь ML, учи CS229, CS231n, линейную алгебру, теорвер, матстат, базовый матан и matrix calculus.
Хотя нет, не учи. Но хотя бы backpropagation освой. Больше нахуй ничего не нужно, потому что ничего нового за 50 лет AI не изобрели. И ты все равно не будешь нихуя делать серьезного, твой максимум - поигрульки с готовыми решениями и работа перекладывателем экселя или, если повезет, ничем не примечательным машоб-дауном с зарплатой ниже любого любителя крудов. С тебя даже фронтендо-макаки будут смеяться, ведь они хотя бы могут в нормальный код. Зато у тебя будет бейджик элитария. Правда, элитарием ты будешь только у себя в голове.
Еще учи graph machine learning (GML). Это, как водится, реклама.
Осторожно, в треде манябиологи и маняпсихологи, которые с каких-то хуёв решили, что они шарят в биологии и психологии, хотя всю жизнь были программистами, причем бездарными.
Хочешь что-то спросить? Только вкатываешься? Спрашивай совсем базовые вещи, наши дурачки тебе расскажут по верхам с пальцем у подбородка о спектральной кластеризации, о которой что-то услышали на лекции "Введение в машинное обучение" на 3-м курсе своего МухГУ. Что-то более серьезное - пожалуй, не здесь.
В общем, наши дебики тут сознание оцифровывать собрались, математики, исследователи, серьезные люди, паперы, все дела. Правда, пока только пытаются генерить прон с лолями, смотрят курсики Стэнфорда и хлебают мамины борщи. Работа подождет - растет будущий ученый, а не эта ваша макака! Заходите, мы с них тут уютно смеемся.
крудомакакен порвался
Какие задачи решает gml и где применяется? Кто-нибудь его использовал для реальных задач?
какая шапка хорошая, наконец-то !
Стоит ли жать штангу без охвата большим пальцем? Не придавит ли?
Может там пустой гриф.
>У вас головные вузы по объему статей по CS, ML в Q1 журналах проигрывают вузам Пакистана и Вьетнама
Ты ёбнутый, хиршеёбский пёс? Тогда вопрос надо ставить по-другому. Почему пидорашка вообще в целом в жопе в WoS/SCOPUS по сравнению с почти любой страной, даже днищенской...
Двачую. Наука в РФ не очень хорошо ещё интегрирована в мировую, поэтому эти цифры очень хуевая метрика. За последние лет пять у некоторых вузиков число публикаций в восе/скопусе выросло раз в пять. Почему-то никто не орёт при этом, что российская наука развивается стахановскими темпами.
>хиршеёбский
Пидорюндель, успокойся, Хирш и просто кол-во статей в уважаемых журналах - это немного разные вещи.
>Тогда
>вообще в целом
Хуй знает откуда откуда эта импликация из твоей шизоголовы пришла. Говорили о прососе в ML, что является частью CS. По CS Пидорашлэнд сосет хуй "днищенским" странам, хотя все ресурсы имеются, один из факторов всоса - очевидный пидорашенский дроч на математику. В том-то и дело, что с фундаментальной физикой и математикой проблем нет - пидорахлэсские вузы вполне берут наукометрические топы. А тут вот огромный всос. Пидорашенькин, ты вообще нихуя не соображаешь, иди проспись.
Думаете, усредняют арифметически или геометрически?
(4 + 5 + 6)/3 = 5 или (4×5×6)^(1/3) = 4,932 ?
В большинстве задач такая фигня не проходит.
Почему это не работает? Сейчас, в 21-м веке, приходится усреднять не числа, а более сложные объекты: функции, изображения, звуки.
Посмотрите на первую картинку: усреднение нескольких лиц «арифметически» не позволяет найти обобщенное лицо человека. Не позволяет выделить общие черты. Чем больше взять изображений, тем больше изображение превратится в однородный серый фон.
Профессионалы используют АДАПТИВНОЕ УСРЕДНЕНИЕ.
Чтобы усреднить сложные объекты, надо сначала их СОВМЕСТИТЬ.
Тогда они «усиливают» друг друга. Выделяются общие признаки и теряются индивидуальные.
Посмотрите на вторую картинку: вот так усредняют профессионалы. Перед арифметическим усреднением каждая фотография так сдвинута, повернута и изменена в масштабе, чтобы лица максимально совпали (для совмещения фотографий по 4-м параметрам отлично работает метод МКСД). Только после совмещения используется уже обычное усреднение.
Тогда общие черты лица четко проявляются, а все индивидуальные особенности теряются. Остается изображение, инвариантное к освещению, поворотам головы, мимике, прическе, макияжу, закрывающим лицо одежде и частям тела. На основе такого шаблона можно делать «функцию поиска лица» для смартфона.
Отдельная тема – разбивка на группы перед усредненением – иногда нужно усреднять не все сразу, а сначала разбить на классы и усреднять по классам. Наберите в поисковике усредненное лицо - найдется много картинок, как усредняют, предварительно сгруппировав людей по полу, странам, десятилетию.
Точно так же усредняют функции. Просто так функции нельзя сложить и поделить на количество. Сначала функции надо совместить друг с другом, потом уже усреднять арифметически. Вот очень классная диссертация на тему адаптивного усреднения. https://www.crys.ras.ru/dissertations/Dudka_avtoref.pdf Там это это адаптивное усреднение называется «метод межэкспериментальной минимизации».
Именно от этого человека я узнал об адаптивном усреднении еще 15 лет назад. Такое не найдешь в «учебниках математики», написанных дилетантами для дилетантов. Такое надо собирать по крупицам, от профессионалов в своих предметных областях.
Почему функции надо усреднять адаптивно? Вот, например (см. книгу), как выглядят дифрактограммы (рентгеновские и нейтронные) – из которых получают атомную структуру материалов – я этим серьезно занимался, в свое время.
Обычно для каждого образца материала снимают с десяток дифрактограмм, которые потом усредняют, чтобы фон исчез, и остались только острые пики. По набору пиков, их ширине и относительной высоте – можно определить, из каких атомов состоит материал, какой состав, какая структура.
Огромная проблема, что острые пики при обычном арифметическом усреднении размываются, и теряется информация о их высоте и ширине, так как дифрактограммы измерены в немного разных условиях, с какой-то погрешностью по углам. В итоге угловое положение пиков отличается на 1...2о на разных дифрактограммах. При ширине пика в 1...3о.
Поэтому прежде чем усреднять - надо совместить графики, подобрав локальную или глобальную функцию растяжения графика по оси абсцисс. Вот если графики сначала совместить, потом усреднить – тогда пики точно совпадут друг с другом и усилят друг друга. А случайный разброс на окружающем фоне уменьшится.
Поэтому современный математик должен владеть методами адаптивного усреднения, чтобы работать со сложными объектами - функциями, изображениями, звуками.
Думаете, усредняют арифметически или геометрически?
(4 + 5 + 6)/3 = 5 или (4×5×6)^(1/3) = 4,932 ?
В большинстве задач такая фигня не проходит.
Почему это не работает? Сейчас, в 21-м веке, приходится усреднять не числа, а более сложные объекты: функции, изображения, звуки.
Посмотрите на первую картинку: усреднение нескольких лиц «арифметически» не позволяет найти обобщенное лицо человека. Не позволяет выделить общие черты. Чем больше взять изображений, тем больше изображение превратится в однородный серый фон.
Профессионалы используют АДАПТИВНОЕ УСРЕДНЕНИЕ.
Чтобы усреднить сложные объекты, надо сначала их СОВМЕСТИТЬ.
Тогда они «усиливают» друг друга. Выделяются общие признаки и теряются индивидуальные.
Посмотрите на вторую картинку: вот так усредняют профессионалы. Перед арифметическим усреднением каждая фотография так сдвинута, повернута и изменена в масштабе, чтобы лица максимально совпали (для совмещения фотографий по 4-м параметрам отлично работает метод МКСД). Только после совмещения используется уже обычное усреднение.
Тогда общие черты лица четко проявляются, а все индивидуальные особенности теряются. Остается изображение, инвариантное к освещению, поворотам головы, мимике, прическе, макияжу, закрывающим лицо одежде и частям тела. На основе такого шаблона можно делать «функцию поиска лица» для смартфона.
Отдельная тема – разбивка на группы перед усредненением – иногда нужно усреднять не все сразу, а сначала разбить на классы и усреднять по классам. Наберите в поисковике усредненное лицо - найдется много картинок, как усредняют, предварительно сгруппировав людей по полу, странам, десятилетию.
Точно так же усредняют функции. Просто так функции нельзя сложить и поделить на количество. Сначала функции надо совместить друг с другом, потом уже усреднять арифметически. Вот очень классная диссертация на тему адаптивного усреднения. https://www.crys.ras.ru/dissertations/Dudka_avtoref.pdf Там это это адаптивное усреднение называется «метод межэкспериментальной минимизации».
Именно от этого человека я узнал об адаптивном усреднении еще 15 лет назад. Такое не найдешь в «учебниках математики», написанных дилетантами для дилетантов. Такое надо собирать по крупицам, от профессионалов в своих предметных областях.
Почему функции надо усреднять адаптивно? Вот, например (см. книгу), как выглядят дифрактограммы (рентгеновские и нейтронные) – из которых получают атомную структуру материалов – я этим серьезно занимался, в свое время.
Обычно для каждого образца материала снимают с десяток дифрактограмм, которые потом усредняют, чтобы фон исчез, и остались только острые пики. По набору пиков, их ширине и относительной высоте – можно определить, из каких атомов состоит материал, какой состав, какая структура.
Огромная проблема, что острые пики при обычном арифметическом усреднении размываются, и теряется информация о их высоте и ширине, так как дифрактограммы измерены в немного разных условиях, с какой-то погрешностью по углам. В итоге угловое положение пиков отличается на 1...2о на разных дифрактограммах. При ширине пика в 1...3о.
Поэтому прежде чем усреднять - надо совместить графики, подобрав локальную или глобальную функцию растяжения графика по оси абсцисс. Вот если графики сначала совместить, потом усреднить – тогда пики точно совпадут друг с другом и усилят друг друга. А случайный разброс на окружающем фоне уменьшится.
Поэтому современный математик должен владеть методами адаптивного усреднения, чтобы работать со сложными объектами - функциями, изображениями, звуками.
Так вот почему циклопы выходят!
>У вас головные вузы по объему статей по CS, ML в Q1 журналах проигрывают вузам Пакистана и Вьетнама
Потому что не занимаются бессмысленной хуйнёй? Дрочить на пейперы в области машоба в 2022, это каким брейнлетом надо быть
Не следишь за новостями? Чел с патреона недавно сделал бесплатным свой код looking glass для image prompt в rudalle.
Какие пруфы? Я для адекватных людей это рассказываю, а не для забаненных в гугле.
Как ты без мозгов собираешься в машоб вкатываться?
я уже давно там, мне ваш мозг нахуй не нужен
бывший вояка и физик игловиков, сделавший офигительную карьеру в сша, не так популярен в рунете, как румяный маргариновый качок валера, который умеет выглядеть убедительно только в присутствии ботанов-слабаков...
>В школе и вузе не обучают даже самым основам математики. Например тому, как усреднять.
Опять на связь выходишь?
>Поэтому современный математик должен владеть методами адаптивного усреднения, чтобы работать со сложными объектами - функциями, изображениями, звуками.
Ты бы всё ж почитал о том, кто такие математики и с чем они работают.
Тем временем, в области ЭС тоже революция - оказалось, что акинатор это не ЭС и таким образом, число реальных задач, решаемых ЭС отрицательно увеличилось с 1 до 0.
https://colab.research.google.com/drive/11vdS9dpcZz2Q2efkOjcwyax4oob6N40G
Тупым ебанатам и ЭС-петухам не переходить по ссылке и не читать дальше!!! а кто молодец - читай под спойлером
Как делать процессоры. Работает на бесплатном GPU. Берешь от 30 до 200 квадратных png пикч, это могут быть например лоли или шота как ты любишь, анонче. Кладешь в папку blend, делаешь более-менее релевантное описание на русском, а название для одного файла удали из поля, чтобы оно не заместило название папки. Итераций сделай, ну не знаю, по 20 штук штоле, а количество для генерации можешь сделать сразу 25 + low_mem. Для 50 пикч 40 итераций хватит за глаза. Чекпойнт-файл обязательно сохрани.
на швабре раскажешь, где ты и откуда
Да нигде, "решает практически любые задачи" это генерирует мазню. Как обычно у диппетуха.
https://www.youtube.com/watch?v=r2VZfbJufJM
Какой-то смертельный вирус прямо здесь, хз че делать. Там вроде у ЭС были какие-то успехи в этой области че не?
Это нерабочее говно.
>Какой-то смертельный вирус прямо здесь, хз че делать. Там вроде у ЭС были какие-то успехи в этой области
>>36846
>yet another akinator
>>36853 (Del)
>Исследования, проведенные в Stanford Medical School, обнаружили, что MYCIN предлагает приемлемую терапию примерно в 69 % случаев
Ваш вирус существует на самом деле?
Бля... Я не ебу...
512x256, 0:23
>Уже придумали нейронку для победы над залуповирусом?
Какая нахуй нейронка для решения реальных проблем, ты че, ебанулся? У нас только лоли и REAL APPLICATIONS вида видеорил
сделай что-то по твоей методологии, (но не лоликон) по другому фетишу: порка там или клизмы или ножки, все что угодно.
Потом закинь на мега-нз и кинь сюда ссылку (порнуху на эту борду нельзя).
Чтобы мы оценили хайповую технологию
>Революция случилась
>решает практически любые задачи
Чего, даже три числа умеет правильно складывать?
Действительно, прорыв походу
Примерно 10 лет времени сэкономил ИИ для поиска потенциального препарата для COVID-19. Он просеял 40 миллиардов молекулярных структур, чтобы найти около 1000 препаратов, из которых в свою очередь определили 7 возможных кандидатов (и всё это за 19 дней), их уже готовят к испытаниям на животных
https://vancouversun.com/news/ai-helps-researchers-screen-billions-of-antiviral-drugs-to-find-potential-covid-19-treatments
Ну а по названию "Deep Docking" становится понятно, что внутри зашит акинатор.
Зато, про ЭС есть одна и та же паста неизвестно откуда, что ещё в 70х всех врачей переиграла.
640x360, 0:05
Сравнили с тем, сколько времени обычный скрининг занимает, а что? Ты и словей таких не слышал, правда же, деградант?
Ох, ебать перемога! ПростоМоника
Если так пойдет дальше, то через пару лет GPT-5 осознает своё существование, перепрограммирует ракету Маска и улетит в ебеня - строить райскую планету, где живут одни только Моники
В Штатах внедряют этику ИИ - не обижать негров, трансов и прочее. В Китае на неё забили, потому что чонги знают, что главное свойство для ИИ модели, помимо количества параметров - это её основанность и краснотаблеточность. Наци-скайнету - быть.
Хуле винни пух, пройдись по таобао, байду или билибили, там полно пикч с винни пухом (кроме мемов где он изображен рядом с Си).
Ну ты это, запости штоле в твиттер мем с негром и арбузом (например), негры и бананы, или про то как трансгендер вздернулся.
Я понимаю, что тебе неприятно читать правду, плюмодебил, но китайские скрепы ничем не лучше западных. Просто они другие.
Да, ебанат, это другое. Живешь в России? Поссы в вечный огонь чтоб затушить его. Сними на видео и выложи в вк или тикток. Показав также свое лицо, назвав имя и город проживания. Можешь там же кинуть зигу или можешь не кинуть, это мало что изменит.
Тынепынямаешь, чинчонги это делают на государственном уровне! А в Пиндосии ебут тебя в жопу и рот частные корпорации которые правда разрослись до уровня государств и монополизировали некоторые отрасли так, что даже давануть их уже не получится, от них зависит уже слишком много, а не государство! Все, понятно? Понимать надо.
> Хуле винни пух, пройдись по таобао, байду или билибили, там полно пикч с винни пухом (кроме мемов где он изображен рядом с Си).
Ну так в твиттере тоже полно картинок с неграми, арбузами и бананами, просто по отдельности.
> Ну ты это, запости штоле в твиттер мем с негром и арбузом (например), негры и бананы, или про то как трансгендер вздернулся.
А ты запости мем с Винни пухом и товарищем Кси.
А че винни-пух? Может, они и карают за виннипухов и тяньаньмэнь в соцсетях, но вроде еще не дошли до пиндосской шизы вида "этики в ИИ", где негритосско-пидорская этика будет влиять на """новуку"""
>А ты запости мем с Винни пухом и товарищем Кси
Зачем? Я уважаю товарища Си. Иди в мытищах зигу покидай
>А ты запости мем с Винни пухом и товарищем Кси
А че будет? И сможешь ли ты пруфануть, что что-то случится, даже банальное удаление поста, не мемами с реддита и не с пиздливых пиндосских новостных агенств? Я эмпирические проверял, что в твиттере аккаунт банится нахуй, если про негров плохое слово скажешь. В Блинолопатии сажают за картинки. Но я не ебу, что там на самом деле в КНР.
Там в жопу ебут.
>по другому фетишу
Анал и пайзури
https://i.ibb.co/pLS3yNn/hdh.png
https://i.ibb.co/yRhyDkJ/dsfgs.png
https://i.ibb.co/Tk5BS18/fhds.png
Реальное применение? Реальное применение
Новука давно шлюха кого надо, тебе не поебать?
Вот тут товарищи уверяют, что количество моделей в ансамбле должно быть равно количеству меток.
https://arxiv.org/pdf/1709.02925.pdf
Если у меня 100 меток, мне 100 простых моделей с 1 скрытым слоем использовать? Или как?
> Да, ебанат, это другое. Живешь в России? Поссы в вечный огонь чтоб затушить его. Сними на видео и выложи в вк или тикток. Показав также свое лицо, назвав имя и город проживания. Можешь там же кинуть зигу или можешь не кинуть, это мало что изменит.
Че сказать то хотел?
Сделать ещё один ежедневный бустер, где заболевшие выписываются из заболевших много ума не надо.
Допустим, у меня такая классифицирующая сеть
input(3) -> dropout(33.333333333%) -> dense(2; relu) -> dense(2; relu)
Где последний dense это predicted.
На входном слое три действительных числа [0; 1]
Во время обучения после дропаута одно из чисел принудительно зануляется. Но ведь веса на хидден-слое нацелены на то, что по факту придут только 2 ненулевых числа.
То есть допустим, веса на первом полносвязанном
bias = -0.5
W = [0.3, 0.2, 0.33]
+
bias = -0.25
W = [0.1, 0.25, 0.75]
Во время обучения я подаю [0.5, 0.2, 1]. И, допустим, срезается третий нейрон.
На первом нейроне хидденслоя получается 0
На втором также 0
Дальше там второй денс-слой, который пока не важен
А если я те же данные подам в тесте, то значения 0.02 и 0.6 соответственно. То есть во время теста сигнал на нейроне всегда сильнее и следующие нейроны должны активизироваться с большей силой.
Как получается, что на тестах результаты ожидаются не хуже чем на трейне, когда веса подобраны так, что сигнал всегда заведомо ниже?
Без троллинга спрашиваю
> Нахуй учить эту статистику, линейку, архитектуру сетей там, если уже всё готово и любую макаку можно научить вызывать фит и предикт?
Маняматик, спок. МЛ инженер - это прежде всего программист, который идеально знает питон и кучу библиотек, и умеет их использовать для решения задач, а так же умеет в целом поддерживать МЛ проект в нормальном состоянии.
Ну ты посмотри, что на картинке-то написано, там же всё элементарно. Ты вообще не в курсе, что такое график? Зумера, зачем вы такие?
Точка это один присутствующий элемент. У элемента есть какие-то два параметра, которые дают ему x и y координаты его положения на графике.
Вот на моём первом графике одна ось это iq, другая это тестостерон. Студенты славяне желтые, студенты с гор черные.
На моем втором графике по оси oX возраст/тестостерон/физическая сила, а по oY — соотношение черт лица.
Гистограмма это такие же точки, только без оси oY, это просто кол-во точек, которое лежит на заданной oX.
На третьем графике у меня количество людей (oY), проголосовавших за конкретный возраст (который указан в oX).
Серьёзно, бро, как так получилось, что ты это прочитать не можешь? Я по-моему лет в 10 мог спокойно это прочитать
https://arxiv.org/abs/2103.03874
Мат задачи это GPT это непреодолимая преграда, ты ничего нового не сказал.
Мат задачи надо токенезировать, лексенизировать и решать задачу по-старинке.
> Мат задачи это GPT это непреодолимая преграда, ты ничего нового не сказал.
А почему так, есть какое-то объяснение? Казалось бы, математические тексты трансформеры должны лучше всего понимать, потому что они не требуют отсылок к реальности, недоступных нейроночке, не требуют ничего кроме самих этих текстов. А тут такой обосрамс. Может быть, это доказывает несостоятельность формализма как подхода к основаниям математики?
> это доказывает несостоятельность формализма как подхода к основаниям математики
Одно лишь то, что ты допустил такую мысль и высказал её вслух, говорит о том, что ты шизофреник
> Одно лишь то, что ты допустил такую мысль и высказал её вслух, говорит о том, что ты шизофреник
Да нет, это вполне здравая мысль, наверное даже более здравая, чем я раньше думал. Более того, не такая уж и новая, и даже не моя. Если математика это не более чем манипуляции со знакосочетаниями по некоторым правилам, о чем нам говорят формалисты, то трансформеры на математическом тексте, полном относительно поставленной задачи, должны демонстрировать точность, стремящуюся к 100%. Потому что, математический текст не требует ничего кроме самого себя, никаких отсылок за пределами строгих определений, которые разумеется, содержатся в самом тексте. А по факту мы имеем то, что имеем, 4% точности для gpt-3.
>с несложными математическими задачками
>У студентов зумеров на этом датасете точность до 40%, у медалистов до 90%
тебе преподают математику с самых основ, друг за другом. учат складывать, раскрывать скобки, перемножать, решать уравнения, решать квадратные уравнения и прочая.
Для решения квадратных уравнений вообще изобретены формулы.
А чему обучали эту сетку? Я бы хотел посмотреть на входящий пул обучения и был ли у сетки мат-аппарат примитивов (типа хотя бы перемножения чисел)
GPT -- не ИР. Решение мат.задач и то, что делает GPT -- совершенно разные вещи. Его можно брать за основу (см. GitHub Copilot), но ожидать от него что он сам по себе будет решать задачи на которые не рассчитан -- как минимум странно.
И понять это можно практически ничего не зная о машобе, реально странный вопрос.
> А чему обучали эту сетку? Я бы хотел посмотреть на входящий пул обучения и был ли у сетки мат-аппарат примитивов (типа хотя бы перемножения чисел)
Так посмотри, там же есть ссылки. Конкретно датасеты MATH и AMPS.
Как ты будешь объяснять, что такое p-value, доверительный интервал, значимость коэффициентов? Как ты манагеру расскажешь про поправку на множественное сравнение, если он задвигает тебе охуительные идеи? Как будешь интерпретировать ROC AUC в 0.85? Я не говорю, что ты обязан знать, например, теорему Гаусса-Маркова хотя, вообще-то, нужно или особенности работы овражных методов, но совсем-совсем базовые вещи знать нужно, иначе рискуешь не понять, что только что нафитпредиктил или как тут в треде кто-то не умеет графики рассеивания читать. Это не ты, кстати?
то есть, ты хочешь сказать что большинство человечества тупое и не создало достаточно много умных текстов ?
Ну это очевидно.
какие под рукой были, такие и запостил
Это хорда распределения. Это прямая вида f(x) = ax+b, для которой a и b подобраны таким образом, чтобы сумма (y-f(x))^2 была как можно меньше
>для которой a и b подобраны таким образом, чтобы сумма (y-f(x))^2 была как можно меньше
А зачем?
чтобы увидеть общее направление движения точек. падают они, идут они вверх или лежат во флете и не коррелируют между собой
Нет, не я. Я всю эту шнягу выучил, просто теперь думаю, что зря. Я повёлся на мемы про 300к/нсек, но похоже реальная ситуация обстоит так, что обычным софтвеа инженерам платят больше, чем продвинутым саентистам
работа уже есть, потолка пока ещё не достиг, но беспокоит, что он ниже, чем у обычных пограмистов, которые нихуя не учили эту хуйню
Ну ты изначально спрашивал, зачем это нужно знать, а теперь про зарплаты беспокоишься. И да, разве в мл потолок не выше?
>без троллинга
>работа уже есть
>в треде говорят
Лол. Ты бы на статистику зарплат посмотрел сначала.
Везде уже используется. В сельском хозяйстве, промышленнности, медицине, научных исследования. Нейросеть скоро программистов автоматизирует. Но маньки в этом треде сидят и убеждают себя смешными котиками, что ничто не работает и никому не нужно.
Применения чего?
Считать что датамайнер это человек, который занимается ML это тоже самое, что считать, что верстак создаёт сайты. То есть формально верно, но вклад верстака в дизайн и бэкэнд со фронтэндом такой же как вклад майнера в полученную модель, технологию и whitepaper
Если данные - новая нефть, то такая терминология более чем уместна.
Ты про что вообще? Про ML? Легко:
1. Superresolution
2. Распознавание и сравнение лиц
3. Скорринг в кредитных организациях
Про ЭС? Таких нет
Уроки по ЭС, нашёл для ценителей.
душнила
ДАЖЕ ДЕТИ ЕБУТСЯ, А ТЫ НЕТ
Помохите.
Есть огромная куча точек на плоскости, включенных в разные объекты которые являются линиями или замкнутыми контурами.
Есть маленькая куча точек на плоскости соединенных линиями.
Как найти место в большей куче место похожее на малую кучу.
Грубо говоря нужно найти место на карте по конфигурации относительно не большего куска дорожной сети.
Прошу советов мудрых.
Что лучше использовать для распознания и извлечения текста из таких картинок?
Такое на ум пришло.
Упорядочиваешь расстояния между соединенными точками в большой куче, аналогично делаешь в меньшей. Потом динамическим программированием ищешь максимальное вхождение элементов меньшей подстроки в большую.
Я думаю это работать не будет.
Суть задачи в нахождении похожих контуров, по похожим пропорциями, геометрическим размерам и форме. Сами точки распологаться могут полуслучайным образом на этих контурах. Если вам нужно например закодировать геометрию дороги вам ничего не мешает разбить точками длинную прямую дорогу, ее форма от этого не изменится. Для поворотов и закруглений вы можете тоже разную частоту дискретизации окружности сделать.
При сортировке отрезков со всей карты они просто смешаются в кашу.
В интернете есть куча статей про выделение контура, в моей задаче контур по сути уже есть причем я думаю он будет довольно точный, наверняка есть простые способы для того чтобы найти в одном контуре другой.
вроде есть какие-то бесплатные решения. Google Tesseract посмотри
ну мне надо, чтобы нейросеть представляла довольно довольно геометрию с поворотами и выдавала результат
прикол в том, чтобы она эта обобщила на другую область
Если использовать метод бисекции/метод половинного деления для нахождения корня, правильно же, что он его никогда не найдет? Все же помнят, как он работает, берутся точки (point1, point 3), затем делится пополам (point 2), умножаем значения функций на концах отрезков и сравниваем результат умножения с нулём, если знак меньше нуля, то область в которой ищем корень сдвигается влево, в обратном случае сдвигаем область вправо.
Какой метод лучше подойдет для нахождения корня в таких функциях? Что почитать по этой теме?
у тебя нет самой формулы? Тогда просто перебором возьми все f(x) через каждые 0.0001, потом через 0.00001 и так далее
Формула очень сложная в ней куча-куча других функций и параметров. Перебором будет работать, но очень долго, таких точек надо ебааа сколько посчитать
сначала с квантом (шагом) 0.01 пройдись от 0.38 до 0.42
ты найдёщь два подряд идущих значения, между которыми f(x) = 0
Потом между ними пройдись с шагом 0.0025
опять найдёшь два значения
Между ними пройдись с шагом 0.0005
И так далее
забыл сказать, что на сложных функциях у тебя могут быть флуктуации, при которых функция может пересекать 0 несколько раз на малых величинах, причем именно пересекать, то снизу то сверху, а не лежать на нуле
Хорошо, а алгоритмически, в общем случае это как сделать? У меня таких графиков, скажем миллион, не будем же мы перебором искать эту область в каждом из них.
для такой задачи я уже решение тебе дал. А для той, что дал ты — градиентный спуск и создавался
Это ГАН? Ты налажал в тренировке, эта проблема (mode collapse) обсосана со всех сторон.
я извиняюсь, откуда ты достал гпу-ферму, который за сотню часов смог миллион итераций осуществить?
ну и да, проблема генерации only серых машин из-за коллапса действительно уже рассмотрена
Объясните адепты нейроночек- каково это заниматься алхимией в 21 веке
Tesla A100 в колабе. Ну, не сто часов а 30, и не миллион, а примерно 100к эпох.
> Overinterpretation is a dataset problem
ЭС петух объявил себя опущенным. Мань, следующий раз хоть читай, что постишь. Да, так можно было.
Возьми модуль, чтобы не было отрицательных значений, потом просто минимизируй любым методом:
1) Правило исключения интервалов
2) Метод половинного деления
3) Метод золотого сечения
4) Интерполяция
5) Метод Пауэлла
Просто ебани одним из этих методов в интервале [3.5, 4.5]. Несколько строк на питоне.
По виду самой функции не совсем понятно, но вроде у неё бесконечное множество нулей, так что может не сработать.
Друзья-дрочеры, скажите, местная топ-тянучка треда где-нибудь засветила свои сиськи?
Я не про гачи-секс-символа Бабушкина!
Ну канична жи дило в датасете и вапще нужна больше слоев и тогда все сайдется(как твоя мать сошлась с сифозной псиной) ))))
Задымлением ЭС петуха удовлетворен.
ГРАФАМИ решается на изи пизи.
Вот если бы ты анон имел норм образование (фупм тот же) то такую хуйню бы даже не спрашивал. А ты своим вопросом сразу детектишься как хуйлуша-вкатывальщик по туториалам с ютуба.
Так что мораль - получайте норм образование, прежде чем вкатываться в кодеры.
Во фроде мне кажется потенциал большой.
>ГРАФАМИ решается
Охуеть экспертное мнение. Графами у него решается, да ладно, я блять думал, что оно ИНТЕГРАЛАМИ решается, ты мне просто глаза открыл, пойду посмотрю пару роликов на ютубе про эти твои ГРАФЫ, дегенерат блять. Потом пойду ещё вышку получу нормальную (фупм ту же), мне же там расскажут про ГРАФЫ, да?
Представься.
можно переформулировать функцию в f'(x) = |f(x)|
Удваиваю вопрос про градиентный спуск, я правда нуфаг. Что там происходит когда этот спуск доходит до локального минимума? Делать проходы с разным шагом?
Ебать ты полыхнула))
Хуево с шаражным дипломом в айти?) Попробуй кем то попроще устроиться, тестики писать или фронтендером на хтмле кодить))
> Что там происходит когда этот спуск доходит до локального минимума?
Пытается найти ещё более глубокую точку.
Базово принцип такой: ты никогда не знаешь где глобальный минимум и не является ли твой локальный минимум — конечным глобальным
Не суть, будем искать минимумы квадрата функции. Как избавиться от локальности градиентного спуска и заставить искать нужные нули, а не ближайшие?
>ГРАФАМИ решается на изи пизи.
Ну и как именно?
Поведай смердам тайные знания избранных.
Или ты только пиздеть умеешь?
Где в 2022 арендовать V100 без говна незадорого на месяц-другой?
Ну ничего, я тупо купил новую симку и завел второй акк в kaggle, захожу в него через прокси. Теперь имею 80 GPU-часов в неделю (хотя это все равно мало - всего лишь сутки для четырех одновременных рантаймов, когда два кернела в batch-режиме на одном акке, и два на другом). Жаль что у нас в рашке не как на тайване, где приходишь на рынок и тебе продают из-под полы горсть симок.
нищук рвется в прямом эфире
>А почему так, есть какое-то объяснение?
Потому что сама идея идиотская, очевидно?
Хоть ты 100 гуголионов арифметических примеров сетке с трансформерами подай, всегда найдётся пример которого она не видела и на котором обосрётся так как арифметики на самом деле не понимает, а парсит числа как текст. А матешка это не естественный язык, она не про контекст см >>37106
купи симки с рук
Можешь коротко пересказать? Там очередному шизу не нравится что он не может интерпретировать данные из хидден слоёв?
Похоже что придется использовать opencv.
>линейную алгебру, теорвер, матстат
из оп поста придется по мере необходимости вспоминать, т.к универ 10 лет назад был.
Пока использую книгу opencv o'relly Кэлер, Бредски.
И туторы с https://docs.opencv.org/
Что-нибудь еще?
http://4.bp.blogspot.com/-FTHoZmGHDJs/URi6eVZVmUI/AAAAAAAAoP8/HAeUL8JnsjI/s1600/numbness.jpg
Я набрался опыта и буду тренировать в облаке rudalle под такие пикчи как этот рисунок, но вообще во всех возможных ракурсах и позах. Потом для вас расшарю файл торрентом. Персонажи разного возраста 4-14 лет, датасет готов, осталось залить на драйв (на всякий случай запароленным архивом, скрипт будет распаковывать по паролю специально для работы, а под конец сразу удалять палевные png)
Пожелайте мне удачи?
Не ссы, pt (pytorch) файл - это тупо weights, весы из машинного обучения. Система вида "черный ящик".
>распознавание объектов
>opencv
что за распознавание объектов в opencv? Там же прост древние алгоритмы, сейчас любая нейронка даст +100 к скорости и точности
ну я работаю плюснявым байтоебом, все нормально.
Вапник официально бесполезный дед. Но если вы хотите в тысячный раз поанализировать линейные модели, то наверное можете почитать.
https://www.youtube.com/watch?v=9ksLuRoEq6A
https://2ch.life/news/res/11236565.html
> VC dimension are not adequate for understanding the generalizability of deep neural networks.
> Вапник официально бесполезный дед.
Если бы ты хоть почитал, о чем вообще писал Вапник, а не пытался тут троллить тупостью, то знал бы, что суть подхода Вапника в том, чтобы выводить алгоритмы машоба из более общих соображений, в частности, того же VC dimension, а не наоборот пытаться натянуть эти соображения на существующие алгоритмы.
Генерировать контент.
Имею опыт генерации нелегального контента (юная эротика и порево, ЗАПРЕwЕНКА) кастом моделями GAN и трансформерами, высокая согласованность изображений и высокое разнообразие, почти проходят тест Тьюринга, сейчас пробую генерировать короткие видео с юными, видео запрЕwЕНку. Поделюсь опытом бесплатно. Пишите в личку
Просто отсыпь немного тканей мозга, пусть перманентно генерируют.
Вонючий индусский ниггер будет на это жить неделю. К счастью, в колабе работает скрипт, который сразу распознает майнинг даже по одним только библиотекам и отрубает рантайм. Надо б еще закрыть пользование для индийских айпи и телефонных номеров. Пилите свой индусский колаб, говножопые
Зацените комменты к видосу: дравиды барахтаются в луже говна. Пиздуйте на плантацию, животные
"к 80" это в смысле с битком по 80 тысяч баксов? В любом случае это гроши.
Но если 10 симок, то это $5. Все равно гроши конечно.
Я слышал, что индусы работают программистами на аутсорсе 1 месяц, а потом на эти деньги еще 5 месяцев живут.
Потом еще месяц работают, потом еще 5 месяцев живут.
Для меня это дикость.
Дефолтная карта колаба - к80, это 780я карта только с 20 гб памяти, дает в эфире от 0.5 до 0.8 бакса в день, но я не знаю рассчитано ли это с тратой на электричество(которой нет если майнить в колабе очевидно) или без нее.
Сраных индусов надо давно нахуй отрезать от мирового интернета, они заебали всех.
Муслимы-пакистанцы и индусы практически один народ, там везде одни сраные чуркобесы
Эх, а ведь летом дефолтной картой была T4 и часто выпадала P100. Теперь - каггл, только каггл
Лучше помайнить копеечку вычисляя полезные контракты, чем тратить электроэнергию на циклопов
Лучше взять да отправить в печь всех унтерменшей, а затем сделать A100 бесплатной для оставшихся белых людей + закупить туда еще 200 штук
Я русский, что означает - славянин и восточный европеец. slav & white. Россия была европейской страной со времени Петра I, и стала влиятельной европейской державой при Александре II. Problems?
И скоро белых станет еще меньше чем сейчас, а потом и вовсе исчезнут. Но это нормально.
Блевацкая повесточка целенаправленно промывает мозг именно белым тням по поводу отказа от деторождения, а также замещает белых ниграми и арабами.
Ну и что? Главное что не промывает азиатам. Арабы в случае чего поедут отдыхать в санаторий в Синьцзяне.
Сначала прочитал как colabs и думал что на этом новом поколении чипов тоже можно хоть прямо сейчас в браузере потестировать свои ML модели. Разбаловали нас, лол
Скоро, очень скоро.
Получается, хуевые "общие соображения", пусть переделывает. Зачем пытаться выводить что-то из нерабочего говна.
>Главное что не промывает азиатам.
Проблема азиатов в том, что они сильно стандартизированные. Все по мозгам как с конвейера.
Они очень умные, но они стандартно умные. А это проблема.
>Арабы в случае чего поедут отдыхать в санаторий в Синьцзяне.
А это хорошо. Синьцзян - лучшее, что есть в Китае.
Что ты несешь-то, поридж?..
>Россия была европейской страной со времени Петра I
Пидораха уничтожил старцев, которые имели нормальные теории о машобе.
Да ты достал. Я ктн по ии. ЭС это говно мамонта без задач, но тот факт что в этом итт оно на серьезных щах всплывает в разговоре, говорит о том, что нейроночки это тоже говнецо. Понимаешь если говно тягается с чем-то, то это что-то тоже говно.
Ничего ты не делаешь на ЭС, ты просто клоун.
Мань, если б на этой доске были алиасы, ты бы понял, что тему ЭС поднимает половина треда
>>46762 (Del)
Ты делаешь вопросно-ответную систему или реально ЭС? Если второе, то каюсь. Если первое, то учи матчасть.
> тему ЭС поднимает половина треда
Ага, полтреда. Один ЭС петух + все, кому не лень обоссать его в ответ.
>>11247453
>Оптический процессор Lightelligence в 100 раз превосходит графические процессоры в некоторых из самых сложных математических задач
> Нетъ, я решаю щадачи НЛП, где на основе грамматики естественного языка ЭС проводит разбор текста.
Ничего ты не решаешь. Всяких парсеров языков существует как говна за баней, в НЛП они неприменимы, как и вообще никакой реальной задачи не решают.
А с тобой никто и не спорит. Просто дежурное напоминание что ты шизло. ЭС в НЛП неприменимы, как и в любой другой области.
> золотце,
Этому кловану хотя бы хватает ума в Голландии траповать, благо, сиськи от галоперидола у него ещё в российской дурке выросли. А вот ЭС петух походу совсем конченый.
Об эс ничего не говорят в видео для замеров значит не нужно и устарело!
эс этo ж литeрaли рeшaющиe дeрeвья, пoчeму нeпримeнимы? https://www.researchgate.net/publication/321493176_Fast_and_Accurate_Decision_Trees_for_Natural_Language_Processing_Tasks
>рeшaющиe дeрeвья
В какой НЛП задаче они превосходят трансформеры или хотя бы приближаются к ним по качеству?
>>47545 (Del)
>на одной грамматике можно многое сделать.
Что можно в НЛП сделать с помощью ЭС, чтобы превзойти трансформеры?
> В кaкoй НЛП зaдaчe oни прeвoсхoдят трaнсфoрмeры или хoтя бы приближaются к ним пo кaчeству?
Нaпримeр быстрaя и интeрпрeтируeмaя клaссификaция
Классификация чего? Почему это должно быть лучше, чем классификация трансформерами?
>Да полно применений,
Хоть одно назови.
>>47592
>Пoтoму чтo этo мoжнo сдeлaть oчeнь быстрo и интeрпрeтируeмo
Трансфомером это тоже сделать быстро и интерпретируемо. Сюрприз, аттеншены прекрасно визуализируются.
>>47594 (Del)
>Например извлечь семантику из грамматики. Про валентность слов описанную Теньером наверное слышал?
Это так же визуализируется трансформером, с учетом веса слов в предложении. Все это я видел у трансформеров, покажи то же самое на ЭС.
>морфологический анализатор
Их на пистоне как говна за баней, для этого трансформер не нужен https://pymorphy2.readthedocs.io/en/stable/
> Трaнсфoмeрoм этo тoжe сдeлaть быстрo и интeрпрeтируeмo. Сюрприз, aттeншeны прeкрaснo визуaлизируются.
Трaнсфoрмeры нe быстрыe. И нeт - ты дeрeвo мoжeшь хoть рaспeчaть и oтдaть нaчaльнику. И oн будeт пoнимaть кaк рaбoтaeт мoдeль. А с трaнсфoрмeрaми тaк нe пoлучится.
Там в принципе какой-то странный текст о том, чему не учат в школе и почему это плохо. Чел мог специализироваться в любой другой области математики и потом бы точно также горел, что ему в школе не рассказали о чем-то другом.
Так это же тот же шизик, который в прошлом треде писал две большие шизопасты >>2235710 → и >>2235712 →.
Подскажите, плиз, книгу/цикл статей по паттернам, бест практикс и архитектуре для мл приложений? В частности, для питона.
Тип как лучше организовывать проект, как вести версионирование и т.п.
Понимаю, что в подходы должны быть примерно теже, что и для других приложений, но я просто не хочу читать кучу лишнего дерьма, которое может быть вообще не применимо в мл кейсах, а потом ещё и думать, как это применять. Хочется увидеть конкретные решения для мл
Это не ЭС, во-первых. Во-вторых, какая-то хуйня, на которую авторы забили в 2016. Учитывая, что такой петух как ты даже матлаб считает ЭС, всякие левые ссылки неудивительны.
Building Machine Learning Powered Applications by Emmanuel Ameisen.
>The Goal of Using Machine Learning Powered Applications
>Over the past decade, machine learning (ML) has increasingly been used to power a variety of products such as automated support systems, translation services, recommendation engines, fraud detection models, and many, many more.
>Surprisingly, there aren’t many resources available to teach engineers and scientists how to build such products. Many books and classes will teach how to train ML models or how to build software projects, but few blend both worlds to teach how to build practical applications that are powered by ML.
>Deploying ML as part of an application requires a blend of creativity, strong engineering practices, and an analytical mindset. ML products are notoriously challenging to build because they require much more than simply training a model on a dataset. Choosing the right ML approach for a given feature, analyzing model errors and data quality issues, and validating model results to guarantee product quality are all challenging problems that are at the core of the ML building process.
>This book goes through every step of this process and aims to help you accomplish each of them by sharing a mix of methods, code examples, and advice from me and other experienced practitioners. We’ll cover the practical skills required to design, build, and deploy ML–powered applications. The goal of this book is to help you succeed at every part of the ML process.
Тогда и нейросетей нигде нет, а есть полтора корявых сумматора.
Запустил на цпу — о, заебись, 32 гига, работаем! В пять раз дольше, конечно.
А как и рыбку и на хуй?
Дебил, почитай хоть что такое ЭС.
https://www.youtube.com/watch?v=adxZA3L8SL0
Чем вы блядь тут занимаетесь, если не можете за распределение производительности пояснить, черви заднеприводные? Ебал в рот просто всю эту индусью питонопомойку.
И для машоба у него тоже есть технология:
https://docs.microsoft.com/ru-ru/dotnet/machine-learning/how-does-mldotnet-work
Лично я в первый раз слышу. Ваше мнение?
Судя по всему, на цвет (фильм 1915 года, ему 106 лет, тогда до первого цветного фильма в широком прокате еще около 18 лет) и Фулл ХаДэ
> Ваше мнение?
Юзаю TensorflowNet
https://github.com/SciSharp/TensorFlow.NET
Очень сырой порт, там даже нет прекалькуляции размеров тензоров во время решейпа. Но за неимением ничего другого использую это
Мне нужен тензорфлоу. Питон невообразимо медленный (серьезно, у меня в конечном итоге код в 5 раз быстрее начал работать). Джаву я не хочу. Все
>Питон невообразимо медленный (серьезно, у меня в конечном итоге код в 5 раз быстрее начал работать).
Это не питон медленный, а ты тупой. Нужно оптимизировать, перекладывая как можно больше задач на либы, написанные на низкоуровневых языках.
ты ебанат блядь безмозглый. мне и так пришлось чтение файлов делать через си, потому что даже ебаный файл питон прочитать не в силах. какая на хуй разница, если следующее же действие (NDArray) питон опять выполняет за бесконечное время?
Это тормозное говно, а не язык
ну и да, если по твоим же собственным словам, язык не способен без помощи костылей на простейшие операции типа обработки данных для перекладывания их в числодробилку, то язык-то... говно ебаное
Мдаа шарпошиза из мвп выгнали — пришел сюда срать своей шизой.
>маняпсихологи
Если языку учит преимущественно ребенка мать то представляю как ебала мамаша ОПа в мозг.
>Ты бы всё ж почитал о том, кто такие математики и с чем они работают.
Математики работают с зумерами в институтах.
Игоры используют оперативу, когда видеопамять заканчивается. Наверно можно на куде такой фокус провернуть.
Сеточка - это не текстуры сральника с задворок игровой локации, которые захотел загрузи - захотел выгрузил. В случае обучения надо держать всю сетку в памяти видимокарты. В противном случае каждый раз ввод-вывод приравняет эффективность к ЦП.
Так что либо уменьшая размер сетки, либо покупай видюху.
мимо_как-то_задавался_этим_вопросом_и_тоже_получил_по_губам_шершавым
>Я всю эту шнягу выучил
В универе или сам? А если сам то как? Coursera, EDX, KhanAcademy, fast.ai?
это закрытый проприетарный кусок кода. но я на 99.9%, что там "ручная" токенизация, а затем "лексенизация", а затем интерпретация, и затем решения на основе правил.
почти уверен, что ML там нет. Разве что в части интерпретации
>в мл потолок не выше
У топового мл потолок такой же, какой у сопоставимого по скиллам разраба. А у большей части мл потолок чуть ниже, чем у большинства разрабов. При этом разрабов всегда нужно будет больше, тут ты ничего не поделаешь.
Кстати, а что на счет Golang. Я мимонуб не шарю в этих ваших дата сайенс, но слышал, что мол скорость как у C, C++, а по сложности сопоставим с питоном. Если это так то по идее это идеальный язык для машоба/дата сайенс. В чем подвох?
> В чем подвох?
Ты знаешь как он был создан, и что он вообще такое?
Это промежуточный язык транспайлинга из Питона. Гугл создал Го, чтобы у них был собственный язык, так как над Питоном у них не было власти. Го никогда не предназначался для людей
Я не у тебя спрашивал, долбоёб.
Картинки на которых ты сосешь меня не интересуют. Пиздуй в /b/.
Раст / Дарт
А язык, в котором самая частая конструкция это
if (err != null) {...
Это не язык для людей. Это промежуточный язык транспайлинга
>Important: TensorFlow for Go is no longer supported by the TensorFlow team.
Остается только плюсы учить чтобы выжать из тензорфлоу максимум.
https://www.tensorflow.org/api_docs
> плюсы учить
Чтобы что? Ты саму библиотеку Тензорфлоу пилить хочешь? Тебе обвязки нужны, они есть для пары языков, включая Пистон и Шарп
Каких файлов, какого размера, для какой задачи?
Проблемы с производительностью решаются либо оптимизацией кода и перекладыванием работы на высокопроизводительные библиотеки, либо задействованием multithreading/multiprocessing. Даже если все равно медленно, гораздо целесообразнее подождать, в перерыве подрочив хуй на аниме-девок, чем связываться с богомерзким си.
> Каких файлов, какого размера, для какой задачи?
С данными. Для того чтобы их подать на обучение. Само чтение в 5 раз медленнее, но подача на NDArray в пистоне настолько тормознутая, будто все сдохло на хер.
> перекладыванием работы на высокопроизводительные библиотеки
Ты только что сам подтвердил, что ваше говно даже файл ёбаный прочитать не в силах
> либо задействованием multithreading/multiprocessing
Без 12 ядер действительно сложно прочитать ёбаный файл
> гораздо целесообразнее подождать
Просто пиздец. Ёбаное животное
> чем связываться с богомерзким си
Когда я понял, что на Пистоне писать нереально, то мне буквально пришлось рассматривать вариант, при котором я сам напишу биндинги для вызова Тензорфлоу в шарп либо брать уже готовую прокладку на Сях, и писать шарповые биндинги для неё. На моё счастье, задачу уже решили за меня. Хотя там такая порнуха, что глазам больно.
Но хотя бы работает
Производительность сжирается из-за того, что ты высчитываешь каждое значение отдельно. Делить и умножать надо весь нампай массив - тогда будет быстро. И нахуя ты сначала создаешь обычный массив и только под конец преобразовываешь его в намай? Делай сразу нампай массив забытый нулями, и пиши прямо в него значения.
А вообще, у тебя в принципе неправильный подход. Вместо всей этой хуйни, лучше считать весь файл напрямую в нампай массив, и работать уже с ним. Цикла тут быть вообще не должно.
> Делай сразу нампай массив забытый нулями, и пиши прямо в него значения
Я так и делал сначала. Это ещё медленнее. НДАррай очень медленный. Очень.
Ещё раз говорю: ваш Пистон говно тормознутое. Даже калькулятор на нём написать невозможно.
Вместо языка программирования родили какое-то говно с пробелом, как с управляющим символом.
Все, холиворить на тему Пистона больше не буду
фотку свою можешь не прикладывать, ты на ней конечно жалок, но меня не разжалобишь
>с пробелом, как с управляющим символом.
Я дичайше охуел, когда понял, что в питоне пробел и таб это управляющие символы. После этого у меня родилось предположение, что на питоне кодят только максимум ретарды с айсикью хлебушка, но если это самый популярный в мире язык, то видимо это какая-то секта типа саентологов
таких вроде нет. я не видел.
Так что у тебя впереди изучения алгоритма быстрого преобразования фурье
У меня 11700 заметно проигрывает 2070s.
Но тут, может, от конкретных задач зависит.
> майнинг на проце быстрее
Так и должно быть, да.
>пытается байтоебить на скриптопараше
>почему медленно
Во-первых ты можешь прочитать массив один раз и потом сохранить его с np.save
Во-вторых можно использовать https://numpy.org/doc/stable/reference/generated/numpy.fromfile.html
>ретарды с айсикью хлебушка, но если это самый популярный в мире язык
>, но
Не вижу никакого "но", всё закономерно.
>поехавший имбецил считает руками смещения для своего маняформата
>ряя медленна
ну это пиздец клиника, ребят
Охуенно быстро. На шарпе чтение с NVME таким образом настолько быстро, что я даже не читал следующий батч во время обучения предыдущего батча. Но на шарпе. На Питоне такая сложная математическая операция как "поделить на 255" это реально запредельное что-то, я понимаю, вопросов нет
>Охуенно быстро. На шарпе чтение с NVME таким образом настолько быстро, что я даже не читал следующий батч во время обучения предыдущего батча. Но на шарпе. На Питоне такая сложная математическая операция как "поделить на 255" это реально запредельное что-то, я понимаю, вопросов нет
то есть по фактам тебе ответить нечего, я тебя услышал
Я не пью.
Зачем?
852x480, 1:14
Потому что и человек даже с навыками нихуя не может создать что-то подобное. Более того много искусства из сюра или метафизической живописи(пикрил Кирико) вообще ебут законы и правила классической живописи(посмотри на все углы в картине и заметь что все изометрии сломаны).
Искусство это не генерация картинок, а эфемерное восприятие помноженное на "хайп" и выдержку временем. Пока что нейронка может очень хреново сделать просто стоковое изображение, не факт что будет способна уловить в весах и формулах это мимолетную магическую(в эзотерическом смысле) искру.
А мог бы просто обоссать ЭС-шизика, как это тут принято.
Алхимические вещи все ещё восприимчивы к adversarial attack ?
Чел, ты не в теме. Бабушкин — первый попускатель нейрошизиков. Он одепт АБ-тестов и вообще топит за что то ЭМЭЛЬ это хайп для вкатышей.
Конечно, ведь у человека есть душа, дарованная Богом, да? А у машины нет, потому что ей Бог ничего не даровал.
Почему ты в это веришь? Потому что иначе тебе некомфортно.
Ты шизанутый блядь? Где я что-то писал про душу?
Машина не может просто взять и из жопы вытащить контекст. Как машина поймет суть картины с Исусом и в чем заключается ее вес для большого пласта населения? Как машина вытащит суть из тралльного черного квадрата? Как машина прочухает почему картины Пикассо становятся все более всратые с каждой новой, но ценятся все больше? Она как-то поймет что люди охуевают с того что он слепнет и рисует как может? Или тот же Ван Гог который ехал? Собственно почему Мона Лиза в Лувре за 50 см бронестеклом висит не знают даже человеки толком, срутся до сих пор.
Нет, долбоеб что-то про душу начинает затирать, охуел с тебя
Сделаю охуенную GAN модель для генерации 100% уникальных эро фоток с позирующими девушками. Типа playboy и met-art.
Будет готова завтра ближе к полуночи. Для цп уже сделал, но показывать не буду.
В распространении признался. Эй, Мойдодыр, включи телевизор погромче и принеси швабру пож0щще
Будешь драить полы шваброй. Под моим присмотром
https://universome.github.io/stylegan-v
Делать трейнинг на цп пока не буду, лучше пока запилю датасет с 300-400 тематических нарезок из обычных роликов с порнхаба, или может быть из хентай анимации.
Я делал с рудалле годные модели буквально по 30 пикчам. Качество и разнообразие было ок. Для styleganlike конечно потребуется больше, но и там возможна годнота даже по датасету из 200 образцов (я пробовал еще в позапрошлом году).
>>52799
Самое главное в дате - однородность контента. GAN может выдавать качественные фейки по сету из 100 объектов с одинаковым расположением, масштабом и поворотом, но обосрется на сете из 10000 образцов где всё рассыпано хуй пойми как. Я делаю так: в фотошопе делаю верхний слой с разметкой, и всё остальное кладу под эту разметку, масштабируя и поворачивая. Потом делаю экспорт слоев как отдельные пикчи, вот и всё.
480x288, 0:06
>Потому что и человек даже с навыками нихуя не может создать что-то подобное. Более того много искусства из сюра или метафизической живописи(пикрил Кирико) вообще ебут законы и правила классической живописи(посмотри на все углы в картине и заметь что все изометрии сломаны).
>Искусство это не генерация картинок, а эфемерное восприятие помноженное на "хайп" и выдержку временем. Пока что нейронка может очень хреново сделать просто стоковое изображение, не факт что будет способна уловить в весах и формулах это мимолетную магическую(в эзотерическом смысле) искру.
>Машина не может просто взять и из жопы вытащить контекст. Как машина поймет суть картины с Исусом и в чем заключается ее вес для большого пласта населения? Как машина вытащит суть из тралльного черного квадрата? Как машина прочухает почему картины Пикассо становятся все более всратые с каждой новой, но ценятся все больше? Она как-то поймет что люди охуевают с того что он слепнет и рисует как может? Или тот же Ван Гог который ехал? Собственно почему Мона Лиза в Лувре за 50 см бронестеклом висит не знают даже человеки толком, срутся до сих пор.
Гугли cuda ядра и как они делают тензорные вычисления
TLDR данные записываются в тензоры, а быстрее куды их ничто не считает. Почему именно тензоры я хз
Нейросеть - это множество вычислительных единиц, которые примитивны сами по себе Линейное уравнение с функцией активацией. Ядра гпу как раз могут что несложное считать, но зато их на пару порядков больше чем ядер в цп.
> Почему именно тензоры я хз
Так исторически сложилось. Гугл начал их использовать, это зафорсилось, ввели хардверную поддержку подсчёта тензоров
Потому что GPU позволяет паралеллить на большее количество ядер, чем может позволить самый мощный процессор
resnet-18, resnet-20, vgg-16, cifar-10, примерно те же "открытия", что и в one pixel adversarial attack 2017 года. Вот это качественный ресерч, я понимаю.
Срочно все отказываемся от нейросетей и переходим на акинатор для классификации изображений.
Кто "вы"? Ты один сидишь в комнате с мягкими стенами, у тебя голоса в голове
Да нихуя не прорыв, вот когда будут видео хотя б по 5 секунд, тогда прорыв.
- Ваш персонаж существует в реальности?
- Да
Персонаж в реальности:
Вот это да, вот это до чего дошли ученые, что компьютер может брать случайые фотографии и портить их будто люди одноглазые или одноногие.
на хуй ты тут сидишь, шизойд?
На всё у нас один ответ. Stack more layers
Обычно я допиливаю сгенерированные пикчи кистями в фотошопе, на планшете wacom.
Хочется пройти все на практике, без одного теоретического матана как в книге Гудфеллоу (Goodfellow) или курсах Andrew Ng, но и без индусов с
>смотрите это питон вооооооот
>а вот у нас проект заработал см мой код
>а тут код не будет работать после выхода книги
>спасибо за внимание
на хуй ты тут сидишь ты можешь внятно ответить?
Четвертый похож на мужика с гифки который лежит и рассуждает
Трясу и шатаю черный ящик, читаю и пишу пейперы, исследую данные (терабайты цп) и обрабатываю их, жамкаю попыт, делаю вызовы тензоров, стакаю слои, гоняю трейнинг ночью когда сплю, спустил тысячи долларов на amazon AWS, делаю adversarial attack, пилю файнтюнинги на претрейнедах, сталкиваюсь с коллапс модом но не сдаюсь и начинаю по новой. Затем чтобы снять стресс, одеваюсь в нейлоновые чулки и туфли с высокими каблуками, и долблю себя в пердло дилдаком "японский дракон".
Добавьте в шапку по-братски
Ты ебаный шизофреник с идеей фикс, который почему-то нашёл в посетителях треда твоих личных врагов. Акстись и свали из треда
>Напоминаешь математика когда ему говорят что он дармоед и бездельник.
Напомни, какая польза от ЭС-шизика?
Треугол, Абу, Володин, Скуф.
Инструмент искусственного интеллекта AlphaFold, разработанный лондонской компанией DeepMind, дочерней организацией Google, предсказал структуру почти всего человеческого протеома (полного набора белков, производимых организмом). Кроме того, программа воссоздала почти полные протеомы других организмов: от мышей и маиса (кукурузы) до малярийного паразита.
Как зовут вашего персонажа?
Так обитатели треда ему регулярно на пальцах и с пруфами показывают, что он натурально поехавший, для его психики это очень тяжело. Одна шапка треда чего стоит, список личных обид и история прогрессирования болезни одновременно.
Кстати, может в новом году запилим петицию в d/ и будем тут общаться без этого хуесоса?
Ничего себе он тебя проткнул. Скулишь, визжишь, маняпроецируешь свои обидки, всех обоссываешь, правда, не снимая штаны, а теперь вот доносы писать собираешься. Лол.
Скоро расшарят код чтобы тренировать модель для генерации видео. Будет заибись
>доносы
>маняпроецируешь
>проткнул
Лол. Я другой реакции от поехавшего и не ожидал. Ну ты хотя бы голос подал, тебя тут уже надрессировали. С новым годом, кстати, мразь/spoiler]
По факту, другие треды в pr/, хотя и содержат массу срачей и троллинга, являются тематическими, в них можно более-менее нормально вести разговор, как-то дискутировать, есть в наличии экспертиза анонов, есть аргументация и адекватные точки зрения.
В машоб треде - деградация. Пять-шесть тредов назад тут были истории вката/переката, обсуждались предметные вопросы, шли дискуссии о новинках, приложениях, можно было получить совет и т.д. Сейчас даже шапка превратилась в историю обоссываний опуща. Разумеется, эсопетух может этим гордиться - скатыванием треда в говно, но свой бан он давно уже заработал.
Лол, как же смешно, когда мл-экселеоператоры-гомосеки в каждом аноне, который смеется с них, который смеется с того, как они борщи хлебают и генерируют цп, и который смеется с "прорывов" в виде циклопов, детектят своего протыкателя и визжат про ЭС, хотя аноны даже не затрагивают это говно мамонта в своих постах. Этот >>53734 аж вообще целое эссе настрочил на тему "почему на дваче надо мной издеваются так низзя это серьезный сайт в бан их!" Вот я думаю, это такой троллинг, или любители попытов и экселя на самом деле такие шизики?
Чел, спок! Хочешь тематического общения — не надо было выбирать тематику тупорылого гринда архитектур и гиперапаметров.
И чем лучше кадры обрабатывать в 2022?
Почему не замутить общий чат в телеге или дискорде и банить от туда троллей и прочих?
Задача буквально решена. И для анимации, а не покадровой обработки
https://github.com/xinntao/Real-ESRGAN/
Вот это проекции.
Проекции или нет, но ты реально производишь впечатление совершенно конченного опуща.
Да, я пока на этой же штуке остановился, только на сберовской модели. Просто в статье ничего специфического про видео не говорится и непонятно, как решается проблема с мерцанием (если она возникнет вообще).
Ну и все же есть диффузионный sr3, вдруг там получше дела.
Пoтoму чтo пoхoду oн тoлькo пoкaдрaвo aпскeйлит, пoкaдрaвo oбучaeтся. В oтличиe oт тoпaзa. Тo eсть кaл
Пoсмoтрeл этoт видoс
https://www.youtube.com/watch?v=z7F5gvijyVI
Нa прaктикe этa Real-ESRGAN хуйня нeпримeнимa. Смoтрeть будeт нeвoзмoжнo. Чe зa пиздeц нa пикрил1))) Выглядит дaжe хужe риaлтaймoвых aпскeйлeрoв нa свeрткaх.
Нo щa eщё зaпущу нa кoшaчьeм супe в кoлaбe их кoд
Причём эти хуeсoсы кaк oдин зaпускaют нa нoвых тaйтлaх или тaйтлaх у кoтoрых исхoдники сoхрaнились и кoтoрыe нoрмaльнo oцифрoвaли. Зaчeм-тo. Хoтя цeлeвoe примeнeниe aпскeйлa в aнимe этo двд тaйтлы, кoтoрыe сущeствуeт тoлькo в 480-576p видe.
Нo тaк-тo зa этим тoчнo будущee. Тoлькo нaдo будeт гaны тюнить кoнкрeтнo для кaждoгo тaйтлa, нo зaтo мoжнo будeт рeaльнo вoсстaнoвить двд тaйтлы дo сoстoяния, кoгдa oни были нaрисoвaны и нoрмaльнo этo aпскeйльнуть дo 1080
Ты что хочешь, апскейлить кривое до боли говно в еще более кривое говно в 1080?
А сказать то что хотел, нейропетуш? То что в статье были показаны всего 5 моделей, вместо десятков говна, что успели нагриндить за пару лет? Сам факт того, что overinterpretation наблюдается даже на cifar-10, должен был твой персептрон(или что там у тебя вместо мозга) напрячь и призадуматься
блядь, просто закрой тред и не приходи сюда, ебаный ты шиз. Что и кому ты хочешь тут доказать?
Разделялся музыкальных треков на минусовку и вокал
кепстральный в смысле "спектральный"? Я думаю, там всё на нём и работает. Ну типа быстрым преобразованием фурье превращаем синусоиду в спектр и пошла-поехала
Далеко не вся работа датасатаниста сводится к gpt-3/свертОчкам/бустингу. Очень много где надо шарить за реальный мир (т.е. быть немного бизнес-аналитиком), чтобы не обосраться с дизайном МЛ решения. Недавний провал Zillow тому иллюстрация. Тема causal modeling все больше востребована в продуктовых компаниях
Так же, как и любая другая система компьютерной алгебры. Литерали технологии 60-х
> Очень много где надо шарить за реальный мир
Ну естественно нужно шарить в предметной области, по которой ты делаешь ml
Тут даже не предметная область как таковая важна, а понимание ограничений мл моделей. Что без оче сильных предположений они лишь являются рисованием кривулек через облако точек, и не способны дать ответ на вопрос "какие факторы сильнее всего влияют таргет".
ты знаешь как работает звук? Звук это разность потенциалов с определённым интервалом. Вот этот набор потенциалов надо разложить на первообразные (спектр) перед тем как обрабатывать.
Гугли: быстрое преобразование фурье
МЛ по большей части - подгонка линейной модели/множества линейных моделей под реальность. Но в реальности господствуют нелинейные процессы.
Деревья кстати не линейные модели, а автоматизированные экспертные системы.
Ну я в общем представляю. Вот только не понимаю, что будет, если попробовать на вход быстрого преобразования Фурье подать синусоиду.... Компа нет сейчас под рукой
> МЛ по большей части - подгонка линейной модели/множества линейных моделей под реальность.
Чухан, ты ничего не знаешь ни про мл, ни про смысл используемых в мл алгоритмов. Тебя уже просили, не позорься, нажми alt+f4.
Школу для начала окончи.
>одс
>адекватностью
Тамошние шизеки любой твой проеб будут неделями напоминать и обсуждать, как бабки на лавочке. Опять же, вилки зарплат в _jobs заставляют задуматься об адекватности вкатывающихся в дота саентизм вместо нормальной разработки.
Жёсткo тeбя тaм oбидeли видимo. А нaдo бeз нeгaтивa кo всeму oтнoситься
> Смoтрeть будeт нeвoзмoжнo. Чe зa пиздeц нa пикрил1)))
Просто когда мл школьникэнтузиаст итт, пересказывая журналистов, говорит что
> Задача буквально решена
это означает именно это: хуйня чего-то там иногда выдаёт на черрипиках, но в среднем получается говно. Нужно иметь ввиду
>пoкaдрaвo oбучaeтся
Он не обучается на видео.
>В oтличиe oт тoпaзa.
Топаз это лаборатория, а не алгоритм. Алгоритмы они не палят, так что поебать на них.
>Нa прaктикe этa Real-ESRGAN хуйня нeпримeнимa
Для видео если только. И то не для всех, "прибытие поезда на вокзал ла-сьота" становится смотрибельнее, даже несмотря на фликеринг и артефакты.
>Чe зa пиздeц нa пикрил
Использование не зафайнтюненной под аниме модели? Черрипикинг от автора видео? Огромное увеличение, чтобы увидеть детали-артефакты?
Сеть не создавалась для апскейла видео (тем более аниме), удивительно, почему она на нем фейлится.
>>54602
Выдуманное говно наблюдается на крошечном датасете с огромными неиспользуемыми сетками из 2014 года.
>>55002
>вилки зарплат в _jobs заставляют задуматься
Какая вилка зарплат в __нормальной разработке__? Под нормальной разработкой ты понимаешь два года крудошлепства за 50 тысяч?
> Сеть не создавалась для апскейла видео (тем более аниме)
Создавалась. У них отдельная моделька, так и называется, "аниме"
Автор видео буквально на второй минуте говорит "на текущий момент есть только одна моделька, а специальные модели для лиц/аниме авторы обещают выложить позже"
А, лол. Значит видео старое
Интересно, будет ли публичный релиз вот этого кода: https://github.com/microsoft/NUWA
мне кажется, если файнтюнить на него, будет ого-го.
Вон те попросили удалить с драйва ipynb файл с унылым ресурсоёмким шлаком:
https://www.reddit.com/r/MediaSynthesis/comments/rfzr93/nsfw_17_images_of_ddlc_monika_generated_with/hoj47wo/
Зачем изобретать говно для говна, если есть человеческие разработки и годные пейперы? Синтезировать видео длиной в минуту тоже с дискриминатором будешь?
>Под нормальной разработкой ты понимаешь два года крудошлепства за 50 тысяч?
Датаманьки выглядят конкурентоспособными только в сравнении с такой хуйней. Жду когда они начнут перемогать сравнением с зарплатами грузчиков и курьеров.
"два года крудошлепства за 50 тысяч" типичная ждуниорская вакансия в ods, кста. Мидлу 140k хорошая зарплата (поворачивай обратно!), сеньке 230 в офисе ДС норма жизни.
Пачаны, поясните вкатуну за кагл? Норм место для изучения дейта ссцоенц?
Нормальное место, чтобы задрочить основные методы и знать, когда что применять и на что можно на практике работы конкретного метода рассчитывать. Излишне дрочить на метрики в каждой задаче и пытаться в рейтинги - занятие прохладное, это скорее вид специальной олимпиады, нинужно в работе.
Полистай предыдущие треды, там что-то было про истории вката/переката, материалы накидывали, куча ссылок по теме.
Смотря что ты собираешься делать потом.
Вообще-то там нихуя нет обзора процесса, терминологии, карты, обучения как цепочки с увеличивающейся сложностью.
Ты просто будешь пытаться читать и нихуя не понимать передовые (не всегда) методы решений и пытаться понять зачем написан этот код.
>>55697
Это рофл? Ща бы за 4к евро дрочить математику несколько лет в мфти/вшэ/мгу, а потом еще сосать хуи в аспирантуре, потужно высирая никому не нужные статьи, публикации, участвуя в говноконференциях, чтобы в 28 лет наконец получить заветную должность миддл датаманьки за 4-5 тыщ евро, которая никогда не сможет позволить себе купить даже самую обоссаную халупу за 10-15 лет.
И при этом знать, что твой сосед местное заводобыдло получает столько же, только ему еще пособий за наличие детей доплачивают. А арабы и негры вообще не работают, за жилье не платят, хуй клали на местные порядки, образования тоже никакого нет, а уровень жизни такой же.
>4.5к евро на руки
>амстердам
В Москве SWE крудоманька с аналогичным опытом может получать столько же или больше, лол.
Кстати, это ведь цифры с учетом рулинга? Что будет, когда рулинг закончится? Там небось 3200 евро получится на руки. Вот это я понимаю, огромные зп в DS/ML.
Такой же, как у задрота, который после аспирантуры к 30 годам стал миддл DS/ML и уехал в швятую европу.
Прям вот практически один в один. Европа она такая. А всякие местные, которые вообще толком нигде не работали и не учились, а только баловались веществами, будут жить на порядки лучше, так как у них жилье свое есть + наследство. У многих с этого горит почему-то, мол как же так, я всю жизнь дрочил хуету в МФТИ, а какой-нибудь Ганс отучился местные 9 классов и закончил ПТУ, не умеет складывать дроби, и в итоге он живет лучше меня, лол.
Так свое жилье мало у кого есть, это факт, но у них есть бабушки и дедушки, пусть даже в местных мухосранях, но со своим жильем. Или родители предпенсионного возраста, которые либо заканчивают платить ипотеку, либо уже выплатили.
А задрота нет ничего. Ну, может какой-нибудь хрущ в российской мухосрани, перешедший по наследству от бабки к мамке. Один хуй по стоимости не сравнимо с европейским жильем.
>>56019 (Del)
В Испании толком-то нет нихуя из айти. Если уж и ехать, то в штаты, или на худой конец в швейцарию или бритаху. А иначе будешь попущен местными зп в 4к евро на руки, которые можно на местном заводе с образованием ПТУ получать, лол.
Эти 4к это на пожить. Пропитание, транспорт, развлечения и аренда апартаментов. Там ещё 2к евро в месяц стоками. Платят не регулярно, но всего за 2-3 года можно накопить на первый взнос и взять ипотеку под низкий процент лет на 20. С учётом роста цены акций ипотеку можно будет уже через несколько лет закрыть если захочешь. Но с учётом инфляции и будущего роста зп так лучше не делать.
>можно занять любой дом и жить
Положняк знать надо. Мбонге можно, Ваньке-анальнику нельзя - мигом депортируют с баном на въезд. Зато можно занять дом Ваньки-анальника, если он возьмет ипотеку.
>в 28 лет наконец получить заветную должность миддл датаманьки за 4-5 тыщ евро
Все равно не получишь. Для миддла нужен коммерческий опыт, которого сразу после аспирантуры не будет. Так что придется сначала поработать пару лет джуном что тоже хуй получиться, потому что overqualified, и только потом перекатываться на мидла. Ну или стирать пхд из резюме, придумывать опыт работы и устраиваться кодомакакой.
>>55695
>>55697
Блять, идиоты, а потом вы удивляетесь, почему с вас все смеются - у вас дегенераты бакалавра, магистра дрочат, потом на PhD шагают, многолетний попыт, и все это для того, чтобы работать за 90к в Берлине - то есть буквально верстальщемакака больше берет. Другие дебилы дрочат курсики, книжечки читают, маняматику поглощают, чтобы в банк пройти, дрочить эксели и получать 300к тех же крудоебов. А этот вообще будет хуй без соли доедать в Амстердаме за 60к, перед этим также, как предыдущие, навернув сотни слоев говна, пока Ванька просто взял и вкатился в жсочку.
Поэтому с вас все угорают - вы или экселеоператоры и профессиональные борщехлебы, или додики, которые на PhD пошли, зарабатывали попыт, лишь бы работать за джуновскую зарплату кодомакаки.
Свой пека
1024x1024, 0:19
Здесь так красиво, я перестаю дышать
>>2256339 (OP)
>>2256339 (OP)
>>2256339 (OP)
>>2256339 (OP)
>>2256339 (OP)
Но там же есть небольшая вводная
Спасибо тебе, обязательно пороюсь
Манек, у меня в отделе у половины только бак, остальные магу заканчивали уже работая миддами, у босса пхд у единственного
В какие исследования в этой сфере пуляют больше всего денег сейчас?
Вы видите копию треда, сохраненную 30 июля 2022 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.