Двач.hk не отвечает.
Вы видите копию треда, сохраненную 9 апреля 2021 года.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
НЕЙРОНОЧКИ И МАШОБ ТРЕД 29 /ai/ /ai/ 1817320 В конец треда | Веб
Очередной тред про хипстерские технологии, которые не работают.

Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее keras и pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Остальные сидят ИТТ

Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus

Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/

Почему python?
Исторически сложилось

Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет

Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python

В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials

Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.

Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел

Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой

Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся

Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/

Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском

Где ещё можно поговорить про анализ данных?
http://ods.ai/

Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. На март 2020 Google Colab дает бесплатно аналог GPU среднего ценового уровня (что-то между 1050 и 1080) на несколько часов с возможностью продления. Некоторым достается даже V100.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь
На сентябрь 2020 ждем 30хх серию в магазинах и падение цен на 20xx на авито, /hw/ в помощь

Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом

Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/

Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
3 1817376
А наш-то продолжает разматывать
https://www.youtube.com/watch?v=pGbyTtWRRmo
4 1817388
>>17376

> наш


Не наш, а ваш. Пиар параши тут не нужен.
5 1817402
>>17388
Да нормальный контент, обзор докладов всяко лучше этой А КАК УСТРОИТЬСЯ КО МНЕ НА РАБОТУ параши, которую он приносил раньше
6 1817417
>>17376
Это еще веселее, чем в прошлый раз. У половины докладов видео нет, остальные видео unlisted, для просмотра некоторых нужно бить челом отдельно. При этом контент уровня сельского митапа.
Главное Data Science событие года, я ебал.
7 1817424
Зумерская пидорашка продолжает вонять что не на блюдечке поднесли
8 1817425
>>17424
ОК, бумер
9 1817874
>>17320 (OP)
Фигасе четкая детекция на втором пике.
10 1817893
>>17388
Так вы тут пара токсошизиков, похуй на вас.
11 1817903
>>17893

>пара

12 1817907
Если марковкой цепи привить многоуровневую память, то будет ли прирост адекватности текстов? Имею в виду учитывать не только последнее слово, но и последние 2,3,4, и т.д слов.
13 1817919
>>17907
Да, будет, но (кто-бы мог подумать) только до какого-то момента.
2FSG2.png543 Кб, 760x380
14 1817928
Удивительно, но я всё ещё не забил.
1601279472930.jpg497 Кб, 1080x2340
15 1817962
Проиграв
image.png161 Кб, 794x394
16 1818060
17 1818189
Читал про разные типы моделей и не понял пару моментов:
1. Есть модели, которые относят объект к одному из двух классов. Есть модели, которые относят объект к одному из множества классов. Есть модели, в которых есть один класс и все остальное. Чем это отличается от модели с двумя классами? Возможно, я ответил на это во втором вопросе.
2. Если у модели 2+ классов, то она относит объект к тому классу, на который объект больше "похож". Если в модели есть один класс и "все остальное", то как определяется, отнести объект к этому одному классу или нет? По некоторому порогу чувствительности? То есть, если объект отдален от класса более чем на n, то он уже не относится к этому единственному классу? Если да, то как находится это n?
18 1818215
>>18189

>Чем это отличается от модели с двумя классами?


На практике у тебя как правило X позитивных примеров (картинка с котом) и X*100 негативных примеров (картинка без кота - с собакой, травкой, домом). Из-за этого алгоритм получает на входе перекос в распределении и без дополнительных усилий (например, присваивания примерам с котами большей значимости при обучении) работать будет плохо. В частности, он может выдавать "не кот" в 100% случаев и получить точность в 99% - котов-то в датасете в 100 раз меньше. Это практическая разница. Для знаний теории же не забивай голову.

>Если у модели 2+ классов, то она относит объект к тому классу, на который объект больше "похож".


Нет, модель выдает тебе вероятности каждого класса. Если у тебя 2 класса (не важно, второй класс это "не-кот" или что-то другое), она выдает тебе одно число - вероятность p (от 0 до 1) либо какое-то другое число, которое можно пересчитать в вероятность. Если 3 класса - то 3 числа, сумма которых будет равна 1. Допустим, она выдает тебе, что 50% на картинке кот, 50% собака и 0% - травка.

>Если да, то как находится это n?


В зависимости от ТЗ. Если ты преступников-террористов ловишь, то тебе выгоднее занизить порог обнаружения, и посадить отдел сержантов, которые будут уже вручную сверять кто на картинке - террорист, или ложное срабатывание. А если ты по фейсу определяешь покупателя в пятерочке, то лучше пусть никакого срабатывания, чем ложное. Если модель идеальна и обучена без перекосов, то ставишь порог 0.5.
19 1818244
>>18215
В твоем примере с котами и не-котами нужно сделать один класс "коты" и дальше настраивать порог срабатывания, насколько близко к котам? Или нужно сделать 2 класса: "коты" и "не-коты" и определять вероятность по каждому? Второй вариант не подходит, потому что у "не-котов" будет слишком много разных признаков, верно?
20 1818246
>>18215

>В частности, он может выдавать "не кот" в 100% случаев и получить точность в 99%


А надо брать F1 по котам и всё будет в порядке
21 1818254
>>18246

>F1


Это мера, которая считается как средняя гармоническая от точности и полноты модели, верно?
22 1818257
>>18244
Ты пойми, при supervised обучении классы в датасете определяет пользователь. Нейроночка учится на готовом датасете, она не задаёт классы. Как напишешь, так и будет. Другой вопрос, что эффективность обучения будет разной.
23 1818263
>>18257
Скорее всего, я буду использовать не нейронки (байес, логистическая регрессия, опорные вектора, случайный лес), потому что данные не очень сложные. Я читал, что в scikit-learn есть гиперпараметры, которые задают количество классов для модели. Отсюда были вопросы. Пока что разобрался, спасибо.
24 1818268
>>18263

>В твоем примере с котами и не-котами нужно сделать один класс "коты" и дальше настраивать порог срабатывания, насколько близко к котам?


Нужна вообще другая сущность - веса классов. Грубо говоря, ошибка в предсказании одного класса должна вызывать у модели во много раз больший шухер и апдейт весов. Для этого модифицируется целевая функция, как вариант - с помощью весов. Отношение весов настраивается так, чтобы максимизировать например >>18246 или какую-то еще важную тебе метрику.

>Или нужно сделать 2 класса: "коты" и "не-коты" и определять вероятность по каждому?


У тебя по определению если вероятность кота p, вероятность не-кота (1-p). Если у тебя вероятность кота p, вероятность не-кота q, и p+q не равно 1, значит это не вероятность, а какая-то хуета.
25 1818279
>>18268
Понятно, спасибо. Про веса классов в теории пока не встречал, почитаю.
26 1818307
>>17402
Тоха говорил не про его работу, а про работу ds вообще
https://www.youtube.com/watch?v=iBO9YDLYGj8
Для вкатышей это видео куда полезней всяких cv докладов
27 1818442
Здравствуйте многоуважаемые программисты, я новичок в этом деле, но получилось так что мне нужно углубляться в нейронные сети. И у меня возникла проблема с видом нейронной сети нужной для решения моей задачи. Работаю со шрифтами. Есть две нейронки, первая ищет у символа отличительные черты, такие как плавные изгибы, острые углы и подобное; вторая должна создавать символ по стилистике схожий с тем, который был на входе у первой нейронной сети. Не могу понять, какой вид должен быть у второй нейронной сети. Хелпанете?
28 1818446
>>18442
если что, то первая нейронная сеть нужна для того чтобы вторая понимала, что конкретно ей нужно генерировать.
29 1818455
>>18442
Я бы смотрел на style transfer, а не на две нейронки с непонятным функционалом.
А ешё есть подозрение, что ты никогда в жизни достаточно данных не соберешь.
30 1818456
>>18455

>А ешё есть подозрение, что ты никогда в жизни достаточно данных не соберешь.


Возможно ему что-то типа StyleGAN нужно
https://twitter.com/hardmaru/status/1095639937842638849
31 1818484
>>18456
Видел код Эрика, он просто генерирует новые шрифты как я понял, может ошибаюсь. Ну, я в общем ушел от его кода, может в этом я и ошибся.
32 1818486
>>18455
Начал сейчас гуглить и мне кажется из этого многое может выйти.
33 1818494
>>18484
Я не тебе отвечал, это был ответ на вопрос, как обойтись без прямого датасета - использовать GAN
34 1818496
>>18494
Извиняюсь. Я как раз таки и пришел к выводу, что это можно использовать для создания датасета.
35 1818515
>>18455
Я почитал. А это точно будет работать со шрифтами? Что-то меня сомнения огромные постигают.
36 1818522
>>18515

>дипленинх


>А это точно будет работать?


нет.
37 1818528
>>18522

>нет


Ну немношко будет же
38 1818530
>>18307
Бля, этого петуха невозможно смотреть, прекрати.
39 1818541
>>18522
А если без шуток... Я нашел некоторый сурс http://www.cvc.uab.es/~marcal/pdfs/ICDAR19.pdf
Вроде бы как неплохо получается, мне примерно тоже самое и нужно.
40 1818542
>>18530
Хохолка и андеркатов не хватает, зумеридзе?
41 1818546
>>18515
Не должно это работать со шрифтами
42 1818563
>>18546

>я не хочу чтобы это работало со шрифтами. ну мам

43 1818564
>>18563
Гринтекстер хуже пидораса
44 1818630
>>18546
Чекни сурс 2мя ответами выше, там у ребят вышло ведь, или я ошибаюсь?
45 1818845
>>18630
По картинкам херня вышла. Стайл транфер хорошо переносит текстуры, а шрифты сложно назвать текстурами.
46 1818930
>>18845
Мне в любом случае уже что то нужно делать. Поэтому скорее всего попробую правильно обучить нейронку по style transfer, мб что нибудь да выйдет
47 1819011
Нейронки нужны!
https://youtu.be/ArnwQdGHwOM?t=203
48 1819195
>>19011
Ща бы на телеги шликать
49 1819828
Что думаете насчет GP(Genetic Programming). Заставляем генетический алгоритм найти функцию, которая будет входе X выдавать Y. Думаю это оооочень полезно для декларативного и ленивого программирования. Говори машине что хочешь сделать, а не как это сделать.
К примеру:
inc(1) -> inc(2)
dec(2) -> dec(1)
Задача компилятора: найти определение функции inc и dec используя примитивные функции.
16014441565230.gif437 Кб, 350x409
50 1819840
>>19828
Сама идея правильная, проблема в том что требует неподьемных вычислительных мощностей даже в наше время. Более-менее будет работать на языках с 1.5 операциями, например с лямбда исчислением. Но генетическое программирование сейчас уже не в моде, есть т.н grammatic evolution, эта тема поинтереснее. Общая идея в том, что нужная грамматика задаётся в виде BNF (форма Бэкуса - Наура), ну и дальше подбирается нужное решение по заданной функции приспособленности. Можно генетическим алгоритмом, можно тупо перебором, там много вариантов. Но это не для зумеров вкатывальщиков тема, там мозги надо.
15957454245120.jpg91 Кб, 604x453
51 1819853
>>19828
Есть ещё property-based testing, например, quickcheck, но это больше для функционального программирования, хотя за 20 лет этот квикчек куда только не портировали с хачкиля, даже в пистон и coq. Там вообще без всяких генетических алгоритмов и прочего машобчика обошлись.
52 1819863
>>19840

> Сама идея правильная, проблема в том что требует неподьемных вычислительных мощностей даже в наше время.


Ну, смотря что решаем. Большая часть времени уйдёт на компиляцию (нахождение функций).
Но зато какие огромные возможности! Компилятор будет выдавать из всех верных функций для X -> Y самую эффективную. Это может очень сильно повысить производительность как программ, так и программистов.
53 1819866
>>19853

> property-based testing


Никак не связано с сабжем. GP про генерацию алгоритмов, а не про их проверку.
54 1819893
>>19866

> Никак не связано с сабжем. GP про генерацию алгоритмов, а не про их проверку.


Я бы не сказал, что никак не связано. В том же коке оно может генерировать пруф-обьекты для доказательства обитаемости заданного типа. Это вполне можно рассматривать как генерацию алгоритма, если само задание нужного типа это спецификация программы, т.е описание того, что программа должна получать на вход и что выдавать на выходе.
>>19863

> Но зато какие огромные возможности! Компилятор будет выдавать из всех верных функций для X -> Y самую эффективную


Ну так-то да, если на этих принципах вымутить оптимизирующий компилятор, знатная бы штука получилась. Но наверное давно бы уже сделали, если бы все так просто было. Ящитаю, все упирается в вычислительные требования.
55 1819901
>>19863

> Большая часть времени уйдёт на компиляцию (нахождение функций).


Опять же, вместо непосредственной компиляции можно использовать аксиоматическую семантику (VST в коке, почти полноценный С), что сократило бы время проверки процентов на 95+. Если к VST прикрутить grammatical evolution или хотя бы тот же quickchick, получилось бы интересно. Я как-то давно пробовал, но там нотация несовместимая, одно импортируешь - другое отваливается, лол, надо разбираться, возможно авторов трясти, а мне лень. В итоге просто забил.
56 1819949
>>19901

> использовать аксиоматическую семантику


В GP под копиляцией я подразумевал нахождение алгоритма нужного алгоритма. По крайней мере, в GP процесс нахождерия алгоритма бвдет происходть в компил-тайм, а запуск итоговой функции, соответсвенно, в рантайм.
face-recognition-1-e1542354753825.jpeg75 Кб, 900x507
sage 57 1819951
>>17320 (OP)
Сап двач. Реквестирую соус распознавания лиц. С меня как обычно
58 1819986
>>19828
Пролог-то..
59 1819990
>>19951
Что тебе нужно-то? Сурс пикчи, такая же разметка типа хакир цифравойй, любая подходящая модель-распознавалка?
60 1819993
>>19828

> Что думаете насчет GP(Genetic Programming).


Подобный подход хорош, когда у тебя пространство решений более-менее гладкое. Например, если у тебя нейронка, то добавив-удалив слой, перформанс сильно не упадет. Или когда ты проектируешь какую-нибудь амебу.
Но в случае классических алгоритмов такого свойства нет, и вся эта хуйня будет работать не сильно лучше простого перебора. Любые ухищрения уменьшат константу, но не экспоненту.
61 1819999
>>19986
Прологом другие дела обстоят. Он ахуенен, но автоматический вывод там не полон. Программист всё должен формализовать. А если задача плохо формализуется?
62 1820001
>>19993
Этот подход(GP) можно использовать для прикладного программирования, чтобы снизить когнитивную нагрузку на программиста? Насколько это будет оправдано?
63 1820004
>>20001

> программиста


Мне пора спать...
64 1820021
>>19951
Нет, соси. С просьбой помощи по цифровому ГУЛАГу сразу нахуй.
65 1820022
>>19990
Да мне нужно more! Просто хочу несколько разных. Не понял что тут написано: хакир цифравойй. Интересуюсь вопросом. Хочу разобраться как работает с математической точки зрения.
66 1820025
>>20021
Сосешь ты либераха и будешь сосать всю жизнь. Иди в po и реви очком там. Меня интересуют алгоритмы а не гулаг, гулаг можно и без этого устроить как товарищ Сталин заделал.
67 1820053
>>20025

>Меня интересуют алгоритмы


Попробуй кминс или кнн.
68 1820070
Все эти генетические алгоритмы, RL и прочие попытки наебать систему страдают от одной и той же проблемы: придумать фиттинг функцию/реворд такие чтоб няронкам сложно было их хакнуть не интересным нам способом не легче чем решить саму задачу, а вернее это почти эквивалентные вещи.
69 1820072
>>20070

> фитнесс

70 1820078
>>20001
Не, нельзя. В 2020 году оправдано смотреть в сторону трансформеров, которым будет скормлен гитхаб, а оно будет предлагать автодополнение. Так как гитхаб принадлежит микрософту, думаю они что-то подобное выкатят в ближайшие лет 5
71 1820085
https://new.geekbrains.ru/machine-learning
Ну чё, парни, вот ради чего вы учили machine learning. Ради зарплаты в 100 тысяч
72 1820088
>>20085
Кто сказал что парень будет устраиваться на работу?
73 1820089
>>17320 (OP)

> хипстерские


Фу, блять, уносите это говно нахуй.

мимо-не-прогрессивный-быдло-программист-без-гироскутера
74 1820090
>>20089
Откуда понты?
image.png17 Кб, 130x122
75 1820091
>>20089
Бумер порвался
76 1820094
>>20090
Какие? Чо?

Лол, я вообще не из ML и ничего против него не имею, я просто хипстеров недолюбливаю и меня триггернуло это слово.

И вообще...

Нах ты мне отвечаешь? Я ЖЕ ПРОСТО ТОЛСТЫЙ МИМОКРОКОДЯЩИЙ, ЛОЛ
77 1820095
>>20091
Зачем для распознавания лиц фильтруют цвет? Разве яркость не читается без этого?
78 1820096
>>20091
Ну да, лол хотя с зумерами -шами бы затусил
79 1820099
>>20085

> Ради зарплаты в 100 тысяч


Как я понял, они намекают что это стартовая зарплата. Веб-макака в ДС стартует с ~60к, так что вполне нормально.
80 1820100
>>20094
Я бот на задании мне хозяин поручил изучить что такое машинное обучение и научиться ему
81 1820101
>>20095
Ебашь данные как есть, нейронка без тебя разберется, что ей нужно
82 1820104
>>20101
Я не спрашивал как она работает. Отвечаешь наобум. Не надо флудить
83 1820108
>>20104
Ответ на вопрос "Зачем для распознавания лиц фильтруют цвет?" - для распознавания лиц ничего не фильтруют, ебашут данные как есть.
85 1820113
>>20100
Найс.
86 1820115
>>20113
Какой еще найс ептаю ты не видишь тут противоречия мясной мешок.
87 1820174
>>20112
Ну там подход из нулевых описан. Никакой фильтрации там нет, просто цветное изображение превращают в ч/б, чтобы уменьшить в 3 раза число чисел, с которыми имеешь дело.
88 1820237
Уважаемые аноны, кто нибудь использовал МО для трейдинга? Форекс хуёрекс, все дела. Если кто-то что-то сможет подсказать, буду благодарен.
89 1820243
>>20070
Нет, у них другая проблема. Фит функцию сделать несложно, если ты понимаешь что хочешь получить.
>>19993

> Подобный подход хорош, когда у тебя пространство решений более-менее гладкое. Например, если у тебя нейронка, то добавив-удалив слой, перформанс сильно не упадет. Или когда ты проектируешь какую-нибудь амебу.


В теореме схем Холланда нет такого требования. Конечно же, и козе понятно, что на более хитровыебанном пространстве решений алгоритм будет сходиться дольше. Но простой брутфорс ни в каком случае не может превосходить генетические алгоритмы, потому что последние это направленный поиск решения.

> Но в случае классических алгоритмов такого свойства нет, и вся эта хуйня будет работать не сильно лучше простого перебора.


Нет, оно работает сильно лучше простого перебора. Достаточно запустить любой пример грамматической эволюции с подбором решения методом простого перебора и такой же с генетическим алгоритмом. Скорость схождения отличается буквально в разы.
90 1820349
>>19828
Ну там в хоть чуть-чуть сложной задаче вылезут двойные экспоненты, тройные экспоненты, функции аккермана, и ты вообще ничего не сделаешь.
Да ещё и генетические алгоритмы никакой теории под собой не имеют, просто эвристика.
91 1820352
Котаны, какие по вашему мнению лучшие лекции по NLP ? В обычный "табличный" датасаенс вроде вник, сижу решаю задачи на кегле. Хотелось ещё пройти курс по nlp, и вот не знаю какой курс лучший на русском. Дисскас.
Давайте ещё померимся письками по решению Титаника. У кого сколько? У меня-долбоеба 0,77 пока. Это с третьего раза.
92 1820353
>>20070
Ну вот в атари взяли за реворд стандартный score с экрана - в итоге "неинтересно" хакнулась только одна игра из 50.
Всякие соревнования с нипса тоже что-то особо не хакаются.
16008753351341.jpg115 Кб, 592x532
93 1820356
>>20349

> Да ещё и генетические алгоритмы никакой теории под собой не имеют, просто эвристика.


Потому что какой-то зумер такскозал? Я же чуть выше упомянул теорему схем Холланда.
94 1820357
>>20352

>на русском


ты что тут забыл? вроде у computer science center на русском есть, но там как-то многовато классической обработки языков (регулярки, минхэш)
учи ангельский чтобы не быть батхертом
https://github.com/yandexdataschool/nlp_course/tree/2019
http://web.stanford.edu/class/cs224n/
95 1820360
>>20357
Ну я начал у них смотреть, и засомневался такой чего-то. Показалось, что как-то много воды. Мне у них нравятся лекции Абакумова, но их по NLP нет. Ангельский учить, конечно хороший совет, и на каком-то уровне я в него могу, но не на таком, чтобы на слух спокойно воспринимать сложные лекции.
96 1820361
>>20356
Да ты же зумерошизик, имитация человека, своё нерабочее говно увози подальше.
97 1820362
>>20361

> нерабочее


Рабочее. Я приносил ссылку на статью про то что генетические алгоритмы превзошли диплернинх-рл на обучении атари играм.
>>20353
Это проблема представления задачи в виде подходящего датасета.
98 1820367
>>20362
Ну вообще, диплернинх никуда не делся там, ведь этим ГА обучали нейронки.

>превзошли


Не превзошли, там всего на нескольких играх лучше результат. Да и количество необходимых фреймов в 10 раз больше чем у dqn.
Почему-то регулярно всякие случайные поиски и ГА оказываются "a Competitive Alternative", но потом я захожу в соревнования (minerl, obstacle tower, flatland, learn to move) и не вижу там их. Почему так?
99 1820398
>>20078
я видел видео которое начиналось так же.
но программы пока нет
100 1820454
>>20367

>Почему так?


Ну так а как ты будешь видеокарты и сервисы гоям толкать без няронок. Не, няронки - единственный верный путь, твёрдо и чётко.
101 1820456
>>20454
Я про соревнования спросил, где может участвовать (и победить) любой шиз вроде тебя. Но почему-то побеждают няронки.
102 1820458
>>20456
Никто и не пробует, ведь мозги промываются каждодневно информационным шумом
103 1820464
сап гайс. Хочу немного вкатиться для своих небольших нужд. Начать хочу с классификации своих объектов. В сети 5000 видосов, где чуваки в юпитере разбирают набор Феминист - пользы от них пока что то не ощутил.
Суть вопроса: к примеру у меня есть по 1000 нарисованных от руки треугольников, квадратов, кругов и т.п. и я хочу научить сеть классифицировать их. Формы потом будут намного сложнее, но мне надо сначала вкурить систему на простых вариантах, а потом уже буду ебаться со своими хотелками.
Не могу найти нормальный курс. Матфак есть (но хуеват), английский как родной, питон умею/практикую. Ткните лицом, пожалуйста.
104 1820472
>>20464
Статистический анализ тебе в руки. Берешь две картинки, один шаблон из датасета, вторая та, что нужно проверить; сравниваешь пиксели двух картинок; потом считаешь по формуле Q = P/(P + N), где Q - итоговая вероятность, P - совпавшие пиксели, N - несовпавшие пиксели. На простых геометрических фигурах работает безотказно. К тому же он невероятно прост и быстр.
105 1820487
>>20458
Так дерзай.
106 1820514
>>20487
Так это зумеры пусть себе в резюме всякие игрульки набивают, мне-то зачем?
107 1820560
Недавно решил взяться за нейронки серьёзно и соснул. Раньше только по туториала классификаторы писал, а теперь надо написать определятор текста на рекуррентных нейросетях. Примеры я уже нашёл, но ничего не понял. Нейросеть на питорче накинул, она даже обучается, но выдаёт хуиту. Поэтому я решил пройти всё от начала до конца с визуализацией слоёв и сравнения для разных параметров.
Выпал я на самой простой нейросети. Я захотел обучить её вести себя как элемент XOR.
Вот код: https://pastebin.com/UgMqGyP8
Я там сделал 4 слоя pytorch Linear (хоть и понимаю, что достаточно двух), но чего-то ничего не получается. loss минимальный выходит 0.25, с одним другим критерионом 0.5.
Как мне это решить? Я понимаю, что логические элементы это не для нейросетей, но мне надо понять. Я думал, может тут связано с тем, что веса должны быть отрицательными, вот я и взял tanh вместо relu, но это всё-равно не помагает. В каждом случае результат около 0.5.
108 1820598
>>20560
У тебя задача классификации, а ты решаешь регрессию.
Поменяй последнюю строчку forward'а на x = torch.sigmoid(self.l3(x)), criterion на nn.BCELoss() и увеличь количество эпох в 10 раз. И будет нормально сходиться.

Ну и желательно делать это не на 4 точках
import matplotlib.pyplot as plt
X = torch.randn(size=(64, 2))
y = (X.prod(dim=1) > 0) * 1.0
plt.scatter(X[:, 0], X[:, 1], c=y);
109 1820606
>>20243

>Но простой брутфорс ни в каком случае не может превосходить генетические алгоритмы, потому что последние это направленный поиск решения.


Может. Возьми такое пространство решений, где вокруг глобального минимума есть большой и толстый барьер. Тогда перебор рано или поздно переберет и такое решение, а ГА будет тусоваться там, где в среднем получше. Компьютерные алгоритмы в целом обладают таким свойством. Грубо говоря есть две программы:

print("fizzbuzz")
print("1")
print("2")
print("buzz")
...
и
for fizzbuzz in range(100):
if fizzbuzz % 3 == 0 and fizzbuzz % 5 == 0:
print("fizzbuzz")
elif fizzbuzz % 3 == 0:
print("fizz")
elif fizzbuzz % 5 == 0:
print("buzz")
print(fizzbuzz)

Вокруг первой программы огромное количество программ, вывод которых приблизительно похож на правильный ответ. Например
print("fozzbozz")
Вокруг второй таких программ гораздо меньше, зато такую программу очень легко поломать ошибкой в одном символе.

>Скорость схождения отличается буквально в разы.


Так я и написал, "Любые ухищрения уменьшат константу, но не экспоненту". ГА-то в принципе лучше перебора, но в целом шо то хуйня, шо это хуйня.
110 1820626
>>20606

> Вокруг второй таких программ гораздо меньше, зато такую программу очень легко поломать ошибкой в одном символе.


Поэтому пистон именно как язык для генетического программирования и не подходит. Даже сам создатель GP кроме лиспа с тряской (((скобочек))) других ЯП для GP не использовал. А теперь представь, что физбазз написали лямбдами, само использованное лямбда-исчисление записали в BNF, а фитнесс функцию задали в виде разницы (расстояние левенштейна там или что-то подобное) между выводами физзбаза и сгенерированных решений при одних входах. Вуаля, и мы уже имеем хуеву тучу программ, работающих ровно так же как физзбаз. Дело в том, чтобы представить задачу правильно, я же говорю.
15702057103401.png2,7 Мб, 1200x1200
111 1820647
Есть ли в МЛ аналоги аутсорсных галер?
112 1820687
Двач, начал изучать pandas для небольших операций с данными по работе и построения простейших графиков.
Прилетела задача построить несколько статистик на данных формата:
Колонка в датафрейме пандуса содержит данные формата:
[11, 23, 45, 33] от одного до множества элементов
Как обработать эту колонку и уметь вытягивать из нее количество элементов/отдельные элементы.
113 1820701
>>20687
Колонка может иметь тип object, и туда можно складывать все что угодно. Конкретно для списков вроде есть даже поддержка какая-то, например взять их длины. Если чего нет, то циклом или мапом обрабатывай. Смотри доки.
114 1820740
>>20598

>nn.BCELoss


Спасибо, то что нужно.
Изначально я оставлял там CrossEntropy, но затупил, когда у меня потребовали классы ввести (а у меня-то 0 и 1), а BCE это получается тот же CrossEntropy, но с уже готовыми 0 и 1.
Я там ещё в SGD lr подкрутил в 100 раз, как раз быстро обучить.
115 1820742
>>20701
А можешь подсказать какие конкретно доки курить?
Я могу object перевести в array ?
116 1820751
>>20237
Бамп
117 1820757
>>20070

> придумать фиттинг функцию/реворд


Так для GP/EP она фиксированна. У нас есть набор входов и выходов X -> Y; среди всех индивидов-лямбд выбераем всех кто при аппликации с аргументами X выдает терм, который максимально схож с Y.
118 1820771
>>20742
Нет. Противоречит философии.
Можешь сделать melt.
Да не так уж pandas и удобен вне машоба. Как видишь наблюдения содержащие объекты никого не интересуют
119 1820889
>>20771
pandas бесценен уже тем, как быстро он загружает таблички.
120 1820892
Чатбота то хотя бы осилили? Или научились распозновать гидранты? с привлечением миллиона макак, которые разгадывают капчу
121 1820914
>>20647
Есть мл-бутики которые занимаются типа консалтингом для других фирм, но там-то работа как раз поинтереснее мне кажется чем на одном проекте сидеть и пилить одно и то же говно.
122 1820916
>>20687
Вызывай apply по столбцу и в качестве функции передавай свои статистики
123 1820933
>>20892

>Чатбота то хотя бы осилили?


Нинужно, можно котикам прилеплять смешные носики!
124 1820961
Там это, очередная победа нейроночек. Сойбои с индусней проебали больше 2млрд $.

> Uber впустую потратил $2,5 млрд на беспилотные автомобили



> Попытки Uber создать беспилотный автомобиль обошлись компании почти в $2,5 миллиарда долларов, но до сих пор она даже близко не приблизилась к цели, говорится в отчёте The Information.



> Несмотря на то, что команда впервые начала свои исследования в 2015 году, беспилотный автомобиль Uber до сих пор «не ездит нормально» и «не справляется с простыми процедурами и простыми манёврами», — это говорил менеджер подразделения генеральному директору Даре Хосровшахи, сказано в отчёте. Он добавил, что становится всё меньше надежд на то, что компания Uber вообще способна сделать систему беспилотного вождения.


https://pcnews.ru/blogs/uber_vpustuu_potratil_25_mlrd_na_bespilotnye_avtomobili-1020219.html
125 1820966
>>20961
Но ведь это разрабы долбоёбы, нейроночки тут ни при чем.
15956276952160.png34 Кб, 456x740
126 1820976
>>20966
Нейроночки при том, что они не подходят для этой задачи. Хотя бы потому что для них нет строгих доказательств сходимости. Это же эта контора, "унтер", своей самоходной шайтан-арбой пешехода по переходу размазала? Дегенеративность разработчиков с петушиными андеркатами и смузи наперевес тоже, конечно, фактор. Но не основной.
127 1820988
>>20961

>сообщает анонимный хер из интернета

15964515855130.png58 Кб, 236x270
128 1820995
>>20988
Врети? Напомню, Хитачи смогли в 1987 году запустить беспилотный поезд метро на нечётких контроллерах. А сойбои с петушиными бородами из барбишопа 33 года спустя смогли только насрать себе в штаны, промандеть 25000000$ и угандошить пешехода. Прогресс налицо.
129 1820997
>>20995
Ну так поезд на втором курсе в виде курсача студентом автоматизируется, а с автомобилями японцы 80-х закономерно соснули.
16015598020110.webm8,6 Мб, webm,
400x224, 4:09
130 1821021
Оправдывайтесь.
1591206084940.jpg46 Кб, 750x759
131 1821040
Анон, вкатываться не собираюсь, так как без меня много желающих.
Есть несколько вопросов чисто по результатам:

1. Что впечатляющее сделало ML за последние 10 лет?
2. Что полезное сделало ML за последние 10 лет?
3. Что впечатляющее может сделать ML за следующие 10 лет?
4. Что полезное может сделать ML за следующие 10 лет?

3 и 4 вопрос, по мнению анона. Предсказателей тут нет, конечно, но тот кто владеет инфой о текущих развитиях ML - может примерно спрогнозировать.

Хочу просто оценить положение индустрии. Благодарю за ответы!
132 1821060
>>21040

> Что впечатляющее сделало ML за последние 10 лет


Прошли тест Тьюринга (GPT-3)
Научились отличать кошек от собак
Научили автомобили ездить самим
Научили генерировать лица людей
Огромный прогресс в экономической сфере. Научились прогнозировать спрос на товар.
Alpha GO обыграл лучшего гошника.
Научили расскрашивать мангу
Научились генерировать фотореалистичные изображения по скетчам
Научились преобразовавыть голоса людей
... и многое другое.

> Что полезное сделало ML за последние 10 лет?


Список выше.

> Что впечатляющее может сделать ML за следующие 10 лет?


Сгенировать аниме по текстовому описанию.

> Что полезное может сделать ML за следующие 10 лет?


Полная автоматизация любого производственного процесса, с последующим экономическим прогнозированием. Глубокий анализ желаний людей, и оптимизация их жизни.
133 1821072
>>21060

>Прошли тест Тьюринга (GPT-3)


проиграл, дальше не буду читать даже
134 1821130
>>21072

> проиграл, дальше не буду читать даже


Прошли-прошли. Статейки реально не отличимы от написанных человеком.
135 1821132
>>21130
Один хуй тест Тьюринга не показатель разумности.
136 1821133
>>21132
Будто твои кукареканья тут - показатель разумности.
137 1821135
>>21060
Благодарю за ответ!

Более подробный вопрос, если можно.
Я смотрю по ML канал "Two Minute Papers".

Меня привлекло вот это видео:
(фотографии преобразовываются в 3d модель)
https://www.youtube.com/watch?v=T29O-MhYALw

Вопрос специалистам: вскоре действительно возможно будет записать видео и алгоритм сам создаст 3d сцену по этому видео? Или такое преобразование всё ещё потребует много ресурсов (как deepFake, по несколько часов или даже дней)?
138 1821137
>>21132
Нудк никто и не спорит. Хотя по словам самой GPT-3 мышление - не единственная форма разумности:

> Человеческие философы часто ошибаются, полагая, что всякое разумное поведение есть форма рассуждения. Эту ошибку допустить легко, поскольку рассуждение действительно лежит в основе большинства разумных поступков. Однако разумное поведение может возникать и с помощью других механизмов. Таких как обучение и воплощение системы в реальном мире (т.е. нахождение в окружающей среде с помощью сенсоров и эффекторов).

139 1821143
>>21135

> Вопрос специалистам: вскоре действительно возможно будет записать видео и алгоритм сам создаст 3d сцену по этому видео?


Видео - просто чередующиеся картинки. Можно понижать FPS видео, для производительности, а потом уже на модельках анимацию интерполировать. Но это ахереть сколько ресурсов нужно.
Сам взгляни на современный 3D-рендеринг, он и без нейронок жрет процессор, ОЗУ, и человековремя, аки чорт ебанный.
140 1821158
>>21130
Но только это не тест тьюринга, в нем нужно диалог вести.
76785.png8 Кб, 335x122
141 1821213
Выхожу на связь снова.
Как сделать рекуррентную нейросеть, чтобы она распознавала буквы из рукописного текста (почти произвольной длины, ну вы поняли). Я уже нашёл разные статьи, например: https://towardsdatascience.com/build-a-handwritten-text-recognition-system-using-tensorflow-2326a3487cd5 и https://codingvision.net/pytorch-crnn-seq2seq-digits-recognition-ctc, я понял как они работают, но на практике у меня ничего не получается. Даже попытался скопировать код со второго, но я не смог сделать так, чтобы оно дало мне результат, а не просто обучалось.

Можете навскидку глянуть код и указать, в чём могут быть проблемы?:
https://pastebin.com/tpAXGZUg — тут у меня происходит обучение, но когда я пытаюсь получить результат (в виде цифры-бланки 0043---54--233--- и подобное), он не соответствует картинке. Этот код я сделал из кода для второй статьи выше.
https://pastebin.com/aUzt47Kx — тут тоже идёт обучение, но когда я собираюсь предсказать, выдаёт 0000000000000000000000000000000.

Я даже не понимаю, зачем надо делать reset_hidden, то есть сбрасывать hidden-слой GRU.

Или почему в первом коде автор сделал кучу permuteов...

И может ли быть проблема в датасете? Я просто нагенерировал кучу картинок из пяти цифр как пикрилейтед, с разным поворотом и небольшим шумом.
142 1821231
>>21158

> в нем нужно диалог вести.


Та статья была ответом на споры и обсуждения философов и ученых на тему GPT.
143 1821232
>>20976
Только вот нейроночки в самодвижущихся повозках это вообще дело десятое, они даже в определении контекста не на первом месте, а большую часть занимают классические алгоритмы и классический мл с твоими любимыми каминсами и кннами. Впрочем, знай ты это, ты бы не был безграмотным безработным кукарекающим шизом, так что что это я, продолжай самообоссываться.
144 1821238
>>21231
Ты понимаешь, что такое диалог? Пока ты тест тьюринга не проходишь.
145 1821261
>>21060

>Научились прогнозировать спрос на товар.


В логос с этого фантазера
146 1821277
>>21261
Что не так? Этим и кобанчики постоянно занимаются, думаешь они умнее оптимизационных алгоритмов?
147 1821366
>>21060

> тест Тьюринга


Это когда в жопу ебут и нужно определить негр это или нет?
Тьюринг распиаренный пидор
148 1821382
>>21366

>Тьюринг распиаренный пидор


чёрч, спок!
149 1821425
Откуда пошла мода хейтить DL/RL? Насколько нужно отрицать реальность чтобы не видеть успехи этих дисциплин?
Хотя может мне кажется, и этим делом промышляет полтора шизика.
02092.png24 Кб, 351x174
150 1821482
Офигеть, рекуррентные нейросети работают! Я смог распознатать пикрилейтед, например. Все цифры видны!
Выходит на связь >>21213-анон
Проблема обучения была в том, что я данные неправильно перемешал. Взял пример из первого кода и скопировал перемешку туда. Ещё nn.InstanceNorm2d добавил и скорость увеличилась. Теперь всё обучается и работает! Хотя, возможно, и раньше работало...
Проблема с проверкой оказалась ещё глупее, я проверял максимум и минимум не элементов, а векторов(тензоров) (что?). Чё-то нули после минимальных и максимальных индексов меня не смутили.

Я поражён результатом. Получается, таким же образом можно и голос на слова раскладывать.
151 1821504
>>21482

>Получается, таким же образом можно и голос на слова раскладывать.


Это можно легко сделать и без нейросетей.
152 1821512
>>21482

>пикрилейтед


Распознается обходом контуров, добавь шумы и сосни
153 1821602
>>21504
С каким WER?
154 1821722
>>20237
Тактический бамп вопросу.
155 1821733
>>21504

>и без нейросетей


Эээ слыш ты чё а как же я синиор анус нейросаентист девелопер
156 1821734
>>21040

>Анон, вкатываться не собираюсь, так как без меня много желающих.


Желающих, и при этом способных, меньше, чем нужно.

>1. Что впечатляющее сделало ML за последние 10 лет?


Впечатляющее для кого? Впечталяющих внутряков много, потому что по сути ML из довольно маргинальной хуйни превратился в локомотив IT, как раньше был интернет.
Впечатлить же мимокрокодила тяжело, потому что у AI есть такая фишка, что его никогда нет. Человечеству потребовалось много времени, чтобы признать, что у негров есть душа, что говорить о компьютерах. Вау эффект спадает за неделю и дальше как будто всегда с этим жили. Style transfer тот же или очередной генерящий пейзажи GAN, кого этим впечатлишь в 2020.

>2. Что полезное сделало ML за последние 10 лет?


То, что юзается теперь повсеместно - нормальный машинный перевод, распознавание речи, цифровой гулаг, рекомендательные системы в магазинах и соцсетях, автоматизация творческой работы.

>3. Что впечатляющее может сделать ML за следующие 10 лет?


>4. Что полезное может сделать ML за следующие 10 лет?


Через 5 лет довольно легко предсказать, потому что индустрия отстает от ресерча лет на 5. Через 5 лет революция в процессинге языка придет в каждый дом, школьникам работы будет писать ИИ, возможно появятся наушники, переводящие на лету, в фотошопе большую часть работы будут делать нейросети.
Через 10 уже тяжелее, потому что нужно знать, где будет ресерч через 5 лет.

В ресерче же все упирается в железо, каким будет железо, таким будет и ML.
157 1821735
>>21734

>каким будет железо, таким будет и ML.


А не будет этого вашего ML!
да здравствует предел Мура!
158 1821741
>>21735
Наоборот, это ответ на этот предел.
Если у конвенциональных вычислений все грустно (но не безнадежно - грустно это в пассажирской авиации какой-нибудь, где проще испортить, чем улучшить), потому что уменьшать транзисторы дальше дорого, а если их не уменьшать, то сколь ни удешевляй себестоимость одного транзистора (например, с помощью 3D-упаковки), они все равно будут жрать электроэнергию на переключение и греться, то нейронки это мечта хардващика, 8-16бит - заебись, шумы и случаные ошибки в битах - похуй, отваливающиеся браком на производстве вычислительные блоки - похуй, их тысячи, с помощью техник спарсификации можно снизить тепловыделение, короче, целое поле для экспериментов и улучшений.

Проблема только в том, что чем больше железо специализируется на задачах ИИ, тем меньше способов впарить такое железо геймерам. Поэтому относительно другого железа оно будет дорожать. Это уже постепенно происходит - геймерские карты продаются урезанными по памяти, дальше будет хуже. Так что вкатываться лучше сейчас, а не потом.
159 1821745
>>21741

>мечта хардващика


ага, мечта без строгих доказательств сходимости
сидим пердим день, месяц, год - ой ну не шмогла я((
Indian cyberpunk.jpg843 Кб, 1814x2076
160 1821748
>>21734
Благодарю, Анон!

Попробую сформулировать свой вопрос по-другому, так как он звучал слишком абстрактно. Я сейчас напишу случаи применения ML, о которых я знаю:

1. Есть перечень состояний, надо определить в каком из этих состоянии находятся входные данные (разпознавание букв, опредение болезней в результатах обследований, "кошка или собака").
2. Есть входные данные А (стиль), есть входные данные Б. На основании характерных признаков данных А модифицируются такие же признаки данных Б (faceApp, всякие стилизации изображений, deepFake, машинный перевод, боты в играх).

Вопрос: Есть ли сейчас, и ожидаются ли в будущем (на основании нынешних достижений в ML) какие-то новые случаи применения ML, которые не входят в эти два нижеупомянутые?
161 1821756
>>21734

>Рекомендательные системы в магазинах


Никогда не видел ничего лучше чем "ты гуглил принтер - тебе в рекламе показывают принтеры"
162 1821760
>>21745
Стоило не наркомить тебя хуйцами в одном посте - и ты уже разбушевался.
163 1821774
>>21756

> "ты гуглил принтер - тебе в рекламе показывают принтеры"


Мне сейчас домики для муравьев подсовывают, никогда их не гуглил, да и на муравьев мне как то пофиг.
164 1821776
>>21774
Это ты так говоришь. А самому-то реклама в душу запала, иначе бы ты не вспомнил о ней. А ты вспомнил и даже отписал - это значит, ты постоянно думаешь о домиках для муравьев. Почти наверняка купишь в результате.
1601486078199386752.jpg90 Кб, 570x694
165 1821778
>>21776

> А самому-то реклама в душу запала


Естественно, когда тебе не релевантные вещи впаривают.
166 1821799
>>21778

>не релевантные вещи


>пик


Ага, канешн :3
167 1821801
>>21799
Что же он будет делать с муравьями...
168 1821822
>>21801
То же, что и с хомячком
16015865233000[1].jpg94 Кб, 831x753
169 1821826
>>21734

>Желающих, и при этом способных, меньше, чем нужно.


Олимпиадников много не бывает.
170 1821838
>>21213

>Class


пиздец. ты ебанутый ? это работа для кодомакак.
Дасаентист работает только в jupyter и никогда не пишет классы.
171 1821839
>>21838
Это керасобоги могут не писать классы, а торчебляди их писать вынуждены
172 1822008
>>20237
Бамп вопросу.
173 1822059
>>21778

> пик


Это и есть так называемая "ламповая няша"?
>>22008
Не работает это. А если и работает, то выхлоп того не стоит. Такие темы вообще не палят быдлу, так что единственный путь - сам пробуй, может быть что и получится, что маловероятно.
174 1822097
>>20237

>МО для трейдинга


Трейдинг (особенно без инсайдов) - казино, которое методами машинного обучения в принципе не просчитываемо
175 1822134
>>17320 (OP)
Пацаны, пара часов до дедлайна. Скажите, Силует 0.55 это плохо для оценки кластеризации? Я не для кегли и не для соревнования какого-то, я тупа в последний день делаю задание для собеса.

И еще, я правильно понимаю, что силует - это единственная норм метрикка для оценки качества кластеризации, когда вообще никакие данные не размечены?

Меня в гугле забанили. В mlcource.ai тоже.
176 1822165
>>22134

>пара часов до дедлайна


Земля заявлением по собственному
177 1822329
>>22134

>пара часов до дедлайна


Быстро тренируй на тестовом датасете.
178 1822417
>>21021
Кто эта милашка?
179 1822561
>>21839
Сразу видно петуха, который никогда в жизни свои кастомные слои не писал.
180 1822582
>>21838

>Дасаентист работает только в jupyter и никогда не пишет классы.


Как же у меня горит с таких "датасаентистов". Эти петухи программируют хуже стажеров. Они не то что не знают паттернов - они даже не соблюдают PEP 8. Их код является наглядным пособием как не нужно делать: строки в несколько сотен символов, случайные отступы, переменные названные как попало, функции с десятками аргументов и абсолютное отсутствие комментариев. Помимо этого они постоянно пишут велосипеды. Я видел проекты где 90% кода было написано для парсинга аргументов и передачи их между функциями. Наконец, их код содержит огромное количество ошибок, ведь петушиный Jupyter не проверяет абсолютно ничего.
181 1822584
>>22561
Мимо, ебанько
182 1822609
>>22417
OTTWeTd3Ekk
183 1822634
>>22582
Эта боль макаки.
184 1822721
>>22582
Написал специально чтобы тебя стриггерить и не прогадал (значит моя модель предсказывает батхерт)
185 1822727
Вот к примеру, функция gridsearchcv возникла как ответ на неструктурированные блоки jupyter или она просто удобная сама по себе?
186 1822792
>>22727

>возникла как ответ на неструктурированные блоки jupyter


Проясни мысль, плиз. Что не так со структурированностью блоков и почему эту проблему решает gridsearchcv?
187 1822933
>>22792
Ну смотри, что есть GridSearchCV - это перебор параметров, который бы можно было бы в питоне слепить в цикле из ячеек или каким-нибудь модулем itertools .
Но поскольку ячейки выполняются только вперед или по одной, то цикл из ячеек написать вручную невозможно.
Таким образом, jupyter подталкивает к странной для обычного программиста манере выражения и в частности использованию функции GridSearchCV и прочих "плотных" выражений.

Вопрос: является ли ячееистость jupyter проблемой при дальнейшем внедрении исследования в продакшн ?
188 1822943
>>22933

>это перебор параметров, который бы можно было бы в питоне слепить в цикле из ячеек


Так ты можешь внутри одной ячейки перебирать параметры в цикле.
Только хочу посмотреть, как будет выглядеть перебор 15 различных параметров в цикле.
189 1822962
Где можно почитать про метод к-ближайших соседей, в частности про к-взвешенных ближайших на питоне? Вроде самые простые и базовые алгоритмы, а везде так про них рассказано на каком-то древне-эльфийском
image.png46 Кб, 1141x243
190 1823013
191 1823099
Можно ли в систему как-нибудь установить tensorflow, не устанавливая реально? Я хочу, чтобы pycharm видел прототипы функций и мог подсказывать, но сама функциональность мне не нужна - для этого есть colab.
192 1823135
>>21748
Советую пробежаться галзами по посту вастрика https://vas3k.ru/blog/machine_learning
193 1823137
>>22582

>Эти петухи программируют хуже стажеров.


Они даже унитаз не в состоянии починить, прикинь лохи какие брателло.
194 1823141
>>22933
>>22943
Кстати насчёт гридсёрча в сцайките, он как-то оптимизирован или будет работать так же быстро как мой рукописный?
195 1823161
>>23141
За счет чего ты хочешь выигрыш по скорости получить? 100% времени уходит на обучение модельки и валидацию все равно.
Там просто нет места для оптимизации.
196 1823194
>>23137

>Они даже унитаз не в состоянии починить, прикинь лохи какие брателло.


Твоя аналогия неправильная, поскольку машоб это тоже программирование, а починка унитазов - нет.
image.png137 Кб, 200x294
197 1823200
Анон, подскажи, что использовать с возможностью дообучения?
Я распознаю, какие-то изображения. Например, номера домов.
Пусть я обучил на каком-то датасете.
Могу я впоследствии дообучить нейросетьили не нейросеть, когда у меня появилось ещё дополнение к датасету?
Или надо заново переобучать?
Сколько занимает обучение заново?
Что можно использовать в такой задаче?
Я новичок в этом всём.
198 1823205
>>23200

>Могу я впоследствии дообучить нейросеть


Да. Используешь те же веса, дообучаешь.

>Сколько занимает обучение заново?


Чуть больше, чем в первый раз — у тебя же датасет увеличился. Но нахуя, если можно дообучить за меньшее время?

>Что можно использовать в такой задаче?


Google + RTFM
199 1823274
>>23161
Ну хуй ево знает, я когда однажды перепутал и вместо катбустовского гридсёрча в склёрновский его запихнул он работал в разы дольше.
200 1823290
>>23200

>Или надо заново переобучать?


Всегда лучше обучать заново. Это как язык учить - ребенок делает это быстрее и проще, потому что нейросеть нулевая.

>Сколько занимает обучение заново?


Гугли такую инфу, никто не знает, что у тебя за архитектура и датасет. Примерно часов 8.
1593188104009.gif867 Кб, 300x227
201 1823320
>>23135
Благодарю, Анон!
Лучшая статья по МО.
202 1823341
Видали, не? Нейроночки научили рецепты пивандрия генерировать. Несуществующие сельди, гуки и коты это совсем уныло, а тут хоть какая-то польза, диплернинх новое нескучное бухло придумывает.
https://new-retail.ru/novosti/retail/v_shveytsarii_svarili_pivo_po_retseptu_sozdannomu_iskusstvennym_intellektom7252/
203 1823457
>>23341
garbage in - garbage out
Если обучаешь на ссанине типа ипы - ничего нормального не получится.
204 1823510
>>23341

>рецепты пивандрия


А они разные?
205 1823549
>>23510
Разные, конечно. Вообще, нейроночки можно научить и рецепты всякого хрючева генерировать, странно что еще никто не придумал, рецептов еды существует побольше рецептов пивчанского. Это ж стартап на миллиард, лол.
206 1823620
>>23549

>рецепты всякого хрючева генерировать


Сам потом это говно ешь
207 1823735
>>23549

>еще никто не придумал


https://vk.com/cooktech
208 1823764
>>23735

> 300 мл сока жарить в 500 мл воды, добавить спирт.


> Спелые кишки промыть. В банку. Красные


> бобки откинуть, огонь отварить и


> поставить в холодильнике.


Квинтэссенция "генерации текстов на естественном языке"
209 1824133
Какая функция потерь используется в текстогенераторах? Вот выдала модель последовательность слов, которая с правильным ответом даже по длине не совпадает - как сравнить? Или просто полученный ответ обрезается по длине правильного ответа и считается кросс-энтропия по порядку?

Можно ли берт использовать для генерации? Например, подать ему строку "a b c <blank>", он для <blank> предскажет "x", дальше подавать "a b c x <blank>"? Насколько я понимаю, так гпт и работает. Или качество говном будет?
210 1824205
>>24133
Почему просто не почитать оригинальные пейперы?
211 1824216
>>24205
Так я читал, но там про это нет может, жопой читал.
212 1824311
>>24216
Кидай пример пейпера. Функция потерь там точно должна быть.
>>24133
Можно ли берт использовать для генерации?
Вроде да, но надо будет шаманить. Возьми лучше кого-то из семейства Бертов, кто из коробки может.
213 1824326
214 1824345
>>24311
Да, я сиранул маленько, в xlnet нормально расписана.
Кстати, вот тут обсуждается про использование для генерации https://ai.stackexchange.com/questions/9141/can-bert-be-used-for-sentence-generating-tasks - вроде как получается не слишком хорошо.
215 1824387
>>24345
Берт - денойзер (a _ c _ e -> a b c d e) , гпт2 - авторегрессор (a b c _ -> d). Денойзер во многом удобнее тренировать и запускать, но раз от гугла не видно ничего подобного GPT3, значит действительно хорошо не получилось
216 1824538
О, наш альфач-то снова всё как надо пояснил
https://www.youtube.com/watch?v=w-0NdY8y-4Y
217 1824567
>>24538
Орнул с этих диванов
218 1824579
>>24538

>- Валера рассказал о своем переезде в Facebook и чем он теперь будет заниматься


Ха-ха. Пиздел на митапах и интервью рандомные баззворды, подслушанные у коллег, надрочил кагл на конторском железе, высидел положенный срок и съебал в закат ради новой строчки в резюме.
219 1824582
Есть датасет, из него нужно сделать датасет поменьше взяв из оригинального датасета лишь несколько признаков. Каким методом воспользоваться?
220 1824584
>>24579
Попался! Какой же забавный у тебя пригар :3
221 1824589
>>24582
Кому нужно? С чего ты взял, что это нужно. Данные - золото
222 1824595
>>24589
мне нужно, чтобы провести нормализацию нового датасета и запихнуть его потом обратно. Остальные признаки это OneHotEncoder-вектора их не надо нормализовывать. По существу можешь ответить?
223 1824607
>>24584
То есть тебе старый датасет нужен чтобы просто матожидание и дисперсию у части признаков найти?
224 1824622
>>24582
1) Случайная подвыборка признаков x100 раз
2) Обучаешь простую модельку, смотришь на feature importance, отбираешь по нему топ сколько-то признаков
Но первое лучше второго
225 1824627
>>24622

>Но первое лучше второго


Ага, незаметно для себя оверфитнуться на тестовом сете - классика блядь
226 1824629
>>24622
>>24582
Или тебе не признаки нужно отобрать, я запутался.
Если тебе нужно оценить всякие статистические херни по датасету то бери случайную подвыборку удобоваримого размера.
227 1824637
>>24627
Для этого отдельный валидационный сет само собой можно выделить.
Но можно насрать на кукарекание статистиков-петухов и попробовать, попробовать ничего не мешает.
228 1824646
>>24622
да нет. Я не про уменьшение размерности. Мне просто нужно из датасета на 300 столбцов вытащить некоторый конкретные столбцы и сделать из них датасет. Я пытаюсь просто присвоить переменной значение, но выходит ошибка. понимаю, что это должно быть элементарно и я тупой.
229 1824648
>>24646
Даа, мы были о тебе лучшего мнения. Язык, фреймворк? Numpy? pandas?
230 1824649
>>24646
Блядь, ты на чём пишешь вообще, какие библиотеки используешь?
231 1824651
>>24584
Ты еще скажи, что у меня от персонажей типа ксюши собчак или доктора курпатова горит. Эти люди просто существуют и добиваются успеха единственным им доступным способом, а мое дело - предупредить анона о том, что это не человек, а человекоподобное существо, и попытка слушать подобное существо ни к чему хорошему не приведет. При чем предупредить не тебя - до тебя это с первого раза не дошло и не дойдет, а остальных. Даже если ты хочешь стать таким же - делай то, что он делает, а не то, что он говорит.
232 1824655
>>24646
Ну тогда >>24622
233 1824660
>>24579
Ты хоть в одном соревновании на кагле золото взял, мань?
234 1824663
>>24651

>мое дело - предупредить анона о том, что это не человек, а человекоподобное существо


>не тебя - до тебя это с первого раза не дошло и не дойдет, а остальных


Господи, каких только пёрлов не выдают горящие жопы бичар здешних, пиздец
235 1824665
>>24660
Ничё не значит! И он ничё не взял всё наболтал и золото дали! Ну или омежек подрядил которые ему всё зарешали! Покайтесь!!!
236 1824667
>>24648
>>24649
да знаю, знаю...
питон разумеется, по-любому в pandas есть такой метод. я в общем-то знаю как костыльными способами все сделать, но хочу нормальный способ. Я гуглю, но видимо запрос как-то неверно формирую. Уж извините, тупой
237 1824698
>>24663
Регулярно я вижу горящие жопы только у подобных тебе. Расписал, что какой-то чел с ютуба нарциссичный балабол - не, в машобе нарциссов и балаболов не бывает, надо срочно поспорить и доказать анониму, об уровне которого ты не знаешь нихуя, что он просто завидующий бичара.
238 1824702
Всем привет мужики. Короче есть такая проблема пытаюсь запустить обучение на видеокарте CUDA установил, CUDNN тоже есть. Пытаюсь все запустить на windows 10, Tensorflow 2.1 Выскакивают две ошибки
239 1824705
Internal: Invoking GPU asm compilation is supported on Cuda non-Windows platforms only
Relying on driver to perform ptx compilation.
Setting XLA_FLAGS=--xla_gpu_cuda_data_dir=/path/to/cuda or modifying $PATH can be used to set the location of ptxas
This message will only be logged once.
и
Internal: Invoking GPU asm compilation is supported on Cuda non-Windows platforms only
Relying on driver to perform ptx compilation.
Modify $PATH to customize ptxas location.
This message will be only logged once.
240 1824724
>>24705
По твоей первой строчке гуглится ишью на гитхабе, ты его прочитал?
241 1824727
>>24724
Гуглил там почти все ишью открытые и решения там нет, кроме отката на совсем старые версии
Еще есть версии типа прописать переменные среды, но это все сделано
242 1824731
>>24727
Ну раз там нет, значит нет, ставь бубунту

>кроме отката на совсем старые версии


А в чем проблема? Тф2 нужен если у тебя RTX карта разве что, mixed precision трейнинг делать. А так можно на 1.14 жить спокойно, АПИ они все равно сломают еще 10 раз, пока ты научишься всему
243 1824732
>>24731
Ну я только вкатываюсь в практику после теории
А если проблема только в этом, то на том же кегле или колабе все должно быть норм?
244 1824733
>>24731
Бубунту ставить не очень хочется, так как на мой ноут нет софта под линукс и многие фишечки теряются
245 1824737
>>24733
Поставь дуалбут.
246 1824743
>>24648
>>24649
ну придется делать костылями. Выдергивать столбцы и потом из них суммировать датасет через DataFrame. Но если кто подскажет готовый метод из pandas буду благодарен.
247 1824748
>>24667
Читай, как индексировать датафреймы.
248 1824750
>>24732
Для вкатывания тебе и первая версия сойдет, главное помни, что во второй версии керас стал основным API, соответственно изучать надо керас.

>А если проблема только в этом, то на том же кегле или колабе все должно быть норм?


Конечно. Очевидно это очередной баг для страдания вендоблядей, который им там лень фиксить. Я не читал портянку фикса на гитхабе, но вангую, что он фиксится пересборкой tf из исходников либо (все-таки почитал) какими-то симлинками.
Колаб вообще с выпуском нового поколения нвидии расщедрился и мне только что выдал T4, а это что-то уровня 2070 с 15 гигабайтами памяти. Вряд ли у тебя настолько хороший ноутбук, так что для обучения колаб очень хорош.
249 1824758
>>24750
Там другой вопрос, у меня датасет картинок, примерно на 4гб, пишут что колаб очень долго подгружает эти картинки из физической памяти и крутость GPU немного теряется в моей задаче.
Писали про переформатирование в h5, но я в этом еще не разобрался
250 1824759
>>24758
У тебя-то что за GPU?
251 1824760
>>24759
В колабе не знаю, а на ноуте 1660ti
252 1824761
>>24759
T4 в колабе
253 1824762
>>24758
Сделай хранилище, которое будет подгружать картинки по мере обучения. 4гб вполне влезет в память, которую выдаёт колаб.
unnamed.jpg50 Кб, 370x370
254 1824763
>>24698

> нет ты гориш!!

255 1824765
>>24762
А куда копать, подскажешь? Я просто залил все это на гугл диск и оттуда открываю.
256 1824766
>>24665
Еще у одного не бомбит, лол. Где я писал, что наболтал? Ну золото и золото. Вопрос не в золоте, а как оно выдрачивается.
1. Убеждаешь начальство, что участие в кагле - ниибаца повысит престиж конторы, все зумерки косяками пойдут батрачить за копейки именно у них, а не в яндексе. И ШАД еще свой нужен, че мы как лохи
2. За счет железа и рабочей силы фирмы берешь золото, дальше ездишь по конференциям и светишь еблом - мол, престиж, еблом нужно светить, как иначе зумерков нанимать
3. Выжав все что можно из пятерочки в плане торговли еблом, съебываешь, оставив проекты этим самым омежкам и нанятым зумеркам
Комбинация - мое почтение
257 1824769
>>24758
Основная проблема колаба в том, что он для обучения и гугл банит тех, кто тренирует сетки долго. 4 гб довольно здоровый датасет, не знаю, не забанят ли тебя.
А так если хочешь обучать на винде, ставь tf 1.14 или даже 1.9 и не еби мозг. Единственное, с fp16 обучением будет не так эффективно, но тебе будет проще потерпеть подольше и потренить в fp32, чем пытаться его включить и настроить. Алсо, ноутбучная видюха может и коньки отбросить от долгого обучения, озаботься охлаждением
258 1824770
259 1824776
>>24769
Короче запущу уже убунту и не буду ебаться, спасибо большое за помощь
260 1824784
>>24766

> За счет железа и рабочей силы фирмы берешь золото


Бляяя
261 1824787
>>24769

>4 гб довольно здоровый датасет


Для картинок это очень мало, можно и без видеокарты тренировать.
262 1824789
>>24787
С реальными данными просто работаю впервые, до этого было что-то размера циферок из мниста
263 1824796
>>24787
Хуя ты специалист, сложность модели рассчитываешь исходя из размера датасета
264 1824801
>>24796

>Хуя ты специалист, сложность модели рассчитываешь исходя из размера датасета


Скорость обучения обратно пропорциональна размеру датасета независимо от модели. Ну и саму модель тоже выбирают исходя из имеющегося датасета. Если данных мало, то при использовании большой модели очень быстро начнется оверфит.
265 1824808
>>24801

>Скорость обучения обратно пропорциональна размеру датасета независимо от модели


Не обязательно. Возьми терабайт белых и черных картинок - данных будет много, а реальное распределение очень простое и выучится за 0.001% эпохи.
Если утрировать не так сильно, то есть разница, отличать котов от собак или одного кота от другого кота. При одном и том же размере датасета в первом случае ты быстрее выйдешь на хороший перформанс. То есть пришел анон, не сказал вообще нихуя о том, что ему нужно, какой у него датасет (и даже глядя на сам датасет в тысячи картинок, хер ты угадаешь, насколько хорошо пойдет обучение, а тут просто размер), пришел анон, просто сказал его размер, и ты уже готов со своей экспертизой. При чем она довольно маразматична сама по себе.
Вот я беру датасет на 40 гигов и обучаю его за день. Датасет на 4 гигов, составленный из рандомного подможества этого датасета, обучится за 2 часа что ли? Нихуя, тот же день будет обучаться. Просто эпох будет не 10, а 100.

>Если данных мало, то при использовании большой модели очень быстро начнется оверфит.


Регуляризация и аугментация тебе на что дана? Кто вообще в 2020 году кормит непосредственно датасет нейронке, да еще так, чтобы она заметно оверфитила.
266 1824828
>>24808

>То есть пришел анон, не сказал вообще нихуя о том, что ему нужно, какой у него датасет (и даже глядя на сам датасет в тысячи картинок, хер ты угадаешь, насколько хорошо пойдет обучение, а тут просто размер)


4Гб (картинок) - это просто смешной размер данных, и здесь уже неважно, из чего конкретно он состоит. Исходя из размера данных можно предсказать максимальный размер модели и количество эпох в худшем случае.

У анона 1660ti, на которой одна эпоха должна занять от силы секунд 30. Даже если запустить тренировку на 100 эпох, то она должна закончиться меньше чем за час. Колаб при таком датасете дергать не нужно.

>Регуляризация и аугментация тебе на что дана


>Кто вообще в 2020 году кормит непосредственно датасет нейронке, да еще так, чтобы она заметно оверфитила.


Они помогают, но если данных действительно недостаточно, то нейронка будет оверфитить в любом случае, независимо от изъебов с регуляризацией/аугментацией.
267 1824838
>>20174
То есть сейчас уже не нулевые и подход другой? Я просто думал что если у человека есть воприятие цвета то это дает свои профиты.
268 1824890
>>24828

> 4Гб (картинок) - это просто смешной размер данных


> У анона 1660ti, на которой одна эпоха должна занять от силы секунд 30


>ESRGAN с 2070 приходится двое суток обучать на 3.5гб сэте, лучше — дольше


Бля, палкой бы тебя пиздануть, эксперт. Так, для профилактики кукареков.
269 1824895
Классический CV сейчас я так понимаю уже никому не нужен и его учить не надо?
270 1824901
>>24895
Он и раньше не нужен был
271 1824904
>>24890

>ESRGAN с 2070 приходится двое суток обучать


>Enhanced Super-Resolution Generative Adversarial Networks


>Generative Adversarial Networks


Про то, что для тренировки генеративных сетей нужно на 1-3 порядка больше времени, ты, конечно, умолчал.
272 1824918
>>24901
Раньше на нем карьеру можно было сделать. Сидишь себе, дрочишь безрезультатно что-то, а когда тебя спрашивают, мол, ну когда нормально будет работать? Разводишь руками: задача сложная.
273 1824962
>>24776
нет, там тоже ебли не мало будет, даже не считая что это уже убунту для ебли.
274 1825033
>>24918
а разве не нужно предварительно обрабатывать картинки перед нейросетью для более легкого последующего обучения?
275 1825102
>>24895
Смотря что ты подразумеваешь под классическим CV. Многие путают. Есть невмирающая классика которая НЕ является CV - это image processing. Это знать нужно как свои 5 пальцев. Если ты не знаешь, как работает фильтр sharpen в фотошопе - немедленно покинь тред.
Но CV он вообще не про это. Вот тебе цитата из вики:

Image processing and image analysis tend to focus on 2D images, how to transform one image to another, e.g., by pixel-wise operations such as contrast enhancement, local operations such as edge extraction or noise removal, or geometrical transformations such as rotating the image. This characterization implies that image processing/analysis neither require assumptions nor produce interpretations about the image content.
Computer vision includes 3D analysis from 2D images. This analyzes the 3D scene projected onto one or several images, e.g., how to reconstruct structure or other information about the 3D scene from one or several images. Computer vision often relies on more or less complex assumptions about the scene depicted in an image.
Machine vision is the process of applying a range of technologies & methods to provide imaging-based automatic inspection, process control and robot guidance[22] in industrial applications.[20] Machine vision tends to focus on applications, mainly in manufacturing, e.g., vision-based robots and systems for vision-based inspection, measurement, or picking (such as bin picking[23]). This implies that image sensor technologies and control theory often are integrated with the processing of image data to control a robot and that real-time processing is emphasised by means of efficient implementations in hardware and software. It also implies that the external conditions such as lighting can be and are often more controlled in machine vision than they are in general computer vision, which can enable the use of different algorithms.
There is also a field called imaging which primarily focuses on the process of producing images, but sometimes also deals with processing and analysis of images. For example, medical imaging includes substantial work on the analysis of image data in medical applications.
Finally, pattern recognition is a field which uses various methods to extract information from signals in general, mainly based on statistical approaches and artificial neural networks. A significant part of this field is devoted to applying these methods to image data.

В общем, image processing знать нужно. Популярные методы в CV типа SIFT - тоже, потому что приемы типа пирамид и инвариантных трансформаций - понимать очень полезно для общего развития. Но тонкости знать уже не нужно, для этого есть диды, которые унесут свои навыки и рабочие места в могилу.

Классический CV в принципе еще нужен, потому что если алгоритм из нулевых справляется, нахуя что-то выдумывать.
275 1825102
>>24895
Смотря что ты подразумеваешь под классическим CV. Многие путают. Есть невмирающая классика которая НЕ является CV - это image processing. Это знать нужно как свои 5 пальцев. Если ты не знаешь, как работает фильтр sharpen в фотошопе - немедленно покинь тред.
Но CV он вообще не про это. Вот тебе цитата из вики:

Image processing and image analysis tend to focus on 2D images, how to transform one image to another, e.g., by pixel-wise operations such as contrast enhancement, local operations such as edge extraction or noise removal, or geometrical transformations such as rotating the image. This characterization implies that image processing/analysis neither require assumptions nor produce interpretations about the image content.
Computer vision includes 3D analysis from 2D images. This analyzes the 3D scene projected onto one or several images, e.g., how to reconstruct structure or other information about the 3D scene from one or several images. Computer vision often relies on more or less complex assumptions about the scene depicted in an image.
Machine vision is the process of applying a range of technologies & methods to provide imaging-based automatic inspection, process control and robot guidance[22] in industrial applications.[20] Machine vision tends to focus on applications, mainly in manufacturing, e.g., vision-based robots and systems for vision-based inspection, measurement, or picking (such as bin picking[23]). This implies that image sensor technologies and control theory often are integrated with the processing of image data to control a robot and that real-time processing is emphasised by means of efficient implementations in hardware and software. It also implies that the external conditions such as lighting can be and are often more controlled in machine vision than they are in general computer vision, which can enable the use of different algorithms.
There is also a field called imaging which primarily focuses on the process of producing images, but sometimes also deals with processing and analysis of images. For example, medical imaging includes substantial work on the analysis of image data in medical applications.
Finally, pattern recognition is a field which uses various methods to extract information from signals in general, mainly based on statistical approaches and artificial neural networks. A significant part of this field is devoted to applying these methods to image data.

В общем, image processing знать нужно. Популярные методы в CV типа SIFT - тоже, потому что приемы типа пирамид и инвариантных трансформаций - понимать очень полезно для общего развития. Но тонкости знать уже не нужно, для этого есть диды, которые унесут свои навыки и рабочие места в могилу.

Классический CV в принципе еще нужен, потому что если алгоритм из нулевых справляется, нахуя что-то выдумывать.
276 1825138
>>23764

>12 000 кулинарных рецептов на русском языке


Так естественно, нихуя не получится с таким количеством примеров.
277 1825286
>>25033
Ну в диапазон 0-1 перевести надо. На этом все.
278 1825289
>>25286
Есть же батчнорм
279 1825358
>>25138
По-моему просто модель говно полное. Нужны модели, способные в построение логических цепочек для анализа чего-либо.
280 1825362
>>25358
А ещё нужны модели чтобы 3SAT за константу решали.
281 1825402
>>25362
А мне нужно чтобы ничего не делать, а все было.
282 1825655
Товарищи аноны, фундаментальный вопрос: есть ли методы обучения сеток с произвольной топологией? Ну, помимо генетического алгоритма. Метод обратного распространения не предлагать, не работает в циклических направленных графах.
283 1825659
>>25655

>Метод обратного распространения не предлагать, не работает в циклических направленных графах.


back propagation in time работает
image.png22 Кб, 884x350
284 1825671
>>25659
То есть ты берешь свой граф с циклами, пускаешь данные на его вход и начинаешь выписывать ноды, которые задействуются причино-следственным образом в каждый момент времени. В случае RNN у которого выход замкнут на вход, будет пикрелейтед, но вообще это универсальный способ, потому что причинно-следственные связи всегда ацикличны в нашей реальности.
Таким образом ты получаешь новый, уже ациклический граф, эквивалентный графу с циклами, в котором ноды будут шерить свои веса со своими аналогами из прошлого и будущего.
Далее все упирается в то, насколько длинную цепочку такого разворачивания ты можешь себе позволить, потому что вся эта ебола, в которой у тебя один и тот же появляется в разных местах, крайне недружественна к железу. Скорее всего проще забить хер на шеринг весов и подобную ациклическую йобу обучать уже как стандартную feedforward сеть, работающую с последовательностями.
285 1825692
>>25671
А для спайковых сетей? Всё то же самое?
286 1825696
>>25692
Про спайковые вообще не в курсе. По идее спайковый нейрон - это дискретизация диффура, решаемая, например, эйлером. Соответственно такое дискретное решение может быть теоретически нодой в бэкпропагейшене (просто помимо стейта нужно еще помнить стейт в предыдущий момент времени, чтобы посчитать производную), но я думаю эффективность такого решения вообще как у хлебушка.
Я не вижу большого смысла в спайковых сетях на текущем железе, ведь частоты и фазы спайков все равно кодируют какие-то вещи, которые можно закодировать просто либо числами (возможно даже комплексными).
287 1826070
>>25696

>Я не вижу большого смысла в спайковых сетях


Одна из областей, где можно годами заниматься какой-то заумно выглядящей мутью, писать статьи, разрабатывать что-то, получать финансирование, не имея при этом никаких результатов.
288 1826124
>>26070
Ну ты любую несойбойскую науку описываешь. Пусть занимаются, всяко лучше, чем в геополитические многоходовочки финансировать.
Я про практический смысл - пусть делают железку и портируют на нее слесарьплов, а то эмулировать спайки на железе, которое считает dense матрицы явно бесперспективно с практической точки зрения.
289 1826163
>>26124
Давно уже есть: https://en.wikipedia.org/wiki/Cognitive_computer#IBM_TrueNorth_chip
Кроме ее разработчиков никому не нужно.
290 1826228
>>17320 (OP)
Нормально ли решаются задачи speech recognition и в частности распознавание владельца речи с помощью deep learning, или в вопросах звука без мануальной работы с фичами никак?
я очень далёк от ML/DL, но сейчас надо вкатиться, соре если вопрос тупой
291 1826251
>>26070
Ммм результаты результатики застакай ещё слоёв и наверни атеншена без смс чтобы заранжировать рекламу на 0.001% лучше зачем заниматься чем-то ещё реальные результаты реальных успех мой друг попробовал теперь получает 6 figures ЕЖЕДНЕВНО скачать
292 1826260
Какие есть улучшения BERT? Roberta, Albert, а ещё что?
295 1826476
>>26422
Очевидный pussypass очевиден
296 1826591
>>26228
ебанутый вопрос. причем тут deep learning?
deep learning - по определению, это любая нейросеть с ГЛУБОКИМ слоем. То есть, любая нейросеть.

Ты имел ввиду следует ли использовать готовые сети-эмбединги вместо того чтобы конструировать всякие спектрограммы?

Ну хуй знает.
Я что-то и не знаю таких ембедингов.
297 1826834
Сделайте нейросеть, чтобы удаляла косметику с фотографий и показывала без неё. Будет очень популярный сервис среди двачеров всяких, заработаете много денег.
298 1826839
>>26834
Какой-нибудь снэпчат сопрет за три месяца и соснешь. В картинках ща жизни уже нет
299 1826935
>>26422
Ожидаемо, ничего полезного она не сказала - все видео сплошная вода. Скорее всего она чистит вилкой данные, а в маняфантазиях считает себя senior data scientist.
300 1826939
>>26935

>Скорее всего она чистит вилкой данные, а в маняфантазиях считает себя senior data scientist.


Я тебе кое-что скажу, ты только со стула не падай. Senior data scientist точно так же вилкой чистит данные 95% своего времени.
301 1826946
>>26939

>Senior data scientist точно так же вилкой чистит данные 95% своего времени


Senior data scientist с кодом/данными уже практически не работает.
302 1826965
>>26946
Обкашливают?
303 1826966
>>26965
И подскакивают.
304 1827010
если на входные 6 нейронов подать это:
001011
ответ должны получить любой из этих:
001000
000010
000001

не получается такому научить.
что делать?
305 1827038
>>27010
Зачем нейрон там, где достаточно пары строчек?
306 1827046
>>27038
зачем нейроны там где достаточно одной процессорной инструкции xor ?
307 1827090
>>26946
data scientist не работает с данными. Охуенно
308 1827091
>>27010
Больше слоев наверни
309 1827198
>>27091
4 шт сделал
при любых 00011111 ответ сремится к 10000000
еще слоев?
Безымянный.jpg20 Кб, 799x536
310 1827209
>>27091
немного разобрался.
шум из нулей и едениц стремится к этой хуйне, т.к. из возможных правильных ответов я выбираю первый попавшийся.
если учить на рандомном ответе - на выходе прямая.

такое ощущение что слои не помогут.
311 1827219
>>27209
Обучи RL на этом всём.
312 1827220
Аноны, а как вкатиться в архитектуру приложений с МО? Т.е. не вилкой чистить данные и пейперы читать, а делать так, чтобы написанное датасаентистами распараллеливалось на видеокарты и не вылетало с ошибкой от перерасхода памяти.
313 1827314
>>27010
Softmax(x)
314 1827461
>>27209

>такое ощущение что слои не помогут.


почему бы не попробовать?

Однослойная сеть не сможет обучиться XOR.
Это вроде математически доказано.
315 1827462
>>27220
типа ты такой крутой плюсовик или фронтедщик решил повыебываться своей полезностью и быть ПМ над датасаентистами?

Ну уж нет.
Если ты не понимаешь что они делают - они тебя наебут.
Или разберись или не лезь.
316 1827509
Кто там про фриланс спрашивал??
https://www.youtube.com/watch?v=fJYcl-EF-0s
15982164124121.png115 Кб, 482x400
317 1827546
>>27220

>чтобы написанное датасаентистами распараллеливалось на видеокарты и не вылетало с ошибкой от перерасхода памяти


Нормальные датасаентисты это умеют. А если не умеют, то это петухи, а не датасаентисты.
318 1827548
>>27546
Макакен, плиз.
Учиться просто надо было в своё время, а не сайтики за мелкий прайс "кококо я уже зарабатываю!!" клепать.
319 1827561
>>27548

>Учиться просто надо было в своё время


Аналогично можно сказать про ко-ко-ко-саентистов, которые как минимум имеют профильную вышку. При таком раскладе можно было хоть как-то научиться программировать, и это не говоря про стажировки/фриланс. При этом датасаентисты зачастую не знают даже своей предметной области. Принцип работы SOTA моделей не понимают, математику не знают, алгоритмы вне стандартного набора вкатывальщика - тоже. Ничего принципиально нового такой датасаентист не сделает, нормальный код не напишет. Остается только трясти черный ящик и извиняться перед барином, когда натрясти нормальный результат не получилось.
320 1827585
>>27462
Я и есть джун-датасциентист, который понял, что не знает, как работать с 4 видеокартами.
321 1827605
>>27561

>При этом датасаентисты зачастую не знают даже своей предметной области.


Левый нижний угол это ML researcher, а не "датасаентист"/ML engineer. Хватит утешать себя, мань.
322 1827658
>>27461
потомучто мои данные это шум из нулей едениц без какой либо логики, аппроксимация это прямая линия со значениями:
0.1 - если 10% едениц
0.5 - если 50% едениц и т.д.
кол-во скрытых слоев 1 или 6 приводят к одинаковому результату ( 6 слоев через раз учится не хочет)

>>27314
Softmax(x) ну вроде это другое
323 1827695
>>27220

>архитектуру приложений с МО


>делать так, чтобы написанное датасаентистами распараллеливалось на видеокарты


Это не архитектура.
По архитектуре - у тебя всё должно описываться декларативным конфигом, а код должен поддерживать обратную совместимость этих конфигов. Тогда не будет проблем с воспроизводимостью, даже если сам код будет жуткой лапшой из if'ов - потому что редко какой скрипт для тренировки будет превышать 10к строк. Конфиги эти можно складывать в монгу, пайплайны сохранять в dvc, из монги же воркеры (по одному на инстанс гпу) могут доставать архитектуры для гридсерча. Впрочем, сейчас везде 80-е и каждый пилит кто во что горазд.
А то, что говоришь, это никакая не архитектура, а банальное знание инструментов. Читай мануалы по tf2, kubeflow, тренируйся на самых дешевых инстансах на AWS/google cloud. Судя по сайту, гугл ща выдает бомже-T4 за 11 центов в час.
>>27585

>как работать с 4 видеокартами.


На нулевом уровне - используешь какой-нибудь tf.distribute.MirroredStrategy , а фрейморк сам все тебе сделает. Более продвинутый уровень - это подбор железа для сервера (все pci express x666, nvlink'и и прочая еботень - не очень в курсе), затем - писать кастомный код для быстрого обмена данными по 10 гб сети.
324 1827918
Есть тут знатоки теорвера?
Ведь нельзя при подбрасывание монеты на основании отклонения выпадения одной стороны от другой сделать заключение, что монета плохая?
Ну в том смысле, что при k раз подбрасывании может и какая-нибудь решка k раз выпасть.
325 1827926
>>27918

> Ведь нельзя при подбрасывание монеты на основании отклонения выпадения одной стороны от другой сделать заключение, что монета плохая?


Можно. При большом количестве подбрасываний распределение вероятностей будет отличаться от нормального. Это не доказывает, что дело в монете, возможно виноват подбрасывающий.
326 1827937
>>27926

>При большом количестве подбрасываний распределение вероятностей будет отличаться от нормального.


Ну, как бы понятно, что большая часть возможных комбинацией даст как раз результат 50% +- 10-15%. Но опять-таки это ничего про саму монету не говорит.
И даже если мы 100 раз кидаем монету, только решка всё равно может выпасть с вероятностью 1/2^100, что, хоть и мало, но отлично от 0.
Т.е. на основании только результатов выпадения нельзя однозначно сказать про качество монеты нужно взвешивание и хим. анализ.
Поправь, пожалуйста.
327 1827949
>>27937

> нельзя однозначно сказать про качество монеты нужно взвешивание и хим. анализ.


Можно протестировать на выборке разных людей. Если на большой выборке распределение так же будет отличаться от нормального, то дело в монете.
328 1827963
>>27949

>Можно протестировать на выборке разных людей.


Но в рамках "одного человека" или одной серии подбрасываний это очень сложно?
329 1827964
>>27918

>Ведь нельзя при подбрасывание монеты на основании отклонения выпадения одной стороны от другой сделать заключение, что монета плохая?


Со 100% вероятностью - нет, но чем больше у тебя k, тем более уверенным ты будешь (типа, ответ звучит так: монета - честная с вероятностью 99,9999999%). Точно так же работают доказательства в какой-нибудь физике элементарных частиц. То есть, возможно, что этот пук на графике - не бозон хиггса, но вероятность этого крайне мала.
Например, если выпало 1 - случайность такого события 1/2, [1,1] - 1/4. 10 единиц подряд выпадают в одном случае из двух тысяч, а 16 - в одном из 32 миллионов. Соответственно при k=1000 получится, что вероятность того, что последовательность - не случайная сравнима с числами типа 1/число_атомов_во_вселенной, и практически ты сможешь считать честность доказанной. Для реальных последовательностей тесты посложнее, но принципиально такие же - дают ответ с некоторой вероятностью.
330 1827968
>>27964

>но чем больше у тебя k,


Каково то k, после которого со значительной долей уверенности можно сказать, что тут что-то не то?
331 1827973
>>27968
На это тебе ответит только тот, кто с этим дрочится каждый день.
Берешь тест https://duckduckgo.com/?q=тестирование+последовательностей+на+случайность
Скармливаешь ему последовательность. Он выдаст тебе вероятность. Поиграйся с длинами последовательностей - поймешь, какое k тебя устраивает.
Навскидку, я думаю 1000 бросков нормальная последовательность. Алсо, монетки никогда идеальными не бывают, если тебе нужно что-то идеальное, используй квантовую механику.
332 1827976
>>27963

> Но в рамках "одного человека" или одной серии подбрасываний это очень сложно?


В рамках одного человека это ничего не доказывает о монете. Так как дело может быть в конкретном человеке.
333 1827977
>>27973>>27976
Так, ещё раз, пожалуйста.
N раз подбросили монету. Одна сторона выпала на M процентов больше.
Можно ли сказать, что монета плохая? Если да, то каково должно быть N?
334 1827979
>>27918
Это зависит от того, что ты подразумеваешь под "сделать заключение". Абсолютно точно доказать невозможно, а дальше гугли статистическую проверку гипотез.
335 1827986
>>27977
Можно сказать всё что угодно.
Но обычно делают так: если это твоё M выходит за пределы доверительного интервала, то говорят что наиболее вероятно что с монетой что-то не так, если не выходит - то нельзя сказать, бросают дальше. Бросили миллион раз и не получили расхождений достаточных для выхода за этот интервал - принимают что монета честная.
336 1828002
Аноны, которые занимаются CV, скажите, есть ли какие-либо рекомендации тому, какой подход использовать: классическое cv или с нейронками? У меня вот задача распознавания коробок на заводе.
Ну вроде как тут классика потянет, но вот мб есть какие-то подводные? В общем, буду благодарен за ответ
337 1828009
>>27918

>Ведь нельзя при подбрасывание монеты на основании отклонения выпадения одной стороны от другой сделать заключение, что монета плохая?


Можно, с какой-то вероятностью. Или доверительный интервал найти. Вообще, чем-то напомнило sunrise problem, которая у лапласа возникла. Так что зависит от того, какое у тебя априорное знание о монетках.

>>28002

>Ну вроде как тут классика потянет, но вот мб есть какие-то подводные?


Если потянет - то используй. Из подводных - может не потянет, тогда не используй.
338 1828011
>>28009

> Из подводных - может не потянет, тогда не используй.


По факту, хули
спс
339 1828012
>>28002

>классическое cv


Ага, оставь черные ящики трясунам
340 1828018
>>28011
Ну так ты ничего не сказал о задаче.
Как быстро надо детектить коробки, надо ли их различать между собой, насколько стандартизирован вид на коробки.
341 1828028
>>27986
>>28009
Вы ещё тут?
342 1828031
>>28002
Рекомендации есть - используй нейронки. Если классика потянет, значит и работающий на кофемолках mobilenet в разрешении 150х150 потянет.
Подводных куча, но ты и инфы о задаче не дал нихуя.
343 1828032
>>28009

>Если потянет - то используй.


Нахуй надо. Рано или поздно требования изменится и весь алгоритм превратится в тыкву.
Единственное оправдание - это жесткий лимит на вычислительные ресурсы. Но на заводе вряд ли таковой имеется
344 1828034
>>28031
А почему это всегда альтернатива, типа нельзя скомбинировать и то и другое и бустинг сверху накинуть
345 1828056
>>28034
Нахуя, это же завод, а не кагл
346 1828078
>>28031
>>28018
а ну сорян
Ну короче коробок несколько штук более-менее стандатизированных
Детектить нужно следюущим образом: видим коробку, говоритм роботу где она находится (там короче нехитрый портальный робот, который в плоскости перемещается и хватает коробки).
Ну и собсна все, к кадрам нет каких то требований тк работа: увидел, подъехал, схватил, уехал. Почему задаю вопрос - не уверен, что могу обеспечить в этом всем вот пресете постоянное и не меняющееся освещение, да и в целом что сделать, если фичи ебану уевые и он будет фосл позитив мне хуярить
347 1828079
>>28032
крутое замечание. Но в целом у нас там более менее норм пк
348 1828080
>>28032
и кст да, про алгоритм, который может изменится тоже верно
но опять же, это завод, ебана рот, мы там хватам коробки уже год десятый (точнеез заставляем людей это делать)
349 1828082
и тогда сразу вопрос: у меня, вообще говоря, дома есть кинект
это ведь 3д и облака точек и все дела. Тоже вопрос о границах применения , как бы допольнительные фичи, в случае если мы допом имеем карту глубит, будут иметься. В такой задаче это оверинжениринг или оправдано?
350 1828088
>>28078

>да и в целом что сделать, если фичи ебану уевые и он будет фосл позитив мне хуярить


Будут по улицам ходить роботы и хватать людей. Придется отправлять в прошлое жидкого терминатора, чтобы он тебя убил.
351 1828094
>>28078

>не уверен, что могу обеспечить в этом всем вот пресете постоянное и не меняющееся освещение


Ты можешь использовать инфракрасную подсветку от ебла самой камеры, если она будет достаточно яркой, то освещение вокруг вообще будет давать мизерный вклад.

Мы знаешь какие йобы проектировали, узкополосный лазер на 1 Вт херачит в полную силу в течение 1 мс и отключается, на матрице стоит фильтр настроенный только на полосу этого лазера, то есть выбирающий примерно 1% всего видимого света, в итоге в этот краткий момент лазер по освещению он перебивает все возможные источники, кроме прямого солнца, но и прямое солнце тоже просто видно, оно не слепит.
А на объекте стоит зеркало, которое выглядит как белая точка. В таком формате не то, что нейронки, 10 МГц микроконтроллер справляется с обработкой в риалтайме - тупо точки определенной площади нашел, контуры выделил, и вперед.

Но с нейронками вся эта ебля уходит в прошлое, потому что они и так работают.
352 1828105
>>28094
бля вот это тру инжениринг
ну короче общий такой совет - забить на классику по-максимуму (судя по последней фразе)
353 1828140
Так, аноны, помощь младшекласснику >>27918 всё ещё требуется .
Кто готов помочь и ответить на N вопросов?
354 1828162
>>28094

>Но с нейронками вся эта ебля уходит в прошлое, потому что они и так работают


Ага, держи карман шире
https://www.youtube.com/watch?v=u_11jbdQA-8
355 1828170
>>28162
Зумер, научись русскому языку, чтобы формулировать свои мысли, ссылочка на говновидео - это не твои мысли
356 1828175
>>28170
Бумерок, не гори, Антошка наш всё как надо пояснил, зачем коверкать мысли если можно просто сослаться на источник?
357 1828180
Анонче, а где взять документацию по jpg? На оффициальном сайте там линки по которым её продают.
359 1828183
>>28175
Чтобы это был разговор с тобой, а не с копипастой
360 1828190
>>28180
Алсо, обычно если где-то нет самого стандарта, обычно рядом лежит его бесплатный черновик с минимальными различиями от финальной версии
361 1828192
>>28190
Не нашёл.
>>28181
Спасибо, конечно, но всё же хотелось бы, чтоб было описание именно файла биты/байты, чтоб было можно самому либу написать для работы с ним.
362 1828193
>>28192
Это тебе референс имплементейшен нужен
363 1828288
>>28162

>все ссылки в описании ведут на хабр


проиграл
364 1828342
>>28193
Он только на за деньги?
365 1828506
Кто-нибудь успешно зарабатывает деньги с соревнований на какие-то дополнительные расходы?
366 1828560
Аноны, дайте советов мудрых.
Есть сигнал, в котором иногда проскакивают события, которые надо детектить. Сигнала МНОГО, нужных событий в нем десятые (если не сотые) доли процента. Есть хуёвая модель, которая должна детектить события. Как мне правильно намайнить событий из сигнала, чтобы дообучить модельку?

Единственное, что приходит в голову - прогнать сигнал через модель с пониженным порогом срабатывания и разметить руками то что намайнится. Но это плохая идея, так как мы таким макаром не сможем собрать сложные случаи.
367 1828623
>>28288
Дурак ты боцман, Антоха так себе клиентуру набивает.
368 1828625
>>28342
Нет, в гугле лежит
369 1828648
>>28625
Скинь ссыль, плз. Че-т не нашёл.
371 1828667
>>28661
Спасибо.
372 1828726
>>28560
Ты сам-то как эти события детектируешь? Глазами на графике?
373 1828953
Блять, аноны, как вы запоминаете все возможности пандуса, numpy и т.д?
Я просто постоянно сука гуглю и ворую из своих старых тетрадок, никак не могу запомнить синтаксис, потому что есть миллиарды вариантов сделать ту или иную операцию и постоянно вылетает из головы.
Это норма или я такой тупой?
Построение графиков в матплоте - отдельный ужас .
374 1828968
>>28953

>Блять, аноны, как вы запоминаете все возможности пандуса, numpy и т.д?


Никак. Просто пользуешься чем надо, и оно само со временем запоминается. А что не запоминается - то гуглишь, пока не запомнишь.

>Это норма или я такой тупой?


Если пользуешься лишь изредка, то неудивительно.

Я с табличными данными практически не работаю и графики тоже строю редко, поэтому в пандусе и матплотлибе знаю только самые базовые вещи. В нампае запоминать особо нечего.
375 1829035
>>28953
Распечатай себе что-нибудь.
Заебали вчерашние успешные студенты.
Не знают азов как программисты усваивают такой объем информации. А НИКАК
пенсионеры.jpg83 Кб, 766x767
376 1829048
>>28506
Да.
377 1829084
>>29048
И как, 500-600 баксов хоть выходит в месяц?
378 1829142
>>29035
От души за пикчи, бро.
pooldog.jpg31 Кб, 399x676
379 1829258
Подскажите пару идей для декодирования значений из неизвестных потоков данных.

Ну типа у меня есть нешифрованные поточным шифром сообщения соответствующие им данные и я хочу сделать универсальных расшифровщик двоичных протоколов в своей области.
Размер сообщений не известен, но от 2 до 15 байт.

LSTM ? Как именно? Есть ли аналогичные исследования ?
380 1829417
>>29142
Набери в гугле "проганейм cheatsheet"
IMG20201013173622.jpg185 Кб, 1080x1377
381 1829422
Школота, вы готовы нагреть Грефа на 500тр вступив в сговор со мной?

https://ai-journey.ru/contest/task02
382 1829458
>>29422
Ебать они там на острие науки. Уровень Днепра машобчиком ещё в 70е предсказывали.
383 1829469
Поясните мне по хардкору по поводу работы в МЛ. Она сводится к простому import pandas или там надо знать и применять математику и придумывать что то своё? Мне нравится машобчик, вышмат необходимый более менее знаюмага по биофизике за плечами. Есть такая работа чтоб там все не сводилось к тупому import и обычному кодерству, которое может любой школьник? Или надо в аспирантуру пиздовать за таким?
384 1829519
>>29422

>Ключевое значение отводится именно инновационности и нестандартности используемых фичей и подходов, с помощью которых можно будет получить наиболее качественный прогноз.


Боюсь, там основная фича будет "насколько ты близкий родственник организаторов и судей". Просто наблендить нейроночек не прокатит.
smug2.jpg4 Кб, 144x200
385 1829522
>>29084
Да.
386 1829533
>>29469
На практике надо больше разбираться в области, к которой ты применяешь машоб, чем в кодинге. Классические модели в пару строк кода умещаются.
387 1829535
>>29533

>На практике надо больше разбираться в области, к которой ты применяешь машоб, чем в кодинге. Классические модели в пару строк кода умещаются.


Ты путаешь аналитиков и машобщиков. Машобщику нужно уметь кодить, знать SOTA модели и математику хотя бы на среднем уровне, но в предметной области можно особо не разбираться.

>Классические модели в пару строк кода умещаются.


Скорее в пару сотен. А для обработки данных придется написать еще пару тысяч.
388 1829578
>>29469
В общем обычные машобки, которые я смог найти здесь и сейчас, в паре десятков из которых есть хоть какой-то инфа о том, что я могу нихуя из них сделать - никакого профита за эту работу я не вижу. А вот в качестве альтернативы мне от чего отказывать надо - так это в том что при этом у меня все равно нет возможности.
389 1829591
>>29578
что ты сейчас сказал? моя нейросеть не справляется с пониманием смысла этих слов
390 1829592
>>29535

>Ты путаешь аналитиков и машобщиков


А в чем разница? и почему ты решил что у тебя вообще будет аналитик на работе?
391 1829593
>>29522
Расскажи какие из последних выиграл. В соло или в команде?
Screenshot2020-10-1322-12-50.png128 Кб, 762x951
392 1829601
393 1829602
>>29519
Разумеется, шиз, все всех обманут и обведут вокруг пальца, а ты будешь продолжать сидя на жопе негореть в треде от победителей, и ничего не делать.
394 1829608
>>29533
Ну мне главное даже не кодинг, а чтоб что то творческое/исследовательское было, а не по шаблону
395 1829615
https://www.youtube.com/watch?v=QJgi9N5Zj5U
Салам братья машобщики
396 1829618
>>29608
ну так бери и делай творческое исследование у своих знакомых, в мелком бизнесе, епта.
А в условной Пятерочке наверняка будешь клики считать.
397 1829619
>>29592

>А в чем разница?


Аналитик все делает вручную, машобщик трясет черные ящики.

Знающих и машоб и предметную область не существует - для этого тебе придется потратить сначала 10 лет на машоб, а потом еще 10 лет на предметную область не отставая при этом от трендов в машобе, которые меняются ежегодно.

>и почему ты решил что у тебя вообще будет аналитик на работе?


Если нет аналитика, то по крайней мере есть человек из предметной области. От него ты получишь базовые навыки и понимание этой области, но экспертом и близко не станешь.
398 1829621
>>29619

>Знающих и машоб и предметную область не существует


почему? ведь если до того никакого машоба не было, достаточно логистическую регрессию изучить - и готов машоб.
399 1829624
>>29621
Ну да, а посмотрев пару видео на ютубе ты тут же становишься экспертом в некоторой области.
400 1829629
>>29624 ДА.
одно видео про логистическую регрессию, а второй как ее замутить в кликере.
15930006957370.gif391 Кб, 652x562
401 1829630
>>29629

>кликере

402 1829638
>>29630
ну смотри: логистическая регрессия скажет Нужно больше золота!

На питоне ковырять вилкой данные не надо.
Решения бизнес принял.

вот и машоб.
403 1829645
>>29619
У тебя в твоем посте сквозит презумпция равенства людей. А люди не равны. В аналитики идут как правило люди без фантазии, готовые выполнять инструкции, которые в них загрузили в универе, со слабыми скиллами программирования и изучения нового. А в машоб идут люди сильно поумнее, при чем на момент 2020 года у 0.01% есть хоть какое-то формальное образование именно в машобе, а не просто прикладная математика или вообще инженерная специальность. Поэтому знающих и машоб и предметную область дохуя.
Точно так же, как дохуя электронщиков умеет паять, а дохуя программистов могут быстро разобраться с девопс-задачами, но вот хуй из ларька по ремонту телефонов не сможет спроектировать электронный девайс, а девопс - разобраться в том, как работает квиксорт. Разный человеческий капитал.
404 1829653
>>29645

> при чем на момент 2020 года у 0.01% есть хоть какое-то формальное образование именно в машобе, а не просто прикладная математика или вообще инженерная специальность. Поэтому знающих и машоб и предметную область дохуя.


Предметная область это как правило вообще не инженерная специальность. Экономика, маркетинг, медицина, предотвращение мошенничества и прочее. Машобщики по образованию либо кодеры, либо математики, и знания этих областей у них на нуле.
405 1829660
>>29630
Только про кликер тут рассказывает 40летний бумер, так что зумерошизик опять обосрался.
406 1829670
>>29645
умные люди спорят только если не договорились об терминологии.
кто для тебя Аналитик и почему он тупой?
у меня на одной из работ в должности аналитика были девочки из Зажопинсков. Анализировали видео. Путем прямого просмотра в реальном времени видеостены 16x16 камер.
А на другой чувак в должности аналитика закончил матфак и отличные документы строчил.
image855 Кб, 3756x1401
407 1829748
>>29593
В этом году 2 конкурса от телеги выиграл, например. Соло. Даже на работу к ним собеседоваться предлагали потом.
408 1829753
>>29748
Как вообще искать все эти конкурсы?
409 1829756
-------SAMPLE 0 END------- От этого просто тошнит. > 1 ) Это просто пиздец.> 2 ) Ты долбоеб.> 3 ) Ты несешь хуйню. > 4 ) Ты просто пидор.> 5 ) Ты мне мозги промыл.> 6 ) Тебе это вообще не нужно > 1 ) Ну и дурак.> 2 ) Ты просто пидор.> 3 ) Тебе поебать. > 4 ) Мне поебать.> 5 ) Тебе поебать. > 6 ) Тебе поебать. > 1 ) Ты долбаеб тупой.> 2 ) Тебе поебать.> 3 ) Тебе поебать. > 4 ) Тебе поебать.> 5 ) Тебе поебать.> 6 ) Тебе поебать.> 7 ) Тебе поебать.> 8 ) Тебе поебать.> 9 ) Тебе поебать.> 10 ) Тебе поебать.> 11 ) Тебе поебать. -------SAMPLE 1 END------- Сними рубашку с этой пары. Снял штаны с этой пары, скинул футболку и майку, накачал их в бачок и пошёл на речку с мужиком. Мужик мой на пляж вышел, а там вся контора дрочит. А я блять снял штаны и рубашку с этой пары. Ты а где штаны купишь? Снял штаны с этой пары, скинул футболку и штаны с этой пары. А я блять снял штаны и рубашку с этой пары. -------SAMPLE 2 END------- если я тебя позову, ты не сможешь его заставить > мы все знаем, что не так уж он и плох. а если ты не помнишь, что он им на хуе вертел? да ебана ты ебаная, а не то что я щас начнёт мочить Лол, а это кто? он с кем-то говорил, но ты не слышал? > я просто говорю это ты же не троллишь? ты не троллишь > я просто говорю это > ты же не троллишь ну так с кем я не говорил, просто говорю это > а если ты не помнишь про ту кучу, в которой он участвовал? Я думал, ты совсем поебался > он же не троллит Да это ты ебана ты ебаная > если ты не помнишь, что он им на хуе вертел?
Как перестать проигрывать 410 1829757
-------SAMPLE 5 END------- > фотошоп, плиз.> сам школьник и уже почти 3 года не хожу по двачамНе есть что сказать > Просто и естественно это все > ты бы хоть щас не ходил по двачамНе есть что сказать Ты что не понимаешь? Не просто так ты спиздил себе 16 лет и стал аноном и учишься в каких-то ПТУх? > если не пиздеть А потом что ты пиздишь, что тебя пиздят? Я просто говорю что я не ебу тян, а тебе я пишу пост в эпичном разделе, а ты - 2 кт > у тебя действительно какая-то шлюха, у меня не было и не будет других шлюх, которые не были бы моими.> Если ты ее любишь, то почему бы тебе не не быть с ней до конца жизни? > Потому что ты не можешь ее трахнуть? Ну она шлюха, а ты шлюха. > Ты ее трахнешь, а я - говно. Это же не одно и то же Не могу не согласиться, что ты не прав. > Я не ебу тянНу я не ебу тянА я ебу говно. Я говорю что я не хочу никого трахатьНе ты понял. Я не хочу. Я просто говорю что ты ебанутый и не имеешь права меня оскорблять, я тебе в этом не верю. > Я не ебу тянНу я не хочу никого трахатьНу я не хочу никого трахать. -------SAMPLE 6 END------- Во-первых, ты же не играл в подобные игры, это не так. Во-вторых, если тебя интересует именно то, что ты хочешь услышать от меня, то не надо мне рассказывать о других играх, в которых ты играешь. Это не значит, что это не так. А то, что ты имеешь ввиду - это не так, это просто твои домыслы. Можешь даже не рассказывать о других играх, которые ты знаешь или которые мне не интересы. Я никогда не играл в какие-то игры, но это абсолютно верно. И в твоей работе это просто не может быть правдой, потому что ты не умеешь в этом играть. То, что ты не умеешь в этом играть - это факт, который я тебе только что доказал, и ты просто не умеешь в этом. И все твои попытки заставить меня что-то объяснить - это ложь и иди нахуй, если я тебе говорю, что ты не умеешь в этом, ты это прекрасно знаешь и даже не пытаешься в чем-то помочь. С таким подходом к определению игры я бы сказал, что это не игра, это просто набор ошибок, которые тебе не нужны. Мне очень жаль, что я не могу тебе помочь. Я очень надеюсь, что ты поймешь меня правильно. И надеюсь, что ты поймешь и не будешь пытаться меня переубедить, если только я тебе не расскажу. Ты не мог бы мне написать, что у тебя в жизни были какие-то необычные игры или ты не играл в подобные игры?
Как перестать проигрывать 410 1829757
-------SAMPLE 5 END------- > фотошоп, плиз.> сам школьник и уже почти 3 года не хожу по двачамНе есть что сказать > Просто и естественно это все > ты бы хоть щас не ходил по двачамНе есть что сказать Ты что не понимаешь? Не просто так ты спиздил себе 16 лет и стал аноном и учишься в каких-то ПТУх? > если не пиздеть А потом что ты пиздишь, что тебя пиздят? Я просто говорю что я не ебу тян, а тебе я пишу пост в эпичном разделе, а ты - 2 кт > у тебя действительно какая-то шлюха, у меня не было и не будет других шлюх, которые не были бы моими.> Если ты ее любишь, то почему бы тебе не не быть с ней до конца жизни? > Потому что ты не можешь ее трахнуть? Ну она шлюха, а ты шлюха. > Ты ее трахнешь, а я - говно. Это же не одно и то же Не могу не согласиться, что ты не прав. > Я не ебу тянНу я не ебу тянА я ебу говно. Я говорю что я не хочу никого трахатьНе ты понял. Я не хочу. Я просто говорю что ты ебанутый и не имеешь права меня оскорблять, я тебе в этом не верю. > Я не ебу тянНу я не хочу никого трахатьНу я не хочу никого трахать. -------SAMPLE 6 END------- Во-первых, ты же не играл в подобные игры, это не так. Во-вторых, если тебя интересует именно то, что ты хочешь услышать от меня, то не надо мне рассказывать о других играх, в которых ты играешь. Это не значит, что это не так. А то, что ты имеешь ввиду - это не так, это просто твои домыслы. Можешь даже не рассказывать о других играх, которые ты знаешь или которые мне не интересы. Я никогда не играл в какие-то игры, но это абсолютно верно. И в твоей работе это просто не может быть правдой, потому что ты не умеешь в этом играть. То, что ты не умеешь в этом играть - это факт, который я тебе только что доказал, и ты просто не умеешь в этом. И все твои попытки заставить меня что-то объяснить - это ложь и иди нахуй, если я тебе говорю, что ты не умеешь в этом, ты это прекрасно знаешь и даже не пытаешься в чем-то помочь. С таким подходом к определению игры я бы сказал, что это не игра, это просто набор ошибок, которые тебе не нужны. Мне очень жаль, что я не могу тебе помочь. Я очень надеюсь, что ты поймешь меня правильно. И надеюсь, что ты поймешь и не будешь пытаться меня переубедить, если только я тебе не расскажу. Ты не мог бы мне написать, что у тебя в жизни были какие-то необычные игры или ты не играл в подобные игры?
411 1829792
>>29670

>Анализировали видео. Путем прямого просмотра в реальном времени видеостены 16x16 камер.


Охранники?
image230 Кб, 1263x440
412 1829796
>>29753
1.Напряженно работаешь в Пятерочке с чужими данными
2.Случайно замечаешь, что Паша Дуров втихую объявил конкурс
3. Понимаешь, что никто про этот конкурс не слышал и заюзываешь ресурсы Пятерочки для обработки данных.
4. Решаешь там ту самую задачу разделенную на два этапа. Всем говоришь что решил аж две.
5. Увольняешься из Пятерочки
6. Проматываешь за год бабло
7. Спиваешься , скатываешься, становишься лутоманом от машоба пытаясь безрезультатно выиграть другие конкурсы.
413 1829797
>>29792
Отдел Контроля.
А что смущает? Так дешевле. AUC охуенный.
414 1830079
>>29796

>работаешь в Пятерочке


Бабушкин, плез
415 1830112
>>30079
Чет слегка проиграл. Вся предложка в его охуительных историях.
416 1830212
всем привет, первый раз сюда зашла. кто нибудь может меня проконсультировать... учусь на биологической специальности. возникла идея написать небольшую нейроночку которая будет находить по фотографиям аномалии в клетках. код питона вроде как понимаю, знаю что такое нейронные сети... вчера нашла какой то курс вроде адекватный на степике, вот потихоньку собираюсь учить, но не представляю с чего вообще можно начать то что я хочу.
Буду рада если вы мне напишите!
мой телеграм @BQ666692000187
417 1830216
>>30212
курс почитай сначала, но там скорее всего будет много треша совершенно тебе не нужного.
418 1830228
>>30216
ну вот читаю, но там действительно пока что много вещей, на которых сейчас нет времени. хотелось бы конкретно по тому что я хочу.

вот я пока поняла, что мне нужно проделать 3 этапа :
1. почистить фотки от шумов, сделать их четкими
2. удалить с фотографии не интересующие меня части
3. найти и посчитать (аномалии)

может знаете какие нибудь курсы посвященные конкретно этому?
419 1830243
>>30228
Мне тоже интересно. Раньше я делал такие вещи с помощью opencv и каскадного обучения.
420 1830291
>>30243
почитаю спасибо.

просто тут речь идет о микроструктурах, хотелось бы что нибудь оч точное придумать, с точностью до пикселя...если такое возможно 0.0
421 1830344
>>30212
Надеюсь ты со временем обучишься и поймешь, что pussypass не так работает.
422 1830345
Вот DeepLoc
https://github.com/okraus/DeepLoc
Он поддерживается в кликере Orange.
И это твой единственный шанс с разгону хоть что-то сделать кроме рекламирования пизды.
423 1830409
>>30345
спасибо -__-
424 1830419
>>30291
До пикселя нужно разметить датасет с точностью до пикселя, и использовать, например, unet, но для студенческого проекта это слишком сложно
msb177551-fig-0002-m.jpg842 Кб, 2128x2900
425 1830422
>>30228
вообще лучше данные свои показывай.

А то про deeploc написано что его на довольно мелких одиночных клетках учили.

deeploc :

>'data1' elements are cropped images of single cells (64x64) x number_of_channels flattened into vectors.


'>Index1' elements are the protein localization labels for each single cell using one hot encoding.

Сейчас расскажу главный секрет датасаентиста:
нужно взять не те фото, которые нужны, а те фото с которым результат лучше.
redgirl.jpg97 Кб, 640x640
426 1830499
image.png20,1 Мб, 4032x3024
427 1830511
>>30422

вот, можно увидеть различные структуры ядер
image.png266 Кб, 352x324
428 1830520
>>30422
вот один пример аномалии - микроядро.

и вот хочется программу, в которую заливаешь несколько таких фотографий и она автоматически ищет и считает подобное.

ну и может классифицирует, если первые этапы у меня получится сделать...
429 1830546
>>30520
но ведь уже защитились люди по этой теме.
как ты собираешься научную новизну имитировать?
430 1830554
>>30546
Когда не знаешь, что делать, делай хороший, чистый, большой и удобный датасет. Все трясуны тебе спасибо скажут и процитируют
431 1830561
>>30546

не знаю...мне научник утвердил идею, да и в целом пофиг на новизну, я для себя хочу научиться...
зинануебтвоюмать.jpg231 Кб, 1063x1583
432 1830565
>>30561
Ладно.
Просто бери и копируй все что тут написано

https://www.nature.com/articles/s41467-019-12397-x

Как видишь, 20 человек примазались к статье.
433 1830576
Почему еще никто не сделал нейронку, которая вотермарки убирает с пикч? Антивотермарка + апскейл NN идеальный прикладной инструмент для наеба капиталюг.
434 1830580
>>30565
но это, как ты понимаешь, совершенный читинг и в computer science нельзя публиковать.

А чо, кстати, зря вы на мой кликер наезжали. Вот так и должен выглядеть настоящий датасаенс - просто как рядовой инструмент исследователя в любых областях. Он полностью готов классифицировать изображения.
Девочка реально заебись защитится. Результат явно будет отличаться от нулевого.

Тот самый 40летний бумер.
435 1830582
>>30576
Почему просто не поддержать художника, который старался и рисовал?
436 1830583
>>30580
Девочка пусть осваивает питон, тогда от ее образования хоть какой-то толк будет, устроится в пятерочку ящики трясти
437 1830586
>>30583

я учу...
438 1830587
>>30583
это у тебя цель зарабатывать, а ей просто удачно замуж выйти за научрука
439 1830590
>>30576

>Почему еще никто не сделал нейронку, которая вотермарки убирает с пикч?


Ты для начала хотя бы забил вопрос в гугл.
https://arxiv.org/pdf/1911.07205.pdf
440 1830643
>>30580
Вангую, что скоро будут учить школьников на информатике запускать регрессию из склерна.
442 1830655
>>30652

>страшно за бесполезно проведенные годы?


Полный пиздец.
443 1830657
>>30643
Будет что-то вроде "элементы статистики, комбинаторики и машинного обучения", вряд ли полезно.
444 1830663
>>30576
И накладывает ватермарку нейронки))
445 1830665
>>30587

>удачно замуж выйти


>за научрука


Который зарабатывает как начинающий фронтенд-макакен. Заебись удачно.
446 1830667
>>30665
Статистики 301кк в секунду зарабатывают
447 1830669
>>30665
По лайту диплом и научка, а там можно бизнесмена найти. Ну или что там недавно один историк в питере устроил.
448 1830672
>>30667

>Статистики 301кк в секунду зарабатывают


Только те, которые находят работу в индустрии.
449 1830698
>>29748
Как стакать и блендить правильно?
smug3.jpg42 Кб, 1024x576
450 1830805
>>30698
1. Будь крутым ДСером.
2. Делай много качественных моделей.
3. "kaggle stacking guide".

Впрочем, в том конкурсе я ничего не стекал, там была своя атмосфера.
451 1830883
Анончик, поясни за кагл. На примере всеми заезженного титаника. Там есть куча анонов с точностью предикта 1.0. Насколько это реальная хуйня и сколько лет нужно вилкой чистить датасет, чтобы был такой же результат? У меня закрадывается мысль, что эти черти багнули сайт и скачали оттуда проверочный датасет.

Либо я не знаю уже, как тюнить модель, чтобы было хотя бы 0.8+
Максимум, что я смог выдать - это 0.77 на катбусте
Untitled.png1,1 Мб, 1958x732
452 1830887
Гендерно-нейтральный одс.
453 1830907
Что думаете о нечеткой логике в задачах автоматического рассуждения?
454 1830911
>>30883

>У меня закрадывается мысль, что эти черти багнули сайт


Это известная хуйня, там индусы тупа вручную считали
16027382811540.jpg330 Кб, 1958x732
455 1830965
16026188995930.gif391 Кб, 652x562
456 1830987
>>30965
Надо ещё вместо бабушкина в правом нижнем углу зумера поставить
457 1831005
>>30887
А чего все белые? Ни индусов, ни нигр. Это какой-то расизм.
458 1831145
>>30911
почему их решения не удалят?
459 1831167
>>30883
Там есть обсуждения, как получить 0.8 точность. Очень полезно почитать, если ты новичок.
460 1831226
>>31167
а что книжек нет? почему я должен смотреть за рандомами случайно добившихся успеха?
16008753351342.jpg67 Кб, 592x532
461 1831242
>>31226
Книжки есть того что в шапке, более чем достаточно, да ты их не осилишь.
462 1831244
>>31242
А зачем советовать курс если я даже фамилию преподавателя не могу произнести?
как вообще произнести NG ?
463 1831248
>>31244
Nехст Gенересион
464 1831251
>>31244

> А зачем советовать курс если я даже фамилию преподавателя не могу произнести?


В любом курсе произношение фамилии преподавателя - последнее, о чем нужно беспокоиться.

> как вообще произнести NG ?


Ын. Однофамилец или что там у них президента лучшей кореюшки.
465 1831293
>>31251
Я знаю. Это я иронизирую над тем, какие двачеры токсичные псевдоилитарии. Не могли несколько лет нормальную книжку на русском прикрепить.
466 1831436
>>31293
Да ты сам типичный токсик и проецируешь. Книги в шапке - те, которые за несколько лет хоть кто-то из треда прочитал и спросил "а почему в шапке нет XXX". Если какой-то книги там нет - значит про нее никто не спрашивал. Никто специально книги не прячет.
А если здесь априори считают, что собеседник знает английский, это не потому что тут элитаризм какой-то разведен, а, наоборот - к тебе относятся лучше, чем ты того заслуживаешь.
astrologers.jpg207 Кб, 1280x720
467 1831452
Реддит поменял иконку обратно на оранжевую. Месяц БЛМ закончился.
468 1831460
Кстати о книжках, тут хоть кто-то прочитал бишопа хотя бы на четверть?
469 1831464
>>31460
Прочел от корки до корки еще до ДЛ-революции. Хорошая книга же. Столько идей, которые выглядят правильно и интуитивно.

Даже немного жаль, насколько все это бессмысленно оказалось. Биттер лессон.
470 1831515
Ананасы, как поток пользовательских эвентов (залогинился, пукнул и т.д.) превратить в датасет?

Нужно на основании истории действий пользователя предсказывать, что пользователь съебал или нет. Как правильно фичеинженерить подобные связанные по юзерам потоки действий?
471 1831518
всегда хотел стать погромистом, залендил первую работу в BI отделе. есть шансы на развитие в ds при условии упорных учений?
472 1831686
>>31515
Пиздец, проблема.
Нет, пиздец даже метод ее решения.
Ну что тебе предложить? Сначала идешь в sql-тред спрашиваешь там про group by.
Потом в питон-треде всех достаешь.
И тд и тп.

Не быть тебе датасаентистом.
473 1831689
>>31464

>насколько все это бессмысленно оказалось


Насколько?
474 1831810
>>31686
Я знаю и sql, и group by и питон. Я спрашиваю как правильно заинженерить фичи.

Сделаю я твой group by по юзеру и сделаю агрегацию в фичу "количество пуков на сайте". Плохая фича. Сделаю агрегацию по дням и получу, скажем 14 фич - количество пуков на сайте по дням. Ну так не гибко нихуя будет - пользовательское поведение может занимать больше 14 дней. Хорошо, захуячю 365 фич - количество пуков по дням. Но тогда у кучи пользователей куча фич будет пустые, а это для алгоритмов машоба нихуя не хорошо.

Поэтому я и спрашиваю как потоки пользовательских эвентов заинженерить в правильные годные датасеты.
475 1831865
>>31810
Никто не знает заранее. Сделай то, что ты предположил и оцени что получилось.

У меня не было похожих данных, если ты такой ответ ожидал.
476 1832001
>>31810
Трансформеру скармливай, он сам тебе заинжинирит
477 1832198
>>30883

>У меня закрадывается мысль, что эти черти багнули сайт


Тут нет никакого бага, если есть достаточно времени и достаточно fellow indians можно просто пробить паблик: меняешь по одной строчке в сабмите и смотришь как меняется метрика, отсюда узнаёшь правильный ответ.
Screenshot146.jpg148 Кб, 1000x1138
478 1832208
Друзья, а в чем заключается феномен форса нейросети ИТТ?
Чем выборка треда отличается от стандартного бизнеса ?

Вот, допустим, наблюдаю я недавно ситуацию в чате питонистов:
Приходит чувак, притаскивает условный выдуманный датасет и спрашивает как ему сделать простейшую нейронку. Дальше ему несколько человек начинают советовать бросить эту идею и использовать классику и дают ссылку на sklearn (random forest)

Вот тут тоже не понятно в чем проблема:
>>31464

По классике куча книжек весьма толковых накопилось и перевелось на русский.

>>32001
здесь тоже можно нагуглить https://www.coursera.org/learn/process-mining#syllabus
нечто не относящееся к сетям(но выглядит многообещающе)

40летний джун
479 1832218
>>32208
Это ГПТ3?
main-qimg-cca5536b5c1ee6a085763c9184207b02.jpg129 Кб, 602x620
480 1832229
>>32218
5. Ну типа юмор. 40 летний чувак переодевается в айтишника. Задание такое.
481 1832372
Думаю AI Dungeon можно сделать лучше, если создать собственный датасет. Основные траблы AI Dungeon в том, что в датасете много шума. Потому ИИ постоянно путается, когда ты смотришь себе в инвентарь. Если обучать его на IF-текстах, где прописаны такие моменты как:

> Достать лошадь из кормана


Ошибка: лошадь нельзя достать из кармана.

То игра станет намного лучше. Трансформеры очень мощны. Думаю они применимы почти везде. Надо главное датасет выбрать верный.

Алсо, как заставить трансформеры обучаться во время выполнения, как в моделях с подкреплением, и что будет, если совместить трансформеры и подкрепление? Произойдет чудо?
482 1832376
>>32372
Бесплатная версия AI Dungeon обучена на собственном датасете.

>Трансформеры очень мощны. Думаю они применимы почти везде.


Для применимости везде их нужно сделать на пару порядков быстрее.
483 1832383
>>32376

>AI Dungeon


Он все еще опенсорс, или уже анально огородили? На гитхабе последний коммит был в Феврале.
484 1832388
>>32383
Я даже не знал, что он был опенсорсным когда-то. Я юзал его платную версию (семидневный триал) для доступа к GPT3.
485 1832410
>>32388
Никакой ощутимой разницы между бесплатной версией не увидел.
мимо
486 1832413
>>32388

>Я даже не знал, что он был опенсорсным когда-то.


Я начал в него играть буквально через пару дней после релиза. Он был сделан студентом и выложен на гитхаб. Изначальная версия использовала GPT-2 и была просто олицетворением определения говнокода, с кучей багов и вылетов, и я по ходу дела сам правил все это говно. Потом создатель просек что с этого можно зарабатывать, и сделал анально огороженный сервис + заменил модель на GPT-3. Старый код с гитхаба не удалил, и на том хорошо.

Собственно, это является наглядным примером того, как делаются ИИ стартапы. Студент немного потряс черный ящик, который до него натренировали Большие Дяди, приписал пару сотен строк ковнокода, по стечению обстоятельств приобрел популярность, оказавшись в нужное время в нужном месте, и теперь гребет бабло. При этом по навыкам он находится на одном уровне с местными зумерами-вкатывальщиками.
487 1832426
>>32410
Там надо в настройках сменить модель, и плюс первые несколько абзацев генерятся специализированной GPT-2 для создания контекста и далее она же периодически включается для возврата в контекст. Но дальше уже начинается веселуха, особенно если понять, что это что-то вроде помощника по написанию рассказов, и смело править генерируемый контент.
488 1832445
У вас нет страха того что любой школотрон может изучить как пользоваться всеми этими инструментами(ему даже математику знать не нужно) а вы тратили время, старались а в итоге там же где и он?
489 1832454
>>32208

> Друзья, а в чем заключается феномен форса нейросети ИТТ?


ИТТ? Зайди reddit.com/r/MachineLearning/ и попробуй найти там что-то не про нейросети хотя бы на первой странице. Это тебе придется объяснить, в чем заключается феномен форса нейросетей в мире.
Классика сейчас в той же ситуации, что байтоебство лет 10-15 назад: да, еще были динозавры, пишущие на C++ даже программы для банковского документооборота, и жалующиеся на тупую молодежь, которая выбирает jQuery вместо тонкостей ебли байтиков, но всем было очевидно, что тренд на подобную йобу отрицательный, байтоебство замкнулось в своей нише.
Классика будет медленно, но неотвратимо, подыхать. Ну и как бы просто скучно заниматься вещами, которые будут медленно, но неотвратимо, подыхать. Лучше заниматься перспективными вещами.
490 1832469
>>32445
Любой школотрон может изучить квантовую теорию поля по википедии, но а) физики-ПхД не обсираются от этого; б) таких школотронов практически не встречается в природе.
Чем больше народу в области, тем лучше.
491 1832478
>>32469
Это какой-то странный механизм компенсации. Живет такой подпивасный хуй, работает каким-нибудь байтоебом на заводе. И узнает новость - в другой стороне есть школьник, который в 18 лет натренировал нейронку и устроился на хорошую работу. Какая реакция нормального человека? Молодец школьник, круче сверстников. Какая реакция подпивасного быдла? Ко-ко-ко, нейронки - хайп, любой школьник так может, и я тоже могу, просто... не хочу
492 1832501
>>32454
Ну окей, перефразирую :
Можно ли по объему Buzz в треде судить о делах в бизнесе?
Ведь если все начнут (начали) накапливать данные, то появится куча работы в первую очередь с классикой, а потом уже по мере роста требований к точности часть захочет нейросети. Интерпретируемости ведь нет.

Разве нет?
В общем, мне надо определиться, как вкатывальщику.
493 1832543
>>32426

> Там надо в настройках сменить модель


Сменил.

> Но дальше уже начинается веселуха


Не начинается. Как доставал коня из кармана, так и достает. Нихрена не запоминает инвентарь, ни характеров персонажей, ни их возраста.
494 1832547
>>32543
Для этого там есть отдельная кнопка с постоянным контекстом, туда нужно сливать подобные вещи, которые ты хочешь, чтобы висели всегда. Сам GPT-3 помнит 30к токенов насколько я помню, если факт упомянут раньше, его не будет. Ну и смело править ошибки, если они есть.
495 1832553
>>32547
Вот только с инвентарем это не сработает. С характерами персонажей тоже. Пишешь, что персонаж остерегантся тебя, а сетка все равно выдает диалоги, будто вы друзья с детства. 4
496 1832554
>>32547
Ману считать она тоже не умеет.
497 1832556
>>32554
Ебать у тебя запросы, конечно
498 1832570
>>32553
Это языковая модель, а не чудо чудесное. Самое забавное там писать любой бред и наблюдать, как оно выкручитывается, пытаясь минимизировать бредовость текста.
А если рассматривать это как ролевуху, гейммастером должен быть ты, тогда все будет весело. Хотя 90% времени я просил разыграть сценки между вымышленными историческими персонажами из разных эпох. Так как эта йоба читала весь интернет, она знает дохуя фактов и комбинирует их весьма забавным образом
499 1832579
>>32501

>Можно ли по объему Buzz в треде судить о делах в бизнесе?


Нет, это просто тред со своими мемами и шизиками. Суди вакансиям

>В общем, мне надо определиться, как вкатывальщику.


Занимайся тем, от чего не тошнит. Меня, например, от фразы типа "кредитный скоринг" в сон клонит, а картинки-звуки - норм. А у кого-то действительно батхерт от неинтерпретируемых моделей, хотя по мне никакой машоб нормально не интерпретируется просто по своей природе
501 1832583
Препод в вузе занимается анализом медицинских данных. Это норм тема для вката или ничем не лучше чем какой нибудь ds в пятерочке?
502 1832588
>>32583
Для вката любая тема норм, которая потом хорошо выглядит в резюме.
503 1832589
>>32583

>анализом медицинских данных


Чарный ящик там не прокатывает по очевидным причинам
504 1832619
>>32198
>>30911
Бангалорские негры что, вручную подбивали сделали 900 сабмитов, пока не достигли 1.0? Это прямо какой-то особый вид сексуальных девиаций.
505 1832819
>>32553
Просто к каждому тексту от пользователя добавляешь пару предложений с описанием инвентаря и характеров. Ну или можно гптшный трансформер модифицировать немножко для такого.
506 1833170
>>32583
Медицинская тематика это однозначный вин.
507 1835899
А перекат будет?
508 1836544
Soar и ACT-R и прочие когнитивные архитектуры. Тема актуальна до сих пор?
509 1837078
Например, имеется случайная величина u, которая равномерно распределена от 0 до N.
Если есть единственное наблюдение u =4, можно ли что-то сказать о N?
510 1837461
>>37078
Можно сказать что иди ты нахуй со своей домашкой для парашной конторы
Обновить тред
Двач.hk не отвечает.
Вы видите копию треда, сохраненную 9 апреля 2021 года.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
« /pr/В начало тредаВеб-версияНастройки
/a//b//mu//s//vg/Все доски