Вы видите копию треда, сохраненную 24 мая 2017 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Pattern Recognition and Machine Learning, Bishop.
Information theory, inference & learning algorithms, MacKay http://www.inference.phy.cam.ac.uk/itila/
Machine Learning: A Probabilistic Perspective, Murphy
Introduction to Statistical Learning ( http://www-bcf.usc.edu/~gareth/ISL/ISLR Sixth Printing.pdf )
Elements of Statistical Learning ( http://statweb.stanford.edu/~tibs/ElemStatLearn/printings/ESLII_print10.pdf )
Foundations of Machine Learning, أشهد أن لا إله إلا الله وأشهد أن محمد رسول الله. http://www.cs.nyu.edu/~mohri/mlbook/
Fundamentals of Neural Networks: Architectures, Algorithms, and Applications, Fausett L.
А. Пегат, "Нечёткое моделирование и управление"
другое
http://libgen.io / http://bookzz.org/ - здесь можно одолжить ^ книги и не только
http://arxiv.org/find/all/1/all:+nejronochki/0/1/0/all/0/1
https://www.reddit.com/r/MachineLearning/wiki/index
https://vk.com/deeplearning и http://deeplearning.net/reading-list/
https://www.kadenze.com/courses/creative-applications-of-deep-learning-with-tensorflow/info тюториал по slesarflow
http://rgho.st/8g68fTCSx две брошюры по deep learning для слесарей.
http://kaggle.com - весёлые контесты. денежные призы
https://www.hackerrank.com/domains/ai/machine-learning/difficulty/all/page/1 - олимпиадки
курс от китаёзы
http://videolectures.net/mlss09uk_cambridge/
яп
1. http://julialang.org/
2. https://www.microsoft.com/en-us/research/project/infernet/
3. https://www.r-project.org/
4. питухон и так все знают
5. idris/coq - модные яп для формально верифицированных нейроночек с тренировкой на этапе компиляции
ПЛАТИНА
Книги хорошо, но с чего начать практический вкат?
Во-первых, вам нужна любая unix-based система. На Windows возможно запустить нижеперечисленное, но ждите пердолева с настройкой и неодобрительных взглядов анонимуса. Кроме того, в компаниях, так или иначе связанных с разработкой йоба-ПО и machine learningом, Linux/OS X является стандартом. Привыкайте.
Во-вторых, определитесь с языком. Python и C++ наиболее мейнстримовые инструменты, с ними вы без еды не останетесь. Есть еще R, на котором пацаны живут статистикой и анальными пакетами. Некоторые инструменты являются языко-независимыми (Vowpal Vabbit, XGBoost), но обвязывать их вы все равно будете из какой-либо среды.
На Java разработано много production-ready инструментов для бигдаты и если вы угораете по терабайтам данных, то имеет смысл посмотреть в её сторону. Впрочем, лучше это делать уже потом, когда прийдет осознание потребностей.
В-третих, выбирайте себе задачу. Что угодно: распознать качпу, обнаружить ботов по логам, найти раковых больных. Список можно посмотреть, например, на kaggle.com. После чего приступаете к решению выбранной задачи.
Не прийдется ли мне потом с таким наборищем знаний идти в макдак работать?
Несмотря на хайп вокруг ML, далеко не во всех IT компания есть необходимость в ML и понимание круга задач, которые можно решить этими методами. Но поверьте, в 2017 компетентный специалист будет востребован. В России потребителями ваших знаний могут стать: Яндекс, Mail.ru, Вконтакте, Rambler, Касперский, Билайн, Связной, ABBYY, Хуавэй. В биоинформатике есть определенный спрос, можно поскролить http://blastim.ru
Здорово, но я так и не понял чем же вы занимаетесь в IT компаниях?
Попытаюсь ответить со своей колокольни и сразу хочу предупредить, что это едва ли консенсуальное мнение.
ML-специалист - это такое зонтичное определение для человека, способного увидеть проблему, выгрепать кучу логов и данных, посмотреть на них, придумать решение проблемы и врезать это решение его в продакшн. По сути, это кодер, решающий не чисто технические, а, в некотором роде, человеческие проблемы.
Имхо, мы все же остаемся в первую очередь разработчиками.
Что такое TensorFlow?
TensorFlow - опенсорсный гугловый инструмент для перемножения тензоров и оптимизации функционалов. Опенсорсный - потому что даже важные куски типа параллелизации уже выкачены в паблик. Если вам все ещё непонятно что это, значит это вам и не нужно, сириусли. Google перестарался с рекламой и теперь люди думают, что TF - это серебряная пуля и затычка для каждой бочки. До TF был Theano, который выполнял свою работу не хуже. И, в отличии от TF, он уже находится в стабильной фазе.
будет ли ML нужен в ближайшие 10 лет, или это просто хайп?
будет. хайп.
смогу найти работу?
Яндекс, мейлру, касперский, несколько биоинформатических компаний (iBinom, можно еще blastim.ru поскролить на тему работы), билайн (они с НГ целое подразделение открыли под ML и биг дату), связной. Ну и западные аутсорсы, если готов рачить за валюту.
нужна математика?
для начинающего ничего особого знать не нужно
https://www.amazon.co.uk/Calculus-Michael-Spivak-x/dp/0521867444
https://www.amazon.co.uk/dp/0534422004/ref=pd_lpo_sbs_dp_ss_2?pf_rd_p=569136327&pf_rd_s=lpo-top-stripe&pf_rd_t=201&pf_rd_i=0980232716&pf_rd_m=A3P5ROKL5A1OLE&pf_rd_r=3TZ38AZ2BY28R19H4SA5
https://www.amazon.co.uk/Calculus-Several-Variables-Undergraduate-Mathematics/dp/0387964053
https://www.amazon.co.uk/Introduction-Probability-Dimitri-P-Bertsekas/dp/188652923X
"основы теории вероятностей" Вентцель
поясните за нейроночки
нейроночка - массив
шад)))
Нет там ничего ML-специфичного, знание матана и теорвера на уровне заборостроительного вуза. Теорвер проходится на третьем курсе, как раз 20 лет.
Рандомный хрен туда не сможет поступить, потому что планка намеренно задрана, а не потому что там такая охуенно сложная программа. Это традиционная наебка "элитных учебных заведений", в которой учат так же хуево, как и везде, но за счет отбора поступающих якобы формируются неебовые успехи, которые объясняются именно качеством преподавания.
Иными словами, у тех, кто способен поступить, и так в жизни проблем с трудоустройством не будет.
Тред #1: https://arhivach.org/thread/147800/
Тред #2: https://arhivach.org/thread/170611/
Тред #3: https://arhivach.org/thread/179539/
Тред #4: https://arhivach.org/thread/185385/
Тред #5: https://arhivach.org/thread/186283/
Тред #6: https://arhivach.org/thread/187794/
Тред #7: https://arhivach.org/thread/196781/
Тред #8: https://arhivach.org/thread/209934/
Тред #9: https://arhivach.org/thread/223216/
Тред #10: https://arhivach.org/thread/234497/
Тред #11: https://arhivach.org/thread/240332/
Я в монахи могу уйти.
>1ый пик
Оп-хуй, SVM и RVM - это теория статистического обучения, а у тебя они в разных местах.
ну так подвинь
а по мл есть чего? нейроночки там, рандомфорест?
>гуманитарий какой-то.
Наркоман? Математик он, ученик Заде (создатель теории нечеткизх множеств).
>по мл есть чего?
Разумеется. Статьи http://sipi.usc.edu/~kosko/publications.html Книги конкретно мо МЛ: http://gen.lib.rus.ec/book/index.php?md5=BC1EC0F44F2E619AB46D6FD0B7088514 http://gen.lib.rus.ec/book/index.php?md5=CCC0771774E761EB91EE2019A244305B http://gen.lib.rus.ec/book/index.php?md5=032DFEB66357FA8EA32545E271375CE6
Я в курсе, что он что-то типа систем наведения ракет для военных разрабатывал, есть у него работы, спонсировавшиеся то ли НАСА, то ли пентагоном, не помню. Возможно, в тридцать с небольшим лет директором исследовательского института его посадили не просто так, а за некоторые успехи в этом направлении. И что, это что-то плохое?
Гугли recurrent neural network.
Что делать дальше? Пилить еще или искать работу?
И где вообще искать работу? На ХХ одни вакансии для сениоров и мидлов, а для студентов ничего нету, только один Тинькофф и одна консалтинговая компания.
смогу найти работу?
Яндекс, мейлру, касперский, несколько биоинформатических компаний (iBinom, можно еще blastim.ru поскролить на тему работы), билайн (они с НГ целое подразделение открыли под ML и биг дату), связной. Ну и западные аутсорсы, если готов рачить за валюту.
Этого нет, обычно пишут вывод формулы.
можно просто найти самое длииное предложение, а остальное забить словами-филлерами (<Null> какой-нибудь)
нос, пощади!
В смысле? Ты раскрыл тайный замысел Nvidia в том, чтобы продать побольше карточек? А то, что у тебя после долгого обучения запускать сеточки можно на тех же тостерах тебя не смущает? Я уж и не говорю, что нейронки решают свой спектр задач достаточно эффективно.
Чет требования какие-то не охуевшие даже. Тыщи полторы заявок будет. Как на стипендию Фулбрайт в США, только место одно, а не 30. Ну может два, если "команде понравишься".
Но яндекс все равно ни во что кроме рекламы не может. Какие беспилотные автомобили, к чему этот цирк?
Убер делает, Гугль делает, а Яндекс чем хуже? Типа в Яндекс-такси заюзать можно. Даже если и не взлетит (все-такие ученые делятся на два типа, первые - автономные машинки через 5 лет везде и всюду, вторые - полная 100% автономия при жизни ваших внуков. Ближе к их старости. Если повезет.), то побочные результаты неплохие будут. Можно даже кому-нить подать, тому же Уберу, например.
Чуваки, не изобретайте заново Robotic Operating System.
>Гугль делает, а Яндекс чем хуже?
Ты сам-то понял, что пытаешься сравнить, лол? Сколько сделал гугл по МЛ, а сколько яндекс?
Не исключаю, что Яндекс сделал несколько годных МЛ спецов. Которые ушли в гугл.
Хочу спросить про эти курсы ->
https://www.coursera.org/learn/vvedenie-mashinnoe-obuchenie
https://www.coursera.org/learn/neural-networks
Норм курсы? Отпишитесь кто проходил, а то я нюфажек((((
NLP-дебил в треде, сам не юзал, но думаю, что не хуже всяких распиаренных spacy.io и прочего, так как все библиотеки довольно-таки ерундовые.
Меня интересуют в первую очередь C++related вопросы, а не вопросы на общее знание нейронок.
Не, я имею в виду, зачем вообще юзать такие программы с графическим интерфейсом, если все задачи а ля NER решаются встраиванием в код библиотек?
> RBMT
забиваешь правила в ручную
а деревце само выводит правила
деревце - искуственный интеллект а рбмт - нет
деревце тебя заменит а рбмт - врядли
Спасибо, понел. Только ведь придётся каждый раз для нового правила обучающую выборку размечать, да и ветви отсекать кому-то надо - без работы не останусь.
матан матан, кругом матан
https://moikrug.ru/vacancies/1000031944
тройной интеграл в конце страницы же
Сеть должна выполнять классификацию, то есть один из выходных нейронов равен 1, остальные 0.
Алгоритм старательно уменьшает RMSE, отдавая на всех выходах 0 (т.е. RMSE будет sqrt(1/N) ). Как с этим бороться?
Back Prop ведёт себя точно также. На Rprop перешёл, потому что думал, что он избавит меня от такой ерунды.
>RMSE будет sqrt(1/N)
С какой стати? Там же считается ошибка между фактическим выходом и тем, что считает нейроночка при текущих параметрах. Исходя из чего параметры правятся. Этот прав походу >>939353
Допустим, я мог обосраться с RProp. Но как можно обосраться с обычным обратным распространением ошибки, которое скоро даже в школах начнут преподавать, настолько оно простое?
> С какой стати?
Ну вот смотри. У тебя есть собаки, кошки и гуси.
Собака — 1й нейрон
Кошка — 2й
Гусь — 3й
Я подаю входные параметры. Для собаки и 1 на 1й нейрон и нули на 2й и 3й. Нейронка, обучившись, подаёт на все три выхода нули. Получаем
sqrt((sqr(1 - 0) + sqr(0 - 0) + sqr(0 - 0)) / 3 ) = sqrt(1/3)
Нет, я не картинки пытаюсь классифицировать, задача другая, это просто пример
http://pastebin.com/BLcNtuSF
На специфику типа HyperTan и SoftMax не обращай внимания, они тут временно, я с эталоном пытаюсь сравнить.
На error_index тоже. И на то, что у меня malloc в C++ коде
Посмотри, как на сях нейроночки писали http://www.ibiblio.org/pub/academic/computer-science/neural-networks/programs/Aspirin/quickprop1.c
Хотелось бы с нуля начать вкатываться. Тем более воспринимать устную речь на ангельском очень тяжело.
в шапке полно, собранных потом и кровью, ресурсов для нюфагов
бери, читай, смотри
нет блять
> Как школьнику начать вкатываться в ваш ML?
красивая писечка
нейроночка - массив
да
predicting next word in text
n-gram prediction
Мдэ. В общем, где-то очень хитрый баг, который сложно аллоцировать. У меня с оригиналом на C# не сходится. Пошагово отлаживал.
Но на back prop это поведение с занулением выходов всё равно остаётся, там негде ошибиться
Я смотрю тут охуенные спецы по МЛ сидят. Никто даже не знает что используется для нейронок на практике.
https://www.coursera.org/learn/neural-networks
и где же?
Там же математики много сложной, а я даже не знаю, что такое производная.
всем похуй, нейронки хуйня без задач
Ты дебил?
для начинающего ничего особого знать не нужно
https://www.amazon.co.uk/Calculus-Michael-Spivak-x/dp/0521867444
https://www.amazon.co.uk/dp/0534422004/ref=pd_lpo_sbs_dp_ss_2?pf_rd_p=569136327&pf_rd_s=lpo-top-stripe&pf_rd_t=201&pf_rd_i=0980232716&pf_rd_m=A3P5ROKL5A1OLE&pf_rd_r=3TZ38AZ2BY28R19H4SA5
https://www.amazon.co.uk/Calculus-Several-Variables-Undergraduate-Mathematics/dp/0387964053
https://www.amazon.co.uk/Introduction-Probability-Dimitri-P-Bertsekas/dp/188652923X
"основы теории вероятностей" Вентцель
А лучше уйди, нейронки это не твое, блять, ТЫ ДАЖЕ ШАПКУ ПРОЧИТАТЬ НЕ МОЖЕШЬ)))) Куда ты лезешь блять.
Ты же блять хуй положишь на мл сразу после того как откроешь любую из выше предложенных книг,
ибо сука, ТЫ ЛЕНИВОЕ ХУЙЛО.
>Слушаешь посанов на двачах
>Решаещь вкатиться
>Открываешь Бишопа
>Охуевашь только от первых джвух глав.
>Откладываешь Бишопа на потом.
Возможно.
Или нет?
И как я понимаю никакого debug'а сделать нельзя и таким образом будет сделан черный ящик, который хитро непонятно умножает входные данные получая результат?
Начни с Евклидовой, а там переходи на
http://ojs.pythonpapers.org/index.php/tppsc/article/view/135/144
говно. И там преподают только back prop
да
может быть удобно для приближения всяких сложноебучих непрерывных численных функций
на дискретной хуите типа сортировок особо работать не будет
у нечёткого петуха на этот счёт могут быть другие соображения
мне нравится, я думаю, вкатиться не смогу, так как ленивый и старый, но тут все классно разжевано для тупых и без всякой болтологии, и после этого я сам могу в тетрадочке производные считать, до него бился очень долго бился в конвульсиях, так как, чтоб прочитать бишопа, нужно выучить кучу всего другого, а когда открываешь советский учебник по линалу, они меня насилуют гомологиями колец
https://habrahabr.ru/post/155235/
> Эта модель актуальна при задаче классификации, когда необходимо получить на выходе нейросети вероятности принадлежности входного образа одному из не пересекающихся классов. Очевидно, что суммарный выход сети по всем нейронам выходного слоя должен равняться единице (так же как и для выходных образов обучающей выборки)
Спасибо, годная статья!
настройка гиперпараметров и есть дебаг. любой алгоритм надо настраивать под свои данные
в мозгу это по-другому работает. Там есть нейромедиаторы и всякое такое
不是!设立没有中国人们!
Нейронные сети, которые здесь обсуждаются - математические объекты, которые были изобретены в 60-х на основе исследований реальных нейронов и их способности кооперироваться, на основе попыток дать этому явлению математическое описание. К биологическим нейронам это теперь никакого отношения не имеет.
Помочь (своей болезнью?) может и можно, но это к людям, изучающим мозг.
- Новый сорт скороспелый?
- Нет, отсень кусать хосется
Ну, знаешь, кем я только ни работал! Я и санитаром могу, и строчка ровная получается. Еще мальчиком, бывало, стульчик мастерил и с профессором Банщиковым вместе обходы делали. Все вот так сидят, а я говорю, и конгруэнтно все получается. А потом в мавзолее все таскали тюки, тяжелые такие. Я в гробу лежу, руки вот так держу, а они все таскают и складывают. Все говорят: мол, заграница нам поможет, а я и здесь работать акушером могу. Столько лет уже в парке Горького роды принимаю… ну, там мальчики, девочки… Плодики вынимаем и складываем. А то, что повара делают, это тоже нужно, ведь наука — это величайший путь к прогрессу...
ау вась тебе к когнитивистам
оп пик
у сибя в сраке смотри, хех
Если использовать именно нейроночки, то да, черный ящик получишь. Если черный ящик не нужон, а требуется именно понимание работы идентифицируемой системы, т.е. каким образом в ней выходы зависят от входов, то нужны более другие подходы. Их много, реально. Как сторонник нечетких методов, могу сказать что связка "универсальный нечеткий аппроксиматор + представление готовой модели в виде, доступном для экспертной оценки человеком" один из лучших вариантов, есть даже готовые решения, например https://sourceforge.net/p/guajefuzzy/wiki/Home/ вообще, финграммы крайне недооцененный метод, статья про них например https://pdfs.semanticscholar.org/15bc/80fdd1ce2293ebebae031c099be8587a755d.pdf
>Как стать слесарем то?
Очевидно же - игнорировать всяких воронцовых. По делу у него все равно хуй да нихуя. Я еще раз спрошу - с какой стати считать что яндекс может в МЛ? Ни одной причины для этого просто нет.
что это еще за кал от испанских недоучек? неужели среди всего разнообразия действительно толковых работ, ты нашел именно это амно.. печаль
>среди всего разнообразия действительно толковых работ, ты нашел именно это амно
Ты знаешь аналоги такого?
ну они там что-то делали с генерацией стихов Летова (сдержанный смех). Еще можешь посмотреть конфу, где они приглашали аж самого Миколова. Вопросы в конце конфы доставили ппц, в яндексе походу аутисты работают
нет, но я знаю еще одну гавнотеорию, которую пушат в нашем вузе, однако что-то не вижу ажиотажа.
Читать надо людей, работы которых используются на практике ну или тех, кто на слуху. Миколоф, Сутскевер, Голдберг, Леви, Карпатый, Янг, Чен нутыпонел
>Читать надо людей, работы которых используются на практике ну или тех, кто на слуху.
Я тебя понял, распиаренное значит лучшее.
ты сам такой вывод сделал, если ты считаешь основоположников современных нероночек распиаренными, то флаг в тебе в руки.
Ты ж сам это пишешь.
>если ты считаешь основоположников современных нероночек распиаренными, то флаг в тебе в руки.
Речь шла об интерпретируемости модели, полученной в процессе идентификации системы. Что об этом пишут распиаренные основоположники современных нейроночек (сверточных, т.е., единственных из известных местному большинству)?
Иди на академию хана, там все объясняют на видео, для совсем олигофренов, весь школьный калькулюс, векторный калькулюс университетский - вообще всё. Прослушаешь - сможешь давать всем на клык на матане, вплоть до третьего семестра универа.
У дипломников воронцова из пистеха вполне неплохие дипломные работы.
ААА зачем я это посмотрел. Все эти "хьюмэн брэйн, нейроночка решает идти на ПАТИ или нет" я блюю от этого всего.
Дайте теперь тогда книжку с жестким матаном, но дабы там было абсолютно все о нейросетях.
Тренировочная выборка - это понятно. Мы подаем ее данные на вход и выход, изменяются веса сети, т.е. выборка непосредственно влияет на сеть.
Дальше validation стадия - для чего она? Пишут, что мы с ее помощью выбираем самую удачную модель из нескольких - имеется в виду, после каждой итерации? Где-то сказано, что валидационная выборка влияет на выбор гиперпараметров обучения - каких именно, и как влияет?
Затем используется выборка test, для определения ошибки итоговой модели. Почему для нее нельзя использовать данные валидационной выборки? Ведь сеть её не запоминала?
С того, что почти все вещи, от того, какую рекламу крутить кому и заканчивая тем, как тебе искать в сети требуют этого. Есть вполне работающий бустинг на деревьях + какие-то сетки, которые используются пока в-основном как факторы бустинга.
source: работаю там.
Без внешних выборок по отношению к тренировочной, ошибка на тренировочной выборке просто упадет до нуля и все. При этом тестовые данные будут классифицироваться вообще никак, при том что соответствуют той же системе, что и тренировочные. Что соответствует переобучению (oferfitting).
>>941500
>Есть вполне работающий бустинг на деревьях + какие-то сетки, которые используются пока в-основном как факторы бустинга.
Враппер под хгбуст, в лучшем случае. Ни сам бустинг, ни что угодно другое, относящееся к бустингу, не было создано в яндексе.
Вот смотри: пусть у нас три подвыброки train, validation и test. Когда ты кормишь свой алгоритм трейном, он подбирает какие-то свои параметры (веса для нейроночек, по каким факторам бить для деревьев, например), но кроме тех параметров, которые алгоритм может подобрать сам есть еще гиперпараметры. Гиперпараметры - все, что есть вокруг модели, даже саму модель можно считать гиперпараметром, они по сути отличают несколько конкретных моделей из одного семейства (пару нейронок по количеству слоев, например). Для примера: в нейроночках ты можешь менять количество слоев, их размер, их типы, learning rate, regularisation rate, количество шагов до остановки (early stopping) - это все гиперпараметры, которые сама модель не подбирает, а подбираешь ты на основе validation подвыборки.
Так как ты когда выбираешь гиперпараметры сам отталкиваешься только от train и validation подвыборок, то ошибка, которую ты будешь получать на этих подвыборках будет занижена (на train - алгоритм может переобучиться, на validation - ты сам, когда будешь подбирать гиперпараметры под него), потому чтобы узнать настоящую точность алгоритма тебе нужна последняя подвыборка test, которую ты трогаешь только в самом конце и поэтому не можешь на ней переобучиться.
Судя по вики, первый релиз xgboost в 2014 году, первые коммиты в местные деревья я нашел в 2009 (учитывай тоже, что в Я были переезды с контролем версий и т.п.). Категоричность твоих убеждений удивляет и огорчает меня.
Значит, не конкретно под хгбуст. Про бустинг Вапник еще в 1995 году писал, ссылаясь на пейпер 1990 года. "Казалось бы, при чем тут Лужков яндекс" как говорится.
>Категоричность твоих убеждений удивляет и огорчает меня.
Ну извини уж, что вижу то и пишу. Рекламу от яндекса вижу ежедневно чуть ли не в каждом утюге, а вот про какое-то МЛ-специфичное ПО от них даже не слышал (полтора враппера на гитхабе - не показатель).
> Про бустинг Вапник еще в 1995 году писал
Ты наркоман что ли? Я не говорю, что в Я изобрели бустинг (xgboost тоже хорош не статьей, а тем, что он открытый и работающий), я говорю, что в Я есть реализация работающая быстро и без переобучения с простым интерфейсом: залил пулы с данными - получил классификатор.
> вот про какое-то МЛ-специфичное ПО от них даже не слышал (полтора враппера на гитхабе - не показатель).
Все ПО, которое тебе что-то саджестит (поиск, реклама, Дзен) использует внутри себя МЛ достаточно активно. То что в опенсорс не выкладывается связано с политическими (в Я это не поддерживается потому что тратит время и не приносит прибыль) и техническими (все ПО написанное завязано на внутренние библиотеки) причинами.
>То что в опенсорс не выкладывается связано с политическими (в Я это не поддерживается потому что тратит время и не приносит прибыль)
Приносит на самом деле. Просто в вашей конторе менталитет уровня прошлого века, "нельзя впарить = не приносить прибыли". Стал бы Маск релизить gym и universe, а Брин выкладывать в паблик Слесарьфлоу, если бы это было простой потерей времени и не приносило пользы? Нет, конечно. Просто они умные и понимают, что прибыль можно получить не только впариванием, но и более хитрыми многоходовочками (выложил свободную МЛ-библиотеку, пропиарил ее - с ней ознакомились полтора миллиарда индусов - несколько из них активно коммитят и развивают проект нахаляву + пишут работы в тему, набивая тебе индекс цитирования + защитились на пхд и к тебе же пришли работать, уже зная тему вдоль и поперек, итого ценные кадры в годные прибыльные стартапы).
Ты забываешь, что компании бывают разными. OpenAI - финансируется и не торгуется на бирже, Google - тратит деньги и овладевает новым рынком, Я так не может (банально денег сильно меньше). Задачи Я - делать продукты и воевать на уже существующих рынках в других странах, а не глобальная экспансия и миллионы индусов (подумай, сколько придется потратить на маркетологов только). Про опенсорс и привлечение людей Бобук кстати в предпоследнем Радио-Т говорил тоже на примере MS.
>>941516
Это все мне понятно. Если на тренировочной выборке ошибка упала до нуля - значит сеть обучилась, или же запомнила картинки (что, в принципе, одно и то же, но разный уровень генерализации).
Затем мы подаем валидационную выборку. Получаем некое значение ошибки, естественно, бОльшее, чем при тренировке. Дальше что с ним делаем? Точнее, что делает с ним фреймворк?
Например, я экспериментирую с caffe. Архитектура модели (число слоев и т.п) в процессе обучения не меняется. learning rate и алгоритм его изменения задается на запуске (фиксированный, экспонента, и другие). Количество шагов остановки - это число итераций, да? Вроде там фиксированное всегда.
Насчет regularisation rate только не уверен. Вот и спрашиваю, как используется validation loss.
Как я понимаю, ты подкручиваешь гиперпараметры и смотришь, упал или поднялся validation loss. Когда достиг минимально возможной, то смотришь окончательную оценку модели на тестовой выборке.
Параметры модели настраиваются до тех пор, пока ошибка на тренировочной выборке не начинает расти (что свидетельствует о переобучении). На картинке >>941506 же вся суть. Первая кривая это и есть validation loss. Там показан момент оптимальной остановки дальнейшей настройки параметров.
Теперь понял, спасибо
Мне сложно сказать, также как зачем выложили ClickHouse, но общая политика Я - не выкладывать.
Попытался сделать регрессионную модель для предсказания оценок (через SVM), получил MAE ~ 0.86, что довольно хреново (столько же дает обычная user-based коллаборативная фильтрация).
Вопрос в модели, что нужно брать собственно за X_i.
Я брал вектор, который представляет собой конкатенацию юзер признаков и муви признаков, вроде
пол + возрастная категория + профессия + наиболее_нравящиеся_жанры + жанры фильма.
Все признаки кодировал через битовые вектора, напр, пол для мужчин 1 0 для женщин 0 1 и т.д.
Где я сильно неправ?
Для мувиленса хорошая MAE - ниже 70, вроде.
Попробуй deepboost'ом каким-нибудь.
А почему ты используешь конкатенацию? Мне кажется, какие-то признаки более значимы, а какие-то менее значимы, и надо присваивать им веса.
По идее, веса будут присвоены во время обучения.
Потому что у тебя ответ какой-то наркоманский. Очевидно же, что почитать можно там же, где и про сверточные сети вообще. Лекуна читай.
котаны, добавьте в шапку http://neuropro.ru/
там хорошие статьи на русском есть. Причем там не переводы, а авторские статьи.
http://neuropro.ru/mypapers/krasnneu04_4.pdf вот например "РЕДУКЦИЯ РАЗМЕРОВ НЕЙРОСЕТИ НЕ ПРИВОДИТ К ПОВЫШЕНИЮ ОБОБЩАЮЩИХ СПОСОБНОСТЕЙ"
http://www.neuropro.ru/memo17.shtml О пригодности любой нелинейной функции нейронов
http://se.math.spbu.ru/SE/YearlyProjects/2014/YearlyProjects/2014/344/344-Korystov-report.pdf и вот эта курсовая тоже прикольная
>Это сайт Виктора Царегородцева − здесь я предлагаю услуги по анализу данных
Пиар параши. Впрочем, как и шад, но всем похуй почему-то.
ну окей, тогда я ещё и это закину
https://www.youtube.com/channel/UCKFojzto0n4Ab3CRQRZ2zYA
https://www.youtube.com/channel/UCNuItlOR3qXZBtMRwb4GoBg
на обоих есть про машинное обучение
>простым языком.
Подход к машобчику с единственно верной стороны, а именно - конструктивной математики. Колмогоровская сложность, вероятность Мартин-Лёфа, индукция Соломонова, вот это все. Пикрелейтед еще в 1907 году пояснил, почему вычислимая математика на основе построимых математических объектов - единственный путь не скатиться в кризисы и парадоксы. Нет, не хотим. Хотим веровать во всякую невычислимую хуету а-ля закон исключенного третьего. В итоге вне конструктивного подхода кризис оснований до сих пор не победили, но до некоторых таки дошло, что без конструктивизма и правда никуда, в итоге таки начали работу над конструктивными основаниями - НоТТ. В машинном обучении та же история - еще в 60х годах кукарекали, что нужно немного потерпеть и будет ИИ. Напридумывали кучу алгоритмов, а толку - хуй. Картинки кое-как научились классифицировать, к 2017-то году. И опять понемногу приходит понимание, что без конструктивизма никуда. Ну, лучше поздно, чем никому. Глядишь, так и победят.
Я что-то не понял, обратное распространение ошибки на сверточном слое происходит также как и в обычном слое нейросети?
> конструктивной математики
нахуй сьебируй
даже аллах математика, лол. как же матанопитухи заебали все своей петухатикой обмазывать.
Аллах как раз не математика. А насчет алгоритмов - смирись, это математика в чистом виде. Все машинное обучение в частности.
з.ы. напиши мне алгоритм распознования геометрических фигур, петухатику ты знаешь, матаппаратом владеешь, удачи.
то то нихуя я смотрю там не работает
А то. Конструктивная функция как она есть, подаем на вход ингредиенты, производим над ними необходимые действия, получаем на выходе продукт.
а что тогда не матан? почему кулинария не раздел математики? понапридумали наук всяких
Может разжую еще...
Блять блять, сложна нахуй.
1. Я провожу кластеризацию на реальных данных, как мне оценить качество кластеризации? Я нашел пейпер, в котором сводка всяких оценочных статистик, но там приводится слишком много разных вариантов, дайте самый мейнстримный.
2. Я провожу кластеризацию на тестовом наборе данных, где уже есть референсный столбец с разбиением на классы, как в таком случае быстро оценить качество?
байесовские методы есть простой фреймворк со встроенной оценкой моделей методами современной теории вероятностей (вместо устаревших методов нечёткой логики)
в бишопе в 10 главе есть пример кластеризации с вариационным бейсом
алсо инклюдед автоматический вывод количества кластеров
>>942550
дропай, нахуй тебе это?
Хочу простенький скрипт для себя сделать для создания базы тянучек которые мне нравятся для дальнейшего спама им в личку с целью поебаться.
Знаю таких проектов кучу было, раньше натыкался на обсуждения подобного.
Я так понимаю, что мне нужно деревьями обмазываться?
Воловиц, залогинся.
В школе я ебланил, институт не профильный, а самому изучить можно, но уж больно дохуя: освежить функции, теорию пределов, дифференцирование, итегральная поеботина как минимум.
С помощью openface за ночь сделал автолайкер для тиндера. В целом идея простая, openface представляет возможность преобразовать фотку в feature vector, то есть сам найдет лицо на картинке, пропустит его через нейроночку и выдаст тебе набор цифр. Далее этот вектор уже можно использовать как хочешь, например, каждое новое лицо проверять на близость к тем, что есть в базе, можно скормить PCA или t-SNE и смотреть на кластеры того, что тебе нравится.
Вот код докерфайла и скрипта, который позволяет получать representation vector с помощью HTTP API: http://pastebin.com/9gaP2iwW
Остальную обработку можно вести вне докерфайла.
Чтобы запустить надо вызвать /root/openface/demos/web/start-servers.sh внутри контейнера, далее запрашивать API как-то так.
def get_rep(image):
img_str = base64.b64encode(image)
data = {'image': img_str}
r = requests.post("http://localhost:8000/search", data=data)
return r.json()
Проблема в том, что это не работает. Потому что вектор находится в пространстве похожих лиц, но если лицо похоже на красивое, это не значит, что оно само по себе красивое. Проверить просто, залей фото любой красивой тян на файндфейс и посмотри, нравятся ли тебе матчи. Ты найдешь дохуя всратых и жирных тян, похожих на твою богиню.
Я вижу тут два варианта, или сделать мелкую нейроночку feature vector -> оценка и обучить на своей базе, или же обучать end-to-end, лицо -> оценка. Первое реально сделать допилив openface, а вот для второго база нужна поздоровее, и на гитхабе я не видел, хотя статьи есть (и база с азиатками, лол https://arxiv.org/abs/1511.02459 )
В целом такой стартап взлетит.
>каффе с кастомными слоями сам себя не построит
проиграл, у меня их уже больше десятка веток, собираю с закрытыми глазами
выбираешь случайные
@
прогоняешь SGD
@
повторить 100500 раз
@
берёшь лучшие веса
@
продаёшь массив и выкатываешься
так чуть больше шанс найти нормальный максимум - ты градиентный спуск/подьём скорее всего будешь несколько раз прогонять, каждый раз от новой точки
Надо вложить десяток тысяч рублей во фрилансеров из /wrk/, чтобы разметили базу, тогда можно и по сиськам сортировать.
> Но почему случайные-то, а не просто от единицы и ноля, например?
Если ты везде поставишь вес 1 и смещение 0, то у тебя нейроны будут выдавать все одни и те же значения => capacity модели как у одного нейрона
>>943221
> так чуть больше шанс найти нормальный максимум
это неправда, обычно не переносится информация между запусками => если ты найдешь минимум какой-то, не факт, что ты на нем остановишься
Как ты сложно объясняешь... Короче, если установить одни и те же параметры у нейронов, они будут обучаться в одну сторону, а нам нужно, чтобы нейроны вычленяли разные признаки, поэтому и инициализируются они по-разному.
У меня удачный опыт, меньше ебли мозга, чем у успешных хохлов с бирж, с учетом того, что все объясняется на словах, выходит дешевле толоки или амазона. Минус только распиздяйство, но это решается более грамотным менеджментом с моей стороны. На самом деле на бордах дохуя хикканов из провинции, готовых работать за копейки, при этом довольно вменяемых и компьютерно грамотных.
>В чем суть конструктивной математики? Только без баззвордов.
Суть - вычислимость. В конструктивной математике все вычислимо, ни во что веровать не надо. Петушок >>942697 не шарит, его можно не слушать.
>>942593
Существует, мягко говоря, хуева туча методов оценки качества кластеризации. Из чего уже можно заключить, что какого-то одного и универсального решения нету. Например, в R есть готовые решения такого рода - кластеризация с оценкой по наиболее используемым критериям и окончательное решение, сколько именно кластеров адекватно представляют данный датасет. https://cran.r-project.org/web/packages/clValid/index.html
>>942884
https://cran.r-project.org/web/packages/clValid/index.html
>>942970
Бутстраппинг - онанизм в чистом виде. К каждому имеющемуся примеру добавляются от балды искусственные, нормально распределенные относительно имеющегося. В итоге данных становится тупо больше и алгоритмы уже могут что-то выдать более осмысленное. Вообще, таким методом есть смысл пользоваться только когда все совсем плохо.
Короче это картофанные дауны, для которых выражение является истинным, если сцаная машина тьюринга может его посчитать, я правильно понял? Так все этих интуиционситов ещё при Гильберте в очко ебали и с тех пор они у параши потешно кукарекуют только, разве нет?
https://cs.hse.ru/dpo/bigml
>Бутстраппинг - онанизм в чистом виде. К каждому имеющемуся примеру добавляются от балды искусственные, нормально распределенные относительно имеющегося. В итоге данных становится тупо больше и алгоритмы уже могут что-то выдать более осмысленное. Вообще, таким методом есть смысл пользоваться только когда все совсем плохо.
Я вот и не понимаю, почему расширение обучающей выборки за счёт обучающей выборки не приведёт к дикому переобучению.
Переобучению относительно чего? Если у нас выборка - это 3,5 примера, а больше от этой системы все равно ничего нет (в противном случае бутстрап не нужон).
Я не понял, я прав или нет? Скиньте статью, где все для дебилов понятно объяснено.
ЯП
1) Джулия, да, заточка под математику, но зачем нам Джава, с Скалами и Джулиями, если у нас есть Питон? К тому же под Джулию ещё и фремворков на каждый случай нет, а состыковывать как? А Джава вообще в плане математики сосёт. Учить узкоспециализирвоанный язык, это как учить машинный кодинг под конкретный проц.
Нужно быть полным идиотом.
2) Весь .Net сразу идёт на хуй, за причинами в Гугл. А инфернет и тем более, где он вообще применяется на деле? Только в паре маленьких проектов от Майкрософт? Вы будете учить Раст, чтобы программирвоать только Фаерфокс? И я нет. Я бы с большим успехом взялся бы за ЛУА. Но зачем Луа, когда есть Питон.
3) R сдох, теперь везде только Питон.
4) Питон, да, этот язык стоит учить.
5) Хипстерские ЯП, коих хрен знает сколько и которые рождаются каждый год, не нужны по вышеуказанным причинам.
Итого, остаётся учить только Питон.
Сразу видно, что ОП - полный мудак.
Остальную часть его высера даже читать не стал.
https://www.youtube.com/watch?v=dD_NdnYrDzY
Что-то такое, но в виде программы с детализацией и дабы выдавало более совершенный набор звуков. Точнее, более точно бы повторяло голосовые связки и тд человека.
https://www.youtube.com/watch?v=1dwXX9LmSDg
Программу реально сделать? И если да, то как? Только чтоб там детально рассматривалось движение губ и тд
Аноны, стоит ли в резюме писать про курсы на курсере? Я только студент и опыта работы вообще нету, проектов больших тоже нету, только несколько поделий, типо seq2seq и всяких распознаваний изображений.
о да, шевелящиеся проводками маски меня испугали.
>Information theory, inference & learning algorithms, MacKay
Читаю эту книгу. В начале даны несколько роадмапов для разных задач:
Pages vii–x show a few ways to use this book. First, I give the roadmap for
a course that I teach in Cambridge: ‘Information theory, pattern recognition,
and neural networks’. The book is also intended as a textbook for traditional
courses in information theory. The second roadmap shows the chapters for an
introductory information theory course and the third for a course aimed at an
understanding of state-of-the-art error-correcting codes. The fourth roadmap
shows how to use the text in a conventional course on machine learning.
Получается, для обучения машинному обучению (в чём я заинтересован) лучше идти по четвёртому пути? Или стоит с криком "Кембридж крута" пойти по первому? В принципе, четвёртый путь является подмножеством первого + несколько глав по нейросетям.
осиль первые 4-5 глав, если кодирование не интересует то дaльше читай тoлько млшные главы, вроде 19 первая или 20
Хочу создать Бога из Машины.
сначала надо прочесть все книги из шаппки тренделя
Если для увеличения, то тебе градиентный подъем надо, лол. Но обычно уменьшают.
Sup, /pr/отаны.
Я упрощу задачу, но просто смысл не в ней. Предположим есть 2d клеточный лабиринт. Программа двигается по нему видя только на одну клетку впереди себя. Если встречает объект (стену), то двигаться через нее не может, запоминает это событие и идет в другую сторону. Со временем, сталкиваясь со стенами, программа составляет цепочки событий и сравнивая их выводит правило, что пытаться пройти сквозь стену бессмысленно.
Вопрос такой, если перебор и сравнение цепочек будет реализовано с помощью нейронных сетей это ближе к ИИ, чем реализация с помощью стандартных функций если-то?
Т.е. я могу сам написать код для сравнения цепочек, но тогда это будет просто код программы, а можно каким-то образом подавать эти цепочки на нейронную сеть и получать результат, пока не знаю как.
Просто ИИ нужен функционал анализа своих действий, но где грань между ИИ и обычной программой? Под ИИ подразумевается просто самообучающаяся программа прохождения лабиринта, которая может учиться взаимодействовать с разными объектами на пути.
>где грань между ИИ и обычной программой?
Её нет. По мне, так простейший логический элемент "НЕ" с одним входом и одним выходом - уже ИИ, так как он получает на вход какие-то данные, производит решение и выводит другие данные.
Почему нет? Результат детерминирован, и чтобы его получить, нужно выполнить ряд логических операций
Ты пытаешься изобрести велосипед. Открой для себя deep reinforcement learning, все уже украдено до нас. Вопрос неблохо проработан с теоретической стороны + есть готовые реализации.
>где грань между ИИ и обычной программой?
Сильный ИИ - это осознающая себя машина. Такого пока нет. Слабый ИИ - алгоритмы, которые могут в то, что обычно считается возможностью человека. Такой хуйни полно.
Ты пытаешься изобрести велосипед, для поиска путей есть уже давно алгоритмы, тупые, которые уперлись в стенку и ищут новое направление. ИИ мог бы помочь с ситуациями где мы видим стенку , но еще не уперлись. Но тут опять увы и ах, такие оптимальные алгоритмы упреждающего поиска путей уже тоже есть, и они быстрее чем ИИ.
полную херню несёшь, сбацаю на питоне и стандартном ПК
ты о чём? о человеке-математике? а что за видео?
>>945370
Спасибо за ответ, но я не занимаюсь поиском пути.
Постараюсь объяснить в двух словах.
Главная задача моего ИИ - включить музыку в клеточном лабиринте просто дойдя до кнопки включения музыки. Пока света нет, ИИ может двигаться вверх, вправо, влево, вниз и получать имена объектов вокруг себя и двигаться на одну клетку вперед. Но вот тут самое главное - ИИ не знает, что такое стена, у него нет, разумеется слуха и зрения. То, что музыка играет, ИИ узнает от внешней программы "Слух", которая просто проверяет переменную в бинарном файле.
Поэтому он и пытается пройти сквозь стену несколько раз, при каждой попытке он просто не получает результата. И выводит правило вроде такого: сверху объект W, справа объект W, влево объект W, движение вверх - нет результата.
Такое правило перегружено в начале, которое со временем можно упростить до "сверху объект W, движение вверх - нет результата".
Это можно сделать кодом напрямую сравнивая с новыми цепочками действий или трахать этими цепочками нейронные сети. Вот мне интересно, какой подход был бы ближе к человеческому мышлению? Как бы с одной стороны нейронки, но ведь в человеке на каком-то уровне тоже можно представить некий хард код, который работает одинаково у всех в мозгах.
такая тупая хуйня решается обычным алгоритмом поиска в глубину, твой ИИ тут не нужен.
>правило вроде такого: сверху объект W, справа объект W, влево объект W, движение вверх - нет результата.
Ну я жи говорю, deep RL. Для этого результат придется как-то выразить в набранных очках или вроде того (плюс и минус) и поставить цель максимизировать результат. Уже сейчас в таких условиях алгоритмы сами с нуля учатся играть во всякие понги, арканоиды и т.п. хуитку. Изначально никаких правил игры не получая, просто обучение действиям по динамике скриншотов и итоговому результату - набранным очкам. Если интересно - гугли openai universe и gym.
А я хочу ФИ, это финансовый интеллект, каждый раз по 100 бачей мне кидает, и не нужно никого просить повестись на эту хуйню с ИИ и потом заплатить.
Естественно, мы то знаем как это хуйня работает, въебем парочку исследований, а там как пойдет. ИИ всех победит и окупит.
так сейчас у всех боты, и много кто пытается полноценные ИИ уже сделать, с ними не поконкурируешь, если ты не знаешь секретов только
Или миллионером, но с гораздо большей вероятностью.
Всё бесплатно и без смс. И это не лохотрон.
Итак, вы готовы?
Секрет прост и проще некуда.
Секрет: "Все - Идиоты!".
Да, именно, все люди - идиоты. Большинство населения планеты вообще полные идиоты, а дальше на графике, чем они умнее, тем их меньше, там даже функция не линейная. Умных меньше в десятки раз. Реально умных 5%, идиотов 15%, а полных идиотов 80%. Но даже эти "реально умные" во многих ситуациях оказываются идиотами, если не полными, ведь они такие же люди, как и все остальные.
А самое интересное - среди этих 80% полных идиотов полно богатых людей и людей разрбрасывющихся деньгами, и вообще в сумме они богаче кого бы то ни было. К тому же, здесь ещё и половина среднего класса.
Ну так вот, вы делаете деньги на этих 80% полных идиотах и строите свой бизнес соответствующим образом.
Почему я сам давно не миллиардер и почему я делюсь такими секретами? Просто потому, что я нихуя не делаю и мне не жалко.
А ты, как предприниматель, должен предпринимать определённые действия и через ряд неудач тебе повезёт. Ты сам создаёшь своё будущее, планируй и действуй! Будь наглым и просто делай, делай, делай. И даже если ты сам полный идиот, ты тупо методом перебора рано или поздно найдёшь свою золотую жилу!
Это только потому что он интерпретируемый... Но однако есть и компиляторы и для него...
>>946595
Не только, динамическая типизация это рак, а еще нет толкового перехода на новые версии, 2_7 до сих пор юзается, и 3_6 не может в старый код, я хоть и против обратной совместимости, но дохера чего не переписано и это раздражает.
>динамическая типизация это рак
Бляха, ну что за фашизм? Для серьёзного проекта, понятное дело, кресты, но как подручный инструмент для набросков-черновиков охуенно же, от псевдокода минимум отличий. Есть задача построить небоскрёб и скворечник, под задачу и инструмент подбирать.
Выйдет новая версия питона - чисти говно и переписывай, тоже самое и с плюсами, но они будут работать и так, а если в новом стандарте 2017 наконец вычистят вилкой легаси парашицу и совместимость нарушится то достаточно передать компилятору используемую версию плюсов.
Да я типа про то, что ты больше будешь с крестами ебаться. А так взял, хуйнул по-быстрому, мысли чисто набросать, посмотрел как оно всё будет выглядеть, потом на чистовик уже на крестах можно переписать, если скорость/надёжность нужна.
На плюсах примерно столько-же времени пишется, Есть хорошие инструменты для дебага, если скомпилировалось без ворнингов значит уже заебись, а есть и дебагеры с анализаторами.
А пистон же может запустится даже если критическая ошибка есть, приходится пердолится с линтерами и бог знает чем.
Можно собрать статический stripped бинарник, который будет работать и на собаке, а можно ебатся с питонами и зависимостями.
Вообще хз, всегда ощущалось, что на пистоне пишется быстрее гораздо. Как бы единственная причина, по которой стоит использовать что-то кроме плюсов и если этого прироста нет, то смысл вообще в других яп, если один хуй любой интерпретатор на си же и написан, по сути обёртка над с/c++. Хз, короче. Ну ещё типа ради автоматической работы с указателями, типа безопаснее, но для меня не аргумент, так как когда нет возможности руками работать с памятью это скорее небезопасно, так как в случае какой-то редкой критической ошибки разработчика, которую словила именно ваша компания именно тогда, когда это нанесёт больше всего ущерба ты можешь только беспомощно ждать и считать убытки. Хотя на практике, наверное, это довольно редкие случаи, кирпич тоже иногда на голову падает.
Путь охватывает все вещи, и поэтому, постигнув одну вещь, вы овладеваете всеми остальными. Некоторые люди утверждают, что, достигнув совершенства на каком-то одном Пути, человек является мастером всех Путей. Хотя он мудрец, он может, например, не уметь ездить на лошади. Действительно, в таких рассуждениях есть доля истины, но мы не должны забывать, что все проявления реальности имеют два аспекта, дзи и ри.
Все здесь не так просто, как может показаться. Дзи — это техника, ри — это принцип. Тот, кто знает принцип, может не практиковать искусство и все же обладать некоторым пониманием его сути. Так, человек может быть хорошим наездником, но не уметь подчинить себе лошадь. Он может знать, как следует обращаться с лошадью, но при этом плохо согласовывать свое намерение с намерением лошади. Если же вы можете достичь гармонии с лошадью, она всегда будет слушать вас. Дополняя безукоризненную технику пониманием принципа, вы становитесь безупречным, и тогда в искусстве верховой езды никто не сравнится с вами.
Скульптор создает произведения с помощью резца, но сам резец изготовлен кузнецом. Скульптор знает, хороший или плохой у него резец, можно ли этим резцом обрабатывать дерево или только бамбук, но один только кузнец может сказать, в чем различие между процессами изготовления резца по дереву и резца по бамбуку. Таким образом, кузнец знает принцип, а скульптор – технику. Человеку, который овладел техникой и постиг принцип, нет равных.
Путь охватывает все вещи, и поэтому, постигнув одну вещь, вы овладеваете всеми остальными. Некоторые люди утверждают, что, достигнув совершенства на каком-то одном Пути, человек является мастером всех Путей. Хотя он мудрец, он может, например, не уметь ездить на лошади. Действительно, в таких рассуждениях есть доля истины, но мы не должны забывать, что все проявления реальности имеют два аспекта, дзи и ри.
Все здесь не так просто, как может показаться. Дзи — это техника, ри — это принцип. Тот, кто знает принцип, может не практиковать искусство и все же обладать некоторым пониманием его сути. Так, человек может быть хорошим наездником, но не уметь подчинить себе лошадь. Он может знать, как следует обращаться с лошадью, но при этом плохо согласовывать свое намерение с намерением лошади. Если же вы можете достичь гармонии с лошадью, она всегда будет слушать вас. Дополняя безукоризненную технику пониманием принципа, вы становитесь безупречным, и тогда в искусстве верховой езды никто не сравнится с вами.
Скульптор создает произведения с помощью резца, но сам резец изготовлен кузнецом. Скульптор знает, хороший или плохой у него резец, можно ли этим резцом обрабатывать дерево или только бамбук, но один только кузнец может сказать, в чем различие между процессами изготовления резца по дереву и резца по бамбуку. Таким образом, кузнец знает принцип, а скульптор – технику. Человеку, который овладел техникой и постиг принцип, нет равных.
Пытался обмазаться МЛ чтобы заработать баблица, прошел 1,5 курса на курселе от Яндека, понимаю что теряю суть темы, вообще интерес пропадает. Формулы блять формулы, бесконечный поток говна...
Как блять денег то на это ебале заработать. Чувствую что дропну скоро.
Ребят, как дела обстоят с индуктивным программированием? Просто я думаю , что пизже строить АЛГОРИТМ, чем сложную формульную ебалу, параметры которой находить решая задачу оптимизации
Срамота!
Нет я ничего против них не имею, для решения определенных задач они хорошо подходят. Но почему адепты нейронок уверены, что с их помощью человечество скоро все проблемы зарешает и создаст супер-ИИ.
Разве обучение на основе большого кол-ва наблюдений не является лишь одной из функций нашего сознания. А как же, например, способность выводить сложные теории на основе базы простых фактов. Это ведь скорее к логическому программированию и прочим подобным методам.
Алсо, поясните за natural language processing. Какой ныне прогресс в области. Когда уже ИИ сможет в человеческие языки ?
Аноны, поясните за PDF и HTML. Почему вокруг них столько хайпа ?
Нет я ничего против них не имею, для решения определенных задач они хорошо подходят. Но почему адепты лазерных принтеров уверены, что с их помощью человечество скоро все проблемы зарешает и создаст супер-принтер.
Разве рисование руками кисточкой не является лишь одной из функций нашего сознания. А как же, например, способность выводить сложные рисунки на основе базы простых фактов. Это ведь скорее к логическому программированию и прочим подобным методам.
Алсо, поясните за HyperText Transfer Protocol. Какой ныне прогресс в области. Когда уже HTML сможет в передачу по проводам ?
У меня жизни не хватит с моей тормознутостью написать всё, что я хочу на плюсах.
К тому же я нервный, а плюсы мои нервы во время разработки не берегут.
>У меня жизни не хватит с моей тормознутостью написать всё, что я хочу на плюсах.
>
>К тому же я нервный, а плюсы мои нервы во время разработки не берегут.
Чем конкретно тебя так плюсы нервируют ?
На плюсах тормознее разработка и чем сложнее проект, тем ещё тормознее, всё же суммируется. Начнёшь что-нить, а потом бросишь, если зп не получаешь, конечно, на питоне ты больше проектов доделаешь до конца. Легче обновлять, переделывать, всё проще. Всё проще, удобнее и быстрее в разработке.
Ты заебёшься делать большие проекты на плюсах.
И сама разработка на плюсах сложнее, больше головной боли, больше напрягов и опять больше время и других ресурсозатрат. Нужно думать о вещах, о которых ты на питоне даже не слышал никогда.
Больше проблем с библиотеками. Мне кажется, что даже на изучение библиотек и на практику работы с ними на плюсах больше времени уйдёт и трудозатрат больше. Это всё утомляет.
А то, что ты говоришь, это касается только маленьких простеньих вещей, которые на том же питоне и нужно делать.
Ещё питон даёт кроссплатфоменность, а на плюсах ты заебёшься, да ещё все эти компиляции, опять мозголомания при поиске и правке ошибок, да на хуй надо.
Плюсы нужны там, где нужна высокая скорость работы, это единственный плюс плюсов :) в срвнении с питоном, в этом питон просто сосёт.
А с компиляциями итд опять ебатьни итд, и получается, что в данном случае лучше уже сразу плюсы взять.
Да не слушай ты его, он их даже сравнить реально не может, несёт какую то чушь.
Смысла в других нет?
Для денег нужно учить джаву и вебдевелопинг, а только в конце плюсы и то нах.
Для математики плюсы не подходят.
Сайты писать плсы не подходят. Везде, где нужен скриптовый язык не подходят. И ещё мно где.
Там нечего ловить.
С уже додыхает, все переходят на плюсы, но и время плюсов когда-нибудь пройдёт.
И на чем тогда будут писать ОСи, embedded, гарбедж коллекторы, etc ???
создам отдельную тему
С вопросами про научную ценность в /sci. Местные мартышки считают себя умными, но могут только гуглить алгоритмы, корчить рожицы и бросаться дерьмом, а два слова по делу связать не могут.
Я в шараге проходил регрессионный анализ, когда dsp учил. ОТЛИЧНО
Еще бредогенератор делал на цепях маркова. ОТЛИЧНО
Еще принятия решений матодом ELEKTE пробовал. ХОРОШО
Я могу тусить в єтом треде?
Нет, всё это нули и единицы.
Нет, ты не прав. ЯП выбирают по библиотекам прежде всего.
Алсо, у тебя много разных задач, а ты учишь для решения каждой новый ЯП, ну молодец, все бы так.
"А то, что каждая вещь для своего дела" это дети ещё в первом классе проходят.
Какого года эта книга? Сейчас фреймворки каждый месяц появляются, зачем читать устаревшее и на русском?
Блять, какая разница с какой скоростью фреймворки появляются, если все они юзают одну и ту же теорию ?
2015
двачую.
для псевдоинтеллектуалов, которые хотят математику прикрутить, которую они учили в шараге 5 лет.
Боже, какой же ты фанбой. Хотел бы с тобой аргументированно посраться, но питон действительно охуенен, слишком люблю его.
Такое можно сделать?
ты для этого слишком крутой, тут одни философствующие школьники, вообще сосач - тупое болото
А где крутые собираются?
https://translate.google.com/
ocaml
Хуёво чёт как-то.
Англ --> Русс
Gain a fundamental understanding of Python’s syntax and features with this up–to–date introduction and practical reference. Covering a wide array of Python–related programming topics, including addressing language internals, database integration, network programming, and web services, you’ll be guided by sound development principles. Ten accompanying projects will ensure you can get your hands dirty in no time.
Получите фундаментальное понимание синтаксиса и функций Python с помощью этого современного введения и практической ссылки. Охватывая широкий спектр связанных с программированием на Python тем, включая адресацию внутренних языков, интеграцию баз данных, сетевое программирование и веб-службы, вы будете руководствоваться принципами разумного развития. Десять сопутствующих проектов гарантируют, что вы можете замарать руки в кратчайшие сроки.
>>947661
Так я спрашиваю, можна здесь потусить. Прикоснуться к таким гениям как вы.
>>947669
5 лет. Кафедра у меня на dsp помешана, профессора такое задвигают что у меня временные ряды непрогнозируюся. Больше и нечего рассказывать, кроме того что дипломная работа у меня был по SEO
>>948751
Да, не я даун. В руме кстати какие-то шкальники на джупитете какие-то графики хуячат и на скале говнокод. Я хочу идти около них и говоорит "линейная регрессия" или "метод наименьших квадратов", чтобы взяли в свою тусу смузи с ними пить.
Там любой дегенерат разберётся.
И когда ты знаешь об этом, тебе всё начинает даваться, не сразу, но даётся и ты каждый раз убеждаешься, что всё на самом деле элементарно. Просто пшик и всё.
Нужно лишь затратить время и разобраться в энном количестве информации, это не сложно, это бывает долго, но выполнимо.
Нет, я только интернеты читаю. Все новые пейпы пишут китайцы, в голландский научный журнал пишут китайцы, на гитхабе все засрали китайцы
Давно все индусы пишут, какие китайцы.
Это функция активации нейрона, используется вместо сигмоида или гиперболического тангенса. Ректифайед линеар юнит штоле. Выгода в том, что это ненасыщаемая функция и у нее нет бесконечно убывающих участков, на которых сходимость часто надолго застревает. https://en.wikipedia.org/wiki/Rectifier_(neural_networks)
Но жаба душит, 20 к отдал, думаю может дотянуть... С другой стороны нахера тратить время на то что меня не интересует... Реально просто не хочу это изучать, не интересно. Просто говно какое то...
Чтобы вы сделали? Просто дропнули и хер с ними с деньгами. Или же дотянули и получили сертификаты?
Вообщем больше склоняюсь к дропу.
Ну и долбоеб.
>Но жаба душит, 20 к отдал, думаю может дотянуть... С другой стороны нахера тратить время на то что меня не интересует... Реально просто не хочу это изучать, не интересно. Просто говно какое то...
>
Я дропнул один курс, так потом корил себя за это. Лучше пройти, можешь даже в инете искать ответы, но лучше пройди.
Ну вот будет этот ворох сертификатов, дальше что? ХЗ...
Я только время трачу, все равно работать не смогу по этому направлению, слишком сложно для меня.
Никто не рождается умным/умелым, сложно - в космос полететь, ML тебе по силам, няша.
В практическом ML очень мало математики. В этом сила и слабость образования в РФ, пичкают математикой, пока не треснешь, а потом выходишь на работу и оказывается, что все совсем не так и ценится другое. Поэтому жри говно, как диды жрали, а потом будет легко и приятно.
>прошел первый курс
Поздравляю, первый курс там представляет из себя введение в python и школьную статистику.
>прохожу второй курс, уже больше половины, я понял что меня от этой херни тошнит просто. Хочу дропнуть.
4-й ты просто не осилишь никогда
>интересную работу, прикладной характер, про истории успеха
Лучше сразу вернись к пабликам про стартапы.
Почему то уверен что у тебя длинные волосы и ты никогда не трахался с тян. Я угадал?
Хочешь сказать что это все на уровне хобби, и вкатиться не реально? Если так то я дропаю это говно! Мне деньги нужны а не интегральчики под картофанчик.
честно говоря, мл - это не самое денежное место, что-то уровня бортпроводника в самолете, машиниста поезда или там маркетолога среднего звена, а задрачивать нужно в разы больше.
>жаба душит дропнуть
Вот в этом и плюс оплачиваемых курсов, так бы давно уже забил. Не надо дропать, анон, ты просто переутомился и мозг тебя наёбывает "нахуй это скучное говно!", ведь не зря же ты вообще запарился на обучение, наверное интересно было? Сделай перерыв на пару-тройку дней, соскучься.
Я вообще мимокрок, но сука не сдавайся, потом сильнее пожалеешь. Если сдашься через три месяца все забудешь и нужно будет заново изучать.
Читал хоть что постишь? Он же сам говорит, что похвастаться ему нечем, просто мимоинтересующийся. Хотя проблема есть, да. Когда-то МЛ занимались академики, сейчас индусы и тупая пизда с оп-пика.
> НЕЙРОНОЧКИ
Охуенно. Хочу прикрутить сабж к своей игрушке ради эксперимента, чтобы самолетики летали не через друг друга, а как-нибудь интересно собирались и вели себя как живые. Это нужно генетические алгоритмы пердолить, или НС получится? Меня смущает то, что в большинстве пример в НС разбираются какие-нибудь пиксели, а с трехмерными векторами они ничего общего не имеют
> 5. idris/coq - модные яп для формально верифицированных нейроночек с тренировкой на этапе компиляции
Их кто-то использует для МЛ? Само слово "модные" в контексте idris/coq даже пугает
Да никто их для МЛ не использует. Полторы реализации нейроночек на хачкеле от каких-то поехавших типа https://gist.github.com/mrkgnao/a45059869590d59f05100f4120595623 да книжка по анализу данных на том же хачкеле, не более.
Ошибка почти сразу скатывается вниз, но ниже 4.6 не падает, а точность нулевая. Я сначала думал может андерфит, добавил размерностей свертки, но ничего не поменялось. Датасет - cifar100, но даже на cifar10 что-то работает не так и различий особых нету.
https://gist.github.com/anonymous/ec88ea7c5fc1f17f08ebdedd2d79b5e5
Они без всякого ИИ безработными останутся. Любую программу любого назначения по заданной спецификации можно просто экстрактить из инфинити-групоида в виде типизированной лямбды и компилить в код на любом языке программирования (т.к. все они частный случай типизированной лямбды). Для этого даже ИИ не нужон, достаточно MLTT и н-р, генетического программирования все на той же типизированной лямбде.
Почему не так делают?
Хочу, Он хотя бы не требует столько зависимостей
Даже генетические алгоритмы не нужны, большинство веб-макак, например, можно заменить обычным конечным автоматом.
На последнем слое не нужен релу
Тот кто первый напишет - не останется
В общем я просто взял заведомо рабочую имплементацию на Шарпе и переписал её на человеческий.
https://github.com/nokitakaze/ResilientBackProp вот, если кому нужно будет ещё одно решение RProp на C#
Тут есть реальные примеры? Или это очередной форс типо хаскеля?
Как бороться с переобучением?
>RMSE
Классификация с RMSE? Почему такой выбор?
Какой объем данных? Какой размер сеточки?
Либо сеть слишком большая, попробуй увеличить параметр регуляризации, уменьшить сеть или увеличить число данных
> Почему такой выбор?
<---
Accuracy я тоже использовал. Для обучающей 99%, для тестовой 40% (там 40% принадлежит одному из классов, поэтому сеть просто спамит один и тот же класс).
> Какой объем данных?
На вход 30k, на скрытом слое 3 (прописью три) нейрона, на выходе три нейрона.
> сеть слишком большая
Да, я её уменьшал и уменьшал. Если поставить на скрытом слое 2 нейрона, то уже не сходится.
> увеличить число данных
Выборка не бесконечная. Сначала беру 1k данных, вся выборка 70k данных. На 70k ситуация точно такая же
Снизил количество входящих данных. Всё равно каждый кусок (вхождение, datum) слишком персонализирован и работает как отпечатки пальцев, поэтому сеть учится отдавать результаты конкретной выборке, а не абстрактной совокупности признаков (feature)
Ух ты ж епта, я чуть не начал изобретать рекурентную нейросеть для такой задачи. Покажите, пожалуйста, как надо.
Нахуй вас психи, я ухожу, потому что хочу жрать!
Вообще да. Нейронки очень специфичные. В "реальной жизни" классификация тебе может понадобиться для оценки клиентов. Допустим, кому дать кредит, а кому нет. На практике таких задач меньше 1%. Это нормально. Хочешь реальных использований нейронок, иди в Яндекс или Мейл Ру. Или в Лабу Касперского
>тут одна школота и студентота, все дрочат нейроночки по приколу, никто и рубля не заработал на этом
срыв покровов ITT
>Accuracy я тоже использовал. Для обучающей 99%, для тестовой 40%
Я вообще в первую очередь подумал про кросс-энтропию, но если у тебя только 2 класса, то я бы F1 метрику юзал, но это очень странно что у тебя сеть спамит один класс.
>На вход 30k, на скрытом слое 3 (прописью три) нейрона, на выходе три нейрона.
Ебануться, 30к, Я даже не знаю какой объем данных должен быть для таких входных данных.
Попробуй уменьшить размерность или использовать не нейроночки.
>Да, я её уменьшал и уменьшал. Если поставить на скрытом слое 2 нейрона, то уже не сходится.
Обычно на скрытых слоях лучше делать нейронов больше чем на входном, но в твоем случая я хз даже что делать
>Выборка не бесконечная. Сначала беру 1k данных, вся выборка 70k данных. На 70k ситуация точно такая же
Для 30к входных параметров датасет маленький, либо датасет увеличивай во много раз, либо размерность входа уменьшай
Есть вещь у которой 4 свойства.
a) распределить вещи по группам(кластерам), если мы можем:
1. Мы можем сказать, по какому конкретно критерию выполняется кластеризация(от одного до четырёх).
2. Мы можем выделить минимальное и максимальное количество групп (это необязательно, можно этого и не делать)
б) Критерии не известны. Мы не знаем по какому свойству должна выполнятся кластеризация, количество кластеров неизвестно.
Мы можем:
1. Указывать количество возможных свойств, по которым происходит кластеризация (1 <= n <= 4), а можем этого и не делать.
Суть в том, что если предметы почти не отличаются по трём свойствам, а разница присутствует только в одном из свойств, то алгоритм должен определить, что кластеризация произойдёт конкретно по этому свойству.
Посоветуйте алгоритм. Рассматриваю любые предложения.
Я 450 баксов за вчера заработал. При чем удобно, сеть обучается, а ты двачуешь.
> у тебя только 2 класса
там хитро. Мне нужна классификация по нескольким разным критериям, и конечная сеть, собранная из нескольких сетей, будет давать мне именно разные критерии. Пример:
1. На фото изображен: заяц / белка / машина / человек
2. Как сделана картинка: фото, обработка фото или рисунок (картина)
3. Руке какого мастера принадлежит картина: Ван Гог, Дали, да Винчи
Все три сразу обучить нет вариантов, потому что не все входные данные содержат сразу все критерии. Поэтому я хочу обучить по каждому критерию отдельно, а потом соединить сети. Но хер-то там
> какой объем данных должен быть для таких входных данных
Там не все пермутации возможны. И, да, если бы я мог достать все необходимые пермутации, зачем бы мне была нужна сеть? Я снизил с 30k до 1k. Проблема сохраняется — переобучение. Каждое вхождение (запись) слишком специфично, и по нему можно просто построить finger print. Там в абсолютном большинстве случаев просто на нейронах нули. В 97% у 99.5% нейронов нули, а значение имеют лишь оставшиеся 0.5%, которые и служат finger print'ом
Ладно, завтра попробую уменьшить 1k до 200, но тогда там вообще почти везде нули будут
> завтра попробую уменьшить 1k до 200
Нет, хер там. Получилось 886 выборов для learn и ~200 для test. Причем в каждой выборке не менее 20 нейронов имеют вес не равный нулю. Всё равно в переобучение уходит.
Сейчас попробую сделать выборку не из 7 000 изначальных данных, а из 70 000. И не менее 40 нейронов имеют вес не равный нулю
нет, тоже никакой реакции. Буду думать как данные передавать как-то по-другому
>>951681
Ну с первым пунктом, я думаю, вопросов нету, это все уже 10 раз описано, если тебе сегментация не нужна.
В третьем пункте можно использовать style extract как в модных ПРИЗМАХ и других приложений
https://arxiv.org/pdf/1508.06576.pdf
Со вторым пунктом я уже хз, но откуда разряженые фичи? Там же картинка обычная, там даже 90к будут очень плотные
>>951681
>Там не все пермутации возможны. И, да, если бы я мог достать все необходимые пермутации, зачем бы мне была нужна сеть? Я снизил с 30k до 1k. Проблема сохраняется — переобучение. Каждое вхождение (запись) слишком специфично, и по нему можно просто построить finger print. Там в абсолютном большинстве случаев просто на нейронах нули. В 97% у 99.5% нейронов нули, а значение имеют лишь оставшиеся 0.5%, которые и служат finger print'ом
То что все нули, это странно, но если у тебя 30к разряженых фич у тебя должен быть просто огромный датасет.
Разряженные фичи редко встречаются, для слов используют word2vec, может для твоего случая тоже что-то придумали.
Так что уменьшать число фич -- единственный вариант у тебя
> Ну с первым пунктом, я думаю, вопросов нету
Задача не та, которую я описал. Я лишь пример пример разных классификаций одного объекта
> уменьшать число фич
Да, я переформулирую задачу, чтобы на вход подавалось 13 и 20 нейронов (две разные сети)
>>951831
А что я не так написал? Вы никогда не рисовали проекцию четирехмерного куба? Нейросети могут даже и круче
SOM. Анализ результата - по компонентной плоскости, соответствующей той переменной, по которой различаются кластеры.
И правда наркоман. Зачем для этого нейросети-то?
Ну йобана, прям так и гуглится же
neural network dimensionality reduction и там первая статья
>SOM
Спасибо. Сейчас буду изучать
Я вот с утра пораньше сделал
https://en.wikipedia.org/wiki/DBSCAN
но он классифицирует некоторые данные как noize, что не очень(
В Natural Language Processing with Python, есть пример, где с помощью формальной грамматики реализуются простые SELECT запросы, но я даже не представляю как можно таким образом описать сложные 2 - 3х этажные union и join конструкции.
>>951854
Я так понимаю SOM даёт мне точки в двумерном пространстве, а далее я уже должен применить любой стандартный алгоритм кластеризации?
Нет, он проецирует многомерный датасет на двумерное пространство. Если в самом датасете содержатся кластеры (в виде нескольких разных классов объектов), то они будут видны на 2д карте. Суть такой карты можно понять по компонентным плоскостям, например (т.е. почему 2д карта выглядит именно так). Вообще, если нужна именно классификация, м.б. стоит попробовать что-то еще из векторного квантования - нейронный газ там, LVQ. Вот опорные векторы, полученные этими алгоритмами, можно и дальше обрабатывать, в т.ч. всякой кластеризацией.
Не очень. Как cmeans так и kmeans требуют количество кластеров в качестве параметра
Вообще, есть жи методы, которые сами определяют оптимальное количество кластеров для данного датасета. Конкретно в R есть пакет ClValid.
Зачем рисуются кривые обучения? Они используются только в педагогических целях, для наглядной демонстрации процесса обучения, или из них можно достать что-то полезное, решая реальную задачу?
А можно подробней и как для дебилов, я просто совсем зелёный первак. R/python/matlab недоступны, нужно самому на c# сделать. Что за алгоритм для определения оптимального кол-ва кластеров. В инете внятного ответа не нашел
>Что за алгоритм для определения оптимального кол-ва кластеров
Это не один алгоритм, а целая куча всяких индексов, критериев и т.д., разработанных разными людьми в разное время. Суть в том, что есть показатели, по которым косвенно можно судить о качестве кластеризации. В кратце тут https://cran.r-project.org/web/packages/clValid/vignettes/clValid.pdf с формулами и ссылками на оригинальные работы. Конечно, можно и самому сделать, но заебешься. Далее все просто: берем датасет, берем любой алгоритм кластеризации, хоть k-means. Выбираем от балды число кластеров, скажем 2, замеряем индексы качества кластеризации. Потом берем 3, замеряем качество... В итоге получаем результат типа "количество кластеров - оптимальность по набору критериев качества кластеризации", суть в том, что при данном датасете эти индексы будут оптимальными при выборе кластеров, наилучшим образом кластеризующих данный датасет.При числе кластеров больше или меньше оптимального, индексы будут хуже оптимума. Как-то так, если в 3х словах.
Спасибо. А не подскажешь, имеет ли смысл использовать k-means на мономерном, трёх и четырёхмерном датасетах?
Начни с каминса, хуле.
С неизвестным количеством кластеров хорошо справляется Affinity Propagation - сам группирует особей.
k-means
мб, не совсем в тему
вот есть пример для работы с SQL для nltk
http://www.ling.helsinki.fi/kit/2009s/clt231/NLTK/book/ch10-AnalyzingTheMeaningOfSentences.html#discourse-semantics
а так, мб, парсинг какой-нибудь поможет (боттом-топ какой-нибудь, там с конца запроса начинать, и вкладывать потихоньку в верхние ноды), он тоже в нлтк-бук описан, или банальные регулярочки
>>952287
Этими терминами я владею (и загуглил на всякий)
Вопрос был немного в другом: можно ли вообще ожидать что реальное качество переобученной (или недообученной) модели будет похоже на то, что я вижу на кросс-валидации, или сам факт того что модель переобучена (или недообучена) делает её автоматически непригодной к использованию?
Дополнительный вопрос, как вообще получить какое-то численное представление надёжности модели (т.е гарантию что её качество на новых данных будет похоже на кросс-валидацию)?
Я вот видел теорию по VC-dimension-у, но никак не могу поверить что это можно юзать на практике КАК ПОСЧИТАТЬ VC для xgboost???.
>Если модель А показывает себя лучше на тестовой выборке, чем модель Б, но при этом у А 99.9999% точности на train и огромный разрыв между train и test, в пользу какой модели мне стоит делать выбор?
Ты не сказал ничего о Б, но если Б показывается себя на test лучше, то Б.
>Зачем рисуются кривые обучения? Они используются только в педагогических целях, для наглядной демонстрации процесса обучения, или из них можно достать что-то полезное, решая реальную задачу?
Да это самая важная хуйня.
Рецепты от слесаря Николаича.
На кривой должны быть результаты на training и validation множествах. Через N итераций они у тебя нарисуют кривые. Смотришь на них.
1. Первым делом training должна рисовать сходящуюся кривую. Если она у тебя скачет, алгоритм не сходится, попробуй уменьшить шаг градиента, сменить алгоритм, по-другому инициализировать, сделать whitening данных и тому подобное.
2. Validation должна рисовать сходящуюся кривую. Если этого не происходит, значит у твоих множеств сильно разные фичи. Если ты делил training и validation сам из какого-то датасета, скорее всего датасет слишком маленький.
3. В идеале кривые training и validation должны сходится к одной величине, при этом эта величина должна быть лучше, чем тебе требуется. Как только они начинаются расходиться, можешь останавливаться - лучше уже не будет. И тут может быть две проблемы.
High variation - это когда training у тебя уже ушел в пол, а validation плетется где-то вверху. Нужно или больше данных, или упростить алгоритм.
High bias - это когда training и validation близки, но точность тебя не устраивает. Значит модель слишком тупая. STACK MORE LAYERS
Конкретно про этот пример я и говорил, он описан в книге. Но как от него прийти к чему-то более сложному я не имею ни малейшего представления.
>сам факт того что модель переобучена (или недообучена) делает её автоматически непригодной к использованию?
This. Используй дропаут и l2 regularization.
>Дополнительный вопрос, как вообще получить какое-то численное представление надёжности модели (т.е гарантию что её качество на новых данных будет похоже на кросс-валидацию)?
Выдели из training set 15% и сформируй validation set. На нем и проверяй. А кросс валидация сильно много жрет, сильно много...
Привет. Тут посмотрел первые четыре лекции курса "Машинное обучение от Yandex". Так то понятно, но терминов много и формул, которые объясняют в общем то простые вещи на практике, но постоянно заставляют останавливаться на паузу и доходить, что происходит на слайде. Универ я закончил пару лет назад, и классификацию объектов проходил, но это не помогает. Как улучшить понимание и чтение формул? Как не путаться в терминах?
inb4:бросай, ты слишком туп
Мне кажется, можно погуглить на тему Named Entity Recognition, но прописывать правила и эвристики для всех хитровыебанных конструкций ты ебанёшься. Размечай датасет, хуярь классификатор.
Боже как уебищно объясняется дискретная математика на степике, просто пиздец. чет мямлит а потом НУ ВОТ ВАМ ЗААЧУ РЕШАЙТЕ ОХУЕВАЙТЕ
как можно применить?
мне казалось, что это можно даже на регулярочках сделать
да и я бы скорее искал уже готовый парсер sql, а от него плясал, компьютер же все равно парсит весь этот текст хотя бы в машинный код, как первый ответ тут предлагает https://stackoverflow.com/questions/16890718/sql-queries-to-their-natural-language-description
в аэропорте террористов распознавать, везде вместо пропуска, в кафешках и магазинах вместо дисконтки, логин на очередной бесполезный сайт. Везде, где нет соблазна подставлять фотку вместо лица.
> поясните за нейроночки
> нейроночка - массив
То есть я просто строю там какой-то охуенно длинный линейный многочлен с коэффициентами из массива и решаю его 60 раз в секунду? Поясните мне вот тут.
эту систему можно еще десятью способами запилить.
>>952791
Получается к каждой БД нужно размечать и обучать свой датасет ? Размечать названия таблиц, полей и возможны данных внутри. Разве что общими для всех могут быть стандартные инструкции
Я тебе больше скажу, их со всего двача сюда манит, потом по тематике тонким словом размазываются. Детектятся по НЕЙРОНАЩХАМ на раз-два. А внутре у ней нейронка!
не думаю, зачем, можно определять тип переменной (ну, название и тд). Хотя забыл, это же тред про нейронки, так что зря мозги тебе морочу, так что мне кажется, что тут даже голый seq2seq отлично сработает без каких-то особых манипуляций (только токенизировать данные и сделать словарь из всех слов). Можно даже синонимичные фразы делать (а еще можно на вход word2vec подсовывать).
https://github.com/google/seq2seq или какая-нибудь другая реализация, там отличная документация.
Ты против нейросетей внутри которой работают нейросети, в которой внутри нейросети, в которой внутри пушкин в которой внутри нейросеть...?
Рекурсивных, то есть.
Спасибо тебе большое добрый человек. Скажи пожалуйста, давно ты этим делом занимаешься ? Я в данный момент можно сказать "вкатываюсь". Читаю книги до которых доходят руки, прохожу небезизвестный курс от яндекса, но пока с трудом себе представляю как можно от этого всего перейти к реальным прикладным задачам.
уже года два-три лениво вкатываюсь, но безуспешно, было два заказа на апворке, но я не могу работать без палки и фейлю их.
учусь (если это можно так назвать) в аспирантуре, работаю 20 часов преподом за скромную оплату, двачую капчу, предаюсь гедонизму
Я добоёб и не то нагуглил?
Или Питон норм?
до этого только вводную часть с++ учил
(на питоне, который знаю на уровне студента совсем_даже_не_программиста, которым и являюсь, так что всё печально),
и вот что нужно:
Есть дохуя картинок в папке , нужно их объединить в единый датасет (для библиотеки keras, но , думаю, это не принципиально).
Причём на вход сетке должно подаваться сразу две картинки.
Как их так вместе попарно собрать? И как потом загрузить в единый файл ну или хотя бы в саму сетку?
Во всех уроках только Cifar10 и mnist, которые библиотеками загружаются автоматически, а про кастомные датасеты чёт инфы мало.
По идее, в каждой строке моего двумерного массива по два массива с картинками , разложенными на RGB,
пикрил, каждая img- массив из пикселей в трёх каналах
но как это библиотеке объяснить, да и просто что с чем перемножать нампи такие вложенные массивы не хочет понимать, если совсем простую сетку делать,- вообще не понимаю.
никогда ничего не делал с массивами, которые вложены в другие массивы
Помогите , пожалуйста!
С меня нихуя, как обычно
всем добра :3
Так вот загвоздка в том, что я не могу найти/вспомнить такой алгоритм, который готов прожевать кашу из numeric и dummie и вывести в итоге удобоваримый резульат.
Из опробованных и успешно зафейленых методов имеются:
LASSO, RFE, ridge, elastic, tree, boruta
Существует ли такой метод в принципе? Не выбирать же из ~30 переменных вручную. Также неплохо было бы если бы модель еще по ходу дела определила их совместную значимость.
П.С. Все это делается в R
Аспирантура российская? ДС/ДС2? Занимаешься именно NLP, или дата саенсом в целом?
def read_jpeg(path):
im = Image.open(path).convert('L')
X = list(im.getdata())
X = np.array(X)
return X
for i in imgs:
x_train.append(read_jpeg(i))
x_train это у тебя массив. Не забудь преобразовать в нампи массив и нормализовать.
Если из МЛ интересуют только сверточные нейроночки и deepRL, то пистон норм выбор. Из остального МЛ в пистоне полтора алгоритма и тогда R предпочтительнее.
Выучи питон, потом R, это не сложно. Если осилил петухон, то и рку осилишь. Тут в треде какие-то чмони разводят языкосрачи. Я еще понимаю если бы языки дохуя отличались типа haskell vs c vs какой-нибудь lustre. А с такими кордеанальными отличиями как у питуха и рмакакс, при знании одного, второй осиливается за неделю.
Если мы хотим распознать несколько объектов на пикче с помощью сверточной, нам ведь не сильно необходима предварительная сегментация? Она, как я понимаю, обучается находить какие-то признаки, и по ним давать вероятность что на пикче есть объект конкретного класса; а значит если будет два объекта, то найдет оба?
Мне нужно создать что-то подобное:
https://github.com/karpathy/neuraltalk2
http://www.stat.ucla.edu/~junhua.mao/m-RNN
http://demo.caffe.berkeleyvision.org
Однако, чтобы на выходе не предложения были, а просто тэги, связанные с этими изображением.
Но проблема в том, что я не могу начать это делать. Граница между теорией и практикой слишком большая. Может кто посоветовать, что делать?
from slesarflow import *
Запускаю следующий код из fscaret для R:
fsMod <- c("gbm", "treebag", "ridge", "lasso", "Boruta", "glm")
myFS<-fscaret(train.sleepDF, test.sleepDF, myTimeLimit = 40, preprocessData=TRUE, Used.funcRegPred = 'fsMod', with.labels=TRUE, supress.output=FALSE, no.cores=2)
При запросе myFS$VarImp выдает list()
В чем может быть проблема, что делать?
Аспирантура по специальности? Тоже хочу легитимно вкатиться и изучать НЛП в няшном вузике. Ты есть в датасаенс-чате?
Не совсем, у меня так себе в этом плане вуз. В датасайенс-чате нет, это на слаке который, там нормально или не очень? Есть знакомые магистры и аспиранты, там целыми группами делают различный машин лернин, чуть ли не все.
>Пилю сейчас ANFIS
Наиболее неудачная нейрофаззи-модель, м.б. потому что исторически первая. Чанг в свое время ее аж на Крее гонял из-за конских системных требований, если интересно - вот его оригинальный код http://www-cgi.cs.cmu.edu/afs/cs.cmu.edu/project/ai-repository/ai/areas/fuzzy/systems/anfis/ Квадратно-гнездовое разбиение входов и выходов безо всякой предварительной оптимизации реально нужного для этого количества нечетких множеств и прочий мрак.
>Подскажите наиболее эффктивные алгоритмы реализации нечеткой арифметики на ПК
Как сторонник R могу порекомендовать https://cran.r-project.org/web/packages/sets/index.html https://cran.r-project.org/web/packages/FuzzyNumbers/index.html (если нужна именно арифметика), если таки системы нечеткого вывода, то https://cran.r-project.org/web/packages/frbs/index.html и https://cran.r-project.org/web/packages/anfis/index.html (последнее - довольно годная реализация ANFIS со множественными входами и выходами).
>Альфа-срезы я пока не осилил, дайте пейпер годный по ним.
https://cran.r-project.org/web/packages/FuzzyNumbers/vignettes/FuzzyNumbersTutorial.pdf даже с картинками. Но альфа-срезы не нужны же, они только в нечеткой арифметике используются, в системах нечеткого вывода для них нет задач.
Благодарю за помощь.
>Наиболее неудачная нейрофаззи-модель
То есть я не смогу её гонять на среднестатистическом нищепека (16 памяти) или она будет постоянно застревать в локальных минимумах? Если все плохо, то какую нейрофаззи сеть посоветуешь для реализации на плюсах для студента?
>я не смогу её гонять на среднестатистическом нищепека (16 памяти)
Сможешь. Сейчас комплюктеры пободрее, чем в 1993 году. Просто она реально медленно работает, у меня в вышеупомянутом пакете для R - frbs, на одном и том же датасете разница в скорости между anfis и др. нейрофаззи моделями была раз в 50.
>какую нейрофаззи сеть посоветуешь для реализации на плюсах для студента?
Они все примерно одинаковы, суть-то одна - настройка свободных параметров нечеткой модели с помощью бэкпропагейшна или чего-то в этом роде. Не считая некоторых хитрых моделей типа DENFIS-а Касабова и FLEXNFIS-ов Рутковского а-ля пикрелейтед, http://gen.lib.rus.ec/book/index.php?md5=1AE4B0938189187AD7783F5F43F85D87
А, ну еще Пегат же, А. Пегат, "Нечёткое моделирование и управление" у него эта тема годно разобрана.
Хотел бы вкатиться в МЛ
Планирую в первую очередь взяться за линалгебру/общую алгебру, затем матан. Некст - английский и с++ добить. Имею представление обо всём, о чем написал выше, но энивей углубиться нужно. Дальше по плану идёт теорвер/матстат
Далее уже браться за книжки по МЛ
По алгебре взял "Введение в алгебру" Кострикина, по матанализу "Математический анализ" Зорина, по теорверу/матстату "Теория вероятностей и математическая статистика. Базовый курс" Кибзуна, по плюсам - базовый курс Шилдта,
по английскому - "essential grammar in use" Рэймонда Мёрфи.
Анон, рейт эту всю хуйню и укажи на недостатки. Чего не хватает/что заменить етц
Кресты вообще не в тему, пистон учи. Линал/матан/теорвер да, пригодится. Учебник, лучше он или хуже, но он и в Африке учебник. Так что не парься, вкатывайся.
в шапке про плюсы написано же. Да и к тому же, это единственный яп, акромя школьного паскаля, с которым я знаком на уровне олимпиадных консольных задач.
Общая алгебра нужна?
>>955778
Имею знания по линалгебре с первого семестра, общая алгебра идёт атм. Соответственно некоторую базу имею, да и обратиться в случае чего есть к кому за помощью.
Энивей, анон, подскажи замену, если действительно не осилю. На русском языке, в английский на уровне технической литературы/документации пока не могу.
Для крутого разрабоччика МЛ-софта пригодны, тот же xgboost и MXNet на крестах сделаны. Для рядового слесаря-пользователя точно без надобности.
Спасибо, анон
Свои слои для caffe пилить если только.
можно, но книжки читать всёравно придётся
курсера ориентирована на массовое потребление поэтому курс оче разбавлен
лучше бишопа/макая (RIP) читни, если ещё не читнул
да, эту формулу можно вывести простой регрессией нейроночкой
берёшь много пар чисел (#записей, #нейронов) и подгноняешь нейроночку к этому датасету
для этого мне нужно много примеров сетей, которые заведомо работают
>>952014
>>952240
>>951854
Выбрал для себя Affinity propagation. Хоть алгоритм и медленный по сравнению со многими алгоритмами кластеризации(это также из-за моих кривых рук первака), но делает именно то, что мне нужно.
Спасибо всем, я довольно много гуглил и изучал этот вопрос, но именно здесь я получил наиболее дельные советы)
А без хорошего математического образования погроммитсам вообще бессмысленно вкатываться. Можно, конечно, изучить scikit за пару месяцев и уметь вызывать кнн или к минс, но только потом как интерпретировать полученные результаты?
И кому это нахуй надо? Только каким-нибудь совсем уж большим корпорациям, у которых офисы где-нибудь в Лондоне, Нью-Йорке или Сан-Франциско.
Это инересно, во-первых; во-вторых, сингулярность. СИНГУЛЯРНОСТЬ
Переобучение никак не зависит от размера датасета.
Далеко не всем в ML/Deep learning нужна математика в больших объемах. Есть фреймворки, где все нужные функции уже написаны. Ты вполне можешь использовать готовые примеры и строить годные модели, вернее ты обязан использовать готовое, т.к. придумыванием новых методов занимаются на теоретическом уровне в основном учёные. В нормальных местах, где серьёзно занимаются этой темой, отдельно существуют инженеры, которым не нужно куча лет математики, и исследователи
сразу читай бишопа, нахуй твою алгебру жидовскую
>Можно, конечно, изучить scikit за пару месяцев и уметь вызывать кнн или к минс, но только потом как интерпретировать полученные результаты?
Посмотреть эти ебаные слайды Ына по поводу high variance и high bias. И все. Занятие реально слесарское, разница только в том, что приходится знать как билдить caffe и приготовить датасет в скриптовом языке. Ну и платят раз в 10 больше, чем слесарю-сантехнику.
Большое спасибо за Пегата. Уже прочел первую треть, заходит легко, как китайские комиксы про кошкодевочек.
он прав как бэ
Вкатился, что-то изнутри всё не так радужно. Одна из больших проблем: не знаю как развиваться и что вообще считать развитием. Пробовал читать умные книжки из ОП-поста (и не только), всё как бы понятно, что с этим делать непонятно. Куда вообще пихать глубокие знания мл алгоритмов я же не на кафедре стэнфорда?
Где можно почитать подробно, про сверточные нейронные сети?
Анон. Тупой вопрос. Как заставить нейронку рисовать? Тупой ньюфаг в этой сфере, да. Запилил лишь самую базовую (банальный массив х на у с пересчетом нейронов и обучением).
Как нейронке потенциально скармливать что-то и как получать на выхоод что-то? Что юзать и что прикручивать? Куда копать?
Вы видите копию треда, сохраненную 24 мая 2017 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.