Это копия, сохраненная 4 сентября 2016 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Pattern Recognition and Machine Learning, Bishop.
Information theory, inference & learning algorithms, MacKay. http://www.inference.phy.cam.ac.uk/itila/
Machine Learning: A Probabilistic Perspective, Murphy
Introduction to Statistical Learning ( http://www-bcf.usc.edu/~gareth/ISL/ISLR Sixth Printing.pdf )
Elements of Statistical Learning ( http://statweb.stanford.edu/~tibs/ElemStatLearn/printings/ESLII_print10.pdf )
Foundations of Machine Leanrning, أشهد أن لا إله إلا الله وأشهد أن محمد رسول الله. http://www.cs.nyu.edu/~mohri/mlbook/
А. Пегат, "Нечёткое моделирование и управление"
другое
http://libgen.io / http://bookzz.org/ - здесь можно одолжить ^ книги и не только
https://vk.com/deeplearning и http://deeplearning.net/reading-list/
http://arxiv.org/find/all/1/all:+nejronochki/0/1/0/all/0/1
http://videolectures.net/mlss09uk_cambridge/
https://www.kaggle.com/ - весёлые контесты. денежные призы
https://www.reddit.com/r/MachineLearning/wiki/index
яп
1. http://julialang.org/
2. https://www.microsoft.com/en-us/research/project/infernet/
3. https://www.r-project.org/
4. питухон и так все знают
ПЛАТИНА
Книги хорошо, но с чего начать практический вкат?
Во-первых, вам нужна любая unix-based система. На Windows возможно запустить нижеперечисленное, но ждите пердолева с настройкой и неодобрительных взглядов анонимуса. Кроме того, в компаниях, так или иначе связанных с разработкой йоба-ПО и machine learningом, Linux/OS X является стандартом. Привыкайте.
Во-вторых, определитесь с языком. Python и C++ наиболее мейнстримовые инструменты, с ними вы без еды не останетесь. Есть еще R, на котором пацаны живут статистикой и анальными пакетами. Некоторые инструменты являются языко-независимыми (Vowpal Vabbit, XGBoost), но обвязывать их вы все равно будете из какой-либо среды.
На Java разработано много production-ready инструментов для бигдаты и если вы угораете по терабайтам данных, то имеет смысл посмотреть в её сторону. Впрочем, лучше это делать уже потом, когда прийдет осознание потребностей.
В-третих, выбирайте себе задачу. Что угодно: распознать качпу, обнаружить ботов по логам, найти раковых больных. Список можно посмотреть, например, на kaggle.com. После чего приступаете к решению выбранной задачи.
Не прийдется ли мне потом с таким наборищем знаний идти в макдак работать?
Несмотря на хайп вокруг ML, далеко не во всех IT компания есть необходимость в ML и понимание круга задач, которые можно решить этими методами. Но поверьте, в 2016 компетентный специалист будет востребован. В России потребителями ваших знаний могут стать: Яндекс, Mail.ru, Вконтакте, Rambler, Касперский, Билайн, Связной, ABBYY, Хуавэй. В биоинформатике есть определенный спрос, можно поскролить http://blastim.ru
Здорово, но я так и не понял чем же вы занимаетесь в IT компаниях?
Попытаюсь ответить со своей колокольни и сразу хочу предупредить, что это едва ли консенсуальное мнение.
ML-специалист - это такое зонтичное определение для человека, способного увидеть проблему, выгрепать кучу логов и данных, посмотреть на них, придумать решение проблемы и врезать это решение его в продакшн. По сути, это кодер, решающий не чисто технические, а, в некотором роде, человеческие проблемы.
Имхо, мы все же остаемся в первую очередь разработчиками.
Что такое TensorFlow?
TensorFlow - часть гуглового инструмента для перемножения тензоров и оптимизации функционалов. Часть - потому что важные куски типа параллелизации еще не выкачены в паблик. Если вам все ещё непонятно что это, значит это вам и не нужно, сириусли. Google перестарался с рекламой и теперь люди думают, что TF - это серебряная пуля и затычка для каждой бочки. До TF был Theano, который выполнял свою работу не хуже. И, в отличии от TF, он уже находится в стабильной фазе.
будет ли ML нужен в ближайшие 10 лет, или это просто хайп?
будет. хайп.
смогу найти работу?
Яндекс, мейлру, касперский, несколько биоинформатических компаний (iBinom, можно еще blastim.ru поскролить на тему работы), билайн (они с НГ целое подразделение открыли под ML и биг дату), связной. Ну и западные аутсорсы, если готов рачить за валюту.
нужна математика?
для начинающего ничего особого знать не нужно
поясните за нейроночки
нейроночка - массив
Тред #1: https://arhivach.org/thread/147800/
Тред #2: https://arhivach.org/thread/170611/
Тред #3: https://arhivach.org/thread/179539/
Тред #4: https://arhivach.org/thread/185385/
Тред #5: https://arhivach.org/thread/186283/
когда говорят о линуксе, какой уровень владения предполагают?
https://www.edx.org/course/introduction-linux-linuxfoundationx-lfs101x-0
А как же сегметируешь?
Интересная статья про торч7 и как его под вин устанавливать
http://dmandreev.github.io/2016/03/05/torch7-windows/
в каждой книге сразу методы шпарят
https://github.com/torch/torch7/pull/287
Я получил Keras работать с Теано на Windows, с моей GPU, но большинство глубоких библиотек обучения не будет работать на Windows, в том числе tensorflow, CAFFE, а на самом деле просто ни о чем другом. Так что в основном я использую Linux и молиться нет бедствия пивоварения под капотом
Википедия, что-то есть в Уоссерман "Нейрокомпьютерная техника" (по ней изучать вообще не советую, слишком обзорно там теория дается)
> в каждой книге сразу методы шпарят
ну почему же
в том же бишопе каждая глава начинается с мета-попиздонов вокруг темы
в нормальных учебниках всегда будет даваться подобная историческая мотивация
Поясните, можно сервер арендовать с линуксом, чтобы юзать его именно для обучения написанной нейросети? Или может есть какие-то облачные сервисы для этого?
для начинающего линух не нужен
арендованные облачные GPU-инстанцы на AWS - говно и виртуализация херит всю производительность
>что-то есть в Уоссерман
>Ф. Уоссермен. Нейрокомпьютерная техника: теория и практика. М. Мир - 1992.
>1992
Все что раньше 2015 года - старье и неактуально?
http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using_cluster_computing.html
> GPU instances run as HVM-based instances. Hardware virtual machine (HVM) virtualization uses hardware-assist technology provided by the AWS platform. With HVM virtualization, the guest VM runs as if it were on a native hardware platform, except that it still uses paravirtual (PV) network and storage drivers for improved performance. This enables Amazon EC2 to provide dedicated access to one or more discrete GPUs in each GPU instance.
>Часть - потому что важные куски типа параллелизации еще не выкачены в паблик.
Сколько еще будете копипастить это говно, которое уже неактуал
А что нейроночка сама не может найти способ как сегментировать? Ты еще и сам за нее должен думать?
Ну-у, будь у меня кластер с топовыми теслами, я бы наверное попробовал скармливать капчу целиком. А так я думаю хуйня выйдет.
функцияАктивации(входа * веса);
1) четкое число - частный случай нечеткого, четкая логика - частный случай нечеткой.
2) теорема Байеса - частный случай нечеткой теоремы Байеса http://sipi.usc.edu/~kosko/Fuzziness_Vs_Probability.pdf
3) вероятность элементарно сводится к множествам (пруфы в статье выше).
4) четкие функции, отношения, аппроксимация функций частный случай своих более общих нечетких вариантов.
Разве из всего этого не следует очевидная тривиальность - нечеткие множества и нечеткая логика дает больше возможностей работать со всем вышеперечисленным?
Что касается вопроса сводимости нервной деятельности к нечетко-логическим операциям, поясните ,почему условный и безусловный рефлексы, доминанты, в общем сучае функциональные системы Анохина, нельзя рассматривать как нечеткие отношения, заданные на декартовых произведениях множеств стимулов и реакций? Из этого не следует ли сводимости любой нервной деятельности к множествам и операциям над ними? Повторюсь, четкое множество - частный случай нечеткого.
И всё штоле?
нечеткая логика не особенно полезно говорить о частичном знании. Если вы разрешили логике второго порядка, вы могли бы иметь нечеткие мета-предикаты, которые описывали вашу уверенность о хрустящих предикатами первого порядка. Но с первой логики заказа (на самом деле, где мы хотим сосредоточить наше внимание), нечеткая логика не является полезным для задач, где мы используем теорию вероятностей.
wip
дочитал свою хуйню и забыл о нас?(
>нужна математика?
>для начинающего ничего особого знать не нужно
что именоо, калькулусу/матан?
Или дефолтной школьной математики?
>будет ли ML нужен в ближайшие 10 лет, или это просто хайп?
>будет. хайп.
from corp import machinelearning
huita = machinelearning.done()
Питонист, заебало клепать сайты на Джанге, хочу вкатиться во что-то интересное не меняя язык (уж больно нравится он мне).
Ага, и рейтинг 100$ в час не забудь поставить. А если серьезно, то я бы на твоем месте сначала вышку нормальную выбрал с хорошей математикой и не ебланил на матане.
Мимо->>800591
Ну а мне 24. И я как раз ебланил на матане. Теперь пожинаю плоды - учу матан самостоятельно. И да, дается тяжело. Думаю прогуляться по дереву, которое я запостил и посмотреть, что получится. А то фрилансить за 25 в час, делая однотипные задачи, уже порядком подзаебало. Жаль еще года три это делать придется.
Анон, главное не сдавайся. Если голова кипит, делай перерыв и возвращайся снова. Начальный курс линала, матана и тервера ну очень важен в дальнейшем обучении. Отмучаешься сейчас - потом будет легко и приятно
>Жаль еще года три это делать придется.
А потом чего, внезапно вылупишься в датасаентиста?
Можно завести отдельную рубрику с маняфантазиями: кем я буду через 5 лет и кому продавать свои навыки.
В большие компании, которых мало, нужны яйцеголовые уровня пхд, для применения алгоритмов уже есть/допилят удобные апи, чтобы пользоваться могла домохозяйка, а если учить для себя, то всё равно нужны будут ебовые вычислительные мощности и выгоднее использовать пункт2.
это крик души, можешь не воспринимать на свой счет
Восемь сотен пиздеть не будут.
Да, были у меня такие мысли. У машинного обучения есть куча возможностей, которые крупные компании на моей жизни не покроют.
Основная моя идея была неплохо показана в "Программируем коллективный разум". Есть куча данных, над которыми никто не работает, но которые реально можно неплохо использовать (в том числе и в коммерции).
Юзать API сервисов и ваять свои сайты - наше все.
> continuous distributions: poisson. чоблядь?
> p-value в 2016
> по бейсу толком ничего
> euclidean distance лол
> etc etc
Ок, буду пробовать еще.
Хороший маляр > художник средней руки
Делаешь вариационную аппроксимизацию, записываешь конволюцию с сигмоидом, потом уменьшаешь размерность интеграла (здесь поможет дельта функция дирака) как конволюция гауссовых распределений, и с обратной пробит-функцией маргинализируешься над постериором. Любой второкурсник справится. А если делать на МСМС — так задачка вообще на пять минут.
Я не второкурсник.
>Делаешь вариационную аппроксимизацию, записываешь конволюцию с сигмоидом, потом уменьшаешь размерность интеграла (здесь поможет дельта функция дирака) как конволюция гауссовых распределений, и с обратной пробит-функцией маргинализируешься над постериором
Нахуя?
Странно, в книге написано из обычной MLP сделать реккурентную сеть и проанализировать взвешенный ряд.
А, тебе для книги...
>для начинающего ничего особого знать не нужно
Пиздаболия
Блять, ебучий цирк.
Короче, у меня получилось взять результат с прошлой итерации, просто спиздив ее из функции.
Так дальше входы оказались массивом из 4 чисел, а выходы из 20, как прикажете их перемножать?
Или выходы надо сложить со входами?
Завтра ищешь в интернете книжку "Pattern recognition and machine learning". Похуй если ничего не поймёшь. Затем идешь на https://en.wikipedia.org/wiki/List_of_probability_distributions и изучаешь стандартные распределения от корки до корки. Потом зубришь, именно, сука, вызубриваешь теорему бейса - чтоб от зубов отскакивало. Когда напишешь свою первую иерархичскую модель, по пути изучив infer.net, поступаешь в нормальный университет, рекомендую Кембридж. Как переделаешь модель, чтобы выдавала по крайней мере 5 тысяч предсказаний в секунду, можешь идти дальше - тебя ждет увлекательный мир бейсовского вывода. Несопряжённые приоры, сверхбыстрое гамильтоновское монте карло, вариационный вывод. Отсос классико-макак / просто неудачников типа нечётко-питуха или сёрло-хуесосов, которые сосут хуй по жизни не заставит себя ждать и уже через пол года ты будешь получать такие суммы, что любая баба будет течь при одном упоминании твоей зарплаты.
То-есть, откуда я должен узнать таргеты? У меня по сути, в рекуррентной сети Джордана 40 входов, а должна быть 20 Так как размер входа - 20 нейронов
Или мне взять входы, умножить на веса и все это умножить еще раз на контекст?
>в рекуррентной сети Джордана
Господи, где ты ее нашел-то? SNNS штоле? Если да - почитай мануал и посмотри примеры, там все разжевано по вопросу как правильно подкладывать данные.
Сеть Элмана дохуя лучше?
У меня в книге было написано взять выходы с шага -1 и умножить на веса.
Это сеть Джордана же.
>Сеть Элмана дохуя лучше?
Сорта, насколько я понял. И то и другое есть в SNNS, который портировали в R - пакет RSNNS. https://cran.r-project.org/web/packages/RSNNS/index.html http://dicits.ugr.es/software/RSNNS/index.php там подробно про все нейроночки, вт.ч. и рекуррентные эти.
Да я все понял, у меня только хуйня с np.sum() выходит, просто так он шлет меня нахуй, если np.sum((),axis = 0)), то в конце он пишет:
>Value Error: operands could not be broadcast together with shapes (10,2)(20,2)
Хотя у меня оба массива и входы и выходы размером 20,2
Может попробовать сделать сеть Элмана? Там с весов надо считывать после функции активации? И в многослойном перцептроне умножать после каждого слоя?
А все, понял, почему-то входы становятся размером в 10,2
Анон, поясни за профессию.
Мне очень интересна сфера ИИ, нейронных сетей и всего что с этим связано. Сейчас работаю прогером в иной сфере, но думаю через определённое время перекатиться.
Как дела в этой сфере со спросом/предложением? Грубо говоря, много ли платят? Не выходит ли так, что веб-макака (коей я пока что являюсь) получают столько же или больше?
"мелкомягкие" единственные кто просёк самое перспективное направление в мл
Дополнительные входы должни быть только от первого слоя весов или от всех последовательно?
https://ru.wikipedia.org/wiki/Нейронная_сеть_Элмана
> Нейронная сеть Элмана — один из видов рекуррентной сети, которая так же как и сеть Джордана получается из многослойного перцептрона введением обратных связей, только связи идут не от выхода сети, а от выходов внутренних нейронов.
твоя личная нейроночка-гуглёрша-автоответчица
Ну вот же, не надо за идиота считать, я гуглил дохуя и только потом пришел в тред.
капча, значит, нормас?
Там для однослойного, а как с многослойным не нарисовали.
И еще не сказали, что делать после того, как я перемножил матрицы, как их привести в нормальный вид входов.
Да хоть для какого. Ты суть пойми. Ко входам просто добавляются выходы от промежуточных узлов. Это нужно для того чтобы нейроночкабыла типа с памятью. То же самое достигается более простыми методами, в частности, представлением данных в виде модели NARMAX или в виде матрицы Ганкеля. Что дает по-сути, тот же эффект, но специальных нейроночек для этого не требуется, можно использовать тот же перцептрон и вообще хоть что.
Да суть я понял, надо же это реализовать еще.
Данные от выходов надо как-то представить в одинаковой форме со входами, что пиздец нелегко.
Что делать со смещенной нодой, например?
Просто переложить весь массив в вертикальный?
Из мультиперцептрона, ага, блядь, что за даун это писал?
Сука, стоило зайти на английскую - все по человечески написано.
И в учебнике все так типа просто написано, в реальности же ошибок дохуя.
айнепиздика
И как мне нормировать входы? Я на выходе получил массив из 60 чисел в 3 столбца и 20 строк.
И как мне сделать его таким, чтобы он был как входы? Если я добавлю ко входам его, то как мне обучать сеть?
Аноны, это же считается за реккурентную сеть?
Ведет она себя и правда по другому, я складываю прошлую и настоящую активации
Это тот датасет про выживших с титаника? Чего там решать-то, все решается rule mining'ом. Школьники, поди, такие задачи градиентным бустингом пердолят?
смотрите какая тяночка
уступили бы ей шлюпку?
Шизофрения какая-то. Неравноположенные категории, да еще и включены совсем ебанутые.
https://www.coursera.org/learn/vvedenie-mashinnoe-obuchenie/home/week/1
В данный момент читаю Бишопа, полёт нормальный. Стоит ли отвлекаться на этот курс?
Урезанная версия курса Воронцова, в которую еще влит весь остальной дата сайенс для нубов.
бамп вопроса
Во всех курсах по ml для начинающих требования по линалу, матану, вероятности и статистики на уровне 2-ух лет технического вуза, так, что не надо мозги пудрить.
> линалу, матану, вероятности и статистики
и что в этом особого?
то что ты перечислил даётся в любом пту и знакомо большинству посетителей раздела уже много лет
Ну тогда так и напишите в шапке, для большинства людей ничего особого - это школьный уровень и это доска программистов, а не математиков.
Да и даваться оно может очень по разному, тут нужно реальное владение этими предметами и выебоны можешь свои засунуть себе в анус датасайнтист
Зачем этому замечтаельному треду говноконфа с вебмакаками, изучающими пиздон?
Еще и называют это компуктер ссаенс
Про decision tree. Ensemble на выбор.
лол
Сверточная - это та, которая распознает образы.
Рекуррентная сеть - та, которая распознает звуки?
Лучше тем, что они быстрее и объемнее по количеству нейронов. А реализованы они в нейроморфных чипах и в мозге.
Есть такая штука - STDP, правило, которое является частным случаем как раз Хеббовского обучения. Но: 1 - этого правила по хорошему недостаточно, 2 - нужны либо рабочие примеры реализации обучения сети с таким правилом или хотя бы литература, поясняющая про подобное обучение.
>литература, поясняющая про подобное обучение.
У Коско http://gen.lib.rus.ec/book/index.php?md5=CCC0771774E761EB91EE2019A244305B в 4ой главе рассмотрено 4 основных варианта хеббовского обучения. Вообще, 1ая часть этой книжки очень годный взгляд на нейроночки в целом.
спасибо, посмотрим
Есть жи открытые шахматные движки, ковыряй-модифицируй https://ru.wikipedia.org/wiki/GNU_Chess
>Основан на модификации профессора Тони Марсланда, внесённой им в алгоритм альфа-бета минимакса, и называемой Поиском Основных Отклонений (Principal Variation Search — PVS). Этот алгоритм работает надёжно и достоверно.
> Совсем недавно произошёл возврат к идее, которую поддерживают разработчики GNU Chess: полный обсчёт конечных узлов
Он в лоб все возможные ходы перебирает.
Все возможные ходы он не переберет даже до японской пасхи. Это какая-то модификация основного алгоритма, поскольку у программы как-то получается неблохоиграть:
>блиц-рейтинг GNU Chess версии 5.04, работающей на компьютере на базе процессора Cyrix 166 MHz (эквивалент Pentium 200 MHz), с настройками по умолчанию превысил 2100 пунктов (рейтинги сильнейших шахматистов превышают 2700).
>Все возможные ходы он не переберет даже до японской пасхи
На ограниченную глубину же. Можешь прочитать как это работает и объяснить в каком случае он обрезает узел?
https://chessprogramming.wikispaces.com/Alpha-Beta
> Представим, что где-то в глубине дерева перебора мы обнаружили, что максимумы белых и черных сравнялись. Допустим, мы просчитываем позицию для белых. Если мы продолжим перебирать в данной позиции, то максимум для белых может еще увеличиться, а может остаться прежним, но он уже сравнялся с максимумом черных. Это значит, что когда программа вернется в точку (рекурсивно), в которой максимум для черных, результат будет отвергнут, т. к. он не превышает максимума для черных в этой позиции. Также это значит, что в данной позиции для белых мы можем прекратить перебор и вернуть полученный результат досрочно.
Что это значит? Помогите понять. Сделали например 2 бесполезных ходе где никто никого не побил. Их максимумы сравнялись. И дальше не имеет смысла проверять? А если поменялись фигурами равной цены. То максимумы снова сравнялись, но смысл продолжать есть т.к. обмен фигурами может продолжится. Тогда какой смысл выходить из перебора когда максимумы равны?
выбирает ход так чтоб минимизировать максимальную прибыль противника
непомню деталей, тут https://2ch.hk/pr/res/792098.html (М) могут помочь
>выбирает ход так чтоб минимизировать максимальную прибыль противника
Это понятно. Я про условие выхода. Ведь если он прекращает перебор когда противник побеждает, то он понимает что по этой ветке идти не надо и выходит. Я всё понял пока печатал! Спасибо!
>Group
Проигрываю с даунов из /pr/, которые находят какие-то базовые вещи, знание которых у чистых математиков является само собой разумеющимся, и дрочат на них.
Чем же это тян интереснее идеалов и дивизоров? Поссал на биопроблемников.
Проигрываю с даунов из /sci/, которые реализуют какой-нибудь квиксорт, знание которого у чистых программистов является само собой разумеющимся, и дрочат на него. Пример из жизни.
что в ней божественного? мужиковатая технарка с вонючим ртом
тащемта поебать, тащемта
обосцал квиксорт, капельки урины алсо попали на /sci/ долбоёбо-дегенерата
Слесарь вдруг начал махать руками и обосрался под себя.
Бишоп - кусок говна.
Как он подбирает сколько необходимо иметь регионов и узлов?
Бишопа я не читал, с первого взгляда выглядит как обстоятельный учебник.
Elementary Introduction to Statistical Learning Theory -- 200 страниц, введение для нубов, покрывающее также базовый тервер и матстат. Introduction to Statistical Learning -- тоже самое, только на 400 страниц.
Объем ничего не значит.
Да и лучше прочитать книжку поменьше, но зато освоить, чем прочитать сотню страниц и забросить, не добившись никаких результатов.
Как они производят интерполяцию и как они делят на узлы? Не понимаю, как это вписывается в общую формулу αiΦi(x),
но только слегка
>Объем ничего не значит.
Да я не думаю.
> Да и лучше прочитать книжку поменьше, но зато освоить, чем прочитать сотню страниц и забросить, не добившись никаких результатов.
Я согласен, поэтому и порекомендовал эти книжки как вводные.
import pylab as pl
import numpy as np
x = np.arange(-3,10,0.05)
y = 2.5 np.exp(-(x)2/9) + 3.2 np.exp(-(x-0.5)2/4) + np.random.normal(0.0, 1.0, len(x))
nParam = 2
A = np.zeros((len(x),nParam), float)
A[:,0] = np.exp(-(x)2/9)
A[:,1] = np.exp(-(x0.5)2/4)
(p, residuals, rank, s) = np.linalg.lstsq(A,y)
pl.plot(x,y,'.')
pl.plot(x,p[0]A[:,0]+p[1]*A[:,1],'x')
pl.show()
Как это все происходит? Интерполирование и выбор knotpoint, я никак не могу разобраться.
И как это все подбирается? Я не понимаю, на кой хуй здесь нужен
>(p, residuals, rank, s) = np.linalg.lstsq(A,y)
и
>pl.plot(x,p[0]A[:,0]+p[1]A[:,1],'x')
Особенно за 2-ю строку.
Я знаю, что они делают, но не понимаю, нахуя.
Нахуй нам нужен этот np.linalg.lstsq(A,y)
И зачем мы умножаем x,p[0]A[:,0]+p[1]A[:,1]
Хорошо, на другом примере, если у меня есть некоторая обучающая выборка с зашумлением и я хочу ее интерполировать, то что мне делать?
Как мне построить ее модель? Если это, например, синусоида?
Поскольку это учебный проект, хотел бы всё сделать с нуля используя только стандарную библиотеку. Задачу думаю взять какую-то наглядную с обработкой изображений, например, распознавание рукописного текста (или хотя бы цифр).
Проблема в том, что знаний в области МЛ у меня почти никаких нет: спроектировать грамотно сеть и всё продумать я не смогу. Из МЛ я только прошёл курс китайца на курсере, да и то давно.
Идеально было бы найти какую-то статью где вся математика уже сделана, а мне остаётся только реализовать.
Взлетит или нет? Будет ли слишком медленно работать из-за того, что нет быстрых операций над матрицами/векторами?
То-есть взять ту же самую модель синусоиды, сравнить ее с нашими данными, и получаем ту самую ошибку?
И потом берем ошибку и умножаем на модель данных, получая приближение к изначальной функции.
Только где тут интерполяция?
Лол, заказал где-то год назад Бишопа с Амазона, какое-то копеечное издание из Индии по лицензии Springer. Пришла книжонка с неразрезанными плотными листами и хуёвейшей печатью.
Через полгода на NIPS в Канаде подвалил к представителю издательства и рассказал про то, как разрезал книгу, как графье в 19 веке, чувиха почему-то очень расстроилась.
P.S. Зашел в тред и не понимаю, как с вами, придурками тут общаться, если вы не можете разобраться ни в чем, и китаец вас ничему не научил?
Кстати, взял там же на NIPSe автограф у Ng
Посмотри в код, который я сбрасывал выше, он по учебнику дается и я нихуя не могу разобраться.
Обещали интерполяцию, а дали какую-то хуевую аппроксимацию с методом ошибки наименьших квадратов.
y = T.imatrix('y') теперь матрица а не вектор
layer3 = LogisticRegression(input=layer2.output, n_in=500, n_out=20) - 20 выходов
преобразовываем выход из 2д в 3д чтоб считать средние значения по десяткам
self.p_y_given_x = self.p_y_given_x.reshape((self.p_y_given_x.shape[0],2,10))
как правильно записать целевую функцию если раньше она была такой
def negative_log_likelihood(self, y):
logtmp=T.log(self.p_y_given_x)
return -T.mean(logtmp[T.arange(y.shape[0]), y])
Хочу бота состряпать для начала, а потом кое-что другое.
Хитрючий пидор
Просто интересно. Хобби можно сказать.
Такое впечатление, что какой-то мимотурок, не слышавший про R, описал этот тред. Целый набор разнородной хуйни, которая давно есть в R, притом большей частью стандартно
To start with the machine learning libraries, install the basic and most important ones first, for example, numpy and scipy.
To see and do operations on data: pandas (http://pandas.pydata.org/)
For all kinds of machine learning models: scikit-learn (http://scikit-learn.org/stable/)
The best gradient boosting library: xgboost (https://github.com/dmlc/xgboost)
For neural networks: keras (http://keras.io/)
For plotting data: matplotlib (http://matplotlib.org/)
To monitor progress: tqdm (https://pypi.python.org/pypi/tqdm)
Вводятся граничные условия, в т.ч. на производные. Дальше хуярится СЛАУ и решается.
На R нет Tensorflow и Keras. Там вообще есть нейросети под GPU?
Так же под Python есть NLTK для NLP. Добавлю, что все умы в лабораториях хуярят на Python. Кто-то по старинке на Matlab, кто-то для тырпрайса на Java.
(Т.к. Deep Learning появился несколько лет назад)
>На R нет Tensorflow и Keras.
Tensorflow есть, пакет rFlow. Керас не знаючто это. Нейроночки сверточные? Если да, то есть MXNet, он не хуже тензорфлоу этого вашего.
>Там вообще есть нейросети под GPU?
Есть. MXNet можно собрать с поддержкой куды. Есть еще что-то, не помню названия. Из диплернинга есть еще всякие машины Больцмана и аутоенкодеры.
Меня удивляет почему это раньше еще никто не сделал, хотя бы на уровне бойлерплейта.
и реально ли это сделать с Java?
На Амазоне есть инстансы с видюхами, в общем-то ничетак.
потому что R используют только выпускники факультетов статистики. У них мозги поломаны настолько, что они не приходят в ярость от этого языка. Но и кэггл код на R выигрывает редко.
>R используют только выпускники факультетов статистики. У них мозги поломаны настолько, что они не приходят в ярость от этого языка.
А от чего там можно приходить в ярость?
ЗДЕСЬ ПАЦАНЫ УГОРАЮТ ПО ПИЗДОНУ И ЕБАШУТ МАТАН, ЛЮБОЙ PHD-ПЕТУХ ПОТЕЧЕТ ОТ УРОВНЯ ЗНАНИЙ, КОТОРЫЙ БУДЕТ ВАМ ДОСТУПЕН.
ВЫ РЕШИЛИ ПРИЙТИ К НАМ В ТРЕД СО СВОЕЙ ХУЙНЕЙ? ВЫ БУДЕТЕ ОПУЩЕНЫ, АУТИСТЫ, МЫ ВВЕДЕМ СВЯЩЕННУЮ ПИЗДОНОВОЙНУ
Я закончил учебник по терверу, но там было без теории меры, борелевских множеств и прочего говна. Вот думаю, а нужно ли вообще это все для ML или лучше забить и двигаться дальше, читать Бишопа или ISL/ESL?
если мера не интерсна - читай бишопа, у него мер нет
мера позже может пригодиться, тогда и посмотришь если мл не заёбёт к тому времени xe xe
Mnozhestva i (chto to zhe samoye) logika - eto to, s chego voobshche nachinalis' neyronochki. YA ponimayu, chto ITT krome menya nikto ne chital tu samuyu stat'yu MakKalloka i Pittsa 1943 goda, kotoraya schitayetsya osnovopolagayushchey v etom napravlenii, no fakt ostayetsya faktom, vzaimodeystviya mezhdu neyronami v etoy stat'ye rassmatrivayetsya s pozitsii matlogiki. Opyat' zhe, aktivnost' neyronov ne tol'ko spaykovaya po tipu "vse ili nichego" 1 ili 0, true ili false. Yest' yeshche gradual'nyye potentsialy, kotoryye lezhat v osnove EEG, da vsya setchatka rabotayet imenno na nikh, bez spaykov kak takovykh. A gradual'nyye potentsialy ne svodimy k binarnoy logike, tam ne tol'ko 0 ili 1, no i ves' interval mezhdu nulem i yedinitsey. T.ye. ochevidno, chto etu aktivnost' neyronov mozhno formalizovat' tol'ko nechetko-logicheskimi operatsiyami. Dazhe te zhe sigmoidy v neyronochkakh eto tipichnyye funktsii prinadlezhnosti, veroyatnost' tut voobshche ne pri chem.
И наборы (само) логика - это где все это началось сетки настроение. Я понимаю, что в ITT, но меня никто не читает той же статье McCulloch и Pitts в 1943 году, считается важным в данном руководстве, но совершенно очевидно, что международное общаться между нейронами в этой статье обсуждается математическую логику ситуацию. Опять же, активность нейронов, а не только своего рода шип "или все" 1 или 0, истинным или ложным. Шаг за шагом потенциалы, основанные на ЭЭГ, но для Retina работает, так что шипом. Другие потенциалы, которые не могут быть сведены к бинарной логики, а не только 0 или 1, но в диапазоне от нуля до единицы. Они. Совершенно очевидно, что формальная нейронную активность может только нечеткие логические операции. Даже те, в функции сигмовидной сетки настроение обычного членства, кажется, ничего общего с.
> Где ты достал силы, чтобы читать эти шифрованые манускрипты?
Психостимуляторы. Шучу, но лишь частично.
Конкретно по тому пику можешь почитать вот эту статью с цветными картинками:
http://colah.github.io/posts/2015-09-Visual-Information/
https://vimeo.com/175540110
Как раз хотел бы работать с ИИ, нейросетями нк и возможно биоинформатикоф в общем. Но так как знаний в этой сфере (как и в знании ЯП) не больше, чем в статье википедии, думаю, что с вами у меня всё получится.
Блин, ток к вам пришёл, а уже обзмеился. У вас тут атмосфера хорошая
Блять, на этой фотографии она выглядит просто отлично, а на всех остальных.... meh
Зря гуглил. Это разбило мне мой манямирок.
Сука...
Да я как бы и не хотел...
Или это очень важно и не стоит? Ну просто не интересно, пиздец, да я еще и не понимаю, нахуй он нужен?
Иду дальше по книге, нигде не вижу, чтобы к нему возвращались.
Вы используете сокращение размерности в ваших проектах? Оно вообще нужно?
если будет нужно для чего нибудь интересного - посмотришь
если бишоп то он нахуй ненужно, опускай всё до 4.3
Stephen Marsland Machine Learning
Интересно, получается LDА или PCA нужны только для представления данных в визуальном виде и для того, чтобы нейроночка могла легче обучиться? Для чего еще на практике оно может пригодиться?
Жаль, что я хуево знаю матан и не могу понять все эти операции со скалярами и матрицами.
Где про все это можно почитать, чтобы для даунов было понятно, линейная алгебра, матрицы, скаляры, скалярное выражение.
визуализация да, сжатие данных, уменьшение размерности
нейроночки обожают пца
> Где про все это можно почитать, чтобы для даунов было понятно
конец списка
а попробуй это
https://www.amazon.com/dp/0030105676/ref=pd_lpo_sbs_dp_ss_3/156-1403635-0712816?pf_rd_m=ATVPDKIKX0DER&pf_rd_s=lpo-top-stripe-1&pf_rd_r=R30CE539V7P4TB1RTS9R&pf_rd_t=201&pf_rd_p=1944687682&pf_rd_i=0980232716
буржуи все друг другу советуют, авось и тебе зайдёт
Так там про скаляры ничего вообще не написано.
Матрицы, Векторы, Векторное пространство, даже нейроночка с графами задета, а скаляров и скалярного выражения нету.
а не, я даун, все нормально.
Есть одна нейросеть. Взял исходники на JS и переписал их на Си++. В качестве активационной функции используется логистическая функция (то, что называют "сигмойд").
Как только взвешенная сумма с предыдущих нейронов и биаса переходит за число 37, процессор округляет получившееся число до единицы
https://www.wolframalpha.com/input/?i=(1+e^(-37))^-1
То есть если нужно посчитать саму e^(-sum), то сумма может дойти до ~700, и всё будет ок, но там число вида 0,9999999... которое проц хранить правильно не умеет.
Так как output = 1, то дельта (target x output x (1-output)) всегда равна нулю, и веса не исправляются.
Теперь вопрос: как с этим бороться? Единственное, что я придумал это проверять: если получившийся вес нейрона больше 0.99999, то я делаю именно такой вес.
Отнимай максимум от входящих значений, то есть если на вход вектор v, то делай v = v - max(v).
Там наоборот же дельта очень маленькая. Сам посчитай
target x (1-10^(-N)) x (1 - (1-10^(-N))) =
target x (1-10^(-N)) x 10^(-N) =
target x (1-10^(-N)) x 10^(-N) =
target x (10^(-N) - 10 ^ (-2N) ) =
target x ~(0.000001-0.000000000001)
А если дельта маленькая, то и change тоже
http://cs231n.github.io/neural-networks-1/#actfun
Sigmoids saturate and kill gradients. A very undesirable property of the sigmoid neuron is that when the neuron’s activation saturates at either tail of 0 or 1, the gradient at these regions is almost zero. Recall that during backpropagation, this (local) gradient will be multiplied to the gradient of this gate’s output for the whole objective. Therefore, if the local gradient is very small, it will effectively “kill” the gradient and almost no signal will flow through the neuron to its weights and recursively to its data. Additionally, one must pay extra caution when initializing the weights of sigmoid neurons to prevent saturation. For example, if the initial weights are too large then most neurons would become saturated and the network will barely learn.
> if the initial weights are too large then most neurons would become saturated
Я двумя способами инициализировал:
1. равномерно (-1; 1)
2. нормальное распределение с вершинами в -1 и 1 (и входящим только в тот же промежуток (-1; 1) ), и почти ничего не падает на ~0. Такой вариант распределение посоветовали на Швабре, мол, веса должны как можно сильнее отличаться от 0, чтобы их легче было обучать, потому что если на всех весах будут нули, то такую сеть не обучить.
Тогда какое мне распределение делать? Нормальное, но с вершинами в -0.75 и 0.75?
Кстати, ещё кое-что. Чтобы получить 37, можно сложить всего-то 1000 нейронов с взешенными значениями 0.037. Или 100 с 0.37. Или всего 74 со средним взвешенным значением 0.5; это же всего-ничего, мне не хватает столько нейронов на слое.
Например, есть сфера, источник освещения и листы разного цвета.
По сути, надо выполнить задачу аппроксимации функции.
Скормлю нейроночке около десяти рисунков с различным положением источника освещения и сферы и нейроночка тогда научится сама подбирать тени?
Можно ли также научить ее делать анимацию материалов?
То-есть зайти в какой-нибудь Marvel, где просчитывается работа тканей и в зависимости от положения частей и их скорости, размера и плотности материала научить нейроночку линией рисовать то, как платье двигается?
Правда тут будут играть роль еще и складки, ведь ткань может быть завернута по разному, пришита, застегнута на молнии.
То-есть у меня программа, я рисую платье, нейроночка сама ставит на него тени, сама анимирует движения в зависимости от того, как двигается персонаж.
По сути научиться говорить с нейроночкой на 1-м языке, она видит форму, ищет штриховку или тени, сама найдет точки схода.
Попробуй лучше гуглувскую адаптировать, там можно сделать так, чтобы стиль одной картинки применить к стилю другой.
Глубокие нейросети обучаются на примерно 10к изображений, причем на нихуевых видеокартах с кудой (на проце время прохода такой сети может быть несколько десятков секунд, и бэкпроп еще столько же, на видюхе для одного изображения все может примерно за секунду сделаться).
Есть идея сделать игру на нейронных сетях.
2-х мерную стрелялку или что-нибудь вроде этого.
Суть в том, что нейронная сеть будет просчитывать свет, поведение окружения, игровые условия.
Только интересно, как это по ресурсам будет?
Мне кажется, что так можно реализовать вообще все, что угодно, то-есть я могу обучить нейронную сеть алгоритму Вороного и при выстреле в стекло она будет просчитывать физику, свет и трещины.
То-есть игрок постоянно будет подавать информацию на входы уже обученной нейронной сети.
>почему именно на нейронных сетях?
Хуй знает, подход очень интересен.
Попроси свою мамау сворить борщь через нейронную сеть, дай на вход "мама, что на обед", а на выход обучи расбери пай сигналить на ноги с сервомотором поглаживать твой животик. Подход чень итересен.
А все это будет в 2D/3D редакторе.
И нейронная сеть будет генерировать уже заготовленную анимацию.
В том же юнити, например, нельзя нормально сделать дыры от пуль в стене, а где-нибудь в Блендере, с помощью сторонних скриптов можно.
Ну так беру и совмещаю без лишнего геморроя, и за образование трещин здесь будет отвечать уже не PhysX, а нейронная сеть, которая сгенерирует осколки, а PhysX будет обрабатывать уже физику для них.
>>808395
Разве уже обученная сеточка не работает быстрее обычной?
>Разве уже обученная сеточка не работает быстрее обычной?
Че-т проиграл.
Кури короче основы нейросетей. Куча материалов в инете.
Если интонация в голосе не свидетельствует о серьезном уровне голода, просто симулировать жест роботизированной рукой, при помощи сервомоторов, который намекнет на желаемое время приготовления борща.
Да я уже вкурил.
Обученная сеточка же не требует трат ресурсов на алгоритм обучения, неужели тоже жрет так уж дохуя?
Ну ладно, тогда не помеха, пусть покупают больше видеокарт.
физикс не рисует осколки, он, как раз, генерирует их реальное положение, что как бы и есть "физика" в твоем понимании.
Физикс использует уже заранее сделанную анимацию, он не умеет в динамику вроде.
А вот считать, как и куда разлетятся осколки он умеет.
тебе нужно точно генерить осколки на основе окружающей среды, сеточкой ты можешь апроксимировать все случаи генерации(много наборов), но в итоге ты получишь убогую реализацию везде, не будет такой сеточки которая одинаково хорошо сгенерит поведение тел в разных средах.
физиксу вообще похуй на анимацию, он считает модель поведения тел в зависимости от окружающих факторов. Итог передается в карту на рендер.
Мне нужно лишь генерировать лишь карту осколков.
То-есть, когда пуля попадет в стекло, произойдет событие, все данные подаются на на входы сеточки и сеточка сгенерирует карту осколков, всем остальным занят физикс.
Я говорю про разрушаемые меши в физиксе.
А тот же самый Вороной и сам по себе жрет дохуя ресурсов.
И все данные можно очень даже редуцировать и разбить на классы, если подключить тот же поиск по дереву.
Чем теб мешает аплаить карту осколков через обычные темплейты? Любая дополнительная характеристика, типа углы соприкосновения пули со стеклом, лекто апплаятся через геометрически формулы. В чем проблема? Тебе нужно чтобы сеточка для тебя выучила все основы и себя не напрягать?
>Тебе нужно чтобы сеточка для тебя выучила все основы и себя не напрягать?
Да, хочу ебаться с сеточками.
У меня есть подозрение, что сеточка даст тебе дисторшн в поводении на уровне шакалов джепег. Ну еслиесть время глянь, потом расскажешь.
Да, больше и не надо, чтобы ресурсы лишние не жрать.
На самом деле она может выжрать даже меньше, чем сам Voronoi Fracture.
В любом случае попытаюсь что-нибудь с 2д редактором сделать интересного, а может и с куском ткани в 3д.
Мне кажется, что простейшая 2д физика и освещение не займет много ресурсов.
если у тебя есть обученная модель, то почти не будет разницы в производительности с применением темплейтов, потомучто это почти одно и то же.
Ну в случае с тканями через меши, в случае с освещением есть несколько подходов.
Думаю пока через карты освещения, которых сгенерю целую кучу и нейроночка будет знать, что есть меш и он находится на таком-то расстоянии от источника света и будет генерировать наиболее подходящий свет.
Да, будет немного мыльновато, но у меня нет ресурсов разбирать HD.
>>808423
>то почти не будет разницы в производительности с применением темплейтов
Так оно и хорошо.
Эти фильтры мне понравились, а можно ли заставить нейроночку искать именно 1-н объект на рисунке и в зависимости от его состояния заменять его другим?
Чтобы конкретно рисовали еще не встречал нейроночки.
Есть нероночки, которые выдают границы объектов, есть нейроночки, которые полностью выделяют объекты своими цветами. Т.е. в этих случаях конкретно картинка получается. Вот что-то типа второго варианта тебе бы могло подойти, с условием, что замена будет выполняться каким-то отдельным алгоритмом.
Гугловская сеть же изначально заточена под простую классификацию, а те рисуночки делаются так: снимаются данные нейрончиков с одного из внутренних слоев и визуализируются.
Более 90% работы с любой нейроночкой - это сбор и подготовка данных. Если сможешь выбрать правильную нейроночку, собрать нужные данные и оформить их в пригодном для нейроночки виде, считай задача решена.
Засуньте его в прикреплённый
ну ок
Макаки больше, если ты не уберпроффинейронщик. Заебали тупить. Работа либо денежная, либо интересная. Се ля ви
Конкурировать на места специалистов по ML.
Да нихера щас толкового еще не сделали на нейроночках, последнее че сделали - описание изображений естественным языком и все заглохло пока. Может скоро еще чем-то порадуют.
о, я как раз этим и занимаюсь. тут прикольно, вкатывайся к нам. могу переслать тебе пару параграфов из введения заявки на грант, которые я помог написать.
>на видюхе для одного изображения все может примерно за секунду сделаться
нет. обычно берут сразу батч изображений (64 или 128), один проход батча около 70 милисекунд. Посмотри сбенчмарки торча7. У меня сейчас в задаче 16 образцов за 1.8 секунд считает и в итоге эпоха около часа-полтора, а всего надо под 100-200 эпох. Я уже заебался с такими скоростями ждать.
судя по хедхантеру или бластим вакансий очень мало и туда требуются скорее биологи с кодерскими скилламитипа как на фбб мгу и не ниже магистра
при уровне зарплат ниже процентов на 20-30
так дело обстоит?
Проснулся, умылся... Хотел пойти и познакомиться с одной тянкой, которая листовки у метро раздаёт и постоянно мне улыбалась, но когда сегодня подошёл - её там не было.
Хоть я и не расстроился, всё равно жаль немного. Мб завтра повезёт.
А у тебя?
Сам почитай.
Я пока учусь всему этому, так что подсказать не могу. Уверен, что если ты поищешь инфу самостоятельно, то узнаешь всё, что необходимо. Поверь мне
>Сам почитай.
Да искал я. Нигде не написано почему именно lua.
Удачи в обучении. Сам сейчас 2 года сижу в джава энтерпрайзе, думаю потиху начать перекат в ML. Да и тему для диплома в универе желательно хороший выбрать.
Прост))
Без торча луа в мл мало кому нужен. Автор(ы) писали на луа для себя просто потомучто, ну и постепенно набралось на фреймворк.
В общем, я сделал так. Я раскидываю веса с нормальным распределением 97% значений в [-0.5; 0.5], а потом нормализую веса по алгоритму отсюда: https://habrahabr.ru/post/198268/
Получалось, что я каждый вес на втором слое умножаю на 0.02. К моему удивлению такие маленькие веса работали, и сеть обучалась
>то, что называют "сигмойд"
Никогда в этом слове и-краткой не было. https://ru.wiktionary.org/wiki/-оид
>Теперь вопрос: как с этим бороться?
Batch normalization layer. При прямом проходе он считает среднее арифметическое и дисперсию всего batch'a, далее вычитает среднее и делит на дисперсию. При обратном проходе градиент возьми отсюда https://kratzert.github.io/2016/02/12/understanding-the-gradient-flow-through-the-batch-normalization-layer.html
> At the moment there is a wonderful course running at Standford University, called CS231n - Convolutional Neural Networks for Visual Recognition
Кстати, очень рекомендую эти лекции.
https://www.youtube.com/playlist?list=PLkt2uSq6rBVctENoVBg1TpCC7OQi31AlC
В 5-6 лекциях объясняется batch normalization, различные функции активации, методы оптимизации и прочее.
А на ютубе есть что-то новое чего нет в их пдфках? Не люблю лекции как формат, туу слоу.
20-й век увидел массивный рост в статистике частотной применяется к численным моделям, чтобы проверить, отличается ли от другого один образец, параметр является достаточно важным, чтобы быть в модели и variousother проявлений проверки гипотез. Но статистика страдала частотной некоторые большие недостатки в его конструкции и интерпретации, которые представляют собой серьезную озабоченность всех проблем реальной жизни. Например:
1. р-значения, измеренные с образца (фиксированный размер) статистики с некоторыми изменениями с намерением остановки изменения намерения и размер выборки. i.e Если два человека работают на тех же данных и имеют разные остановочный намерения, они могут получить два различных p- значения для одних и тех же данных, что нежелательно.
Например: Человек А может выбрать, чтобы остановить подбрасывание монеты, когда общее количество достигает 100 в то время как B останавливается на 1000. Для различных размеров выборки, мы получаем различные т-баллы и разные р-значения. Кроме того, намерение остановить может изменяться от фиксированного числа перестроек к общей продолжительности листать. В этом случае, мы обязаны получить различные р-значения.
2- доверительный интервал (C.I), как р-значение сильно зависит от размера выборки. Это делает остановки потенциал абсолютно абсурдно, так как независимо от того, сколько человек выполняют тесты на одних и тех же данных, результаты должны быть последовательными.
3- Доверительные интервалы (C.I) не являются распределения вероятностей, поэтому они не дают наиболее вероятное значение для параметра и наиболее вероятные значения.
Эти три причины достаточно, чтобы заставить вас идти в думать о недостатках в подходе и частотной почему существует потребность в байесовского подхода. Давайте найдем его.
Отсюда, мы сначала понять основы байесовской статистики.
Паста с форчана, расходимся
Up here, we saw only one flaw in the frequency statistics. Well, that's just the beginning.
The 20th century saw a massive increase applied to numerical models in the frequency statistics to check whether differs from another one sample parameter is important enough to be models and hypothesis testing variousother manifestations. But statistics frequency suffered some major weaknesses in its design and interpretation, which are a major concern to all the problems of real life. For example:
1. p-values measured with the sample (fixed size) statistics, with some modifications with the intention of stopping the change of intention and the sample size. i.e If two people are working on the same data and stopping have different intentions, they can get two different p- values for the same data, which is undesirable.
For example: A person may choose to stop the coin toss, when the total amount reaches 100 while B is stopped at 1000. For different sample dimensions, we obtain different m-points and different p values. In addition, the intention to stop can vary from a fixed number of modifications to the total duration of flipping. In this case, we have to get a different p-values.
2- confidence interval (C.I), as the p-value is heavily dependent on the sample size. It does stop potential is absolutely absurd, because no matter how many people carry out tests on the same data, the results should be consistent.
3 Confidence intervals (C.I) is not a probability distribution, so they do not give the most probable value for the parameter and the most probable values.
These three reasons enough to make you go to think about the shortcomings in the approach and frequency for some reason there is a need in the Bayesian approach. Let's find him.
Hence, we first understand the basics of Bayesian statistics
> Имеет смысл вкатываться?
> Всегда нравилась статистика
да, имеет
> сейчас каждый первый абитуриент хочет заниматься дата сайнсом, это немного пугает
это тебя не должно волновать
Потому, что задачи то специфические, много дата сайнтистов не надо, а у многих, кто идёт со мной в вузик планы заниматься именно этим. В итоге, когда мы все начнем искать работу, работы на всех не хватит. Хотя все равно буду в вкатываться, хоть мозги развивает.
я боюсь неопределённости, не хочу делится. поем лучше говна
Он же написал - говном.
Deep learning for molecular biology and neuroscience
Deep learning (DL) is a new approach in the field of machine learning, that recently
gained momentum and sparked a lot of interest in the research community [1]. Unlike
previous, “shallow” approach, DL tries to learn hierarchical representation of the data in hand.
It alleviates the need for feature engineering and curse of dimensionality that limited
performance of a “shallow” approach.
Recently, DL was applied to biological data and yielded remarkable results in the
human splicing code prediction [2], identification of DNA- and RNA-binding motifs [3] and
predicting the effects of non-coding DNA variants at single nucleotide polymorphism precision
The key to successful application of deep learning to a problem is the presence of
hierarchical structure in the data and its spatial or sequential arrangement. Both of these
criteria are fulfilled in protein structures, therefore paving a way for future breakthrough in
computational drug design and protein structure and interaction prediction.
Deep learning field strongly influenced modern theories of brain activity. The most
stellar results were achieved in describing brain visual cortex. Before the DL gained
popularity, the models of visual cortex relied on fitting parameters to predict neural activities of
these areas [5]. However this approach failed to describe higher-level areas such as V4 and
IT. With the insight from machine learning an DL in particular new approach called goal-driven
networks became mainstream. According to this method a set of images is fed to the model,
that is optimized to predict the categories of depicted objects instead of direct prediction of
neural activities. This approach gave the first predictive model of the spiking responses in the
1. LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning." Nature 521.7553 (2015): 436-444.
2. Xiong, Hui Y., et al. "The human splicing code reveals new insights into the genetic determinants of
disease." Science 347.6218 (2015): 1254806.
3. Alipanahi, Babak, et al. "Predicting the sequence specificities of DNA-and RNA-binding proteins by deep
learning." Nature biotechnology (2015).
4. Zhou, Jian, and Olga G. Troyanskaya. "Predicting effects of noncoding variants with deep learning-
based sequence model." Nature methods 12.10 (2015): 931-934.
5. Decharms, R. Christopher, and Anthony Zador. "Neural representation and the cortical code." Annual
review of neuroscience 23.1 (2000): 613-647.
6. Yamins, Daniel LK, et al. "Performance-optimized hierarchical models predict neural responses in higher
visual cortex." Proceedings of the National Academy of Sciences 111.23 (2014): 8619-8624.
Deep learning for molecular biology and neuroscience
Deep learning (DL) is a new approach in the field of machine learning, that recently
gained momentum and sparked a lot of interest in the research community [1]. Unlike
previous, “shallow” approach, DL tries to learn hierarchical representation of the data in hand.
It alleviates the need for feature engineering and curse of dimensionality that limited
performance of a “shallow” approach.
Recently, DL was applied to biological data and yielded remarkable results in the
human splicing code prediction [2], identification of DNA- and RNA-binding motifs [3] and
predicting the effects of non-coding DNA variants at single nucleotide polymorphism precision
The key to successful application of deep learning to a problem is the presence of
hierarchical structure in the data and its spatial or sequential arrangement. Both of these
criteria are fulfilled in protein structures, therefore paving a way for future breakthrough in
computational drug design and protein structure and interaction prediction.
Deep learning field strongly influenced modern theories of brain activity. The most
stellar results were achieved in describing brain visual cortex. Before the DL gained
popularity, the models of visual cortex relied on fitting parameters to predict neural activities of
these areas [5]. However this approach failed to describe higher-level areas such as V4 and
IT. With the insight from machine learning an DL in particular new approach called goal-driven
networks became mainstream. According to this method a set of images is fed to the model,
that is optimized to predict the categories of depicted objects instead of direct prediction of
neural activities. This approach gave the first predictive model of the spiking responses in the
1. LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning." Nature 521.7553 (2015): 436-444.
2. Xiong, Hui Y., et al. "The human splicing code reveals new insights into the genetic determinants of
disease." Science 347.6218 (2015): 1254806.
3. Alipanahi, Babak, et al. "Predicting the sequence specificities of DNA-and RNA-binding proteins by deep
learning." Nature biotechnology (2015).
4. Zhou, Jian, and Olga G. Troyanskaya. "Predicting effects of noncoding variants with deep learning-
based sequence model." Nature methods 12.10 (2015): 931-934.
5. Decharms, R. Christopher, and Anthony Zador. "Neural representation and the cortical code." Annual
review of neuroscience 23.1 (2000): 613-647.
6. Yamins, Daniel LK, et al. "Performance-optimized hierarchical models predict neural responses in higher
visual cortex." Proceedings of the National Academy of Sciences 111.23 (2014): 8619-8624.
Take up minimal space during anti-racism dialogues and protests.Protests and anti-racism discussions should always center on the oppression experienced by people of color. If you are an ally who always has the microphone or the bullhorn, you’re taking up too much space.
Stop contributing to gentrification and calling it “urban development.”Many white allies feel too comfortable talking about white privilege without pushing for their residential communities to legislate against gentrification, which is like reverse white flight at the expense of a mass POC eviction notice.Are you living in a redlining district without calling out the displacement of people of color? Are you content with advocating for POC as long as you don’t have to live in their neighborhood?
Listen when people call you on your microaggressions.Your intent to be anti-racist doesn’t necessarily mean you automatically fit the bill. If people call you on microaggressions, don’t argue—listen. If you knew a word or phrase was offensive, you probably wouldn’t have said it. Being an ally doesn’t mean you’re above being educated on racism.
Never invite POC to the table for the sake of claiming diversity.“Diversity” is now a buzzword and “diversity work” is a very profitable industry. Don’t invite POC to your events so you can say they personify diversity or to hit an organizational quota. Engage with diverse communities because you plan on being intentional about hearing our stories and letting us come to the table authentically.
Refrain from using your POC friends as your “urban dictionary.”If you are engaging in discussions about race, you won’t always understand cultural references. Your POC friends or colleagues are not your “urban dictionary.” (And yes, I’ve heard people ask me if they should look up words I’ve used in the urban dictionary.)You may have to do some research to participate in anti-racism work, and that’s okay. Just think; POC spend their entire lives learning about culture from a white supremacist perspective. A few minutes on Google won’t hurt you.
Stop lifting up non-confrontational POC as examples for what POC activism should be.Martin Luther King, Jr. was a great man—but he wrote more than his “I Have a Dream” speech. Few white folks quote his “Letter from a Birmingham Jail” to talk about King’s Legacy:“I have almost reached the regrettable conclusion that the Negro’s great stumbling block in his stride toward freedom is not the White Citizen’s Counciler or the Ku Klux Klanner, but the white moderate, who is more devoted to “order” than to justice…”
History through a white lens immortalizes the “safe,” diluted parts of liberation in hopes of POC seeking future liberation in similar ways. This framework centers the comfort of white folks and disregards the complexity of processing and rebelling against oppression.
Here’s the thing—experiencing racism is a lot more uncomfortable than experiencing a radical response to it. If you’re uncomfortable with expressions of emotional pain by the oppressed, you may want to work harder at dismantling their oppression.
Call your friends, family and co-workers out on racism—even if a POC isn’t in the room.I’ve had plenty of friends tell me stories about times their family members, friends, or colleagues said something racist. I usually wonder why they are telling me when most of their stories don’t end with them confronting the racism they encountered.How do you confront racism when the spotlight isn’t on you? Does it take a protest or a speech for you to call out racism? Can you address the racism of the people you love most?
Understand that all anti-racism work doesn’t look the same and advocate accordingly.Sometimes anti-racism work is about Black folks. Sometimes anti-racism work is about the entire African Diaspora. Sometimes anti-racism work is about Asian American folks. Sometimes anti-racism work is about Southeast Asian immigrants.“People of color” is an umbrella term that doesn’t address the complexities of the many people who experience racism. Understand that POC don’t go to bed in one-size-fits-all pajamas; our struggles and our liberations require nuanced thinking and action.
Realize that all discussions about race aren’t for you. And be okay with it.Should black people say the “n” word to each other? Should Beyoncé express her pain by calling someone Becky? Some conversations aren’t for white folks. They are intraracial critiques that don’t require an ally’s opinion. An anti-racist ally is like a guest at a family dinner. You’re invited to the table, but you should know what conversations require your abstention.
Recognize that you’re still racist. No matter what.Sometimes, anti-racist allies talk in an “us vs. them” framework when they discuss race, with the “us” being POC and anti-racist allies and the “them” being racist people. That’s an oversimplification of centuries of racism, and it also avoids one simple truth.White people always benefit from institutionalized racism, no matter how anti-racist your ideologies may be. You can’t disconnect yourself completely from the racism from which you benefit, and recognizing that is a large step in rejecting white privilege.
> 1488
збс!
Take up minimal space during anti-racism dialogues and protests.Protests and anti-racism discussions should always center on the oppression experienced by people of color. If you are an ally who always has the microphone or the bullhorn, you’re taking up too much space.
Stop contributing to gentrification and calling it “urban development.”Many white allies feel too comfortable talking about white privilege without pushing for their residential communities to legislate against gentrification, which is like reverse white flight at the expense of a mass POC eviction notice.Are you living in a redlining district without calling out the displacement of people of color? Are you content with advocating for POC as long as you don’t have to live in their neighborhood?
Listen when people call you on your microaggressions.Your intent to be anti-racist doesn’t necessarily mean you automatically fit the bill. If people call you on microaggressions, don’t argue—listen. If you knew a word or phrase was offensive, you probably wouldn’t have said it. Being an ally doesn’t mean you’re above being educated on racism.
Never invite POC to the table for the sake of claiming diversity.“Diversity” is now a buzzword and “diversity work” is a very profitable industry. Don’t invite POC to your events so you can say they personify diversity or to hit an organizational quota. Engage with diverse communities because you plan on being intentional about hearing our stories and letting us come to the table authentically.
Refrain from using your POC friends as your “urban dictionary.”If you are engaging in discussions about race, you won’t always understand cultural references. Your POC friends or colleagues are not your “urban dictionary.” (And yes, I’ve heard people ask me if they should look up words I’ve used in the urban dictionary.)You may have to do some research to participate in anti-racism work, and that’s okay. Just think; POC spend their entire lives learning about culture from a white supremacist perspective. A few minutes on Google won’t hurt you.
Stop lifting up non-confrontational POC as examples for what POC activism should be.Martin Luther King, Jr. was a great man—but he wrote more than his “I Have a Dream” speech. Few white folks quote his “Letter from a Birmingham Jail” to talk about King’s Legacy:“I have almost reached the regrettable conclusion that the Negro’s great stumbling block in his stride toward freedom is not the White Citizen’s Counciler or the Ku Klux Klanner, but the white moderate, who is more devoted to “order” than to justice…”
History through a white lens immortalizes the “safe,” diluted parts of liberation in hopes of POC seeking future liberation in similar ways. This framework centers the comfort of white folks and disregards the complexity of processing and rebelling against oppression.
Here’s the thing—experiencing racism is a lot more uncomfortable than experiencing a radical response to it. If you’re uncomfortable with expressions of emotional pain by the oppressed, you may want to work harder at dismantling their oppression.
Call your friends, family and co-workers out on racism—even if a POC isn’t in the room.I’ve had plenty of friends tell me stories about times their family members, friends, or colleagues said something racist. I usually wonder why they are telling me when most of their stories don’t end with them confronting the racism they encountered.How do you confront racism when the spotlight isn’t on you? Does it take a protest or a speech for you to call out racism? Can you address the racism of the people you love most?
Understand that all anti-racism work doesn’t look the same and advocate accordingly.Sometimes anti-racism work is about Black folks. Sometimes anti-racism work is about the entire African Diaspora. Sometimes anti-racism work is about Asian American folks. Sometimes anti-racism work is about Southeast Asian immigrants.“People of color” is an umbrella term that doesn’t address the complexities of the many people who experience racism. Understand that POC don’t go to bed in one-size-fits-all pajamas; our struggles and our liberations require nuanced thinking and action.
Realize that all discussions about race aren’t for you. And be okay with it.Should black people say the “n” word to each other? Should Beyoncé express her pain by calling someone Becky? Some conversations aren’t for white folks. They are intraracial critiques that don’t require an ally’s opinion. An anti-racist ally is like a guest at a family dinner. You’re invited to the table, but you should know what conversations require your abstention.
Recognize that you’re still racist. No matter what.Sometimes, anti-racist allies talk in an “us vs. them” framework when they discuss race, with the “us” being POC and anti-racist allies and the “them” being racist people. That’s an oversimplification of centuries of racism, and it also avoids one simple truth.White people always benefit from institutionalized racism, no matter how anti-racist your ideologies may be. You can’t disconnect yourself completely from the racism from which you benefit, and recognizing that is a large step in rejecting white privilege.
> 1488
збс!
а что race is a social construct и homosexuality is genetic тоже учили?
заставляли окончательно определяться с сексуальной ориентацией в 6 лет?
Я про 10-11 класс говорю. Там близкие темы затрагивались до пиздеца
И при чём тут МЛ или ДЛ?
Пиздатостью.
Похоже на то. Я спрашиваю, потому что видел несколько программа а ля http://bioinformaticsinstitute.ru/ , где учат конкретно алгоритмической биоинформатике, и непонятно, что потом после этого можно делать.
Для залётных нюфажин было бы интересно послушать
1) классификация текста по трем категориям со сбалансированными классами
1) сентиментная классификация текста, с несбалансированными классами
Много ли смысла при N=1000 заниматься оптимизацией гиперпараметров и токенизатора?
Чувствую себя прикольно, не знаю почему. Что скажете? Коммитили ли вы в апстрим когда-нибудь? Моё имя останется в списке коммитеров релиза навсегда :3
1-3 курс. Вообще на самом деле нужен только первый курс (На котором как сказали выше есть линал) и теория оптимизации. Но я думаю последнее ты можешь и заранее прочитать сам, это не сложный предмет. Я например об этом предмете узнал из корсеры, и только потом нам на третьем курсе его преподали.
Только вкатываюсь в область, знаний по машин лернингу почти 0. Сейчас смотрю Нг на курсере, там что-то есть похожее, но именно стохастического градиентного спуска я у него не вижу.
Пока что самое близкое что мне надо нашел вот тут:
https://learningwithdata.wordpress.com/2015/04/30/tutorial-on-logistic-regression-and-optimization-in-python/
> boyd vandenberghe
> 700 страниц
Скажи, что надо читать только Theory?
>>811865
https://gist.github.com/ageitgey/c40fba50b6fece4ee1e7
Извини, не могу сказать. Не очень большая компания, насколько я понимаю (т.е. не яндекс, мэйлру и подобные).
>>811875
спасибо, смотрю
Стохастический градиентный спуск - то же самое что и обычный градиентный спуск, только производные считаешь не по всей выборке а только по рандомному подмножеству этой выборки. Т.о. больше шансов добраться до лучшего решения. Хотя для лог регрессии в этом нет смысла, функция потерь квадратичная и ты всегда в один минимум сойдёшься, потому-что других нет.
Алсо, тебе реализовать нужно эти методы самому или можно использовать? Вон в scikit-learn есть SGDRegression готовая.
http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.SGDClassifier.html#sklearn.linear_model.SGDClassifier
На короче, loss="log" и вперёд.
ААА ПОЧЕМУ Я ЧИТАЮ ОЧЕРКДНУЮ КНИГУ ПО МАТЕМАТИКЕ И ДОКУМЕНТАЦИЮ НОВОЙ ЕБЫ А ЭТОТ ДАУН В ЭТО ВРЕМЯ УСТРАИВАЕТСЯ НА РАБОТУ
Ну я и так не на самом плохом месте. Крестокодером проект пилю, правда никак не связано с ML, это жаль, да. Ну в моей мухосрани работу по ML не найти, как хобби остаётся.
>>811914
схуяли вы ребята взяли что я "васян без интереса к теме"? я вообще-то впервые с мл столкнулся 3 года назад, понял что без математики никак, и с тех пор 3 года уже ебашу математику как только могу. и я сейчас вижу что за эти 3 года я с математикой нормально так поразбирался, так что теперь можно и мл начать.
а тестовое задание - это вообще случайно получилось, я не ожидал, знакомый свел.
>>811918
>У него небось и тянка есть.
есть, жена называется, лол
>>811893
спасибо
>Алсо, тебе реализовать нужно эти методы самому или можно использовать? Вон в scikit-learn есть SGDRegression готовая.
я думаю что надо по-максимуму использовать все готовое, а велосипедить по-минимуму.
Ну тогда загрузишь выборку через pandas, отпрепроцессишь её, (Бинаризуешь категориальные признаки, нормализуешь, заполнишь пропуски в данных или удалишь такие обьекты) и запустишь SGDClassifier.
По идее это строк 15 займёт.
>ЧИТАЮ ОЧЕРКДНУЮ КНИГУ
>ЧИТАЮ
я не знаю осознанно ли ты написал слово "читаю", но _читать_ математику особого смысла нет. я потратил на это очень много времени и когда столкнулся с необходимостью что-то решить/доказать понял что нихуя не умею. книги по математике надо _прорабатывать_, т.е. решать самые сложные упражнения как минимум, и еще пытаться доказывать самому теоремы перед тем как прочитать док-во в книге.
хоть я и не знаю многих слов в твоем посте, звучит как нечто не очень сложное. спасибо.
я наверняка сюда еще напишу по ходу своего продвижения
lua самый быстрый (условно) среди скриптоязыков
там только обертка и препроцесиснг на питоне, сама нейронка на торче-луа
> я вообще-то впервые с мл столкнулся 3 года назад, понял что без математики никак, и с тех пор 3 года уже ебашу математику как только могу
bump
Шот такое эн?
Слушай сюда, сынок. С текстами всё просто. Либо ебашишь представления(подсчут слов, тээфайдиэф, элдэа/элэса), потом накатываешь эсвыэм, нативного бейса или логитрегрессию. Фитишь параметры, чекаешь качество. Всё короч
Эмоциональной окраской не занимался. Отдельные слова-фичи могут неплохо зайти при малом числе классов
N строк в матрице на вход. Вопрос в том, что когда N=1000 и M=очень много, какие теоретические гарантии того, что делая Фитишь параметры, чекаешь качество, я не фичу просто шум?
Заебал, почитай статьи. На практике при небольшом числе классов и небольшой выборке делают, то что я тебе назвал. При больших данных перекат к сеточкам через латентные модели.
Это блять машинное обучение, а не сука статистика
Ты мне назвал очевидные вещи, все пацаны на районе их уже знают.
>Это блять машинное обучение, а не сука статистика
Охуел что-ли, падла? Это Statistical Learning.
Короче с вашими советами я че-то такое сделал
http://pastebin.com/9h1AL6nQ
на вход два csv, первый обучающий, второй тестовый. параметры при обучении: без регуляризации, без свободного коэффициента (intercept), число итераций = 10^6/n, где n - кол-во строк в обучающем наборе. в конце надо вывести коэффициенты построенной модели и доли ошибок, получаемых на обучающем и тестовом наборах.
ошибка у меня получается 0.13, и насколько я понимаю это хорошо
все правильно?
Делить нужно выборку на training и validation сеты, тогда и будут тебе гарантии.
Это по умолчанию делается.
Реализовал смешанную СММ (дискретная по состояниям, непрерывная по наблюдаемым значениям)
Собственно есть проблема с алгоритмом Баума-Велша, он после переоценки в матрицу ковариации сует вообще Nan значения. Кто может помочь?
Вот код http://paste.ofcode.org/hAg8JYVkAy4KZtjvsFkuQJ
Нет. Параметры подбирай через GridSearch, scoring function — f1_weigted, проверку делай через cross_val_score с cv=10.
> Сразу бы получали строгие доказательства сходимости или отсутствие таковых
это конечно забавный вскукарек, но нет
Поясни, почему нет. Любая нейроночка, как и все остальное, представима в виде зависимых типов.
Так и есть, пруверов полно же, в чем проблема?
что такое вообще этот GridSearch? зачем мне его использовать? читаю доки и не могу догнать
Такой вопрос: есть ли ее исходники?это раз.
Второй: если есть исходники, как ее обучить самому? Что для этого нужно.
Друган работает в магазине техники, хотел бы сделать для веселья определитель марки. Типа 10 стиральных машинок разных брендов и чтоб эта штука определила бренд
Потому что у тебя там нет ни подбора параметров, ни проверки нормальной.
>>814036
>Grid Search: Searching for estimator parameters
300к и готов сделать.
>>Зашёл в ML тред
>>Захотел стать вебмакакой
Потому что, например, у PS4 CPU при максимальной загрузке (которую достичь достаточно затруднительно) выдает 80ГФлопс, а GPU - 1800 ГФлопс.
Месяц, как устроился учителем машин в местную контору. Из бекграунда только курс Воронцова, изучение исходников sklearn и один учебник по статистике (Лагутин).
В целом нравится так как скилл качается и платят норм, но ощущаю себя ml-макакой: просто юзаю готовые алгоритмы, подбирая параметры глазомером, и придумываю эвристики. Выкинув приставку ml ничего не изменится, так можно в любой области работать. Недавно посмотрел вступительные в ШАД, стало еще грустнее.
Надо в рисерч идти — после ШАДа чуваки также отправляются в конторы макакить, только за больше денег чем в вебе.
Все, что есть в нейроночках и других МЛ-алгоритмах, тривиально формализуется в виде зависимых типов. То, что конкретный код писать долго - вообще не аргумент, код пишут гигабайтами, и всем норм. Тут какая-то другая причина.
Используют не просто ГПУ, а ГПУ с поддержкой Куды, причем такие, стоимость которых порядка нескольких сот тысяч рублей.
>не просто ГПУ, а ГПУ с поддержкой Куды
Сразу видно специалиста. Где ты ГПУ без куды видел последние лет 10?
А вообще, это одна из причин, почему сверточные нейроночки - путь в никуда. Любая серьезная задача требует мощности уровня гугловских кластеров, простому хую с игровой видюхой ловить нечего кроме перерисовки котиков в пикассо-стайл и прочей клоунады без задач.
спасибо тебе за помощь. буду благодарен за ответы на еще несколько вопросов.
1) у меня в условиях задачи жестко прописаны некоторые параметры:
>без регуляризации, без свободного коэффициента (intercept), число итераций = 10^6/n, где n - кол-во строк в обучающем наборе
т.е. вот эту штуку я создаю уже с параметрами (в моем коде который я сюда скидывал такого нет, это я уже поправил):
clf = SGDClassifier(loss='log', penalty='none', fit_intercept=False, n_iter=n_iter)
зачем мне при таком раскладе вообще нужен GridSearchCV? если он действительно мне нужен, то какие параметры ему указывать в param_grid? все примеры которые я находил оперировали одними и теми же параметрами: loss, alpha и еще парочкой. Но у меня-то они и так известны: loss='log', alpha вообще д.б. равен нулю, ведь penalty='none' (так ведь?), и число итераций известно. я сейчас даю пустой словарь в param_grid, и оно мне вроде выдает какой-то результат, но я не уверен что это то что надо. вообще реультат (доля ошибок) с использованием GridSearchCV не улучшился, остался таким же как был.
2) с cross_val_score я вообще все правильно делаю?
вот какой у меня сейчас код:
http://pastebin.com/vyAtu615
извините меня ребята за тупые вопросы, я сам по жизни очень люблю в таких вещах как можно более въедливо разбираться, но иногда надо просто сделать быстро, вы понимаете.
в cross_val_score забыл f1_weighted указать, только щас заметил
это снова я
еще я вот что не могу понять. в задании у меня последний пункт:
> после обучения надо вывести в файл коэффициенты построенной модели
это что имеется в виду? это же не про целевую переменную (y_predicted) речь, а про что-то в clf ?
>>811974
>>813897
это один и тот же анон?
>это один и тот же анон?
Нет, я забыл об этом треде. Но тот анон прав.
Про коэффициенты - тебе нужно 2 параметра обученной модели, coef_ и intercept_.
>>811974 - анон
В твоём случае ты мог бы попробовать варьировать все параметры конструктора отсюда http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.SGDClassifier.html#sklearn.linear_model.SGDClassifier
Например попробовать классификатор с разными функциями потерь, разными регуляризациями, и т.д.
С помошью GridSearch, и найти лучшее решение из заданных комбинаций. Но т.к у тебя нет регуляризации и функция потерль log - ты можешь поварьировать пожалуй только learning_rate.
В конкретно твоём случае GridSearch я думаю можно не использовать.
>после ШАДа чуваки также отправляются в конторы макакить, только за больше денег чем в вебе.
>>814432
>устроился учителем машин в местную контору. Из бекграунда только курс Воронцова, изучение исходников sklearn и один учебник по статистике (Лагутин).
>платят норм
Вы в меня прям надежду вселяете. Как раз недавно начал делать веб-проект для портфолио, использующий машинное обучение. Неужели удастся перекатиться из веба?
Кстати, платят норм - это сколько?
Спасибо.
chrome-extension://oemmndcbldboiebfnladdacbdfmadadm/https://cache-default01h.cdn.yandex.net/download.cdn.yandex.net/shad/exam-2014.pdf
>если сегментировал, то как?
Опять вы выходите на связь, никчемный господин? Капчу правильнее всего распознавать сверточными сетями, а они сегментацию делают автоматически, у них структура такая.
я так-то впервые в треде писал
из нейронок имею опыт только с многослойным перцептроном
короче я понял, что надо внимательнее изучить cnn, спасибо
Читай шапку, блеать!
> есть подвох?
их мало кто заканчивает. слышал что того же нг курс что-то около 5% проходит до конца - школьникам просто не интересна/слишкам сложна.
количество курсов отражает спрос - он огромен и будет только расти до следующей депрессии
на самом деле сейчас самое лучшее время для вката, особенно для русского анона - матем подготовка в русских вузах даётся намного более толковая чем на западе http://portal.tpu.ru/SHARED/s/SHUROLE/Education/link/The_fifth_rule_of_arithmetics.pdf например
Насчёт курсов на корсере я думаю можно даже не приводить, там у любого STEM курса до конца доходят процентов 5-10.
Понимаю, но я не привык верить на слово, да и просто проанализировать хотелось бы.
Потому что слова вот этого анона >>815538
насторожили
Я апологетом вычислительной вероятности в машинном обучении, потому что я считаю, что теория вероятностей, в отличие от нечёткой логики, реализует эти два принципа в глубоких и интригующих способов, а именно - через факторизации и через усреднение. Эксплуатируя эти два механизма настолько полно, насколько это возможно, мне кажется, что путь вперед в машинном обучении.
>того же нг курс что-то около 5% проходит до конца
этот?
https://www.coursera.org/learn/machine-learning
он же там всю математику разжевывает, а каждое задание тремя-пятью строчками рушается
Всю более-менее сложную математику он просто пропускает, так и говоря, что это сложно. Но оказывается, что для среднестатистического хуя даже та математика которая остаётся оказывается слишком сложной. Просто, как я заметил, многие здесь плохо себе представляют уровень знания математики обычного программиста, а он обычно не дотягивает даже до 11 классов школы.
Я к тому, что тоже думал, бля пиздец сложна будет, а по факту одну неделю в день не особо напрягаясь проходил
Ын конечно знатно расчехляет, еще можно Рафгардена по алгоритмам выделить.
>еще можно Рафгардена по алгоритмам выделить
ваще мне не вкатил, попробовал его слушать, но надолго меня не хватило.
а вот Сэджвик - ок, оч хорошие курсы.
еще по алгоритмам хвалят степик, но я этот курс не пробовал, он у меня в планах
странно, а мне Седжвик унылым показался. Хотя он автор алгоритмов, статей и постов, а Рафгарден в этом смысле неизвестен. Мне Рафгарден вначале показался слишком самодовольным каким-то, но потом стало ОК.
Еще Бонэ (Boneh) годно за криптографию расчехляет, (тоже автор статей и проч.), но он что-то уж слишком долго со второй частью курса тянет
>еще по алгоритмам хвалят степик,
на курсере появилась целая специализация по алгоритмам, ВШЭ+Яндекс + кто-то из буржуев
посмотри, может глянется
По паттернам вот хорошая книга: http://eu.wiley.com/WileyCDA/WileyTitle/productCd-0470682272.html
Тогда не было мощностей для нейроночек. Потом появились всякие кернел трики, а потом GPU, кластеры, облака, вот это всё.
Осознали что пора роботов начинать клепать, а то мы как лохи всё руками да руками.
Линейную регрессию-то еще диды на бумажке делали. Это тоже машинное обучение, или, как сейчас стали говорить, AI.
Ставишь на виртуалку пиратский файнридер с батч процессингом и распознаешь.
во-первых погугли получше
я читал статью как раз про чеки
тебе надо сначала определить region of interest, здесь поможет HOG или возможно что-то попроще
затем преобразуешь его в прямогугольник и распознаешь чем можешь,
http://www.pyimagesearch.com/ - почитай
Ничего. Тратить 300 страниц на разжевывания мануала по pandas и sklearn -- это совсем охуеть можно. Читай сразу книги по ML.
Ценнейшие мнения каглобыдла по вопросу чем лучше пердолить датасет "титаник" - диплернингом, xgboost'ом или рандомфорестом. Надеюсь, SVM и главные компоненты не забыли.
Сейчас гляну. Я чек-то обработал в редакторе, словарик ему свой дал, но косяки есть уровня вместо знака тождества ставит пятерку. Я хз, как эту гниду обучить можно чему-то.
есть действующие компуктер саентисты, регистраций не надо
на этом же домене гугловский алфабит, это не ловушка
ai-lab.xyz
двачую, начинал читать такую же хуиту по джанге
так там тупо мануал с сайта переаписывается, еще и устаревший
Ну смотри, я этот твой алгоритм не понимаю, но мне кажется тебе надо поймать момент когда получается NaN значение и посмотреть на вход для вычисления. Всё ли тебя там устраивает? Может банально точности не хватает, может что-то не туда сходится.
лучше спроси себя имеет ли смысл ботать книжки, когда в любой момент может начатся крупномаштабный военный конфликт
да, говночат на говноплатформе, которая поглотит все остальные говноплатформы,
во главе говночата киберпанк-тян
они планируют книгу обсуждать, так что кому хочется английский попрактиковать приходите
Our next book is Superintelligence by Nick Bostrom. We will read two chapters a week beginning August 15th. We will hold discussion groups on Thursday and Sunday evenings (US EDT) at 17:00 UTC-5 and last as long as necessary. That means Chapter 1 will be discussed August 18th and Chapter 2 will be discussed August 22nd for example. If you would like to participate, please send me a private message and purchase the book ahead of time. It has recently come out in paperback and qualifies for free same-day or two-day shipping in most of the United States.
>Superintelligence: Paths, Dangers, Strategies (2014) is a book by Swedish philosopher Nick Bostrom from the University of Oxford. It argues that if machine brains surpass human brains in general intelligence, then this new superintelligence could replace humans as the dominant lifeform on Earth
Секта свидетелей сингулярности
Да, собственно так и понял, что нан записывается при переобучением Баума-Велша.
Ну, вот и конец макакам. Теперь менеджер будет раз в неделю кнопочку нажимать и показывать красивые картинки на совещаниях.
> 1960
> Ну, вот и конец макакам.
> 1970
> Ну, вот и конец макакам.
> 1980
> Ну, вот и конец макакам.
> 1980
> Ну, вот и конец макакам.
> 1990
> Ну, вот и конец макакам.
> 2000
> Ну, вот и конец макакам.
> 2010
> Ну, вот и конец макакам.
> 2016
> Ну, вот и конец макакам.
"2012AchievementThe Google Brain team, led by Andrew Ng and Jeff Dean, create a neural network that learns to recognise cats by watching unlabeled images taken from frames of YouTube videos.[28][29]"
Что за хуйня? Этого сейчас никто не помнит кроме задротов которые редактировали эту вики. Все знают, что в 12ом году Алекс Крижевски выйграл imagenet.
Ссылка говно.
Ты не сравнивай макак с десятком исследователей из академии — эти всегда будут нужны. А вот бустеры лесов — нет.
при чём тут исследователи, норкоман?
покажи свою
Я помню, это хайпили на хабрах. Но вообще ты прав.
нюфаня)))
нунитраль, лучше объясни
Это копия, сохраненная 4 сентября 2016 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.