Этого треда уже нет.
Это копия, сохраненная 8 августа 2019 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Это копия, сохраненная 8 августа 2019 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Очередной тред про хипстерские технологии, которые не работают.
Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".
Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.
Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материала
В чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examples
Где набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/
Где работать? https://www.indeed.com/q-deep-learning-jobs.html
Где узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихся
Где посмотреть последние статьи? http://www.arxiv-sanity.com/
Где ещё можно поговорить про анализ данных? http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущий:
https://2ch.hk/pr/res/1373612.html (
М)
Архивач:
http://arhivach.ng/thread/412868/
Остальные в предыдущих тредах
Там же можно найти треды 2016-2018 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".
Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.
Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материала
В чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examples
Где набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/
Где работать? https://www.indeed.com/q-deep-learning-jobs.html
Где узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихся
Где посмотреть последние статьи? http://www.arxiv-sanity.com/
Где ещё можно поговорить про анализ данных? http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущий:
https://2ch.hk/pr/res/1373612.html (
М)Архивач:
http://arhivach.ng/thread/412868/
Остальные в предыдущих тредах
Там же можно найти треды 2016-2018 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
Собственно, мой вопрос.
Пробую визуализировать фильтры сверточных слоев.
Слева - то, что должно быть, стандартная сеть VGG16.
Справа - моя сеть, MobilenetV2.
Почему выдает только начальный рандомный шум?
Я думал, может дело в том, что не все каналы участвуют в предсказании, но пробовал другие и другие пачки по 64 фильтра из одного и того же слоя - везде такая же фигня.
Сам алгоритм отсюда: https://github.com/fchollet/deep-learning-with-python-notebooks/blob/master/5.4-visualizing-what-convnets-learn.ipynb
Пробую визуализировать фильтры сверточных слоев.
Слева - то, что должно быть, стандартная сеть VGG16.
Справа - моя сеть, MobilenetV2.
Почему выдает только начальный рандомный шум?
Я думал, может дело в том, что не все каналы участвуют в предсказании, но пробовал другие и другие пачки по 64 фильтра из одного и того же слоя - везде такая же фигня.
Сам алгоритм отсюда: https://github.com/fchollet/deep-learning-with-python-notebooks/blob/master/5.4-visualizing-what-convnets-learn.ipynb
>>06676
плохо обучил или датасет маленький
плохо обучил или датасет маленький
>>06660 (OP)
Когда вы уже начнете со своими сетями перемогать?
Когда вы уже начнете со своими сетями перемогать?
>>07598
Попрошайки ответ.
Попрошайки ответ.
>>06676
Это не так. У тебя какие-то точечные пиксели стали сильно белыми. На этом все и застревает. Увеличивай регуляризацию
>Почему выдает только начальный рандомный шум?
Это не так. У тебя какие-то точечные пиксели стали сильно белыми. На этом все и застревает. Увеличивай регуляризацию
Помогите, пожалуйста, немного с идеей.
Сущесутвуют инвойсы, иными словами, документы счёт-фактура.
На пике типичный инвойс.
Счёт-фактура выставляется (направляется) продавцом (подрядчиком, исполнителем) покупателю (заказчику) после окончательного приема покупателем (заказчиком) товара или услуг
Часто случается так, что эти счета-фактуры по ошибке дублируются или продавец накосячит, как итог, оплачиваются дважды-трижды и компании несут большие убытки.
Как можно применить подход машинного обучения к решения проблемы, а именно, выявление потенциально дублированных счетов-фактур?
Я читал вот это:
https://ctmfile.com/story/payrank-an-algorithmic-approach-to-invoice-payment
В статье говорится о ранжировании и упоминается модель word2vec, которую кормили большими объемами текста. В итоге, она может превращать текст в набор ассоциаций или кластеры, которые, видимо, сравниваются, однако, все равно не понятно как всё работает. Все доступные Счёта-фактуры превращаются в набор ассоциаций и это набор сравнивается со всеми остальными и ищутся схожести?
Заранее спасибо.
Сущесутвуют инвойсы, иными словами, документы счёт-фактура.
На пике типичный инвойс.
Счёт-фактура выставляется (направляется) продавцом (подрядчиком, исполнителем) покупателю (заказчику) после окончательного приема покупателем (заказчиком) товара или услуг
Часто случается так, что эти счета-фактуры по ошибке дублируются или продавец накосячит, как итог, оплачиваются дважды-трижды и компании несут большие убытки.
Как можно применить подход машинного обучения к решения проблемы, а именно, выявление потенциально дублированных счетов-фактур?
Я читал вот это:
https://ctmfile.com/story/payrank-an-algorithmic-approach-to-invoice-payment
В статье говорится о ранжировании и упоминается модель word2vec, которую кормили большими объемами текста. В итоге, она может превращать текст в набор ассоциаций или кластеры, которые, видимо, сравниваются, однако, все равно не понятно как всё работает. Все доступные Счёта-фактуры превращаются в набор ассоциаций и это набор сравнивается со всеми остальными и ищутся схожести?
Заранее спасибо.
есть unet и вот такой вот лог обучения
Epoch 1/10
2000/2000 [==============================] - 346s 173ms/step - loss: 0.0367 - acc: 0.9924 - val_loss: 0.1006 - val_acc: 0.9819
Epoch 00001: val_loss improved from inf to 0.10056, saving model to /content/drive/My Drive/last_result/linknet_model.hdf5
Epoch 2/10
2000/2000 [==============================] - 337s 169ms/step - loss: 0.0066 - acc: 0.9979 - val_loss: 0.0146 - val_acc: 0.9947
Epoch 00002: val_loss improved from 0.10056 to 0.01463, saving model to /content/drive/My Drive/last_result/linknet_model.hdf5
Epoch 3/10
2000/2000 [==============================] - 337s 169ms/step - loss: 0.0048 - acc: 0.9984 - val_loss: 0.0163 - val_acc: 0.9964
Epoch 00003: val_loss did not improve from 0.01463
Epoch 4/10
2000/2000 [==============================] - 337s 168ms/step - loss: 0.0052 - acc: 0.9984 - val_loss: 0.0299 - val_acc: 0.9947
Epoch 00004: val_loss did not improve from 0.01463
Epoch 5/10
2000/2000 [==============================] - 337s 169ms/step - loss: 0.0044 - acc: 0.9985 - val_loss: 0.1095 - val_acc: 0.9860
Epoch 00005: val_loss did not improve from 0.01463
Epoch 6/10
2000/2000 [==============================] - 337s 169ms/step - loss: 0.0042 - acc: 0.9986 - val_loss: 0.0537 - val_acc: 0.9930
Epoch 00006: val_loss did not improve from 0.01463
Epoch 7/10
2000/2000 [==============================] - 337s 168ms/step - loss: 0.0039 - acc: 0.9986 - val_loss: 0.0393 - val_acc: 0.9940
Epoch 00007: val_loss did not improve from 0.01463
Epoch 8/10
2000/2000 [==============================] - 337s 168ms/step - loss: 0.0043 - acc: 0.9986 - val_loss: 0.0438 - val_acc: 0.9935
Epoch 00008: val_loss did not improve from 0.01463
Epoch 9/10
2000/2000 [==============================] - 337s 168ms/step - loss: 0.0041 - acc: 0.9987 - val_loss: 0.0295 - val_acc: 0.9918
Epoch 00009: val_loss did not improve from 0.01463
Epoch 10/10
2000/2000 [==============================] - 338s 169ms/step - loss: 0.0038 - acc: 0.9987 - val_loss: 0.0698 - val_acc: 0.9911
Epoch 00010: val_loss did not improve from 0.01463
Как я понял, идет переобучение(?), как с ним можно бороться?
Epoch 1/10
2000/2000 [==============================] - 346s 173ms/step - loss: 0.0367 - acc: 0.9924 - val_loss: 0.1006 - val_acc: 0.9819
Epoch 00001: val_loss improved from inf to 0.10056, saving model to /content/drive/My Drive/last_result/linknet_model.hdf5
Epoch 2/10
2000/2000 [==============================] - 337s 169ms/step - loss: 0.0066 - acc: 0.9979 - val_loss: 0.0146 - val_acc: 0.9947
Epoch 00002: val_loss improved from 0.10056 to 0.01463, saving model to /content/drive/My Drive/last_result/linknet_model.hdf5
Epoch 3/10
2000/2000 [==============================] - 337s 169ms/step - loss: 0.0048 - acc: 0.9984 - val_loss: 0.0163 - val_acc: 0.9964
Epoch 00003: val_loss did not improve from 0.01463
Epoch 4/10
2000/2000 [==============================] - 337s 168ms/step - loss: 0.0052 - acc: 0.9984 - val_loss: 0.0299 - val_acc: 0.9947
Epoch 00004: val_loss did not improve from 0.01463
Epoch 5/10
2000/2000 [==============================] - 337s 169ms/step - loss: 0.0044 - acc: 0.9985 - val_loss: 0.1095 - val_acc: 0.9860
Epoch 00005: val_loss did not improve from 0.01463
Epoch 6/10
2000/2000 [==============================] - 337s 169ms/step - loss: 0.0042 - acc: 0.9986 - val_loss: 0.0537 - val_acc: 0.9930
Epoch 00006: val_loss did not improve from 0.01463
Epoch 7/10
2000/2000 [==============================] - 337s 168ms/step - loss: 0.0039 - acc: 0.9986 - val_loss: 0.0393 - val_acc: 0.9940
Epoch 00007: val_loss did not improve from 0.01463
Epoch 8/10
2000/2000 [==============================] - 337s 168ms/step - loss: 0.0043 - acc: 0.9986 - val_loss: 0.0438 - val_acc: 0.9935
Epoch 00008: val_loss did not improve from 0.01463
Epoch 9/10
2000/2000 [==============================] - 337s 168ms/step - loss: 0.0041 - acc: 0.9987 - val_loss: 0.0295 - val_acc: 0.9918
Epoch 00009: val_loss did not improve from 0.01463
Epoch 10/10
2000/2000 [==============================] - 338s 169ms/step - loss: 0.0038 - acc: 0.9987 - val_loss: 0.0698 - val_acc: 0.9911
Epoch 00010: val_loss did not improve from 0.01463
Как я понял, идет переобучение(?), как с ним можно бороться?
есть unet и вот такой вот лог обучения
Epoch 1/10
2000/2000 [==============================] - 346s 173ms/step - loss: 0.0367 - acc: 0.9924 - val_loss: 0.1006 - val_acc: 0.9819
Epoch 00001: val_loss improved from inf to 0.10056, saving model to /content/drive/My Drive/last_result/linknet_model.hdf5
Epoch 2/10
2000/2000 [==============================] - 337s 169ms/step - loss: 0.0066 - acc: 0.9979 - val_loss: 0.0146 - val_acc: 0.9947
Epoch 00002: val_loss improved from 0.10056 to 0.01463, saving model to /content/drive/My Drive/last_result/linknet_model.hdf5
Epoch 3/10
2000/2000 [==============================] - 337s 169ms/step - loss: 0.0048 - acc: 0.9984 - val_loss: 0.0163 - val_acc: 0.9964
Epoch 00003: val_loss did not improve from 0.01463
Epoch 4/10
2000/2000 [==============================] - 337s 168ms/step - loss: 0.0052 - acc: 0.9984 - val_loss: 0.0299 - val_acc: 0.9947
Epoch 00004: val_loss did not improve from 0.01463
Epoch 5/10
2000/2000 [==============================] - 337s 169ms/step - loss: 0.0044 - acc: 0.9985 - val_loss: 0.1095 - val_acc: 0.9860
Epoch 00005: val_loss did not improve from 0.01463
Epoch 6/10
2000/2000 [==============================] - 337s 169ms/step - loss: 0.0042 - acc: 0.9986 - val_loss: 0.0537 - val_acc: 0.9930
Epoch 00006: val_loss did not improve from 0.01463
Epoch 7/10
2000/2000 [==============================] - 337s 168ms/step - loss: 0.0039 - acc: 0.9986 - val_loss: 0.0393 - val_acc: 0.9940
Epoch 00007: val_loss did not improve from 0.01463
Epoch 8/10
2000/2000 [==============================] - 337s 168ms/step - loss: 0.0043 - acc: 0.9986 - val_loss: 0.0438 - val_acc: 0.9935
Epoch 00008: val_loss did not improve from 0.01463
Epoch 9/10
2000/2000 [==============================] - 337s 168ms/step - loss: 0.0041 - acc: 0.9987 - val_loss: 0.0295 - val_acc: 0.9918
Epoch 00009: val_loss did not improve from 0.01463
Epoch 10/10
2000/2000 [==============================] - 338s 169ms/step - loss: 0.0038 - acc: 0.9987 - val_loss: 0.0698 - val_acc: 0.9911
Epoch 00010: val_loss did not improve from 0.01463
Как я понял, идет переобучение(?), как с ним можно бороться?
Epoch 1/10
2000/2000 [==============================] - 346s 173ms/step - loss: 0.0367 - acc: 0.9924 - val_loss: 0.1006 - val_acc: 0.9819
Epoch 00001: val_loss improved from inf to 0.10056, saving model to /content/drive/My Drive/last_result/linknet_model.hdf5
Epoch 2/10
2000/2000 [==============================] - 337s 169ms/step - loss: 0.0066 - acc: 0.9979 - val_loss: 0.0146 - val_acc: 0.9947
Epoch 00002: val_loss improved from 0.10056 to 0.01463, saving model to /content/drive/My Drive/last_result/linknet_model.hdf5
Epoch 3/10
2000/2000 [==============================] - 337s 169ms/step - loss: 0.0048 - acc: 0.9984 - val_loss: 0.0163 - val_acc: 0.9964
Epoch 00003: val_loss did not improve from 0.01463
Epoch 4/10
2000/2000 [==============================] - 337s 168ms/step - loss: 0.0052 - acc: 0.9984 - val_loss: 0.0299 - val_acc: 0.9947
Epoch 00004: val_loss did not improve from 0.01463
Epoch 5/10
2000/2000 [==============================] - 337s 169ms/step - loss: 0.0044 - acc: 0.9985 - val_loss: 0.1095 - val_acc: 0.9860
Epoch 00005: val_loss did not improve from 0.01463
Epoch 6/10
2000/2000 [==============================] - 337s 169ms/step - loss: 0.0042 - acc: 0.9986 - val_loss: 0.0537 - val_acc: 0.9930
Epoch 00006: val_loss did not improve from 0.01463
Epoch 7/10
2000/2000 [==============================] - 337s 168ms/step - loss: 0.0039 - acc: 0.9986 - val_loss: 0.0393 - val_acc: 0.9940
Epoch 00007: val_loss did not improve from 0.01463
Epoch 8/10
2000/2000 [==============================] - 337s 168ms/step - loss: 0.0043 - acc: 0.9986 - val_loss: 0.0438 - val_acc: 0.9935
Epoch 00008: val_loss did not improve from 0.01463
Epoch 9/10
2000/2000 [==============================] - 337s 168ms/step - loss: 0.0041 - acc: 0.9987 - val_loss: 0.0295 - val_acc: 0.9918
Epoch 00009: val_loss did not improve from 0.01463
Epoch 10/10
2000/2000 [==============================] - 338s 169ms/step - loss: 0.0038 - acc: 0.9987 - val_loss: 0.0698 - val_acc: 0.9911
Epoch 00010: val_loss did not improve from 0.01463
Как я понял, идет переобучение(?), как с ним можно бороться?
Кто работал с текстом, подскажите алгоритмы для преобразования текстов разной длины в фиксированные вектора
>>08739
Далеко не факт, у нейронок большое значение дисперсии метрик.
Регуляризацией или уменьшением сложности нейронки.
К тому же у тебя нейронка не до конца сошлась (лосс на обучении болтает), уменьшай скорость градиетного спуска динамически на плато https://keras.io/callbacks/#learningratescheduler
>Как я понял, идет переобучение
Далеко не факт, у нейронок большое значение дисперсии метрик.
>как с ним можно бороться
Регуляризацией или уменьшением сложности нейронки.
К тому же у тебя нейронка не до конца сошлась (лосс на обучении болтает), уменьшай скорость градиетного спуска динамически на плато https://keras.io/callbacks/#learningratescheduler
>>08960
max_len = max(len(sentence) for sentence in corpus)
corpus_padded = [sentence + ["#PADDING#"] * (max_len - len(sentence)) for sentence in corpus]
max_len = max(len(sentence) for sentence in corpus)
corpus_padded = [sentence + ["#PADDING#"] * (max_len - len(sentence)) for sentence in corpus]
>>08961
спасибо
спасибо
25 Кб, 581x224Почему нейроночки не могут в такую простую задачу - понять, на картинке два одинаковых или два разных объекта? У GoogLeNet результат чуть лучше рандома.
>>09261
ВРИОТИ, швитые дип нейроночки это как мозг почти что
https://arxiv.org/abs/1607.08366
>Не может такого быть
ВРИОТИ, швитые дип нейроночки это как мозг почти что
https://arxiv.org/abs/1607.08366
>>09269
Что, собственно элементарно решается аугментацией. Только для большинства практических применений и не нужно.
Что, собственно элементарно решается аугментацией. Только для большинства практических применений и не нужно.
>>09266
Слышь, не раскачивай лодку, нам ещё лохов на нейронки обувать
Слышь, не раскачивай лодку, нам ещё лохов на нейронки обувать
>>09163
Ты хочешь, чтобы GoogleNet за тебя сам выделил объекты, выделил их фичи, и сравнил? Дохуя хочешь.
Ты хочешь, чтобы GoogleNet за тебя сам выделил объекты, выделил их фичи, и сравнил? Дохуя хочешь.
489 Кб, 1500x1073Там это, нейроночки опять учат живописи. На сей раз по идеям Кандинского. Эх, а я ж ещё в начале 2015, за полгода до всяких дипдримов такую идею озвучивал. Правда, всего лишь на этой подмывальне.
https://daily.afisha.ru/news/27307-neyroset-ot-microsoft-napisala-abstraktnuyu-kartinu-na-osnove-pesni-na-zare/
https://daily.afisha.ru/news/27307-neyroset-ot-microsoft-napisala-abstraktnuyu-kartinu-na-osnove-pesni-na-zare/
> Нейросеть от Microsoft написала абстрактную картину на основе песни «На заре»
> Microsoft разработала нейросеть, основанную на принципах синергии музыки и живописи, описанных абстракционистом Василием Кандинским. Алгоритм смог нарисовать картину по мотивам песни «На заре» группы «Альянс». Об этом «Афише Daily» рассказали в «Microsoft Россия».
> Нейросеть обучили на картинах Кандинского и музыкальных произведениях, которые его вдохновляли. Проанализировав принцип взаимосвязи между музыкой и живописью, ИИ реализовал его на примере песни «На заре».
> В Microsoft сказали, что выбрали именно эту песню, поскольку она сочетает традиции с современностью и не теряет своей актуальности. Кроме того, разработчики хотели создать картину на музыку, которую никогда не слышал Кандинский.
54 Кб, 493x747Чому так медленно?
>>09736
Именно, самое главное сделал я. А потом кто-то из DeepMind спиздил мою идею и даже не указал этого
Именно, самое главное сделал я. А потом кто-то из DeepMind спиздил мою идею и даже не указал этого
>>09684
Как они мазню хитро назвали и вот уже не хуета, а картина, а вы ничего не понимаете.
>абстрактную картину
Как они мазню хитро назвали и вот уже не хуета, а картина, а вы ничего не понимаете.
>>09831
Мамкин искусствовед прохудился.
> Как они мазню хитро назвали и вот уже не хуета, а картина, а вы ничего не понимаете.
Мамкин искусствовед прохудился.
>>09837
Вот давай мне подобие Шишкина или Айвазовского, а не эту рендомную залупу, которая для эстетов и прочих поехавших.
Вот давай мне подобие Шишкина или Айвазовского, а не эту рендомную залупу, которая для эстетов и прочих поехавших.
>>09840
Любой фотоаппарат + пара фильтров в Фотошопе. Ещё пару лет назад делали нейроночки, которые по тексту рисуют картинки. Это все хуйня. А вот нарисовать картину по музыке, исходя из принципов синергии Кандинского, это достижение.
> Вот давай мне подобие Шишкина или Айвазовского
Любой фотоаппарат + пара фильтров в Фотошопе. Ещё пару лет назад делали нейроночки, которые по тексту рисуют картинки. Это все хуйня. А вот нарисовать картину по музыке, исходя из принципов синергии Кандинского, это достижение.
>>09892
Нет конечно, какая семантика.
Есть в тексте слово коты - нахуячим кота, есть стол - стол заебнём.
А если вместо кота напишешь "мохнатый пидарас" будет селфи гудфеллоу.
Нет конечно, какая семантика.
Есть в тексте слово коты - нахуячим кота, есть стол - стол заебнём.
А если вместо кота напишешь "мохнатый пидарас" будет селфи гудфеллоу.
>>09970
Ты не ценитель искусства? Там примерно так и объясняется, что это мол не говно и мазня, а великий шедевр имеющий глубокий тайный смысл.
>кто-то на свете понимает вообще эту шизофазию
Ты не ценитель искусства? Там примерно так и объясняется, что это мол не говно и мазня, а великий шедевр имеющий глубокий тайный смысл.
>>09985
После унитаза дюшана эти высеры для меня имеют смысла столько же, сколько свежевысранный бомжом кусок кала.
Вот классическая музыка - да, это топчик.
>великий шедевр имеющий глубокий тайный смысл
После унитаза дюшана эти высеры для меня имеют смысла столько же, сколько свежевысранный бомжом кусок кала.
Вот классическая музыка - да, это топчик.
>>09994
Сорта говн, мне 99.9% классики не заходит, вот такое гонво еще можно слушать
https://youtu.be/bZ_BoOlAXyk
но это не тру классика
>Вот классическая музыка - да, это топчик.
Сорта говн, мне 99.9% классики не заходит, вот такое гонво еще можно слушать
https://youtu.be/bZ_BoOlAXyk
но это не тру классика
86 Кб, 1140x413Имеется результат работы двух алгоритмов(пикрил), 2 временных ряда), но отсутствуют эталонные значения. Каким способом можно оценить эти два ряда? Какая есть методика оценки зашумлености?
>>10047
Судя по периодичности напрашивается преобразование Фурье (STFT) и посчет энергии высоких частот. Если их дохуя, значи много шума.
Судя по периодичности напрашивается преобразование Фурье (STFT) и посчет энергии высоких частот. Если их дохуя, значи много шума.
>>09970
Я понимаю. Кандинский охуенен.
А сгенерированное нейронками это примерно как сгенерированное нейронками порно. Мельком взглнешь - вроде что-то пошлое, приглядишься к деталям - ошметки какой-то хуиты и ни одного хуя даже нет.
Я понимаю. Кандинский охуенен.
А сгенерированное нейронками это примерно как сгенерированное нейронками порно. Мельком взглнешь - вроде что-то пошлое, приглядишься к деталям - ошметки какой-то хуиты и ни одного хуя даже нет.
>>09274
Элементарно это не решается, только брутфорсом. Для решения этой проблемы Хинтон даже капсульные сети попробовал запилить. Получилась хуита (а когда у него была не хуита?).
Другой вопрос что человек например тоже хуево подобные задачи решает, он не может взять и одним взглядом определить то или не то, нужно сидеть и думать. Фактически это значит что нужна RNN с модулем внимания.
Элементарно это не решается, только брутфорсом. Для решения этой проблемы Хинтон даже капсульные сети попробовал запилить. Получилась хуита (а когда у него была не хуита?).
Другой вопрос что человек например тоже хуево подобные задачи решает, он не может взять и одним взглядом определить то или не то, нужно сидеть и думать. Фактически это значит что нужна RNN с модулем внимания.
>>10164
Так в этом и смысль! Нейроночка из датасета с поревом учится выделять саму суть порно. В итоге человек на сгенерированном контенте однозначно видит порно, хотя по факту там даже ни хуя ни пизды нет. Это и есть истинный абстракционизм.
> А сгенерированное нейронками это примерно как сгенерированное нейронками порно. Мельком взглнешь - вроде что-то пошлое, приглядишься к деталям - ошметки какой-то хуиты и ни одного хуя даже нет.
Так в этом и смысль! Нейроночка из датасета с поревом учится выделять саму суть порно. В итоге человек на сгенерированном контенте однозначно видит порно, хотя по факту там даже ни хуя ни пизды нет. Это и есть истинный абстракционизм.
>>10167
Истинный абстракционизм не в том. Нейронка может сделать style transfer и любой провинциальный художник может сделать картинку "под кандинского". Но изначально выдумать свой стиль, который будет узнаваем, быть приятным для глазу иметь какую-то семантику и т. д. - вот это творчество.
Истинный абстракционизм не в том. Нейронка может сделать style transfer и любой провинциальный художник может сделать картинку "под кандинского". Но изначально выдумать свой стиль, который будет узнаваем, быть приятным для глазу иметь какую-то семантику и т. д. - вот это творчество.
А есть какой-нибудь сервис с простыми задачками по машинлёрнингу для тренировки, типа leetcode?
>>10602
Да, здорово.
Вся математика это суть одна задача, просто с разными параметрами.
>натаскивают разные параметры
Да, здорово.
Вся математика это суть одна задача, просто с разными параметрами.
>>10602
Ровно две - регрессия и классификация. Причем, при желании классификацию можно рассматривать как дискретную регрессию, а регрессию как непрерывную классификацию.
> Весь машоб - это штук десять задач, на которые натаскивают разные параметры.
Ровно две - регрессия и классификация. Причем, при желании классификацию можно рассматривать как дискретную регрессию, а регрессию как непрерывную классификацию.
Дисперсия ряда - это понятно.
А что такое робастная оценка дисперсии ряда?
А что такое робастная оценка дисперсии ряда?
>>10627
Вся математика = все математические задачи
Вся математика = все математические задачи
42 Кб, 753x816Короче, высказываю шизоидную идею, как сделать распознающие изображения нейросети более пиздатыми, более приближенными к человеческому мозгу.
Все мы знаем, что нейросети, чтобы обучиться, надо дохуища примеров. Если есть дообучается, то меньше, но один хуй много.
Для сложных объектов вроде разных пород котов или разных моделей автомобилей - не менее нескольких сотен.
Что, если я скажу, что можно создать сеть, которая будет обучаться на 5-10 примерах для каждого класса?
Важный нюанс! Многие об этом забыли. Дело в том, что человек живет в трехмерном мире, но зрение у него двухмерное.
Человек не видит "вглубь" предметов.
Он всегда видит лишь двухмерную проекцию трехмерного мира.
Но!
При взгляде на абсолютно любой предмет у человека в мозгу сразу же возникает 3D-модель этого объекта.
Это хуйня работает настолько быстро и автоматически, что люди вообще забывают, что вообще-то не видят реальный трехмерный мир. Но им это не мешает, ибо мозг сразу же создает полноценную 3D-модель того, что видит. Трехмерная сцена комнаты, трехмерный шкаф, трехмерный стул. Даже если человек не видит обратной стороны шкафа, он знает, что она там есть.
Так и работает зрение. Мы видим тигра. Мы видим ТИГРА. Не его 2D-проекцию, нет, мы видим всего тигра целиком, хотя мы видим только морду тигра, но не его жопу. Но тем не менее, жопа тигра тоже постоянно присутствует в нашем сознании.
Так вот, к чему я веду. Нейросети должны делать точно так же. При виде двухмерной картинки, они должны тут же составлять полноценную 3D-модель всего, что видят. Модель всей сцены, модель каждого знакомого объекта в ней.
И даже незнакомого. Человек способен с высокой точностью предсказать 3D-вид объекта, даже если он в первый раз в жизни его видит и еще не видел со всех сторон. Его сознание дорисует недостающее. Сетки тоже так умеют, но для 2D.
Так вот, эта хуйня полюбасу должна повысить точность сетей.
Вместо тупого анализа 2D-проекции, сеть должна построить 3D-модель и анализировать ее.
Это потребует значительных вычислительных ресурсов. Полагаю, даже текущие немаленькие сетки вырастут в размерах еще в десятки раз. Производительность тоже потребуется соответствующая.
Можете скринить, через 5 лет выкатят сеть, которая будет работать в точности, как я сказал.
Все мы знаем, что нейросети, чтобы обучиться, надо дохуища примеров. Если есть дообучается, то меньше, но один хуй много.
Для сложных объектов вроде разных пород котов или разных моделей автомобилей - не менее нескольких сотен.
Что, если я скажу, что можно создать сеть, которая будет обучаться на 5-10 примерах для каждого класса?
Важный нюанс! Многие об этом забыли. Дело в том, что человек живет в трехмерном мире, но зрение у него двухмерное.
Человек не видит "вглубь" предметов.
Он всегда видит лишь двухмерную проекцию трехмерного мира.
Но!
При взгляде на абсолютно любой предмет у человека в мозгу сразу же возникает 3D-модель этого объекта.
Это хуйня работает настолько быстро и автоматически, что люди вообще забывают, что вообще-то не видят реальный трехмерный мир. Но им это не мешает, ибо мозг сразу же создает полноценную 3D-модель того, что видит. Трехмерная сцена комнаты, трехмерный шкаф, трехмерный стул. Даже если человек не видит обратной стороны шкафа, он знает, что она там есть.
Так и работает зрение. Мы видим тигра. Мы видим ТИГРА. Не его 2D-проекцию, нет, мы видим всего тигра целиком, хотя мы видим только морду тигра, но не его жопу. Но тем не менее, жопа тигра тоже постоянно присутствует в нашем сознании.
Так вот, к чему я веду. Нейросети должны делать точно так же. При виде двухмерной картинки, они должны тут же составлять полноценную 3D-модель всего, что видят. Модель всей сцены, модель каждого знакомого объекта в ней.
И даже незнакомого. Человек способен с высокой точностью предсказать 3D-вид объекта, даже если он в первый раз в жизни его видит и еще не видел со всех сторон. Его сознание дорисует недостающее. Сетки тоже так умеют, но для 2D.
Так вот, эта хуйня полюбасу должна повысить точность сетей.
Вместо тупого анализа 2D-проекции, сеть должна построить 3D-модель и анализировать ее.
Это потребует значительных вычислительных ресурсов. Полагаю, даже текущие немаленькие сетки вырастут в размерах еще в десятки раз. Производительность тоже потребуется соответствующая.
Можете скринить, через 5 лет выкатят сеть, которая будет работать в точности, как я сказал.
42 Кб, 753x816Короче, высказываю шизоидную идею, как сделать распознающие изображения нейросети более пиздатыми, более приближенными к человеческому мозгу.
Все мы знаем, что нейросети, чтобы обучиться, надо дохуища примеров. Если есть дообучается, то меньше, но один хуй много.
Для сложных объектов вроде разных пород котов или разных моделей автомобилей - не менее нескольких сотен.
Что, если я скажу, что можно создать сеть, которая будет обучаться на 5-10 примерах для каждого класса?
Важный нюанс! Многие об этом забыли. Дело в том, что человек живет в трехмерном мире, но зрение у него двухмерное.
Человек не видит "вглубь" предметов.
Он всегда видит лишь двухмерную проекцию трехмерного мира.
Но!
При взгляде на абсолютно любой предмет у человека в мозгу сразу же возникает 3D-модель этого объекта.
Это хуйня работает настолько быстро и автоматически, что люди вообще забывают, что вообще-то не видят реальный трехмерный мир. Но им это не мешает, ибо мозг сразу же создает полноценную 3D-модель того, что видит. Трехмерная сцена комнаты, трехмерный шкаф, трехмерный стул. Даже если человек не видит обратной стороны шкафа, он знает, что она там есть.
Так и работает зрение. Мы видим тигра. Мы видим ТИГРА. Не его 2D-проекцию, нет, мы видим всего тигра целиком, хотя мы видим только морду тигра, но не его жопу. Но тем не менее, жопа тигра тоже постоянно присутствует в нашем сознании.
Так вот, к чему я веду. Нейросети должны делать точно так же. При виде двухмерной картинки, они должны тут же составлять полноценную 3D-модель всего, что видят. Модель всей сцены, модель каждого знакомого объекта в ней.
И даже незнакомого. Человек способен с высокой точностью предсказать 3D-вид объекта, даже если он в первый раз в жизни его видит и еще не видел со всех сторон. Его сознание дорисует недостающее. Сетки тоже так умеют, но для 2D.
Так вот, эта хуйня полюбасу должна повысить точность сетей.
Вместо тупого анализа 2D-проекции, сеть должна построить 3D-модель и анализировать ее.
Это потребует значительных вычислительных ресурсов. Полагаю, даже текущие немаленькие сетки вырастут в размерах еще в десятки раз. Производительность тоже потребуется соответствующая.
Можете скринить, через 5 лет выкатят сеть, которая будет работать в точности, как я сказал.
Все мы знаем, что нейросети, чтобы обучиться, надо дохуища примеров. Если есть дообучается, то меньше, но один хуй много.
Для сложных объектов вроде разных пород котов или разных моделей автомобилей - не менее нескольких сотен.
Что, если я скажу, что можно создать сеть, которая будет обучаться на 5-10 примерах для каждого класса?
Важный нюанс! Многие об этом забыли. Дело в том, что человек живет в трехмерном мире, но зрение у него двухмерное.
Человек не видит "вглубь" предметов.
Он всегда видит лишь двухмерную проекцию трехмерного мира.
Но!
При взгляде на абсолютно любой предмет у человека в мозгу сразу же возникает 3D-модель этого объекта.
Это хуйня работает настолько быстро и автоматически, что люди вообще забывают, что вообще-то не видят реальный трехмерный мир. Но им это не мешает, ибо мозг сразу же создает полноценную 3D-модель того, что видит. Трехмерная сцена комнаты, трехмерный шкаф, трехмерный стул. Даже если человек не видит обратной стороны шкафа, он знает, что она там есть.
Так и работает зрение. Мы видим тигра. Мы видим ТИГРА. Не его 2D-проекцию, нет, мы видим всего тигра целиком, хотя мы видим только морду тигра, но не его жопу. Но тем не менее, жопа тигра тоже постоянно присутствует в нашем сознании.
Так вот, к чему я веду. Нейросети должны делать точно так же. При виде двухмерной картинки, они должны тут же составлять полноценную 3D-модель всего, что видят. Модель всей сцены, модель каждого знакомого объекта в ней.
И даже незнакомого. Человек способен с высокой точностью предсказать 3D-вид объекта, даже если он в первый раз в жизни его видит и еще не видел со всех сторон. Его сознание дорисует недостающее. Сетки тоже так умеют, но для 2D.
Так вот, эта хуйня полюбасу должна повысить точность сетей.
Вместо тупого анализа 2D-проекции, сеть должна построить 3D-модель и анализировать ее.
Это потребует значительных вычислительных ресурсов. Полагаю, даже текущие немаленькие сетки вырастут в размерах еще в десятки раз. Производительность тоже потребуется соответствующая.
Можете скринить, через 5 лет выкатят сеть, которая будет работать в точности, как я сказал.
>>10889
Насколько я знаю, человек может распознавать глубину из-за того, что у него два глаза в разных местах, то есть он получает две слегка разных картинки.
Насколько я знаю, человек может распознавать глубину из-за того, что у него два глаза в разных местах, то есть он получает две слегка разных картинки.
>>10898
Нет, эта хуйня. Ты вторым глазом видишь заднюю поверхность шкафа?
Дело в мозге. Мозг создает 3D-модель.
Бинокулярное зрение - лишь аппаратный финт, помогающий быстро и более точно динамически оценивать расстояние до объектов.
Тип тигр в пяти метрах или в трех.
Ты можешь все то же самое и с одним глазом. Да, будет чуток похуже, но лишь чуток.
Я думал, может глубокие сети, за счет выявления все более высокоуровневых признаков, имитируют создание 3D а то и 4D и 58D-модели?
НЕТ, НИХУЯ.
Погляди на любую сверточную сеть - тупо набор двухмерных фильтров.
Сеть в принципе не анализирует 3D-информацию, она всегда видит сраное 2D.
Тот же хуй, только в профиль.
Нет, эта хуйня. Ты вторым глазом видишь заднюю поверхность шкафа?
Дело в мозге. Мозг создает 3D-модель.
Бинокулярное зрение - лишь аппаратный финт, помогающий быстро и более точно динамически оценивать расстояние до объектов.
Тип тигр в пяти метрах или в трех.
Ты можешь все то же самое и с одним глазом. Да, будет чуток похуже, но лишь чуток.
Я думал, может глубокие сети, за счет выявления все более высокоуровневых признаков, имитируют создание 3D а то и 4D и 58D-модели?
НЕТ, НИХУЯ.
Погляди на любую сверточную сеть - тупо набор двухмерных фильтров.
Сеть в принципе не анализирует 3D-информацию, она всегда видит сраное 2D.
Тот же хуй, только в профиль.
>>10898
закрыл один глаз и все плоским стало
закрыл один глаз и все плоским стало
>>10907
Короче, первые несколько слоев должны делать конвертацию 2D->3D, а далее все как обычно, но трехмерное ядро свертки ездит уже по трёхмерной пикче.
Фильтры получаются трехмерные.
Пушка же!
Короче, первые несколько слоев должны делать конвертацию 2D->3D, а далее все как обычно, но трехмерное ядро свертки ездит уже по трёхмерной пикче.
Фильтры получаются трехмерные.
Пушка же!
>>10889
Ближе к мозгу - не значит хорошо. Зависит от задачи. В мозгу скорее всего дохуя избыточности, всяких контекстов. Работает, конечно, охуенно, хотя и не без косяков, но это все же косо-кривая биологическая система, собранная слепой природой. В идеале, чтобы выжать максимум из компов, у них должна быть какая-то особая логика, вполне вероятно отличная от человеческой.
Запилить-то мб запилят, мб даже сейчас кто-то пилит, но сомневаюсь, что будет какой-то прорыв. Прорыв будет ровно настолько, насколько затратнее оно станет.
Ближе к мозгу - не значит хорошо. Зависит от задачи. В мозгу скорее всего дохуя избыточности, всяких контекстов. Работает, конечно, охуенно, хотя и не без косяков, но это все же косо-кривая биологическая система, собранная слепой природой. В идеале, чтобы выжать максимум из компов, у них должна быть какая-то особая логика, вполне вероятно отличная от человеческой.
Запилить-то мб запилят, мб даже сейчас кто-то пилит, но сомневаюсь, что будет какой-то прорыв. Прорыв будет ровно настолько, насколько затратнее оно станет.
>>10931
Да один хуй, попробовать стоит.
Не получится - ну и похуй.
Зато если получится - будет охуенно.
Неужели никто не делал ничего подобного?
Знаю, есть сети, которые строят 3D-модель объектов.
Но неужели никто не пробовал совместить это с обычными сверточными сетями?
Полюбасу же теряется трехмерная информация.
Возможно, чтобы извлечь важные признаки из 2D-картинки нужно больше примеров обучающей выборки, чем из 3D-картинки.
Допустим, сесть построила сперва 3D-пикчу. А тут хопа - и сразу видны отличительные признаки класса.
А может и вовсе быстрее вычисляются со слоями, высокоуровневые представления быстрее извлекаются.
Смотреть на 2D-проекцию 3D-мира - тупиковый путь.
Если нет сразу 3D-данных, то строить их автоматически и анализировать именно их, а не сраное 2D.
Теперь будет аж 3 стадии обучения.
1. Сеть, которая строить 3D по 2D. Такие могут даже отдельно обучать на каких-то своих данных.
2. Обучение обычной большой выборке вроде ImageNet.
3. Обучение твоей целевой выборки.
Да один хуй, попробовать стоит.
Не получится - ну и похуй.
Зато если получится - будет охуенно.
Неужели никто не делал ничего подобного?
Знаю, есть сети, которые строят 3D-модель объектов.
Но неужели никто не пробовал совместить это с обычными сверточными сетями?
Полюбасу же теряется трехмерная информация.
Возможно, чтобы извлечь важные признаки из 2D-картинки нужно больше примеров обучающей выборки, чем из 3D-картинки.
Допустим, сесть построила сперва 3D-пикчу. А тут хопа - и сразу видны отличительные признаки класса.
А может и вовсе быстрее вычисляются со слоями, высокоуровневые представления быстрее извлекаются.
Смотреть на 2D-проекцию 3D-мира - тупиковый путь.
Если нет сразу 3D-данных, то строить их автоматически и анализировать именно их, а не сраное 2D.
Теперь будет аж 3 стадии обучения.
1. Сеть, которая строить 3D по 2D. Такие могут даже отдельно обучать на каких-то своих данных.
2. Обучение обычной большой выборке вроде ImageNet.
3. Обучение твоей целевой выборки.
>>10947
Если модель воксельная, то нихуя не поменяется, только сложность в 1.5 раза увеличится. Если полигональная модель, то хуй ты че предскажешь, там уже свертку не применишь просто так.
>Возможно, чтобы извлечь важные признаки из 2D-картинки нужно больше примеров обучающей выборки, чем из 3D-картинки.
Если модель воксельная, то нихуя не поменяется, только сложность в 1.5 раза увеличится. Если полигональная модель, то хуй ты че предскажешь, там уже свертку не применишь просто так.
>>10953
Пруфы?
>Если модель воксельная, то нихуя не поменяется, только сложность в 1.5 раза увеличится
Пруфы?
>>10954
Ну ок, не в 1.5, а даже больше. Свертки в степень 1.5 увеличатся, плюс затраты на саму генерацию модели и прочую хуйню.
Ну ок, не в 1.5, а даже больше. Свертки в степень 1.5 увеличатся, плюс затраты на саму генерацию модели и прочую хуйню.
>>10953
voxelnet и 3D cnn уже существуют так-то
voxelnet и 3D cnn уже существуют так-то
17 Кб, 474x237>>10889
А человеку не нужно? Новорожденный год срет под себя и пускает пузыри, фактически реализуя генетическую программу. Говорить он начинает только через пары лет в среде. При этом обучается он непрерывным видеопотоком, гигабайтами информации ежечасно. Уже доказано, что если держать котят слепыми первое время жизни, они не научатся видеть никогда.
Очевидно, что все, что мозг делает - это файнтюнинг того, что было наработано в детстве. Поэтому и возникает иллюзия быстрого обучения. А на самом деле достаточно, например, заняться чем-то принципиально новым, например, игрой на гитаре, чтобы понять, насколько мозг на самом деле медленный и неэффективный.
При чем именно сверточность сетей как раз очевидна по тому, как работают оптические иллюзии типа пикрелейтед. Некоторые женщины даже карту в уме повернуть не могут.
А еще цветное зрение это только поле примерно в 2 градуса, а еще у глаза дикие аберрации. Поэтому все, что реально поступает со зрением - это рандомные куски картинки 2х2 градуса, которые глаз сканирует за счет непроизвольных движений. В этом плане нейронка, которая может взять картинку в 16384х16384 пикселей и за один проход через U-Net хуйнуть сегментацию каждого пикселя - для мозга это просто рокет саенс.
Вообще же твоя идея не нова, читай Хинтона про капсульные сети. Я считаю, что это тупиковый путь по описанным выше причинам, но тем не менее.
>Все мы знаем, что нейросети, чтобы обучиться, надо дохуища примеров.
А человеку не нужно? Новорожденный год срет под себя и пускает пузыри, фактически реализуя генетическую программу. Говорить он начинает только через пары лет в среде. При этом обучается он непрерывным видеопотоком, гигабайтами информации ежечасно. Уже доказано, что если держать котят слепыми первое время жизни, они не научатся видеть никогда.
Очевидно, что все, что мозг делает - это файнтюнинг того, что было наработано в детстве. Поэтому и возникает иллюзия быстрого обучения. А на самом деле достаточно, например, заняться чем-то принципиально новым, например, игрой на гитаре, чтобы понять, насколько мозг на самом деле медленный и неэффективный.
При чем именно сверточность сетей как раз очевидна по тому, как работают оптические иллюзии типа пикрелейтед. Некоторые женщины даже карту в уме повернуть не могут.
>Дело в том, что человек живет в трехмерном мире, но зрение у него двухмерное.
А еще цветное зрение это только поле примерно в 2 градуса, а еще у глаза дикие аберрации. Поэтому все, что реально поступает со зрением - это рандомные куски картинки 2х2 градуса, которые глаз сканирует за счет непроизвольных движений. В этом плане нейронка, которая может взять картинку в 16384х16384 пикселей и за один проход через U-Net хуйнуть сегментацию каждого пикселя - для мозга это просто рокет саенс.
Вообще же твоя идея не нова, читай Хинтона про капсульные сети. Я считаю, что это тупиковый путь по описанным выше причинам, но тем не менее.
21 Кб, 640x538>>11008
удваиваю
удваиваю
>>10907
Это она тебе когда бухали вместе выдала всё как на духу?
> Сеть в принципе не анализирует 3D-информацию, она всегда видит сраное 2D.
Это она тебе когда бухали вместе выдала всё как на духу?
Нет никакой априорной открытой человеку в сакральном знании "3D модели", додик. Человек может оперировать твоими обоссаными "3D моделями" только лишь потому что эволюция так распорядилась: человек может физически обойти любой предмет с разных сторон и посмотреть на него под разными ракурсами, что он и делает всю жизнб. А нейросеть не может, ей скармливают те фотографии которые есть.
>>10636
А GAN это классификация или регрессия?
А GAN это классификация или регрессия?
>>11188
Не только. Есть еще я.
Не только. Есть еще я.
411 Кб, 512x512Восприятие 3д это результат научения, от рождения оно не даётся. Пруфы есть с самых разных сторон, но самый наглядный пример - эксперименты с котятами, которых с рождения содержат в помещении с определенной геометрией. Так вот, коты, с рождения не видевшие горизонтальных линий, не могут спуститься с лестницы, валятся с нее, тогда как точно такие же коты, содержащиеся в помещении с горизонтальными линиями, легко бегают по лестнице, но с большим трудом могут пройти через забор из вертикальных палок. И те и другие в нормальном окружении быстро учатся нормально перемещаться. Мораль - изначально нейроночки не могут в 3д, но при правильном датасете это не проблема вообще. Ни о чём у вас спор так-то.
>>11360
Напомнило вот эти видео:
https://www.youtube.com/watch?v=IOHayh06LJ4
https://www.youtube.com/watch?v=8VdFf3egwfg
Напомнило вот эти видео:
https://www.youtube.com/watch?v=IOHayh06LJ4
https://www.youtube.com/watch?v=8VdFf3egwfg
47 Кб, 533x800Аноны, а есть тред, где обсуждается работа?
Подумываю перекатиться из enterprise в нейросети, но пока что неясен рынок труда в РФ
Подумываю перекатиться из enterprise в нейросети, но пока что неясен рынок труда в РФ
>>11421
Аж целый тред "мы вам перезвоним".
Аж целый тред "мы вам перезвоним".
Кто там в Яндекс работать хотел? Пизда этой подмывальне, ищите другую. Там это, повторяется история с Пашей Дурневым.
https://www.rbc.ru/technology_and_media/04/06/2019/5cf50e139a79474f8ab5494b
https://www.rbc.ru/technology_and_media/04/06/2019/5cf50e139a79474f8ab5494b
Есть ли у мозга аналог переобучения?
По-моему, такой хуйни вообще нет. Недообучение есть, пере - нету.
По-моему, такой хуйни вообще нет. Недообучение есть, пере - нету.
>>11772
Переобучение - недостаток обобщения. Вполне себе бывает в жизни, человек задрочил факт, и если поменять переменные в нем, он уже не может разглядеть его.
Переобучение - недостаток обобщения. Вполне себе бывает в жизни, человек задрочил факт, и если поменять переменные в нем, он уже не может разглядеть его.
>>11785
Действительно.
Действительно.
>>11772
Эффект тетриса?
Эффект тетриса?
Как токенизировать текст русского языка?
Эти ебаные окончания, падежи, спряжения, формы числительных и т.д. и т.п. Да тут блядь двух одинаковых слов в предложении не бывает.
Во всех (английских, разумеется) статьях по NLP токенизация выполняется тупо разделением по пробелам и этого оказывается достаточно для большинства простых задач.
Но в русском языке такое говно по дефолту не прокатит.
Че делать?
Эти ебаные окончания, падежи, спряжения, формы числительных и т.д. и т.п. Да тут блядь двух одинаковых слов в предложении не бывает.
Во всех (английских, разумеется) статьях по NLP токенизация выполняется тупо разделением по пробелам и этого оказывается достаточно для большинства простых задач.
Но в русском языке такое говно по дефолту не прокатит.
Че делать?
10 Кб, 254x190>>12081
Спасибо, анон, это будет хорошей отправной точкой
Спасибо, анон, это будет хорошей отправной точкой
126 Кб, 419x249>>12194
Повторяется история с перцептрончиками, тогда тоже все скисло на всякой дрочьбе вприсядку из-под ноги типа OBD, OBS (optimal brain damage / surgery). После чего сверточные нейроночки торжественно определят в петушиный угол и найдут что-то другое, на основе statistical learning theory
Повторяется история с перцептрончиками, тогда тоже все скисло на всякой дрочьбе вприсядку из-под ноги типа OBD, OBS (optimal brain damage / surgery). После чего сверточные нейроночки торжественно определят в петушиный угол и найдут что-то другое, на основе statistical learning theory
>>08286
Тебе нейронки для такой задачи не нужны, OpenCV хватит
Тебе нейронки для такой задачи не нужны, OpenCV хватит
>>12241
>на основе того, что очередные фокусники из гугла для лулзов протестят очередной высер на своем кластере, а он возьмет, да выстрелит
>а потом быстро накатают под это статейку, мол они сверхразумы, вели тщательные исследования и мол так и было задумано, никаких случайностей
Анон, подскажи ньюфагу, пожалуйста, в GradientDescentOptimizer непременно нужно что-то указывать?
Просто вызвать как GradientDescentOptimizer().minmize(loss) нельзя?
Выдаёт ошибку TypeError: __init__() missing 1 required positional argument: 'learning_rate'
Просто вызвать как GradientDescentOptimizer().minmize(loss) нельзя?
Выдаёт ошибку TypeError: __init__() missing 1 required positional argument: 'learning_rate'
>>06660 (OP)
Насколько хорошо нужно знать дискретную математику и теорию графов в бигдате и машинном обучении?
Насколько хорошо нужно знать дискретную математику и теорию графов в бигдате и машинном обучении?
Привет анон, посоветуй что-то из приблизившегося к прохождению теста тьюринга осознающего себя компутера
>>12704
Не факт, тут уж как повезет, зависит от данных и от "модели".
Не факт, тут уж как повезет, зависит от данных и от "модели".
594 Кб, 840x854Когда я прочитал тред, у меня возникло ощущение, что сидящие тут не совсем понимают, что они делают и как оно работает
>>12767
Повторяется. Генерация несуществующих сельдей и котов уже никого не удивляет, а новых достижений что-то не завезли.
> Нет, нечеткий петух, история не повторяется,
Повторяется. Генерация несуществующих сельдей и котов уже никого не удивляет, а новых достижений что-то не завезли.
>>12788
Откуда ты можешь знать, что там завезли или не завезли, если ты не следишь за темой и не читаешь пейперы (для чтения которых у тебя отсутствует математическая база)?
Откуда ты можешь знать, что там завезли или не завезли, если ты не следишь за темой и не читаешь пейперы (для чтения которых у тебя отсутствует математическая база)?
>>12807
Ну ты расскажи. Ты ж умный, телевизор поди смотришь.
> Откуда ты можешь знать, что там завезли или не завезли, если ты не следишь за темой и не читаешь пейперы (для чтения которых у тебя отсутствует математическая база)?
Ну ты расскажи. Ты ж умный, телевизор поди смотришь.
>>12810
Ясно, понятно. Как всегда, одни кукареканья и пердёж в лужу без всякой конкретики.
Ясно, понятно. Как всегда, одни кукареканья и пердёж в лужу без всякой конкретики.
>>12819
Родители твои быдло. Ты ж даже слиться нормально не можешь, какие-то ебланские маневры ни для чего. Передо мной можешь не выебываться, ты мне никто. А перед самим собой давно стоило бы признать, что ты дебил.
Родители твои быдло. Ты ж даже слиться нормально не можешь, какие-то ебланские маневры ни для чего. Передо мной можешь не выебываться, ты мне никто. А перед самим собой давно стоило бы признать, что ты дебил.
>>08286
if hash(invoice) == hash (invoice[j]) and invoice.title == invoice[j].title:
_____invoice.is_valid = '?'
_____questionable.append(invoice)
Добавлять машинное обучение сюда просто идиотия.
if hash(invoice) == hash (invoice[j]) and invoice.title == invoice[j].title:
_____invoice.is_valid = '?'
_____questionable.append(invoice)
Добавлять машинное обучение сюда просто идиотия.
9 Кб, 316x317>>12769
Лол. С помощью import keras можно решать 90% задач, а понимают пусть умники всякие в гуглах
>не совсем понимают как оно работает
Лол. С помощью import keras можно решать 90% задач, а понимают пусть умники всякие в гуглах
12 Кб, 380x443>>12884
Но это же шаманство в чистом виде, даже веб-макакены обладают большим пониманием своей области
Но это же шаманство в чистом виде, даже веб-макакены обладают большим пониманием своей области
>>12788
Кого - никого? Тебя ведь это никогда не удивляло. Сколько лет ты рассказываешь о том, что нихуя нового нет, и что мол никого не удивляет. Удобный манямирок создал и живешь в нем.
А за это время люди типа меня пейперы доводят до продакшена и устанавливают на каждом утюге. Ты как протопоповец-девственник, который пытается доказать, что тянок ебать нужно вовсе не так, и вообще секс это скучно.
>Генерация несуществующих сельдей и котов уже никого не удивляет
Кого - никого? Тебя ведь это никогда не удивляло. Сколько лет ты рассказываешь о том, что нихуя нового нет, и что мол никого не удивляет. Удобный манямирок создал и живешь в нем.
А за это время люди типа меня пейперы доводят до продакшена и устанавливают на каждом утюге. Ты как протопоповец-девственник, который пытается доказать, что тянок ебать нужно вовсе не так, и вообще секс это скучно.
>>12893
Довай ссылу, посмотрим на твою йобу.
>типа меня пейперы доводят до продакшена и устанавливают на каждом утюге
Довай ссылу, посмотрим на твою йобу.
>>12896
Иди нахуй
Иди нахуй
>>12893
Причем тут это? Я говорю, что нынешние нейроночки это путь в никуда по вполне очевидным причинам. Я это говорил во время хайпа, я и сейчас это говорю, когда хайп уже начал сдуваться.
> ы как протопоповец-девственник, который пытается доказать, что тянок ебать нужно вовсе не так, и вообще секс это скучно.
Причем тут это? Я говорю, что нынешние нейроночки это путь в никуда по вполне очевидным причинам. Я это говорил во время хайпа, я и сейчас это говорю, когда хайп уже начал сдуваться.
>>12901
Да я помню, что ты говоришь. Уже года три, наверное. Только вот такая твердолобость это не показатель ума, совсем.
Да я помню, что ты говоришь. Уже года три, наверное. Только вот такая твердолобость это не показатель ума, совсем.
>>12716
Извини компутер, я не хотел тебя обижать =) ну если так то можешь порекомендовать чтива по этому поводу? можно конечн она дижиталфлоу сделать себе собеседника, но я хочу как папакарло выстругать \ту дрять самостоятельно(конечно не самомстоятельно а просто спиздить готовый код)
Извини компутер, я не хотел тебя обижать =) ну если так то можешь порекомендовать чтива по этому поводу? можно конечн она дижиталфлоу сделать себе собеседника, но я хочу как папакарло выстругать \ту дрять самостоятельно(конечно не самомстоятельно а просто спиздить готовый код)
>>12942
Читай в сторону от дифференцируемых функций.
А вообще, у нас кудахтеры очень слабые.
Тут даже микросетку по распознаванию собачих анусов неделю обучают.
Читай в сторону от дифференцируемых функций.
А вообще, у нас кудахтеры очень слабые.
Тут даже микросетку по распознаванию собачих анусов неделю обучают.
>>12908
А это не твердолобость, это понимание вопроса. Все эти нейроночки только за счёт закона Мура ещё на плаву держатся. Действительно умных решений типа иерархического софтмакса единицы, в основном все решается методом "наебенить побольше слоев / нарастить кластер". Будущее за квантовыми вычислениями, а квантовая логика считай другое название нечеткой и любой квантовый вычислитель де-факто суть fuzzy inference system.
> Только вот такая твердолобость это не показатель ума, совсем.
А это не твердолобость, это понимание вопроса. Все эти нейроночки только за счёт закона Мура ещё на плаву держатся. Действительно умных решений типа иерархического софтмакса единицы, в основном все решается методом "наебенить побольше слоев / нарастить кластер". Будущее за квантовыми вычислениями, а квантовая логика считай другое название нечеткой и любой квантовый вычислитель де-факто суть fuzzy inference system.
>>13158
Спасибо, мы вам перезвоним.
>Будущее за квантовыми вычислениями, а квантовая логика считай другое название нечеткой и любой квантовый вычислитель де-факто суть fuzzy inference system.
Спасибо, мы вам перезвоним.
>>13213
Если бы это был только попил, на этой теме пилили бы только госконторы, в том числе в Блинолопатии. А этого нет. Тому же Брину какая от этой темы польза, он что на пентагоновских госконтрактах сидит? А почему до сих пор нет "роскванта" с Чубайсом во главе? Думаешь, он хуже тебя в распилах понимает?
> Хуйня в кубе, еще больший попил чем нейронки.
Если бы это был только попил, на этой теме пилили бы только госконторы, в том числе в Блинолопатии. А этого нет. Тому же Брину какая от этой темы польза, он что на пентагоновских госконтрактах сидит? А почему до сих пор нет "роскванта" с Чубайсом во главе? Думаешь, он хуже тебя в распилах понимает?
16 Кб, 400x400Ребята, есть нихуевая вероятность, что я долбоеб.
Нейросеть ведь нельзя тренировать после наступления эффекта переобучения?
Иначе она высосет слишком много нерелевантных данных из обучающей выборки, верно?
И на новых данных будет пытаться их найти, ухудшая качество на данных, которых никогда не видела прежде.
Нейросеть ведь нельзя тренировать после наступления эффекта переобучения?
Иначе она высосет слишком много нерелевантных данных из обучающей выборки, верно?
И на новых данных будет пытаться их найти, ухудшая качество на данных, которых никогда не видела прежде.
>>10947
Такое уже есть
>1. Сеть, которая строить 3D по 2D. Такие могут даже отдельно обучать на каких-то своих данных.
Такое уже есть
>>12964
однако все еще проходят подобные мероприятия http://opentalks.ai/ru/turing-test
значит проблема осталась
>>12949
Пасяб
однако все еще проходят подобные мероприятия http://opentalks.ai/ru/turing-test
значит проблема осталась
>>12949
Пасяб
Действительно ли так нужна матеша в этих ваших нейронках? Знаю людей, которые занимаются рекомендательными системами в одной конторе и постоянно на конфах рассказывают про новый рекуррентные архитектуры со всеми баззвордами, зарабатывают весьма прилично, но не знают математику причем относятся к ней враждебно. Интересно, как они это делают, потому что из серьезных книг у меня сложилось впечатление, что порог вхождения очень высокий и даже обычной программы линала и теорвера из вуза недостаточно.
>>14075
>Ебут в жопу красноглазиков с матфаков, которым не хатает социальных навыков самостоятельно выступать на конфах и зарабатывать бабло.
>>10889
Ты можешь на изи проверить свою идею. Берёшь к боттлнек слою vgg16 прикручиваешь несколько deconv+batch norm слоёв. И тренируешь одновременно две задачи - классификация изображения и построение карты глубины изображения. Дальше на валидационном сете проверяешь точность классификации. Если она выше, чем без auxiliary task, то публикуешься и начинаешь искать нормальную архитектуру для deconv слоёв.
Ты можешь на изи проверить свою идею. Берёшь к боттлнек слою vgg16 прикручиваешь несколько deconv+batch norm слоёв. И тренируешь одновременно две задачи - классификация изображения и построение карты глубины изображения. Дальше на валидационном сете проверяешь точность классификации. Если она выше, чем без auxiliary task, то публикуешься и начинаешь искать нормальную архитектуру для deconv слоёв.
>>14562
Как-то слишком сложно звучит, я больше по части высказывания всяких шизоидных высеров, а не программированию
Как-то слишком сложно звучит, я больше по части высказывания всяких шизоидных высеров, а не программированию
>>14811
ну попробуй этот таск решить своим реснетом или вгг, однохуйственно
ну попробуй этот таск решить своим реснетом или вгг, однохуйственно
Обучил нейронку. Точность на валидационных данных (не обучающих) - 80%.
Тестю вручную на тех же валидационных данных - нихуя, блядь, не распознает, точнее точность гораздо ниже 80%, по ощущениям процентов 30.
Как это возможно вообще?
Тестю вручную на тех же валидационных данных - нихуя, блядь, не распознает, точнее точность гораздо ниже 80%, по ощущениям процентов 30.
Как это возможно вообще?
>>15078
Ах ты ж блядь, сильно похоже, что я перепутал лейблы.
Питон же грузит папки в своей маня-сортировке.
И порядок классов в итоге при flow_from_directory получается ДРУГОЙ.
Ща протестю и напишу, если это так
Ах ты ж блядь, сильно похоже, что я перепутал лейблы.
Питон же грузит папки в своей маня-сортировке.
И порядок классов в итоге при flow_from_directory получается ДРУГОЙ.
Ща протестю и напишу, если это так
>>15081
Ах ты ж блядь, да, это так.
Ебаный порядок классов.
Я 2 месяца юзал сеть с перепутанным порядком классов.
А она все это время хорошо работала.
Да моя сеть на новых данных работает еще пизже, чем на валидационных.
Ах ты ж блядь, да, это так.
Ебаный порядок классов.
Я 2 месяца юзал сеть с перепутанным порядком классов.
А она все это время хорошо работала.
Да моя сеть на новых данных работает еще пизже, чем на валидационных.
>>15086
И норм было. Вся суть практического использования ваших нейроночек. Простой рандом и то работал бы лучше.
> Я 2 месяца юзал сеть с перепутанным порядком классов.
И норм было. Вся суть практического использования ваших нейроночек. Простой рандом и то работал бы лучше.
>>15088
На самом деле нет, но я это скрывал. Я все это время думал, что я допустил какой-то фатальный недостаток вроде переобучения и сама сеть - говно.
А она была заебись, просто я даун и не проверил порядок классов.
Теперь все сходится, я все это время был прав, все было заебись
>И норм было
На самом деле нет, но я это скрывал. Я все это время думал, что я допустил какой-то фатальный недостаток вроде переобучения и сама сеть - говно.
А она была заебись, просто я даун и не проверил порядок классов.
Теперь все сходится, я все это время был прав, все было заебись
>>15139
Ну какг бэ на кагле свои виртуалки, где в итоге тестится проект.
Но никто тебе не мешает использовать любое железо.
Ну какг бэ на кагле свои виртуалки, где в итоге тестится проект.
Но никто тебе не мешает использовать любое железо.
Занимаюсь переводами текстов англ > рус, наткнулся на seq2seq, который обещает сделать обучаемый переводчик.
Есть ~500 обработанных вордовских страниц оргинал | перевод, дальнейшие тексты примерно похожей тематики и терминологии.
Реально вообще хоть немного облегчить и автоматизировать свой труд или я что-то упускаю?
Есть ~500 обработанных вордовских страниц оргинал | перевод, дальнейшие тексты примерно похожей тематики и терминологии.
Реально вообще хоть немного облегчить и автоматизировать свой труд или я что-то упускаю?
>>15335
По поводу машинного перевода нужно смотреть в сторону поделий от Facebook ai research. Они единственные занимаются архитектурами, которые в такое могут или почти могут. Посмотри ихний гитхаб с описаниями проектов, точно что-то такое там попадалось. Все остальное типа seq2seq для твоей задачи хуета полная.
По поводу машинного перевода нужно смотреть в сторону поделий от Facebook ai research. Они единственные занимаются архитектурами, которые в такое могут или почти могут. Посмотри ихний гитхаб с описаниями проектов, точно что-то такое там попадалось. Все остальное типа seq2seq для твоей задачи хуета полная.
Как решают задачи одноклассовой классификации? То есть не сказать, кот на картинке или собака, а есть ли на ней человек или его нет (а может быть что угодно).
>>15346
Если сделать оценщик адекватности, то можно запускать adversarial learning, так ведь?
Если сделать оценщик адекватности, то можно запускать adversarial learning, так ведь?
есть задача: нужна нейросеть, которая классифицирует объекты.
На объектах есть технические пометки, типа "ТП 2008-10" "ПГ 1007-16" и т.д. Формат всегда один и тот же. Помогите правильно составить вектор Y (метки)
Формат: (буква, буква, 4хцифры - цифра, цифра)
я правильно понимаю, что Y должен быть ([Y1а, Y1б, Y1в ....][Y2а, Y2б, Y2в][Y30, Y31...Y39][Y40...Y49]...[Y80...Y89]), где все эти Y - или 0, или 1?
На объектах есть технические пометки, типа "ТП 2008-10" "ПГ 1007-16" и т.д. Формат всегда один и тот же. Помогите правильно составить вектор Y (метки)
Формат: (буква, буква, 4хцифры - цифра, цифра)
я правильно понимаю, что Y должен быть ([Y1а, Y1б, Y1в ....][Y2а, Y2б, Y2в][Y30, Y31...Y39][Y40...Y49]...[Y80...Y89]), где все эти Y - или 0, или 1?
>>16326
>>16329
Если ТП, ПГ, 2008, 1007 итп это категории (т.е. у тебя конечное и очень ограниченное количество вариантов из двух букв/из четырёх цифр, встречающихся в данных) то лучше просто для каждого варианта сделать свой выход и тренировать сеть чтобы она вероятностные распределения на этих категориях предсказывала.
>>16329
Если ТП, ПГ, 2008, 1007 итп это категории (т.е. у тебя конечное и очень ограниченное количество вариантов из двух букв/из четырёх цифр, встречающихся в данных) то лучше просто для каждого варианта сделать свой выход и тренировать сеть чтобы она вероятностные распределения на этих категориях предсказывала.
>>16349
нет, там 36 возможных букв и 10 возможных цифр. То есть бывают и варианты "АА 7777-15" и т.д.
нет, там 36 возможных букв и 10 возможных цифр. То есть бывают и варианты "АА 7777-15" и т.д.
>>16350
Это уже распознавание текста. То есть сначала тебе надо найти текст на изображении - это похоже на предсказание bounding box, а потом его распознать - это задача сродни image captioning. Хотя ещё разумнее, как мне кажется, искать отдельные цифры и буквы и их распознавать отдельно. Сколько у тебя вообще данных есть? Как выглядит типично изображение?
Это уже распознавание текста. То есть сначала тебе надо найти текст на изображении - это похоже на предсказание bounding box, а потом его распознать - это задача сродни image captioning. Хотя ещё разумнее, как мне кажется, искать отдельные цифры и буквы и их распознавать отдельно. Сколько у тебя вообще данных есть? Как выглядит типично изображение?
>>16354
данных очень мало, не для всех классов.
Согласен, тут скорее распознавание текста.
Шарить типичное изображение не могу, увы, но изображение всегда четкое и всегда падает один и тот же свет, с этим никаких проблем.
Проблема только в том, что нет данных для всех возможных классов, так как не все объекты пока существуют (не построены)
Спасибо за подсказку
данных очень мало, не для всех классов.
Согласен, тут скорее распознавание текста.
Шарить типичное изображение не могу, увы, но изображение всегда четкое и всегда падает один и тот же свет, с этим никаких проблем.
Проблема только в том, что нет данных для всех возможных классов, так как не все объекты пока существуют (не построены)
Спасибо за подсказку
>>16354
о, моя задача очень похожа на распознавание номеров
Ее тоже решают через OCR, не через классификацию?
о, моя задача очень похожа на распознавание номеров
Ее тоже решают через OCR, не через классификацию?
40 Кб, 1177x662>>16487
Тип прадакшена стало больше, стали более лучше распознавать негров, овощи там, рожь, вот это все, стартапы ненужны. Ясно, понятно. Рулю пизда, из нейроночек больше не выжать, их использование усложняется, системные требования растут лавинообразно. Года 2-3 назад для проекта хватало двух сойбоев - друзей по жопе, сейчас нужна мощная команда + немаленькие влошения. Собственно, приплыли. Скоро до всех дойдет, что нужно искать что-то ещё.
Тип прадакшена стало больше, стали более лучше распознавать негров, овощи там, рожь, вот это все, стартапы ненужны. Ясно, понятно. Рулю пизда, из нейроночек больше не выжать, их использование усложняется, системные требования растут лавинообразно. Года 2-3 назад для проекта хватало двух сойбоев - друзей по жопе, сейчас нужна мощная команда + немаленькие влошения. Собственно, приплыли. Скоро до всех дойдет, что нужно искать что-то ещё.
>>16499
Кто вкатился - будет на коне, время, когда для первой работы достаточно ввести import keras кончилось
Кто вкатился - будет на коне, время, когда для первой работы достаточно ввести import keras кончилось
88 Кб, 454x600>>16024
И будет он всегда выдавать "человек" на любых данных. Нет, тут надо посложнее.
И будет он всегда выдавать "человек" на любых данных. Нет, тут надо посложнее.
>>16499
Шел очередной год вечеринки, на которую нечеткого петуха не пригласили.
>Скоро до всех дойдет
>Скоро, скоро
Шел очередной год вечеринки, на которую нечеткого петуха не пригласили.
>>16534
он не будет всегда выдавать "человек" на любых данных, он будет выдавать % того, что на картинке человек...
он не будет всегда выдавать "человек" на любых данных, он будет выдавать % того, что на картинке человек...
>>16515
Такое время было только в маняфантазиях посетителей этого треда, никто из которых работу, что характерно, не нашел.
Такое время было только в маняфантазиях посетителей этого треда, никто из которых работу, что характерно, не нашел.
>>16553
Ирл знаю людей, которые в проде тупо скачивают модели с торч хаба, меняют целевую функцию и деплоят. Зарабатывают побольше всяких программистов, от чего чсв выше крыши.
Ирл знаю людей, которые в проде тупо скачивают модели с торч хаба, меняют целевую функцию и деплоят. Зарабатывают побольше всяких программистов, от чего чсв выше крыши.
>>16563
Там же, где работают всякие бестолковые кодеры, которые искренне удивляются задачам на вечерние деревьев в крупных ит-компаниях — в ноунейм стартапах и прочем малом бизнесе.
Там же, где работают всякие бестолковые кодеры, которые искренне удивляются задачам на вечерние деревьев в крупных ит-компаниях — в ноунейм стартапах и прочем малом бизнесе.
Аноны, что посоветуете почитать про OpenSet recognition, желательно с примерами, в идеале на пистоновских либах.
>>16557
Представляю ваш диалог
- Я работаю над мл в таком-то стартапе
- Гыы-гы-гы, лол, качаешь модельки, а сам нихуя не делаешь)))
- Иди нахуй
- Ыыы. лалка у тебя чсв выше крыши)))
Представляю ваш диалог
- Я работаю над мл в таком-то стартапе
- Гыы-гы-гы, лол, качаешь модельки, а сам нихуя не делаешь)))
- Иди нахуй
- Ыыы. лалка у тебя чсв выше крыши)))
Как должно выглядеть резюме у успешного вкатывальщика в датасцаенс? Гитхаб, кегля, курсера?
>>16630
Я спрашивал о деталях. А когда спросил "а как же математика и все такое", мне сказали, что это для задротов и в нейронках достаточно интуитивного понимания.
Я спрашивал о деталях. А когда спросил "а как же математика и все такое", мне сказали, что это для задротов и в нейронках достаточно интуитивного понимания.
>>16658
https://www.tensorflow.org/tutorials/keras/basic_classification
только на последнем слое 1 выход и функция sigmoid
https://www.tensorflow.org/tutorials/keras/basic_classification
только на последнем слое 1 выход и функция sigmoid
>>16658
А как "всё остальное" набрать? Вот у нас в датасете - только фотографии людей. Что делать? Качать ещё один? То есть такой подход (+ использовать неправильно классифицированные фотки как дополнительные негативные примеры) понятен, он уже старый, ещё до нейронок был известен. С тех пор других идей не появилось?
А как "всё остальное" набрать? Вот у нас в датасете - только фотографии людей. Что делать? Качать ещё один? То есть такой подход (+ использовать неправильно классифицированные фотки как дополнительные негативные примеры) понятен, он уже старый, ещё до нейронок был известен. С тех пор других идей не появилось?
>>16668
Да как хочешь.
C dial up сидишь?
Предложи свои
>А как "всё остальное" набрать?
Да как хочешь.
>Качать ещё один?
C dial up сидишь?
>С тех пор других идей не появилось?
Предложи свои
>>16646
Если почитать Фейнмана, может сложиться такое же впечатленеие - физика это просто и интуитивно, вообще раз плюнуть. Вышел и нобелевку получил.
Если почитать Фейнмана, может сложиться такое же впечатленеие - физика это просто и интуитивно, вообще раз плюнуть. Вышел и нобелевку получил.
>>16668
Появилась, GAN называется. Генератор учится генерировать что-то похожее на твой датасет, дискриминатор отличать датасет от не-датасета. Потом генератор ты выкидываешь, а дискриминатор используешь для классификации.
Правда негативные примеры все равно будут работать лучше.
>С тех пор других идей не появилось?
Появилась, GAN называется. Генератор учится генерировать что-то похожее на твой датасет, дискриминатор отличать датасет от не-датасета. Потом генератор ты выкидываешь, а дискриминатор используешь для классификации.
Правда негативные примеры все равно будут работать лучше.
>>16688
Ровно одно сомнительное достижение с ограниченным применением типа нагенерить несуществующих сельдей по набору существующих.
> Появилась, GAN называется.
Ровно одно сомнительное достижение с ограниченным применением типа нагенерить несуществующих сельдей по набору существующих.
>>16546
Можешь и дальше отрицать реальность, хотя вон выше даже графики подвезли. Все происходящее закономерно, я вообще ничего удивительного в этом не вижу, это вы итт наяривали из-под ноги на всемогущие нейроночки когда я уже говорил, почему не взлетит.
Можешь и дальше отрицать реальность, хотя вон выше даже графики подвезли. Все происходящее закономерно, я вообще ничего удивительного в этом не вижу, это вы итт наяривали из-под ноги на всемогущие нейроночки когда я уже говорил, почему не взлетит.
>>16700
Мне кажется, там самое ценное - идея adversarial training. По идее, в задачах генерации сложных объектов она на ура зайдёт. Например, при генерации текстов - тут и перевод, и captioning.
Мне кажется, там самое ценное - идея adversarial training. По идее, в задачах генерации сложных объектов она на ура зайдёт. Например, при генерации текстов - тут и перевод, и captioning.
>>16700
Сейчас бы с петухами, которые судят о ганах по статьям на хабре, обсуждать их применение.
>>16702
Происходящее очень закономерно: новая индустрия растет и крепнет, на место ученым приходят инженеры, которые берут разработки и выжимают из них максимум, что ученым не очень интересно. Как жаль, что ты настолько тупой, что тебе остается только рассказывать о том, как мы тут тензорфлоу импортируем.
Сейчас бы с петухами, которые судят о ганах по статьям на хабре, обсуждать их применение.
>>16702
Происходящее очень закономерно: новая индустрия растет и крепнет, на место ученым приходят инженеры, которые берут разработки и выжимают из них максимум, что ученым не очень интересно. Как жаль, что ты настолько тупой, что тебе остается только рассказывать о том, как мы тут тензорфлоу импортируем.
>>16705
Самое ценное - идея того, что любую функцию в пайплайне нейронки можно заменить другой нейронкой. Например, типичная ситуация: у тебя есть датасет, но он маленький. Тебе нужно аугментировать данные. Ты можешь сделать это вручную (сдвиги-повороты, хуе-мое). А можешь сделать аугментатор в виде нейронки, у которой на входе картинка из датасета и случайный вектор и целевой функцией так саугментировать, чтобы наебать твой классификатор, но не слишком сильно.
Или, наоборот, если ты проектируешь генератор, то дискриминатор - это на самом деле продвинутый самообучаемый лосс.
Самое ценное - идея того, что любую функцию в пайплайне нейронки можно заменить другой нейронкой. Например, типичная ситуация: у тебя есть датасет, но он маленький. Тебе нужно аугментировать данные. Ты можешь сделать это вручную (сдвиги-повороты, хуе-мое). А можешь сделать аугментатор в виде нейронки, у которой на входе картинка из датасета и случайный вектор и целевой функцией так саугментировать, чтобы наебать твой классификатор, но не слишком сильно.
Или, наоборот, если ты проектируешь генератор, то дискриминатор - это на самом деле продвинутый самообучаемый лосс.
>>16718
Есть для машинного перевода без учителя, но там адверсарная часть сидит на выходе кодировщика в промежуточное представление: https://openreview.net/pdf?id=rkYTTf-AZ
Есть для машинного перевода без учителя, но там адверсарная часть сидит на выходе кодировщика в промежуточное представление: https://openreview.net/pdf?id=rkYTTf-AZ
33 Кб, 405x552>>16718
Ты там для какого языка делаешь, если для аналитического англоговна то более менее создат иллюзию, если для нормальных языков то соснешь, не мучайся.
>NLP
>Рычи, двигай тазом.
Ты там для какого языка делаешь, если для аналитического англоговна то более менее создат иллюзию, если для нормальных языков то соснешь, не мучайся.
>>16950
он только в нечеткие модели и экспертные системы верит. Русске вообще шизики. Заходишь в комментарии на каком-нибудь хабре - а там перепись нечетких дегенератов. https://habr.com/ru/company/recognitor/blog/455676/
(наш нечеткий петух тоже звезда хабра)
он только в нечеткие модели и экспертные системы верит. Русске вообще шизики. Заходишь в комментарии на каком-нибудь хабре - а там перепись нечетких дегенератов. https://habr.com/ru/company/recognitor/blog/455676/
(наш нечеткий петух тоже звезда хабра)
В чем прекол прунинга? Как известно, нейронки - это перемножение матриц. Так какой смысл занулять какие-то элементы, если они все равно перемножаются? Или оно как-то по-другому работает или имеет иное значение?
>>17134
Зумера нихуя не понимают, но свое зумерское мнение имеют. Посмотри хоть в гуглопереводчике значение.
Зумера нихуя не понимают, но свое зумерское мнение имеют. Посмотри хоть в гуглопереводчике значение.
251 Кб, 459x393Как расчитывать место, которое займет модель после обучения?
Можно ли обучать модель из временных хранилищ? Например спарсил 1 тб пикч -> прогнал нейронкой -> удалил и спарсил еще 1 тб других, и т.п. пока не выкачаю все интернеты, лол?
Можно ли обучать модель из временных хранилищ? Например спарсил 1 тб пикч -> прогнал нейронкой -> удалил и спарсил еще 1 тб других, и т.п. пока не выкачаю все интернеты, лол?
>>17242
Что ты имеешь в виду?
Обычно объем обучающей выборки в несколько раз меньше.
> Как расчитывать место, которое займет модель после обучения?
Что ты имеешь в виду?
> Можно ли обучать модель из временных хранилищ? Например спарсил 1 тб пикч -> прогнал нейронкой -> удалил и спарсил еще 1 тб
Обычно объем обучающей выборки в несколько раз меньше.
>>17668
>>17647
Да,я прочитал,там охуеть какие требования.
Вопрос вот такой, я собираюсь идти в бакалавриат, но не могу выбрать направление. Конкретно нужно,чтобы не потратил время зря, ведь я хочу заниматься машобом. Вот список:
Математика и компьютерные наук
Механика и математическое моделирование
Информатика и вычислительная техника
Прикладная информатика
>>17647
Да,я прочитал,там охуеть какие требования.
Вопрос вот такой, я собираюсь идти в бакалавриат, но не могу выбрать направление. Конкретно нужно,чтобы не потратил время зря, ведь я хочу заниматься машобом. Вот список:
Математика и компьютерные наук
Механика и математическое моделирование
Информатика и вычислительная техника
Прикладная информатика
>>17683
Спасибо за консультацию,но поступать в вшэ не планирую.
Олимпиаду я не смог затащить,а по егэ планирую не больше 270(сейчас жду инфу,математика+русский = 184). А там на бюджет надо 290+.
Спасибо за консультацию,но поступать в вшэ не планирую.
Олимпиаду я не смог затащить,а по егэ планирую не больше 270(сейчас жду инфу,математика+русский = 184). А там на бюджет надо 290+.
Как загнать датасет для обучения в питон? Есть папка с размеченными фотками, как организовать массив с пикселечками и лейблами, чтобы ничего не перепуталось?
Или мой вопрос идиотский и надо "просто делать"?
если есть пример кода с прочтением фоток, дайте линк, очень прошу
Или мой вопрос идиотский и надо "просто делать"?
если есть пример кода с прочтением фоток, дайте линк, очень прошу
>>17686
В таком случае тебе в "Математика и компьютерные науки" или "Прикладная математика" вместе с курсами в сети (читай: ссылками в шапке треда) и занятиями в свободное время. Это, пожалуй, максимально независимый от университета путь.
В таком случае тебе в "Математика и компьютерные науки" или "Прикладная математика" вместе с курсами в сети (читай: ссылками в шапке треда) и занятиями в свободное время. Это, пожалуй, максимально независимый от университета путь.
>>17688
Спасибо)
Спасибо)
>>17679
учусь на ивт, брат жив. Есть математика и железо (часть нахуй не нежна, часть довольно полезна). Есть предметы с сетками, но тут довольно скудно
Ты должен прекрасно понимать, что тебе надо от универа. Мне расписывать лень, но знай, что универ не всегда может дать актуальные/полезные знания. Будь к тому готов
учусь на ивт, брат жив. Есть математика и железо (часть нахуй не нежна, часть довольно полезна). Есть предметы с сетками, но тут довольно скудно
Ты должен прекрасно понимать, что тебе надо от универа. Мне расписывать лень, но знай, что универ не всегда может дать актуальные/полезные знания. Будь к тому готов
>>17371
Он известен заранее ещё до обучения
Он известен заранее ещё до обучения
А можно ML применять в QA и operations с пользой для бизнеса? Есть такие вакансии сейчас?
8 Кб, 716x289Здравствуйте, извините если не по теме, но есть какой либо алгоритм по определению начало роста локального пика (к примеру этот момент виден на 84-86 по оси X)? Спасибо.
Есть ли алгоритм кластеризации, который
1) Масштабируемый (500к векторов по 10 компонент)
2) Не зависит от параметров (не надо указывать число сообществ или волшебные константы, которые всё меняют).
3) Есть на Кэггл.
???
1) Масштабируемый (500к векторов по 10 компонент)
2) Не зависит от параметров (не надо указывать число сообществ или волшебные константы, которые всё меняют).
3) Есть на Кэггл.
???
>>19635
SOM Кохонена. В оригинальном варианте не для кластеризации, но в том же R полно разновидностей и для работы с кластерами. За зумерский кагл не знаю, есть ли там что-то полезное.
SOM Кохонена. В оригинальном варианте не для кластеризации, но в том же R полно разновидностей и для работы с кластерами. За зумерский кагл не знаю, есть ли там что-то полезное.
>>10925
Манюня, пиздеть - не мешки ворочить. Ты хотя бы блоксхему попробуй сделать с деталтным описанием процесса для начала, а не смеши людей своими маняфантазиями. Пока что твои "умозаключения" смахивают на истерику избалованного ребенка, кукарекающего что-то в духе "мам пицу!".
Манюня, пиздеть - не мешки ворочить. Ты хотя бы блоксхему попробуй сделать с деталтным описанием процесса для начала, а не смеши людей своими маняфантазиями. Пока что твои "умозаключения" смахивают на истерику избалованного ребенка, кукарекающего что-то в духе "мам пицу!".
>>12076
К любому учителю русского языка средней школы подойди, он тебе долбоебу напомнит про члены предложения и словообразование.
К любому учителю русского языка средней школы подойди, он тебе долбоебу напомнит про члены предложения и словообразование.
Подскажите пж, как сохранять контуры объектов в файл?
Может их в векторы как-то трансформировать?
Может их в векторы как-то трансформировать?
Где можно эконометрику выучить? Я даже не подозревал, что консультанту это может быть нужно.
>>19901
бля, не консультанту, а DS.
бля, не консультанту, а DS.
>>19394
Мейби через скользящие средние.
Взять одну с большим периодом, а вторую с маленьким. Если малая пересекает большую снизу, то это начало восходящего тренда.
Мейби через скользящие средние.
Взять одну с большим периодом, а вторую с маленьким. Если малая пересекает большую снизу, то это начало восходящего тренда.
>>19959
спасибо, сейчас попробую
спасибо, сейчас попробую
Хочу вот с RL в вовке попробовать поиграться, но вопрос скорее общий. Как всем изветсно для таких енвайроментов сервер и клиент уже написан. Можно ли как-то автоматически (или с минимальной программистской работой) ускорить время на сервере и клиенте чтобы можно было прогнать пятьдесят тысяч лет симуляции за условные пару месяцев или придётся с нуля всё переписывать для этого?
>>19394
Локальный пик это высокочастотный всплеск. Соответственно тебе нужен фильтр высоких частот, сигнал которого выше порога и будет говорить о пике. Классическая DSP короче
Локальный пик это высокочастотный всплеск. Соответственно тебе нужен фильтр высоких частот, сигнал которого выше порога и будет говорить о пике. Классическая DSP короче
Почитал про эти ваши GAN'ы, да подобных идей ещё в нулевые и в блинолопатии было полно - натравить один алгоритм на качество работы другого, и так сколько угодно раз, стыкуя все что угодно с любой целью, причем, даже структуру такой метаархитектуры может определять алгоритм, входящий в ее же набор. GAN это эта же идея на минималках и с единственной целью.
117 Кб, 604x544>>20885
Какой же ты убогий. Демагогическая позиция "все говно, потому что ваша идея не новая" - это очень убогая позиция повыебывайся. Не выебывайся.
Какой же ты убогий. Демагогическая позиция "все говно, потому что ваша идея не новая" - это очень убогая позиция повыебывайся. Не выебывайся.
3,6 Мб, mp4,1280x720, 0:23
>>20888
Я не говорю, что говно, я говорю, что зумера в восторге от новизны идеи, которая всерьез обсуждалась еще когда мамки зумеров целками были.
Я не говорю, что говно, я говорю, что зумера в восторге от новизны идеи, которая всерьез обсуждалась еще когда мамки зумеров целками были.
Анон, помоги нубу, пожалуйста.
Я правильно понимаю, что fc_v_logits автор где-то проебал?
Что, теоретически там должно быть?
Я правильно понимаю, что fc_v_logits автор где-то проебал?
>NameError: name 'fc_v_logits' is not defined
Что, теоретически там должно быть?
>>20977
Поздравляю, ты уже превратился в батю в проперженных труханах, который пиздит что-то подобное о любой вещи, которая появилась в те времена, когда у него еще хуй стоял.
Поздравляю, ты уже превратился в батю в проперженных труханах, который пиздит что-то подобное о любой вещи, которая появилась в те времена, когда у него еще хуй стоял.
>>21025
По логике вместо fc_v_logits должно было быть написано visible_logits. Видимо он сначала обозвал перменную первым образом (fully connected visible logits), а потом переименовал
По логике вместо fc_v_logits должно было быть написано visible_logits. Видимо он сначала обозвал перменную первым образом (fully connected visible logits), а потом переименовал
Какие есть методы анализа временных рядов, кроме "натравить ARIMA" и "засунуть в рекуррентную нейронку"? Заодно хорошо бы получить внятное объяснение шаманства с подбором параметров p, q в ариме по ACF и PACF, да и с d тоже непонятно.
>>21753
State-space методы, в наиболее запущенном случае - динамический хаос и всякие векторы Такенса. Но если даже арима не осилил, в это точно лезть не стоит.
> Какие есть методы анализа временных рядов, кроме "натравить ARIMA" и "засунуть в рекуррентную нейронку"?
State-space методы, в наиболее запущенном случае - динамический хаос и всякие векторы Такенса. Но если даже арима не осилил, в это точно лезть не стоит.
>>21816
О мудрейший, а можешь рассказать полный процесс подбора гиперпараметров аримы и саримы?
О мудрейший, а можешь рассказать полный процесс подбора гиперпараметров аримы и саримы?
>>20885
в великое савецкое время и ни такое предумывали!
многае еше пылыиться где-то в потайенном архиве, в толстых связаных ниткой от торта стопках бумаги на которые ставят чай (обязательно в стакане и подстаканики)
где-то там далеко-глубоко в опечатанных комнатах на мехмати ждет ДРЕВНЕЕ ЗНАНИЕ
а тем временем человечества дечаит и ПОПСЕЕТ постипенно утрачивая сам язык на которром говориле ВЕЛИКИЕ
в великое савецкое время и ни такое предумывали!
многае еше пылыиться где-то в потайенном архиве, в толстых связаных ниткой от торта стопках бумаги на которые ставят чай (обязательно в стакане и подстаканики)
где-то там далеко-глубоко в опечатанных комнатах на мехмати ждет ДРЕВНЕЕ ЗНАНИЕ
а тем временем человечества дечаит и ПОПСЕЕТ постипенно утрачивая сам язык на которром говориле ВЕЛИКИЕ
>>17242
берешь считаеш количество параметров умножаешь на 16, 32 в зависимосте от того какой тип даных испольщуешь (скорее всего 32)
посчитать параметры легко для полносвязаных слоев это ВЫСОТА Х ШИРИНА, а для свернутых слоев все хитреи xyzk
xy - площать ядра
z - глубинавходного тензара
k - глубина выходного тензара
потом сумируешь все размеры всех слоев умножаешь как я говорил и все
ну и еще оверхет будет какой то но этим можноп ренеребреьечь
берешь считаеш количество параметров умножаешь на 16, 32 в зависимосте от того какой тип даных испольщуешь (скорее всего 32)
посчитать параметры легко для полносвязаных слоев это ВЫСОТА Х ШИРИНА, а для свернутых слоев все хитреи xyzk
xy - площать ядра
z - глубинавходного тензара
k - глубина выходного тензара
потом сумируешь все размеры всех слоев умножаешь как я говорил и все
ну и еще оверхет будет какой то но этим можноп ренеребреьечь
>>17683
очень не советую ийти на /ba/data там лжеалегбраисты сидят (и пьют ХИМОЗНЫЙ ЧАЙ а потом всем другим его же и придлагают)
все самыи умные приподователи и ученики на /ba/ami там лучше учебная програма очень вежливые в учебной части
по карйний мере когда я бы л перпродавателем в высшке быоло так сейчас не берусь судить
очень не советую ийти на /ba/data там лжеалегбраисты сидят (и пьют ХИМОЗНЫЙ ЧАЙ а потом всем другим его же и придлагают)
все самыи умные приподователи и ученики на /ba/ami там лучше учебная програма очень вежливые в учебной части
по карйний мере когда я бы л перпродавателем в высшке быоло так сейчас не берусь судить
>>19635
есть такой алгоритм тебе понадобядся енпараметрические байес и стохастический вывод
например - процесс дирихле + стохастический вариационый инференс
там легнк о запутаться но ты апиши я все обьясню а пока вот тебе две три ссылки
http://mlg.eng.cam.ac.uk/pub/pdf/GoeRas10.pdf
http://www.columbia.edu/~jwp2128/Papers/HoffmanBleiWangPaisley2013.pdf
есть такой алгоритм тебе понадобядся енпараметрические байес и стохастический вывод
например - процесс дирихле + стохастический вариационый инференс
там легнк о запутаться но ты апиши я все обьясню а пока вот тебе две три ссылки
http://mlg.eng.cam.ac.uk/pub/pdf/GoeRas10.pdf
http://www.columbia.edu/~jwp2128/Papers/HoffmanBleiWangPaisley2013.pdf
>>20800
Ты даже не сказал, что за среда...
Ты даже не сказал, что за среда...
142 Кб, 512x512>>22023
Вот ты петросянишь, а я находил пейперы 80х годов про логические вентили и аппаратные нейросети на основе каскадных реакций между ферментами. По-сути готовые реализации биочипов, как в киберпанке и даже автор был японец. Вот увидишь, лет через -дцать такое будет подаваться как сверхсовременный аналоговнет и малолетние дегроды будут восхищаться наступившим будущим.
> где-то там далеко-глубоко в опечатанных комнатах на мехмати ждет ДРЕВНЕЕ ЗНАНИЕ
Вот ты петросянишь, а я находил пейперы 80х годов про логические вентили и аппаратные нейросети на основе каскадных реакций между ферментами. По-сути готовые реализации биочипов, как в киберпанке и даже автор был японец. Вот увидишь, лет через -дцать такое будет подаваться как сверхсовременный аналоговнет и малолетние дегроды будут восхищаться наступившим будущим.
>>22099
Ну ты ведь хуесос, который не понимает, как распространяются знания. Принципы паровой машины были известны грекам, а америке не использовали колесо, несмотря на то, что были игрушки с колесными осями. Какой-то обоссанный пейпер, в котором сделали 2% наработок и закопали где-то в архиве обоссаных пейперов, не стоит нихуя.
Только долбоебы типа тебя считают, что если они нашли какую-то банальную мысль в работе полувековой давности, это позволяет им распираться от гордости по поводу того, что они-то знают все, а вокруг все нихуя не понимают, что будущего-то на самом деле нет.
>Вот ты петросянишь, а я находил
Ну ты ведь хуесос, который не понимает, как распространяются знания. Принципы паровой машины были известны грекам, а америке не использовали колесо, несмотря на то, что были игрушки с колесными осями. Какой-то обоссанный пейпер, в котором сделали 2% наработок и закопали где-то в архиве обоссаных пейперов, не стоит нихуя.
Только долбоебы типа тебя считают, что если они нашли какую-то банальную мысль в работе полувековой давности, это позволяет им распираться от гордости по поводу того, что они-то знают все, а вокруг все нихуя не понимают, что будущего-то на самом деле нет.
>>22239
Забавное невзначай проскочило у зумерка в порыве гнева. В стадию принятия т.е. уже переходим потихоньку, лёд тронулся, это хорошо.
> какую-то банальную мысль
> банальную
Забавное невзначай проскочило у зумерка в порыве гнева. В стадию принятия т.е. уже переходим потихоньку, лёд тронулся, это хорошо.
Где в TF (в naive, без кераса) предобученные сети обычно берут?
Есть какие-то общепринятые библиотеки, или только самому васяно-сборки искать?
Есть какие-то общепринятые библиотеки, или только самому васяно-сборки искать?
>>22279
Любая мысль, которую ты способен осилить - банальная. Потому что ты тупой. Был бы умный - спустился бы со своих небес и нашел бы удаленную работу хотя бы на $100К, ведь нейронки это так просто и в них прогресса нет. Это же заметная хуйня, что как только здесь начинается какой-то разговор по существу (типа >>21860), ты сливаешься, потому что даже в пятистрочном скрипте на керасе разобраться не в состоянии.
Все твои аргументы сводится к демагогии вокруг идеи и реализации. Типа "я нашел пейпер, что транзистор изобрели в 40-е, значит ваш прогресс не прогресс нихуя". У нейросетей на основе химии есть фундаментальные ограничения, с которыми не понятно, что делать. Объяснять нужно, какие, или ты умнее куска дерева? Когда будет понятно - это будет прогресс и будущее. Но всегда найдется хуесос типа тебя, который скажет, что, вообще похуй на этот процесс, главное, что я читал пейпер, где описана банальная идея, а на процесс ее реализации положить вообще, потому что реализация сложных вещей в твой мозг не помещается.
Любая мысль, которую ты способен осилить - банальная. Потому что ты тупой. Был бы умный - спустился бы со своих небес и нашел бы удаленную работу хотя бы на $100К, ведь нейронки это так просто и в них прогресса нет. Это же заметная хуйня, что как только здесь начинается какой-то разговор по существу (типа >>21860), ты сливаешься, потому что даже в пятистрочном скрипте на керасе разобраться не в состоянии.
Все твои аргументы сводится к демагогии вокруг идеи и реализации. Типа "я нашел пейпер, что транзистор изобрели в 40-е, значит ваш прогресс не прогресс нихуя". У нейросетей на основе химии есть фундаментальные ограничения, с которыми не понятно, что делать. Объяснять нужно, какие, или ты умнее куска дерева? Когда будет понятно - это будет прогресс и будущее. Но всегда найдется хуесос типа тебя, который скажет, что, вообще похуй на этот процесс, главное, что я читал пейпер, где описана банальная идея, а на процесс ее реализации положить вообще, потому что реализация сложных вещей в твой мозг не помещается.
>>06660 (OP)
ОП пидор, даже шапку нормальную не осилил сделать, где еще куча бесплатных курсов!?
ОП пидор, даже шапку нормальную не осилил сделать, где еще куча бесплатных курсов!?
>>22311
О как двачного зумера разворотило, лол. Набивайте кашей нового. А это ведь даже не мой пост был. Ну давай, излагай, какие есть фундаментальные ограничения у нейросетей на основе химии.
О как двачного зумера разворотило, лол. Набивайте кашей нового. А это ведь даже не мой пост был. Ну давай, излагай, какие есть фундаментальные ограничения у нейросетей на основе химии.
>>22328
То есть ты и правда не понимаешь
Хуево быть олигофреном (тобой).
>какие есть фундаментальные ограничения у нейросетей на основе химии.
То есть ты и правда не понимаешь
Хуево быть олигофреном (тобой).
>>22239
Грекам были неизвестны эти принципы, они даже до понимания давления пара не дошли, а двигатель Герона был лишь развлекалочкой
Грекам были неизвестны эти принципы, они даже до понимания давления пара не дошли, а двигатель Герона был лишь развлекалочкой
>>10889
Ну мозг же не видит это сразу, он это синтезирует.
У нас несколько колонок есть в коре головного мозга, которые весьма ебануто обрабатывают входящее изображение: сначала они воспринимают полоски, потом синтезируют их в фигуры и т.д.
Вообще мозг очень много чего добавляет к изображению, которое попадает на сетчатку, перед тем, как ты его увидишь.
Самый банальный пример - он его переворачивает.
Если посложнее, то в принципе часть изображения, которое ты видишь на самом деле рисует тебе мозг, фотоны на сетчатку не падают (например, мозг сам закрашивает тебе слепое пятно, или делает заливку цветом сплошных поверхностей).
>При взгляде на абсолютно любой предмет у человека в мозгу сразу же возникает 3D-модель этого объекта.
Ну мозг же не видит это сразу, он это синтезирует.
У нас несколько колонок есть в коре головного мозга, которые весьма ебануто обрабатывают входящее изображение: сначала они воспринимают полоски, потом синтезируют их в фигуры и т.д.
Вообще мозг очень много чего добавляет к изображению, которое попадает на сетчатку, перед тем, как ты его увидишь.
Самый банальный пример - он его переворачивает.
Если посложнее, то в принципе часть изображения, которое ты видишь на самом деле рисует тебе мозг, фотоны на сетчатку не падают (например, мозг сам закрашивает тебе слепое пятно, или делает заливку цветом сплошных поверхностей).
337 Кб, 1920x1318давайти я охлажду ваш пыл!
все дело в том что в науке есть ЦИКЛЫ (как у женщинь хехехе) мы ходем по кругу развевая уже существующеи идеи
реально же унекальных идей очень мало в основном это разные вареации и проекции неких прото идей на канретные предмедные области и языки
могу привезти простой премер - псле 9 класа до 11 класа ты учишь тоже что и до 9 класа но тебе расказывают БОЛЬШЕ и ГЛУБЖЕ (хехехе)
а потом в институте ты прходишь уже вышую математику и математическую физеку которая на ней основывается поэтому постинаешь суть еще глубже
становится ли при этом простая школьная математика какойто ненужной или плохой? НЕТ!
она по прежгнему замечатильная милая хрошая и может многое ни часто умнее нек нужно
но ВЫСШАЯ МАТЕМАТИКА все равно выше и глуюже без нее самолет может и взлетил но НЕ КОСМОЛЕТ
надеюсь всем все объяснил теперь можем дальше жить ДРУЖЕНО
все дело в том что в науке есть ЦИКЛЫ (как у женщинь хехехе) мы ходем по кругу развевая уже существующеи идеи
реально же унекальных идей очень мало в основном это разные вареации и проекции неких прото идей на канретные предмедные области и языки
могу привезти простой премер - псле 9 класа до 11 класа ты учишь тоже что и до 9 класа но тебе расказывают БОЛЬШЕ и ГЛУБЖЕ (хехехе)
а потом в институте ты прходишь уже вышую математику и математическую физеку которая на ней основывается поэтому постинаешь суть еще глубже
становится ли при этом простая школьная математика какойто ненужной или плохой? НЕТ!
она по прежгнему замечатильная милая хрошая и может многое ни часто умнее нек нужно
но ВЫСШАЯ МАТЕМАТИКА все равно выше и глуюже без нее самолет может и взлетил но НЕ КОСМОЛЕТ
надеюсь всем все объяснил теперь можем дальше жить ДРУЖЕНО
>>22447
Школьник, уходи. Космолет бля
>но ВЫСШАЯ МАТЕМАТИКА все равно выше и глуюже без нее самолет может и взлетил но НЕ КОСМОЛЕТ
Школьник, уходи. Космолет бля
>>22311
Хе-хе, "добавить слоёв от балды, нарастить мощностей, захуярить побольше данных и как-нибудь заработает))" называть процессом реализации как-то слишком громко. Ещё нелепей кого-то пафосно обвинять в том что детали данного тупикового пути ему не интересны.
>идея, а на процесс ее реализации
Хе-хе, "добавить слоёв от балды, нарастить мощностей, захуярить побольше данных и как-нибудь заработает))" называть процессом реализации как-то слишком громко. Ещё нелепей кого-то пафосно обвинять в том что детали данного тупикового пути ему не интересны.
143 Кб, 1024x674>>22475
если ты будеш больше и глубже вдумываться в СУТЬ слов и меньше придираться то может быть ты поумнеешь
я между прочем пенсею с 15 лет получаю а ты говориш "школьник"
если ты будеш больше и глубже вдумываться в СУТЬ слов и меньше придираться то может быть ты поумнеешь
я между прочем пенсею с 15 лет получаю а ты говориш "школьник"
>>22525
Судя по уровню грамотности, он действительно инвалид умственного труда.
Судя по уровню грамотности, он действительно инвалид умственного труда.
Походу, первое полезное применение этих ваших GAN'ов https://www.deepnude.com/ До чего техника дошла, теперь можно "раздеть" нейроночкой и погонять лысого на любую сельдь, даже если у вас нет и не будет ее голых фоток.
>>23066
ИИ которое мы заслужили.
ИИ которое мы заслужили.
>>23066
Лол, а ведь в треде кто-то это предлагал, его на смех подняли.
Лол, а ведь в треде кто-то это предлагал, его на смех подняли.
>>23507
Это и есть скучное задротство. Нейронки это бухгалтерия.
Это и есть скучное задротство. Нейронки это бухгалтерия.
Какой прикладной смысл в задаче переноса текста? Кроме кучи сайтов "загрузи фотку, и мы переделаем её под ван Гога". По виду - чисто развлекательная вещь.
>>23605
Основное применение для решений с помощью машинлёрнинха - попил инвесторских денег (для мелких фирм и стартапов) или возможность отчитаться об "сследованиях" перед начальством и поддержании престижа (крупные корпорации). Для этого всё это развлекалово с неграми, вангогами и котами подходит лучше некуда.
Основное применение для решений с помощью машинлёрнинха - попил инвесторских денег (для мелких фирм и стартапов) или возможность отчитаться об "сследованиях" перед начальством и поддержании престижа (крупные корпорации). Для этого всё это развлекалово с неграми, вангогами и котами подходит лучше некуда.
>>23672
>>23682
Ну вам жи онскозал. Если не видишь ничего революционного и прорывного в перерисовывании котов под Ван Гога, а тем более если закрадывается мысль что все это наебалово с целью развести инвестора или работодателя, то ты нечеткий петух. И похуй, что по факту пока ничего интереснее приложения для онанистов за 50$ не создали.
>>23682
Ну вам жи онскозал. Если не видишь ничего революционного и прорывного в перерисовывании котов под Ван Гога, а тем более если закрадывается мысль что все это наебалово с целью развести инвестора или работодателя, то ты нечеткий петух. И похуй, что по факту пока ничего интереснее приложения для онанистов за 50$ не создали.
>>22503
Откуда ты, блядь, это знаешь. Из хайповых постов в интернете.
Программистом, знаешь ли, еще проще работать: набиваешь какие-то английские слова в компьютер, а тебе платят 300к.
>Хе-хе, "добавить слоёв от балды, нарастить мощностей, захуярить побольше данных и как-нибудь заработает))" называть процессом реализации как-то слишком громко.
Откуда ты, блядь, это знаешь. Из хайповых постов в интернете.
Программистом, знаешь ли, еще проще работать: набиваешь какие-то английские слова в компьютер, а тебе платят 300к.
>>23605
Чтобы переделать что-то под Ван Гога, нужно понять, а что такое этот Ван Гог, то есть формализовать понятие стиля картины, и отделить стиль от контента. Поэтому везде, где у тебя есть задача разделить твое изображение на контентную (пространственно переменную) и стилевую (фактически - любую пространственно инвариантную), тебе есть смысл смотреть, какой state or art решения этой задачи и применять его.
>Кроме кучи сайтов "загрузи фотку, и мы переделаем её под ван Гога". По виду - чисто развлекательная вещь.
Чтобы переделать что-то под Ван Гога, нужно понять, а что такое этот Ван Гог, то есть формализовать понятие стиля картины, и отделить стиль от контента. Поэтому везде, где у тебя есть задача разделить твое изображение на контентную (пространственно переменную) и стилевую (фактически - любую пространственно инвариантную), тебе есть смысл смотреть, какой state or art решения этой задачи и применять его.
>>23805
Так я и спрашиваю, где возникает в реальности такая задача! Пока что я нашёл только мысль, что эту штуку можно использовать для аугментации данных ы других задачах.
>где у тебя есть задача разделить твое изображение на контентную и стилевую
Так я и спрашиваю, где возникает в реальности такая задача! Пока что я нашёл только мысль, что эту штуку можно использовать для аугментации данных ы других задачах.
>>23805
Ага, щас. Вставить просто все данные по пикселям и как-то так оно там заработает))
>понять, а что такое этот Ван Гог, то есть формализовать понятие стиля картины, и отделить стиль от контента
Ага, щас. Вставить просто все данные по пикселям и как-то так оно там заработает))
Сап хинтоннач, помоги.
Вот есть у меня корреляционная матрица для параметров а,б,с. Нахожу я значит её собственные векторы, а как узнать к какому параметру соотвествует каждый вектор, ведь компутер просто мне выдаст вектор отсортированные по собственным значениям. Или это ещё можно узнать через свд?
Вот есть у меня корреляционная матрица для параметров а,б,с. Нахожу я значит её собственные векторы, а как узнать к какому параметру соотвествует каждый вектор, ведь компутер просто мне выдаст вектор отсортированные по собственным значениям. Или это ещё можно узнать через свд?
>>24165
a,b,c - это что, скаляры, векторы?
a,b,c - это что, скаляры, векторы?
>>24165
Эти вектора соответствуют главным компонентам, а не параметрам исходной задачи.
Эти вектора соответствуют главным компонентам, а не параметрам исходной задачи.
>>24165
не непорядок что значит собств вектора соотв параметрам?
объясни расскажи зачем тебе что ты собираешься получить
не непорядок что значит собств вектора соотв параметрам?
объясни расскажи зачем тебе что ты собираешься получить
В общем, я решил накодить что-то наколеночное по этим вашим нейронкам. Сам я крестовик, но решил сделать хоть что-то на питоне. Прогуглил этот ваш керас. Сделал apt install python3 , потом какие-то там там pip install. Вроде всё поставил и вроде всё заработало (заебенил hello world и указал import tensorflow и keras, завелось). Далее представил себе такую задачку: классификация картинки по четырём классам. Придумал примерно такую структуру кода.
У меня четыре функции генератора картинок (через PIL), которые возвращают массив пикселей или что-там (вообще не ебу что). Я создаю нейронную сеть, потом беру картинку из одного генератора картинок. Потом эту картинку скармливаю нейронке, она мне даёт на выходе какие-то четыре циферки (по одной циферке на каждый класс). Если я вижу, что нейронка неправильно классифицировала, то вызываю метод ты_не_права_на_самом_деле_класс_такой(индекс_класса). Если же я вижу что нейронка правильно классифицировала (на нужном выходе коэффициент более 0.5), вызываю метод молодец_нейронка_правильно_узнала_класс(индекс_класса). Я повторяю это 100к раз и у меня получится нейронка, которая классифицирует с хорошей точностью. ТАК Я СЕБЕ ВСЁ ПРЕДСТАВЛЯЛ.
А НА САМОМ ДЕЛЕ:
1. открыл исходник https://github.com/keras-team/keras/blob/master/examples/mnist_mlp.py
2. увидел
Сразу пошла какая-то магия. Метод ОТКУДА-ТО ГРУЗИТ данные и выдаёт pair из двух массивов, в каждом из которых какие-то непонятные объекты. Просто какая-то магия
3. потом какие-то вычисления непонятно зачем. В общем, опять МАГИЯ
4. потом вижу создание сетки и её компиляцию. Тут мне понятно.
5. Потом какой-то метод fit, который вообще ни о чём мне говорит. Но по параметрам я вижу, что это наверно обучение
6. Потом
как я понял, это само использование сетки
Бля, это пиздец. Какой-то код для питоно-имбецилов, которые привыкли копипастить какую-то магию и радоваться как дети после того как это заработает. НО! Я не хочу сраться. Мне нужна простая хуйня. Где взять пример, который бы демонстрировал обучение и использование нейронки по принципу постоянного обучения, когда я на каждом одиночном примере говорю ты_не_права_на_самом_деле_класс_такой(индекс_класса) или молодец_нейронка_правильно_узнала_класс(индекс_класса)? Чтобы моя программа, например, брала результат от нейронки, использовала его в своих целях, а потом через какое-то время сказала нейронке "вот тут ты была права, а вот тут нет" и чтобы нейронка дообучалась на лету во время использования.
У меня четыре функции генератора картинок (через PIL), которые возвращают массив пикселей или что-там (вообще не ебу что). Я создаю нейронную сеть, потом беру картинку из одного генератора картинок. Потом эту картинку скармливаю нейронке, она мне даёт на выходе какие-то четыре циферки (по одной циферке на каждый класс). Если я вижу, что нейронка неправильно классифицировала, то вызываю метод ты_не_права_на_самом_деле_класс_такой(индекс_класса). Если же я вижу что нейронка правильно классифицировала (на нужном выходе коэффициент более 0.5), вызываю метод молодец_нейронка_правильно_узнала_класс(индекс_класса). Я повторяю это 100к раз и у меня получится нейронка, которая классифицирует с хорошей точностью. ТАК Я СЕБЕ ВСЁ ПРЕДСТАВЛЯЛ.
А НА САМОМ ДЕЛЕ:
1. открыл исходник https://github.com/keras-team/keras/blob/master/examples/mnist_mlp.py
2. увидел
>(x_train, y_train), (x_test, y_test) = mnist.load_data()
Сразу пошла какая-то магия. Метод ОТКУДА-ТО ГРУЗИТ данные и выдаёт pair из двух массивов, в каждом из которых какие-то непонятные объекты. Просто какая-то магия
3. потом какие-то вычисления непонятно зачем. В общем, опять МАГИЯ
4. потом вижу создание сетки и её компиляцию. Тут мне понятно.
5. Потом какой-то метод fit, который вообще ни о чём мне говорит. Но по параметрам я вижу, что это наверно обучение
6. Потом
>score = model.evaluate(x_test, y_test, verbose=0)
как я понял, это само использование сетки
Бля, это пиздец. Какой-то код для питоно-имбецилов, которые привыкли копипастить какую-то магию и радоваться как дети после того как это заработает. НО! Я не хочу сраться. Мне нужна простая хуйня. Где взять пример, который бы демонстрировал обучение и использование нейронки по принципу постоянного обучения, когда я на каждом одиночном примере говорю ты_не_права_на_самом_деле_класс_такой(индекс_класса) или молодец_нейронка_правильно_узнала_класс(индекс_класса)? Чтобы моя программа, например, брала результат от нейронки, использовала его в своих целях, а потом через какое-то время сказала нейронке "вот тут ты была права, а вот тут нет" и чтобы нейронка дообучалась на лету во время использования.
В общем, я решил накодить что-то наколеночное по этим вашим нейронкам. Сам я крестовик, но решил сделать хоть что-то на питоне. Прогуглил этот ваш керас. Сделал apt install python3 , потом какие-то там там pip install. Вроде всё поставил и вроде всё заработало (заебенил hello world и указал import tensorflow и keras, завелось). Далее представил себе такую задачку: классификация картинки по четырём классам. Придумал примерно такую структуру кода.
У меня четыре функции генератора картинок (через PIL), которые возвращают массив пикселей или что-там (вообще не ебу что). Я создаю нейронную сеть, потом беру картинку из одного генератора картинок. Потом эту картинку скармливаю нейронке, она мне даёт на выходе какие-то четыре циферки (по одной циферке на каждый класс). Если я вижу, что нейронка неправильно классифицировала, то вызываю метод ты_не_права_на_самом_деле_класс_такой(индекс_класса). Если же я вижу что нейронка правильно классифицировала (на нужном выходе коэффициент более 0.5), вызываю метод молодец_нейронка_правильно_узнала_класс(индекс_класса). Я повторяю это 100к раз и у меня получится нейронка, которая классифицирует с хорошей точностью. ТАК Я СЕБЕ ВСЁ ПРЕДСТАВЛЯЛ.
А НА САМОМ ДЕЛЕ:
1. открыл исходник https://github.com/keras-team/keras/blob/master/examples/mnist_mlp.py
2. увидел
Сразу пошла какая-то магия. Метод ОТКУДА-ТО ГРУЗИТ данные и выдаёт pair из двух массивов, в каждом из которых какие-то непонятные объекты. Просто какая-то магия
3. потом какие-то вычисления непонятно зачем. В общем, опять МАГИЯ
4. потом вижу создание сетки и её компиляцию. Тут мне понятно.
5. Потом какой-то метод fit, который вообще ни о чём мне говорит. Но по параметрам я вижу, что это наверно обучение
6. Потом
как я понял, это само использование сетки
Бля, это пиздец. Какой-то код для питоно-имбецилов, которые привыкли копипастить какую-то магию и радоваться как дети после того как это заработает. НО! Я не хочу сраться. Мне нужна простая хуйня. Где взять пример, который бы демонстрировал обучение и использование нейронки по принципу постоянного обучения, когда я на каждом одиночном примере говорю ты_не_права_на_самом_деле_класс_такой(индекс_класса) или молодец_нейронка_правильно_узнала_класс(индекс_класса)? Чтобы моя программа, например, брала результат от нейронки, использовала его в своих целях, а потом через какое-то время сказала нейронке "вот тут ты была права, а вот тут нет" и чтобы нейронка дообучалась на лету во время использования.
У меня четыре функции генератора картинок (через PIL), которые возвращают массив пикселей или что-там (вообще не ебу что). Я создаю нейронную сеть, потом беру картинку из одного генератора картинок. Потом эту картинку скармливаю нейронке, она мне даёт на выходе какие-то четыре циферки (по одной циферке на каждый класс). Если я вижу, что нейронка неправильно классифицировала, то вызываю метод ты_не_права_на_самом_деле_класс_такой(индекс_класса). Если же я вижу что нейронка правильно классифицировала (на нужном выходе коэффициент более 0.5), вызываю метод молодец_нейронка_правильно_узнала_класс(индекс_класса). Я повторяю это 100к раз и у меня получится нейронка, которая классифицирует с хорошей точностью. ТАК Я СЕБЕ ВСЁ ПРЕДСТАВЛЯЛ.
А НА САМОМ ДЕЛЕ:
1. открыл исходник https://github.com/keras-team/keras/blob/master/examples/mnist_mlp.py
2. увидел
>(x_train, y_train), (x_test, y_test) = mnist.load_data()
Сразу пошла какая-то магия. Метод ОТКУДА-ТО ГРУЗИТ данные и выдаёт pair из двух массивов, в каждом из которых какие-то непонятные объекты. Просто какая-то магия
3. потом какие-то вычисления непонятно зачем. В общем, опять МАГИЯ
4. потом вижу создание сетки и её компиляцию. Тут мне понятно.
5. Потом какой-то метод fit, который вообще ни о чём мне говорит. Но по параметрам я вижу, что это наверно обучение
6. Потом
>score = model.evaluate(x_test, y_test, verbose=0)
как я понял, это само использование сетки
Бля, это пиздец. Какой-то код для питоно-имбецилов, которые привыкли копипастить какую-то магию и радоваться как дети после того как это заработает. НО! Я не хочу сраться. Мне нужна простая хуйня. Где взять пример, который бы демонстрировал обучение и использование нейронки по принципу постоянного обучения, когда я на каждом одиночном примере говорю ты_не_права_на_самом_деле_класс_такой(индекс_класса) или молодец_нейронка_правильно_узнала_класс(индекс_класса)? Чтобы моя программа, например, брала результат от нейронки, использовала его в своих целях, а потом через какое-то время сказала нейронке "вот тут ты была права, а вот тут нет" и чтобы нейронка дообучалась на лету во время использования.
>>24414
У тебя представление неправильное. Нет таких функций, через которые ты говоришь нейронке, правильно она классифицирует или нет. Есть одна функция ошибки, которая должна быть непрерывной, чтобы ее можно было оптимизировать. Она выдает большие значения при ошибках и маленькие при правильных ответах. Вот вроде бы ты плюсовик, элита общества. Я думал мы все искатели, которых интересует, как реально вещи устроены, а ты даже книжку не удосужился почитать. Попробуй написать на чистых крестах простую нейронку с фиксированным числом слоев и нейронов на слое, которая по честному вычисляет градиенты и обновляет веса, тогда все поймешь.
У тебя представление неправильное. Нет таких функций, через которые ты говоришь нейронке, правильно она классифицирует или нет. Есть одна функция ошибки, которая должна быть непрерывной, чтобы ее можно было оптимизировать. Она выдает большие значения при ошибках и маленькие при правильных ответах. Вот вроде бы ты плюсовик, элита общества. Я думал мы все искатели, которых интересует, как реально вещи устроены, а ты даже книжку не удосужился почитать. Попробуй написать на чистых крестах простую нейронку с фиксированным числом слоев и нейронов на слое, которая по честному вычисляет градиенты и обновляет веса, тогда все поймешь.
>>24414
Ты просто тупенький, не способный прочитать азы теории и документацию библиотеки.
Ты просто тупенький, не способный прочитать азы теории и документацию библиотеки.
70 Кб, 760x551>>24423
Год назад я кодил на С хеллоуворлдную сеточку на основе вот этой хуйни https://github.com/libfann/fann
Я сделал 8-слойную сетку (не понимаю зачем 8 слоёв). На пикрелейтеде кусок кода. Вот там
получение результата
я уже не помню, что это и зачем, но судя по всему, это дообучение сетки на лету. Я точно помню, что работало всё охуенно и обучалось просто на ура и я достигал результата 99%.
Вот, как видишь, у меня была нейронка которая дообучалась на лету.
Год назад я кодил на С хеллоуворлдную сеточку на основе вот этой хуйни https://github.com/libfann/fann
Я сделал 8-слойную сетку (не понимаю зачем 8 слоёв). На пикрелейтеде кусок кода. Вот там
>fann_type* result = fann_run(san, &source);
получение результата
>get_check_result_and_get_desired(source_handle, result, &desired);
>fann_compute_MSE(san, &desired);
>fann_backpropagate_MSE(san);
>fann_update_weights(san);
я уже не помню, что это и зачем, но судя по всему, это дообучение сетки на лету. Я точно помню, что работало всё охуенно и обучалось просто на ура и я достигал результата 99%.
Вот, как видишь, у меня была нейронка которая дообучалась на лету.
>>24428
Это можно сделать, но я не уверен, что с tensorflow у тебя получится. Там у данные должны быть заранее размечены, а ты хочешь размечать их по ходу дела. Попробуй pytorch. И я все еще предлагаю написать тебе нейронку на чистом cpp (без сторонних либ, только stl и мб boost), чтобы ты не думал, что это какая-то магия.
Это можно сделать, но я не уверен, что с tensorflow у тебя получится. Там у данные должны быть заранее размечены, а ты хочешь размечать их по ходу дела. Попробуй pytorch. И я все еще предлагаю написать тебе нейронку на чистом cpp (без сторонних либ, только stl и мб boost), чтобы ты не думал, что это какая-то магия.
>>24438
Интересное бизнесу - может быть, хотя сейчас бизнес уэб интереснее мне кажется, но это смотря какой бизнес.
Интереснее людям - только если ты отбитый ментальный инвалид, как супчик выше.
Интересное бизнесу - может быть, хотя сейчас бизнес уэб интереснее мне кажется, но это смотря какой бизнес.
Интереснее людям - только если ты отбитый ментальный инвалид, как супчик выше.
>>24436
А в чём основная разница в возможностях между тензоркерасом и торчем?
А в чём основная разница в возможностях между тензоркерасом и торчем?
>>23808
В реальности это все так или иначе связано с обработкой изображений, то есть пригодилось бы для художников, и т. п., но им не интересен глобальный перенос стиля. Поэтому там решают алгоритмы типа CycleGAN и т. п. При этом людей в теме очень мало, вопреки кукарекам о хайпе, поэтому я оцениваю появление алгоритмов в фотошопах и т. п. только лет через 5.
Для того, чтобы нейронка училась классифицировать контент, а не текстуры, есть и более удобные способы регуляризации на лету. Проблема в том, что, опять же, на вершине айсберга сплошные имейджнеты и кагглы, где идет соревнование между готовыми датасетами. Аугментация на лету намного более востребована, но менее интересна.
В реальности это все так или иначе связано с обработкой изображений, то есть пригодилось бы для художников, и т. п., но им не интересен глобальный перенос стиля. Поэтому там решают алгоритмы типа CycleGAN и т. п. При этом людей в теме очень мало, вопреки кукарекам о хайпе, поэтому я оцениваю появление алгоритмов в фотошопах и т. п. только лет через 5.
>Пока что я нашёл только мысль, что эту штуку можно использовать для аугментации данных ы других задачах.
Для того, чтобы нейронка училась классифицировать контент, а не текстуры, есть и более удобные способы регуляризации на лету. Проблема в том, что, опять же, на вершине айсберга сплошные имейджнеты и кагглы, где идет соревнование между готовыми датасетами. Аугментация на лету намного более востребована, но менее интересна.
>>23808
да, для аугментации как тут https://www.youtube.com/watch?v=eUBiiBS1mj0 (или наоборот, чтобы уменьшить количество данных для модели)
или типа того (не совсем, но близко) https://www.youtube.com/watch?v=PCBTZh41Ris
да, для аугментации как тут https://www.youtube.com/watch?v=eUBiiBS1mj0 (или наоборот, чтобы уменьшить количество данных для модели)
или типа того (не совсем, но близко) https://www.youtube.com/watch?v=PCBTZh41Ris
>>24414
Это называется reinforcement learning. Так классификаторы не учат. слишком медленно.
Ха-ха-ха. Чувак, ты сейчас доебался до того, что в printf("hello, world\n") сплошная магия, \n какой-то, и никто не объясняет, как система рисует тебе окно cmd.exe. Или нахуй, не имбецил, в общем.
> Если я вижу, что нейронка неправильно классифицировала, то вызываю метод ты_не_права_на_самом_деле_класс_такой(индекс_класса). Если же я вижу что нейронка правильно классифицировала (на нужном выходе коэффициент более 0.5), вызываю метод молодец_нейронка_правильно_узнала_класс(индекс_класса)
Это называется reinforcement learning. Так классификаторы не учат. слишком медленно.
>Какой-то код для питоно-имбецилов, которые привыкли копипастить какую-то магию и радоваться как дети после того как это заработает. НО! Я не хочу сраться.
Ха-ха-ха. Чувак, ты сейчас доебался до того, что в printf("hello, world\n") сплошная магия, \n какой-то, и никто не объясняет, как система рисует тебе окно cmd.exe. Или нахуй, не имбецил, в общем.
>>24428
Неимбецил добился оверфита и радуется.
> Я точно помню, что работало всё охуенно и обучалось просто на ура и я достигал результата 99%.
Неимбецил добился оверфита и радуется.
>>24465
С чего ты взял, что там подкрепление? Данные просто размечаются не перед обучением, а незадолго до вычисления ошибки. Наверняка подойдёт обычная кросс-энтропия. Главное, чтобы для каждого инпута был единственный желаемый результат, иначе получится шляпа. Ну и естественно это будет очень медленно обучаться, так как за раз будет прогоняться один пример, и в процессе будет еще какое-то стороннее вычисление, которое будет узнавать реальный класс. Лучше конечно разметить заранее.
С чего ты взял, что там подкрепление? Данные просто размечаются не перед обучением, а незадолго до вычисления ошибки. Наверняка подойдёт обычная кросс-энтропия. Главное, чтобы для каждого инпута был единственный желаемый результат, иначе получится шляпа. Ну и естественно это будет очень медленно обучаться, так как за раз будет прогоняться один пример, и в процессе будет еще какое-то стороннее вычисление, которое будет узнавать реальный класс. Лучше конечно разметить заранее.
>>24472
Бизнес-дебил, ты? Уже посчитал, какой прирост в кликах вашему говносайту дала готовая нейронка с пайторча?
Бизнес-дебил, ты? Уже посчитал, какой прирост в кликах вашему говносайту дала готовая нейронка с пайторча?
>>24473
С моим говносайтом всё в порядке, лавешка мутится, спасибо за интерес. А у вас как там в котельной, слесарёк? Мужичьё ещё не всё спилось?
С моим говносайтом всё в порядке, лавешка мутится, спасибо за интерес. А у вас как там в котельной, слесарёк? Мужичьё ещё не всё спилось?
115 Кб, 570x626>>06660 (OP)
Считаю, что нейронки говно, сам маг Экспертных Систем, так вот, можно ли как автоматом генерировать правила для ЭС, ну там статистика или какая у вас магия еще есть?
Считаю, что нейронки говно, сам маг Экспертных Систем, так вот, можно ли как автоматом генерировать правила для ЭС, ну там статистика или какая у вас магия еще есть?
А везде где есть ограничение по времени выполнения ноутбуков, я могу запустить снова и продолжить обучение или придётся заново весь ноут запускать?
>>24595
Скорее всего, придётся заново. Так что сохраняй промежуточные веса.
Скорее всего, придётся заново. Так что сохраняй промежуточные веса.
>>24550
Ну и как там в 70х? Можно конечно, любой метод идентификации систем на выбор. Те же модели нечеткого вывода не только автоматом генерируют такие правила, но и делают это полностью прозрачно и в готовом лингвистическом виде. Даже если система описывается десятками тысяч правил, все равно есть методы представить их в виде, пригодном для анализа человеком.
> Считаю, что нейронки говно, сам маг Экспертных Систем, так вот, можно ли как автоматом генерировать правила для ЭС, ну там статистика или какая у вас магия еще есть?
Ну и как там в 70х? Можно конечно, любой метод идентификации систем на выбор. Те же модели нечеткого вывода не только автоматом генерируют такие правила, но и делают это полностью прозрачно и в готовом лингвистическом виде. Даже если система описывается десятками тысяч правил, все равно есть методы представить их в виде, пригодном для анализа человеком.
>>24621
Заебись, ИИ типа MYCIN реально работало, поджигая пердаки докторишкам, а не эти ваши котики.
Кокие? Мне типа поиск скрытых закономерностей или типа того.
>Ну и как там в 70х?
Заебись, ИИ типа MYCIN реально работало, поджигая пердаки докторишкам, а не эти ваши котики.
>есть методы представить
Кокие? Мне типа поиск скрытых закономерностей или типа того.
>>24414
Крестодебилы привыкли дрочить указатели и контролировать каждый чих, а тут либа сама за тебя всю рутину делает! Охуеть, что творится, люди добрые, как так можно-то!? Так ведь и программисты станут не нужны.
Крестодебилы привыкли дрочить указатели и контролировать каждый чих, а тут либа сама за тебя всю рутину делает! Охуеть, что творится, люди добрые, как так можно-то!? Так ведь и программисты станут не нужны.
141 Кб, 800x450>>24677
К сожалению, индустрия существенно отупела. Теперь даже умственно отсталые вроде тебя могут на коленке написать сетку и самоутверждаться в интернете.
К сожалению, индустрия существенно отупела. Теперь даже умственно отсталые вроде тебя могут на коленке написать сетку и самоутверждаться в интернете.
Аноны, расскажите, как "искать закономерности в данных"? Вот приходит заказчик, даёт датасет и говорит: "найди мне закономерности". Чего он хочет и как ему это дать?
>>24690
Если брейнлет, то матрица корреляций, PCA и регрессия. Если нормальный пацан, то статистические тесты на зависимость.
Если брейнлет, то матрица корреляций, PCA и регрессия. Если нормальный пацан, то статистические тесты на зависимость.
>>24722
Ага, и будет результат как в классическом примере - продажи мороженого на пляже увеличивают количество нападения акул, заебись выявили закономерность. Нет, это так не работает. Если не брейнлет и в датасете больше 5-10 переменных, то датамайнинг нужен. Для начала карты Кохонена и decision tree, а дальше по обстоятельствам.
> Если нормальный пацан, то статистические тесты на зависимость.
Ага, и будет результат как в классическом примере - продажи мороженого на пляже увеличивают количество нападения акул, заебись выявили закономерность. Нет, это так не работает. Если не брейнлет и в датасете больше 5-10 переменных, то датамайнинг нужен. Для начала карты Кохонена и decision tree, а дальше по обстоятельствам.
>>24414
Так оно и есть. Говно для мартышек. Вообще не советую начинать с тензорплова, лучше pytorch. Но если ты хочешь всё понять и разобраться как оно и что, то придется копаться в документации или на крайняк полностью учить как вообще эти нейронам устроены.
Данные, которые выгружаются можно преобразовать из обычного списка, вычисления там простые и все они не происходят в коде, а компилируются как сама модель. Метод обучения автоматический, я вообще не ебу каким образом они его связали. Все эти библиотеки и фреймворки действительно магические, работают по нажатию кнопки, нигде нет информации о том, как волшебная функция определяет где какой слой и как интерпретировать мою хиленькую звёздочку умножения, да так что оно всё работает. Честное слово, будто по велению господа вся эта каша собирается в упорядоченный граф. Вообще ебать. Я не понимаю этого.
Так оно и есть. Говно для мартышек. Вообще не советую начинать с тензорплова, лучше pytorch. Но если ты хочешь всё понять и разобраться как оно и что, то придется копаться в документации или на крайняк полностью учить как вообще эти нейронам устроены.
Данные, которые выгружаются можно преобразовать из обычного списка, вычисления там простые и все они не происходят в коде, а компилируются как сама модель. Метод обучения автоматический, я вообще не ебу каким образом они его связали. Все эти библиотеки и фреймворки действительно магические, работают по нажатию кнопки, нигде нет информации о том, как волшебная функция определяет где какой слой и как интерпретировать мою хиленькую звёздочку умножения, да так что оно всё работает. Честное слово, будто по велению господа вся эта каша собирается в упорядоченный граф. Вообще ебать. Я не понимаю этого.
>>24789
Ха-ха-ха. Когда ты переходишь от линейных моделей к нелинейным, то шансы найти ложную закономерность только выше.
>Нет, это так не работает.
>карты Кохонена и decision tree
Ха-ха-ха. Когда ты переходишь от линейных моделей к нелинейным, то шансы найти ложную закономерность только выше.
>>24824
К несчастью, то ж бывает у людей:
Как ни полезна вещь, — цены не зная ей,
Невежда про нее свой толк все к худу клонит;
А ежели невежда познатней,
Так он ее еще и гонит.
К несчастью, то ж бывает у людей:
Как ни полезна вещь, — цены не зная ей,
Невежда про нее свой толк все к худу клонит;
А ежели невежда познатней,
Так он ее еще и гонит.
Имеет смысл учить R lang, если планирую стать биоинформатиком?
Или лучше освоить полностью Python?
Или лучше освоить полностью Python?
>>24834
Выучи и то, и другое. И библиотеки посмотри, есть надежда, что пакеты R перенесут в питон полностью и наконец-то закроют этот ублюдочный язык.
Выучи и то, и другое. И библиотеки посмотри, есть надежда, что пакеты R перенесут в питон полностью и наконец-то закроют этот ублюдочный язык.
>>24830
А причём здесь множественная проверка? Он же про косвенную корреляцию.
А причём здесь множественная проверка? Он же про косвенную корреляцию.
>>24839
Лол. R изначально язык обработки данных, в отличие от каличного письтона, где подобное возможно только через костыли. Для того, чтобы работать в R, его просто нужно поставить из инсталлятора и все, он блядь просто работает. Не тащит какие-то ебучие гигабайты зависимостей, а просто работает. Пакет в нем поставить можно просто распаковав архив вручную в каталог с либами, и оно будет работать! Ему похуй на русские буквы в путях, похуй вообще на все. Я ещё ни разу не сталкивался с проблемой что в R что-то не работает, этого просто нет, неважно откуда у тебя руки. Если нужны разные версии, просто тупо ставишь в два клика все нужные и они просто работают! В R надо реально тыкать еблом всех разработчиков языков программирования как в недостижимый идеал. Про пакеты я вообще молчу, там реализовано просто вообще все для любой работы с любыми данными. Ни в каких письтонах этого не будет никогда.
> есть надежда, что пакеты R перенесут в питон полностью и наконец-то закроют этот ублюдочный язык.
Лол. R изначально язык обработки данных, в отличие от каличного письтона, где подобное возможно только через костыли. Для того, чтобы работать в R, его просто нужно поставить из инсталлятора и все, он блядь просто работает. Не тащит какие-то ебучие гигабайты зависимостей, а просто работает. Пакет в нем поставить можно просто распаковав архив вручную в каталог с либами, и оно будет работать! Ему похуй на русские буквы в путях, похуй вообще на все. Я ещё ни разу не сталкивался с проблемой что в R что-то не работает, этого просто нет, неважно откуда у тебя руки. Если нужны разные версии, просто тупо ставишь в два клика все нужные и они просто работают! В R надо реально тыкать еблом всех разработчиков языков программирования как в недостижимый идеал. Про пакеты я вообще молчу, там реализовано просто вообще все для любой работы с любыми данными. Ни в каких письтонах этого не будет никогда.
>>24895
Говно нечиотко петух кок заебал найди работу говно ублюдочность ниронки
Говно нечиотко петух кок заебал найди работу говно ублюдочность ниронки
>>24968
А зачем? Скажем, есть датасет, с ним нужно что-то сделать. Допустим, сделали. Для чего это решение куда-то встраивать, в какое-то приложение? Приведи пример что ли, когда, кому и для чего это нужно.
А зачем? Скажем, есть датасет, с ним нужно что-то сделать. Допустим, сделали. Для чего это решение куда-то встраивать, в какое-то приложение? Приведи пример что ли, когда, кому и для чего это нужно.
>>24690
мб кластеринг запусти с разным колличеством классов, и в классе уже можно что-то глянуть. А так pca t-sne всякие, выбросы можно глянуть, стат тесты запустить
мб кластеринг запусти с разным колличеством классов, и в классе уже можно что-то глянуть. А так pca t-sne всякие, выбросы можно глянуть, стат тесты запустить
1,9 Мб, 320x240>>25011
Если строится модель (какая угодно простая,хоть линейная регрессия), то она уже направлена на то, чтобы предсказывать некий результат на новых данных, которые ей подают пользователи - а значит, её нужно встроить в какое-то приложение для пользователей. Банк хочет кредитный скоринг? Классификатор нужно встроить в приложение, в которое девушка-операционистка будет вбивать данные. Банк хочет предсказывать курсы валют? Модель временного ряда нужно встроить в торгового робота. Хотя бы через доступ к серверу, где эти модели крутятся. Одна из целей машоба - автоматизация принятия решений, чтобы не пришлось каждый раз человека привлекать на исследование.
Если строится модель (какая угодно простая,хоть линейная регрессия), то она уже направлена на то, чтобы предсказывать некий результат на новых данных, которые ей подают пользователи - а значит, её нужно встроить в какое-то приложение для пользователей. Банк хочет кредитный скоринг? Классификатор нужно встроить в приложение, в которое девушка-операционистка будет вбивать данные. Банк хочет предсказывать курсы валют? Модель временного ряда нужно встроить в торгового робота. Хотя бы через доступ к серверу, где эти модели крутятся. Одна из целей машоба - автоматизация принятия решений, чтобы не пришлось каждый раз человека привлекать на исследование.
>>25174
С этим проблем точно нет. Неоднократно попадались R пакеты с интерфейсом через браузер. Как я понимаю, при желании это можно к чему угодно прикрутить.
> Хотя бы через доступ к серверу, где эти модели крутятся
С этим проблем точно нет. Неоднократно попадались R пакеты с интерфейсом через браузер. Как я понимаю, при желании это можно к чему угодно прикрутить.
>>25174
Ебать, еще один кукаретик с гениальной идеей "А ДАВАЙТЕ КУРХС В НЕЙРОНКУ ПАМЕСТИМ И БУДИМ ЗАРАБАТЫВАТЬ ЫЫЫ". Как же вы заебали.
>Банк хочет предсказывать курсы валют
Ебать, еще один кукаретик с гениальной идеей "А ДАВАЙТЕ КУРХС В НЕЙРОНКУ ПАМЕСТИМ И БУДИМ ЗАРАБАТЫВАТЬ ЫЫЫ". Как же вы заебали.
>>25278
Японские свечи вполне можно детектировать и автоматизировать мащобчиком, как и многое другое.
Японские свечи вполне можно детектировать и автоматизировать мащобчиком, как и многое другое.
>>25279
Ты вообще не понимаещь, какой бред ты несешь как и 95% машобщиков с нулевым пониманием предметной области
Если ты умеешь прогнозировать курс, предлагаю выкладывать в тред результаты предсказаний, а еще лучше торговать на свои деньги с пруфами.
Ты вообще не понимаещь, какой бред ты несешь как и 95% машобщиков с нулевым пониманием предметной области
Если ты умеешь прогнозировать курс, предлагаю выкладывать в тред результаты предсказаний, а еще лучше торговать на свои деньги с пруфами.
>>25282
У меня есть компетенции только по второму вопросу.
Да и там скорее всего тоже пиздешь, ты же явно простой кукаретик.
У меня есть компетенции только по второму вопросу.
Да и там скорее всего тоже пиздешь, ты же явно простой кукаретик.
>>25283
Рассказывай. Почему курс нельзя предсказать? Типа там случайное блуждание, совсем-совсем случайное, прямо как в TRNG, вот это все. Или что?
> У меня есть компетенции только по второму вопросу.
Рассказывай. Почему курс нельзя предсказать? Типа там случайное блуждание, совсем-совсем случайное, прямо как в TRNG, вот это все. Или что?
>>25283
Так поделись, лишним не будет. Я слышал, что алгоритмическая торговля в основном направлена на автоматизацию крупных сделок, а не на прибыль, но есть же black box trading?
Так поделись, лишним не будет. Я слышал, что алгоритмическая торговля в основном направлена на автоматизацию крупных сделок, а не на прибыль, но есть же black box trading?
>>25353
Смотря какое будущее, Мань. Если ты навернешь несвежего хавчика, твое ближайшее будущее очень несложно предсказать. Чаще всего проблемы с предсказанием сводятся к недостаточной точности и сложности построенной для предсказания модели системы.
Смотря какое будущее, Мань. Если ты навернешь несвежего хавчика, твое ближайшее будущее очень несложно предсказать. Чаще всего проблемы с предсказанием сводятся к недостаточной точности и сложности построенной для предсказания модели системы.
>>25278
>>25283
Читай: еще один кукаретик обосрался и уверен, что раз у него не получилось слезть с мамкиной шеи со своей гениальной идеи, то у него теперь есть КОМПЕТЕНЦИИ и способности кукарекать о том, что торговых ботов не существует.
>Ебать, еще один кукаретик с гениальной идеей "А ДАВАЙТЕ КУРХС В НЕЙРОНКУ ПАМЕСТИМ И БУДИМ ЗАРАБАТЫВАТЬ ЫЫЫ". Как же
>>25283
>У меня есть компетенции только по второму вопросу.
Читай: еще один кукаретик обосрался и уверен, что раз у него не получилось слезть с мамкиной шеи со своей гениальной идеи, то у него теперь есть КОМПЕТЕНЦИИ и способности кукарекать о том, что торговых ботов не существует.
Валерий Бабушкин охуевший ЧСВ! Но он мне нравится! Крутой чел.
>>25697
SVM наверно, лол
SVM наверно, лол
>>25704
Ещё один иксперд. SVM уже в 90х использовали для нелинейных задач, линейный пример просто для описания идеи, ты дальше этого педивикию и не осилил, да?
> Потому что линейно разделимых задач меньшинство.
Ещё один иксперд. SVM уже в 90х использовали для нелинейных задач, линейный пример просто для описания идеи, ты дальше этого педивикию и не осилил, да?
>>25931
Все зависит от определения. Для нормальных людей SVM это линейный классификатор с особым лоссом. Петухи начинают вспоминать про кернел-трики. Проблема в том, что я могу взять ResNet-9000 с 9000 слоями, захуярить в конце hinge loss и звявить, что это у меня кернел трик такой, а так это SVM.
Но это нужно конченным петухом быть.
Все зависит от определения. Для нормальных людей SVM это линейный классификатор с особым лоссом. Петухи начинают вспоминать про кернел-трики. Проблема в том, что я могу взять ResNet-9000 с 9000 слоями, захуярить в конце hinge loss и звявить, что это у меня кернел трик такой, а так это SVM.
Но это нужно конченным петухом быть.
>>25935
SVM это типичный пример кернел-метода, все остальное просто особый обвес. Тут принято R хейтить, а там есть очень наглядная реализация кернел-методов, kernlab, частный случай которых SVM.
За такое тебя бы даже зумера на коворкинге засмеяли. Суть именно SVM в том, что там зануляется и не используется в обучении все кроме примеров на границах классов. А обычная нейроночка это квадратно-гнездовое окучивание всего вообще датасета.
> Все зависит от определения. Для нормальных людей SVM это линейный классификатор с особым лоссом. Петухи начинают вспоминать про кернел-трики.
SVM это типичный пример кернел-метода, все остальное просто особый обвес. Тут принято R хейтить, а там есть очень наглядная реализация кернел-методов, kernlab, частный случай которых SVM.
> Проблема в том, что я могу взять ResNet-9000 с 9000 слоями, захуярить в конце hinge loss и звявить, что это у меня кернел трик такой, а так это SVM.
За такое тебя бы даже зумера на коворкинге засмеяли. Суть именно SVM в том, что там зануляется и не используется в обучении все кроме примеров на границах классов. А обычная нейроночка это квадратно-гнездовое окучивание всего вообще датасета.
>>25950
Как и моя нейронка с 9000 слоями.
Ты про hinge loss? Да ладно, никогда не слышал об этом. Даже забыл упомянуть в своем посте.
>SVM это типичный пример кернел-метода, все остальное просто особый обвес.
Как и моя нейронка с 9000 слоями.
>Суть именно SVM в том, что там зануляется и не используется в обучении все кроме примеров на границах классов.
Ты про hinge loss? Да ладно, никогда не слышал об этом. Даже забыл упомянуть в своем посте.
>>26160
На чем свои нейронки пишете, парашники? Все ещё на питоне?
Когда будет первый искусственный интеллект на fpga?
На чем свои нейронки пишете, парашники? Все ещё на питоне?
Когда будет первый искусственный интеллект на fpga?
>>26194
FPGA хуево дружат с floating point вычислениями. ASIC который хорошо с ними дружит на данный момент называется GPU
FPGA хуево дружат с floating point вычислениями. ASIC который хорошо с ними дружит на данный момент называется GPU
Насколько интересна математика для нейронок? В этой области применяется теория категорий, топология, коммутативная алгебра и алгебраическая геометрия с разными абелевыми многообразиями? Или в нейронках надо знать линал и статистику, но рутины и хардкора будет столько, что говно из ушей полезет?
>>26220
Математика не нужна. Все успешные машобисты, которых я знаю, хуй клали на матешу в вузе и задрачивали фреймворки.
Математика не нужна. Все успешные машобисты, которых я знаю, хуй клали на матешу в вузе и задрачивали фреймворки.
>>26220
Это инжинерия прежде всего, так что ни насколько.
>>26220
Только у малой части исследователей, которые очень хотят прикрутить гамалогии хоть куда-нибудь. Есть topological data analysis, persistence modules, кто-то даже занимается algebraic statistic где пытается алгемчик свой как-то всунуть. Но это всё больше болтовня чем реальное дело.
>>26220
Да, как и везде.
>Насколько интересна математика для нейронок?
Это инжинерия прежде всего, так что ни насколько.
>>26220
>В этой области применяется теория категорий, топология, коммутативная алгебра и алгебраическая геометрия с разными абелевыми многообразиями?
Только у малой части исследователей, которые очень хотят прикрутить гамалогии хоть куда-нибудь. Есть topological data analysis, persistence modules, кто-то даже занимается algebraic statistic где пытается алгемчик свой как-то всунуть. Но это всё больше болтовня чем реальное дело.
>>26220
>но рутины и хардкора будет столько, что говно из ушей полезет?
Да, как и везде.
>>26220
Математика, необходимая для машобчика это дискретка. Более высокие материи теоретически применимы, разумеется, но практически ни у кого кроме Вапника для этого мозгов недостаточно.
>>26160
И.е ты хочешь сказать, что современные нейроночки пытаются незаметно превратить в SVM, но так чтобы никто не догадался и не стал ржать из-за того, что умные люди ещё в 70е этот путь предлагали, а всякая хипстота только сейчас понемногу начинает догадываться, что других путей все равно нет?
Математика, необходимая для машобчика это дискретка. Более высокие материи теоретически применимы, разумеется, но практически ни у кого кроме Вапника для этого мозгов недостаточно.
>>26160
И.е ты хочешь сказать, что современные нейроночки пытаются незаметно превратить в SVM, но так чтобы никто не догадался и не стал ржать из-за того, что умные люди ещё в 70е этот путь предлагали, а всякая хипстота только сейчас понемногу начинает догадываться, что других путей все равно нет?
>>26160
Алсо, все эти xgboost'ы, deepboost'ы и иже с ними так же исконный статистикал лернинг. Как жи так-то, это что жи делается, люди добрые? Куда в современном машобчике ни плюнь, везде в Вапника попадешь!
Алсо, все эти xgboost'ы, deepboost'ы и иже с ними так же исконный статистикал лернинг. Как жи так-то, это что жи делается, люди добрые? Куда в современном машобчике ни плюнь, везде в Вапника попадешь!
>>26412
Журавлёв, идите нахуй и дискретку свою заберите. В рот ебал Вашу программу экзаменов, в которой половина - сраный маткиб, а теорвера и матстата нет вообще. АВО были ошибкой.
>Математика, необходимая для машобчика это дискретка
Журавлёв, идите нахуй и дискретку свою заберите. В рот ебал Вашу программу экзаменов, в которой половина - сраный маткиб, а теорвера и матстата нет вообще. АВО были ошибкой.
Я испытываю трудности с вопросами вроде "выбрать ли для кодирования инпутов one-hot или целое число" и т.п., посоветуйте что-нибудь (желательно обучающее, но на безрыбье и коллекция скриптов на гитхабе щука) с большим количеством жизненных примеров в т.ч. с какими-нибудь очень хитровыебанными инпутами-аутпутами, где можно извлечь интересный идей касательно отображения данных и постановки задачи. А то во всех туториалах одно и то же, картинки да текст, упор в основном делается на архитектуре скрытых слоёв.
>>26276
Почти везде дают. Там (якобы) нужен базовый матан, линал и теорвер, опционально матстат.
Почти везде дают. Там (якобы) нужен базовый матан, линал и теорвер, опционально матстат.
>>26567
Матан дают, но практика там это бесконечный дроч хитровыебанных интегралов. А на самом деле нужно знать основы дифференцирования, и, самое главное - как дифференцировать матрицы, суммы, свертки и прочий matrix calculus. Я вот не умею этого, но благо запилили www.matrixcalculus.org и не нужно запускать символьные пакеты.
В том линале по-моему даже SVD нет, просто показывают пару алгоритмов типа Грамма-Шмидта без описания того, нахуя они нужны.
Какие-то фриквентистские азы даются
Помимо этого было дохуя обыкновенных диффуров, диффуров в частных производных, тфкп (что немного полезно для цифровой обработки сигналов, но в целом из пушки по воробьям), ебучие теоремы Гаусса и Стокса и прочая поебота для проектирования двигателей ракет, а не машоба.
Самое толковое, что было у меня - численные методы.
>Почти везде дают. Там (якобы) нужен базовый матан, линал и теорвер, опционально матстат.
Матан дают, но практика там это бесконечный дроч хитровыебанных интегралов. А на самом деле нужно знать основы дифференцирования, и, самое главное - как дифференцировать матрицы, суммы, свертки и прочий matrix calculus. Я вот не умею этого, но благо запилили www.matrixcalculus.org и не нужно запускать символьные пакеты.
>линал
В том линале по-моему даже SVD нет, просто показывают пару алгоритмов типа Грамма-Шмидта без описания того, нахуя они нужны.
>теорвер
Какие-то фриквентистские азы даются
Помимо этого было дохуя обыкновенных диффуров, диффуров в частных производных, тфкп (что немного полезно для цифровой обработки сигналов, но в целом из пушки по воробьям), ебучие теоремы Гаусса и Стокса и прочая поебота для проектирования двигателей ракет, а не машоба.
Самое толковое, что было у меня - численные методы.
33 Кб, 600x400Автоматизированная система куколдизации котов - новейшая технология применения машобчика http://9tv.co.il/news/2019/07/02/272169.html Ожидание: ИИ, беспилотный транспорт. Реальность: раздевание сельдей по фото, обучение котов охотиться. Сойбойство в машобе до добра не доводит.
>>26835
Нечёткопетух, уймись. Уже и самобеглые повозки обучают, и роботы более-менее ходят, и в смартфонах голосовые помощники есть, и котов охотиться учат, и девушек раздевают, а ты всё вопишь, что нейронки не нужны.
Нечёткопетух, уймись. Уже и самобеглые повозки обучают, и роботы более-менее ходят, и в смартфонах голосовые помощники есть, и котов охотиться учат, и девушек раздевают, а ты всё вопишь, что нейронки не нужны.
>>26904
Беспилотное такси унтер Убер, которое размазало пешехода по переходу?
Робот Федор?
> Уже и самобеглые повозки обучают,
Беспилотное такси унтер Убер, которое размазало пешехода по переходу?
> и роботы более-менее ходят,
Робот Федор?
>>26912
Беспилотные такси на нечёткой логике и другом устаревшем говне даже с места не сдвинулось, так что чья б корова мычала.
Роботы Бостон динамики.
Остальное ты ожидаемо проигнорировал, потому что возразить нечего.
>Беспилотное такси Убер, которое размазало пешехода по переходу?
Беспилотные такси на нечёткой логике и другом устаревшем говне даже с места не сдвинулось, так что чья б корова мычала.
>Робот Фёдор?
Роботы Бостон динамики.
Остальное ты ожидаемо проигнорировал, потому что возразить нечего.
>>26933
Там никакого машоба нет, кстати, всё руками кодят. Потому и работает.
>Роботы Бостон динамики.
Там никакого машоба нет, кстати, всё руками кодят. Потому и работает.
>>26933
Их никто и не разрабатывал никогда. Поезд метро на нечеткой логике был запущен в серию в 1987, вроде бы работы начались ещё в 1979. Больше 3000 испытаний только в реальных условиях реальных локомотивов, сколько всего остального, история умалчивает. Стоимость проекта так же неизвестна, но наверняка всю Блинолопатию можно было купить. Это если все по уму делать, а не засунуть в машину сойбойскую поебень, пусть людей давит, хуй на них, все равно дотационные были)))
> Беспилотные такси на нечёткой логике и другом устаревшем говне даже с места не сдвинулось,
Их никто и не разрабатывал никогда. Поезд метро на нечеткой логике был запущен в серию в 1987, вроде бы работы начались ещё в 1979. Больше 3000 испытаний только в реальных условиях реальных локомотивов, сколько всего остального, история умалчивает. Стоимость проекта так же неизвестна, но наверняка всю Блинолопатию можно было купить. Это если все по уму делать, а не засунуть в машину сойбойскую поебень, пусть людей давит, хуй на них, все равно дотационные были)))
871 Кб, 1366x768>>06660 (OP)
Инженер Amazon создал блокирующее устройство с ИИ, которое не пускает в дом кота с уличной добычей
Инженер Amazon создал блокирующее устройство с ИИ, которое не пускает в дом кота с уличной добычей
>>26968
Эта шайтан-машина при блокировке кота ещё автоматом донатит сжв конторе по защите диких животных от котов. Я о чем и говорю, совсем уж сойбои кукухой ебнулись.
> Инженер Amazon создал блокирующее устройство с ИИ, которое не пускает в дом кота с уличной добычей
Эта шайтан-машина при блокировке кота ещё автоматом донатит сжв конторе по защите диких животных от котов. Я о чем и говорю, совсем уж сойбои кукухой ебнулись.
>>06660 (OP)
А есть какие-нибудь годные ресурсы по pattern recognition для time-series данных?
А есть какие-нибудь годные ресурсы по pattern recognition для time-series данных?
>>26943
Ну то есть сраный поезд, который ездит по сраным рельсам по сраному расписанию не нуждается ни в каком компьютерном зрении, и самая большая проблема которого не прижать дверями пассажиров, разрабатывали 8 лет, проебали кучу денег, и на выходе получили хуиту, которая даже не масштабируется даже на сраный трамвай.
Даже интересно, почему это никто беспилотные такси на этой базе никто не разрабатывал.
Ты дрочишь на мертвую технологию, потому что считаешь, что якобы 10000 правил это просто и понятно. Так эти долбоебы и рассуждали. Хули, введем всеобщее высшее, образуем миллиард инженеров, каждому дадим по сто правил, и хуяк-хуяк вот оно будущее. А оказалось, что эта хуйня вообще не масштабируется. Если сто правил в голове помещается, а десять тысяч - нет, то оно не помещается в голове ни у кого, и никто в конторе не знает, как работает сумма того, что разрабатывается. И привет.
>Поезд метро на нечеткой логике был запущен в серию в 1987, вроде бы работы начались ещё в 1979. Больше 3000 испытаний только в реальных условиях реальных локомотивов, сколько всего остального, история умалчивает. Стоимость проекта так же неизвестна, но наверняка всю Блинолопатию можно было купить.
Ну то есть сраный поезд, который ездит по сраным рельсам по сраному расписанию не нуждается ни в каком компьютерном зрении, и самая большая проблема которого не прижать дверями пассажиров, разрабатывали 8 лет, проебали кучу денег, и на выходе получили хуиту, которая даже не масштабируется даже на сраный трамвай.
Даже интересно, почему это никто беспилотные такси на этой базе никто не разрабатывал.
Ты дрочишь на мертвую технологию, потому что считаешь, что якобы 10000 правил это просто и понятно. Так эти долбоебы и рассуждали. Хули, введем всеобщее высшее, образуем миллиард инженеров, каждому дадим по сто правил, и хуяк-хуяк вот оно будущее. А оказалось, что эта хуйня вообще не масштабируется. Если сто правил в голове помещается, а десять тысяч - нет, то оно не помещается в голове ни у кого, и никто в конторе не знает, как работает сумма того, что разрабатывается. И привет.
>>26987
Повелись недавно на модную тему значит, решили нанять датамакак. То что все продемонстрированные роботы на классических алгоритмах работают это общеизвестный факт, гугли.
Повелись недавно на модную тему значит, решили нанять датамакак. То что все продемонстрированные роботы на классических алгоритмах работают это общеизвестный факт, гугли.
>>27000
Чем бы дитя не тешилось))
Только кредит под залог мамкиной хаты не бери
> нагуглил курсы форексамошонлёрненх в финансах
> соси педораха обтекай еблан я зароботаю меллеарды))
Чем бы дитя не тешилось))
Только кредит под залог мамкиной хаты не бери
>>27018
Как классно быть промыткой. Факт потверждает твою точку зрения - о, молодцы, я прав, вы все в треде сосете. Факт опровергает - повелись на модную тему, а я все равно прав.
Ага, в компании, в которой все секреты защищены пятью слоями NDA, а безопасники следят за тем, чтобы китайцы ничего не спиздили, каждый хуй в блогах для сойбоев (которые для тебя основной источник информации о мире) знает 100%, как оно все устроено.
То, что нейронки должны применяться исключительно end-to-end - это лично твоя шизофрения. Как, собственно, и большинство твоих утверждений.
Как классно быть промыткой. Факт потверждает твою точку зрения - о, молодцы, я прав, вы все в треде сосете. Факт опровергает - повелись на модную тему, а я все равно прав.
>То что все продемонстрированные роботы на классических алгоритмах работают это общеизвестный факт, гугли.
Ага, в компании, в которой все секреты защищены пятью слоями NDA, а безопасники следят за тем, чтобы китайцы ничего не спиздили, каждый хуй в блогах для сойбоев (которые для тебя основной источник информации о мире) знает 100%, как оно все устроено.
То, что нейронки должны применяться исключительно end-to-end - это лично твоя шизофрения. Как, собственно, и большинство твоих утверждений.
>>26990
Это хуевый способ вката, потому что торговые данные слабо отличаются от случайного шума. Возьми че попроще, тогда, может быть, через несколько лет сможешь писать своих ботов.
Это хуевый способ вката, потому что торговые данные слабо отличаются от случайного шума. Возьми че попроще, тогда, может быть, через несколько лет сможешь писать своих ботов.
>>27029
Каких еще ботов? На чем тогда предлагаешь тренировать модель, раз не на торговых данных?
Каких еще ботов? На чем тогда предлагаешь тренировать модель, раз не на торговых данных?
>>27037
Какую модель? Вот прочитал ты где-то в блоге, что жопоебный хулиасинг хорош. Взял свои данные, взял этот хулиасинг - и не работает. И что дальше? Гиперпараметры не те, аугментации нет, регуляризацию добавить надо (какую?) или хулиасинг вообще приницпиально не подходит в твоем случае?
Ты сначала научись на чем полегче. Хотя бля, тебе же некогда. Бабки сами себя не зарабаотают.
Какую модель? Вот прочитал ты где-то в блоге, что жопоебный хулиасинг хорош. Взял свои данные, взял этот хулиасинг - и не работает. И что дальше? Гиперпараметры не те, аугментации нет, регуляризацию добавить надо (какую?) или хулиасинг вообще приницпиально не подходит в твоем случае?
Ты сначала научись на чем полегче. Хотя бля, тебе же некогда. Бабки сами себя не зарабаотают.
>>26981
Эта технология живее любой другой. Просто исторически сложилось, что этим микроскопом только гвозди и забивали. Даже сам Заде видел только довольно узкую направленность применения нечеткой логики. Просто навскидку - нечеткая логика формализует квантовые вычисления, до сих пор никто даже не пробовал использовать ее вместо ущербной бинарной для оснований итд.
> Ты дрочишь на мертвую технологию,
Эта технология живее любой другой. Просто исторически сложилось, что этим микроскопом только гвозди и забивали. Даже сам Заде видел только довольно узкую направленность применения нечеткой логики. Просто навскидку - нечеткая логика формализует квантовые вычисления, до сих пор никто даже не пробовал использовать ее вместо ущербной бинарной для оснований итд.
>>27044
Ебать ты дуралей. На хуй пошел.
Ебать ты дуралей. На хуй пошел.
>>27027
Ну тебе-то в экзоскелете на нейронках пять слоёв nda ни по чём.
И даже гугл не помеха https://mitpress.mit.edu/books/legged-robots-balance
Да по тебе не скажешь.
> наняли макаку улучшить обработку сигнала с сенсоров на 10% или специалиста по машинному зрению
> ШОК ИИ УПРАВЛЯЕТ РОБОТАМИ СВЁРТОЧНЫЕ СЕТИ ВЫЛЕЧИЛИ РАК УЧЁНЫЙ ИЗНАСИЛОВАЛ ЖУРНАЛИСТА
Ну тебе-то в экзоскелете на нейронках пять слоёв nda ни по чём.
И даже гугл не помеха https://mitpress.mit.edu/books/legged-robots-balance
> Как классно быть промыткой.
Да по тебе не скажешь.
>>26981
Сказала мартыха со свёрточной чёрной коробкой в руках и рандомным лесом подмышкой.
>и никто в конторе не знает, как работает сумма того, что разрабатывается
Сказала мартыха со свёрточной чёрной коробкой в руках и рандомным лесом подмышкой.
>>27000
Дебс, я не нечёткопетух, но в этом с ним согласен - не лезь в биржевую торговлю за свои деньги, всё просрёшь и ещё должен останешься.
Дебс, я не нечёткопетух, но в этом с ним согласен - не лезь в биржевую торговлю за свои деньги, всё просрёшь и ещё должен останешься.
>>27062
С подростками разговаривать таким тоном - педагогическая ошибка. Теперь обязательно полезет.
С подростками разговаривать таким тоном - педагогическая ошибка. Теперь обязательно полезет.
133 Кб, 876x858>>27049
АААА БЛЯДЬ ТЫ МЕНЯ ПОРВАЛ СУКА
Первая же блядь вакансия из выделенных тобой желтым цветом.
Ты блядь в курсе вообще, что такое perception? Сука, даун ты тупорылый.
>Твои пики.
АААА БЛЯДЬ ТЫ МЕНЯ ПОРВАЛ СУКА
Первая же блядь вакансия из выделенных тобой желтым цветом.
Ты блядь в курсе вообще, что такое perception? Сука, даун ты тупорылый.
Короче, объясняю для непетухов, если кому-то в этом треде еще не похуй.
Как я писал постом выше, об end-to-end дипленинге сейчас никто не говорит (точнее говорят, но это больше прикол). Нейронки сейчас безальтернативы в задачах зрения, распознавании речи, удалении шума и прочей feedforward поеботе. Никаких других альтернатив им нет, а если бы были, то нейронки бы вобрали в себя это, потому что это просто название для очень сложных тренируемых функций. Там они и применяются всеми, от яндексовской алисы и автопилотов до boston dynamics. Так как люди заняты работой, а не трепом, то людям похуй нейронки-не-нейронки (и вопреки мнению несойбоев, которые об отрасли судят по блогам для сойбоев, классические алгоритмы все прекрасно знают, потому человек 30+ лет не может их не знать просто из-за своего возраста, нейронки когда-то были маргинальны), критерии немного другие, а именно перформанс при решении данных задач. В других частях пайплайна используются другие алгоритмы. И это нормально. Если ты не петух, конечно.
Как я писал постом выше, об end-to-end дипленинге сейчас никто не говорит (точнее говорят, но это больше прикол). Нейронки сейчас безальтернативы в задачах зрения, распознавании речи, удалении шума и прочей feedforward поеботе. Никаких других альтернатив им нет, а если бы были, то нейронки бы вобрали в себя это, потому что это просто название для очень сложных тренируемых функций. Там они и применяются всеми, от яндексовской алисы и автопилотов до boston dynamics. Так как люди заняты работой, а не трепом, то людям похуй нейронки-не-нейронки (и вопреки мнению несойбоев, которые об отрасли судят по блогам для сойбоев, классические алгоритмы все прекрасно знают, потому человек 30+ лет не может их не знать просто из-за своего возраста, нейронки когда-то были маргинальны), критерии немного другие, а именно перформанс при решении данных задач. В других частях пайплайна используются другие алгоритмы. И это нормально. Если ты не петух, конечно.
>>27131
Я же написал: объясняю для непетухов. Ты ведь даже в нечеткие множества не можешь, типичная бинарная логика: либо нейронки не используют вообще, либо используют только их. Хотя в процитированных цитатах этого нет. Ты тупее стула на котором сидишь. Не читай мои посты.
Я же написал: объясняю для непетухов. Ты ведь даже в нечеткие множества не можешь, типичная бинарная логика: либо нейронки не используют вообще, либо используют только их. Хотя в процитированных цитатах этого нет. Ты тупее стула на котором сидишь. Не читай мои посты.
>>27143
Маня, своим "ты тупой, ничаво не понимаешь" будешь среди других таких же стажёрчиков желторотых из ямбекса маневрировать. Ты сказал "самобеглые повозки обучают, и роботы более-менее ходят". Действительно нужно цитировавть то что было десять постов назад и в каком контексте это было сказано? Кого ты наебать пытаешься-то, всем же видно. Оказывается что в хождении роботов мошонлёрнинг не участвует, а применяется он на уровне дипнюдса, которым задрики из бостондайнемикс своих баб коллег по работе раздевают. Однако ты упираешься и верещишь что ВЫ ПРОСТО НИТАК ПОНЯЛИ, классический обосравшийся зумер.
Маня, своим "ты тупой, ничаво не понимаешь" будешь среди других таких же стажёрчиков желторотых из ямбекса маневрировать. Ты сказал "самобеглые повозки обучают, и роботы более-менее ходят". Действительно нужно цитировавть то что было десять постов назад и в каком контексте это было сказано? Кого ты наебать пытаешься-то, всем же видно. Оказывается что в хождении роботов мошонлёрнинг не участвует, а применяется он на уровне дипнюдса, которым задрики из бостондайнемикс своих баб коллег по работе раздевают. Однако ты упираешься и верещишь что ВЫ ПРОСТО НИТАК ПОНЯЛИ, классический обосравшийся зумер.
>>27119
Но ведь чуть выше уже выяснился неприятный факт - нейроночки все больше и больше косплеят SVM в частности и статистикал лернинг вообще - кернел трик, hinge loss, регуляризация.
> Никаких других альтернатив им нет, а если бы были, то нейронки бы вобрали в себя это, потому что это просто название для очень сложных тренируемых функций.
Но ведь чуть выше уже выяснился неприятный факт - нейроночки все больше и больше косплеят SVM в частности и статистикал лернинг вообще - кернел трик, hinge loss, регуляризация.
>>27193
Что значит "все больше"? Дай определение нейросети так, чтобы под это дело не попадал SVM.
Что значит "все больше"? Дай определение нейросети так, чтобы под это дело не попадал SVM.
>>27180
Кретин, мы разные люди. Про повозки написал я, длиннопост - не я.
Кретин, мы разные люди. Про повозки написал я, длиннопост - не я.
>>27194
Ну, так вообще далеко зайти можно. Веса нейронов, значение функций активации, лоссов можно рассматривать как нечёткие числа, взятие максимума при свертке как дефаззификацию итд. Тогда получится, что в нейроночках со времён Розенблатта ничего кроме нечеткой логики не было.
> Дай определение нейросети так, чтобы под это дело не попадал SVM.
Ну, так вообще далеко зайти можно. Веса нейронов, значение функций активации, лоссов можно рассматривать как нечёткие числа, взятие максимума при свертке как дефаззификацию итд. Тогда получится, что в нейроночках со времён Розенблатта ничего кроме нечеткой логики не было.
>>27180
Нахуя мне маневрировать. Это я что ли обосрался в >>27101 . Лучший способ для тебя был бы "да, соснул", и потихоньку свернуть тему. Но ты слишком тупой для такого.
Оказывается кому? Тупому чепушиле оказывается. Объясняю, как происходит хождение робота (а еще человека, любого другого животного). Роботу дают команду, например, переложи коробку с этого места на это место. Роботу нужно эту коробку увидеть. Упс. Оказывается, чтобы ходить, нужно видеть. Чтобы не споткнуться, например. Можно, конечно поставить робота на рельсы, и добавить команду не_въебаться_в_депо, но это будет хуевый робот. Современных роботов без дипленинга ты не сделаешь. Даже если вместо пары камер с паралаксом ты заебенишь лидар.
>Маня, своим "ты тупой, ничаво не понимаешь" будешь среди других таких же стажёрчиков желторотых из ямбекса маневрировать
Нахуя мне маневрировать. Это я что ли обосрался в >>27101 . Лучший способ для тебя был бы "да, соснул", и потихоньку свернуть тему. Но ты слишком тупой для такого.
>Оказывается что в хождении роботов мошонлёрнинг не участвует
Оказывается кому? Тупому чепушиле оказывается. Объясняю, как происходит хождение робота (а еще человека, любого другого животного). Роботу дают команду, например, переложи коробку с этого места на это место. Роботу нужно эту коробку увидеть. Упс. Оказывается, чтобы ходить, нужно видеть. Чтобы не споткнуться, например. Можно, конечно поставить робота на рельсы, и добавить команду не_въебаться_в_депо, но это будет хуевый робот. Современных роботов без дипленинга ты не сделаешь. Даже если вместо пары камер с паралаксом ты заебенишь лидар.
>>27193
Чушь
Они не могут косплеить то, чем и так являются - статистика из машоба никуда не уходила, задача Байеса по минимизации эмпирического риска никуда не исчезла.
Ценен только тем, что у линейных классификаторов при этом вектор весов выражается линейно через объекты выборки (у перцептрона, кстати, лосс примерно такой же, и у него это тоже наблюдается, о чём есть теорема Розенблатта), без чего о кернел трике можно забвть, причём значительная часть коэффициентов обратится в 0 (потому он и опорных)
Нужен, чтобы неудобные искусственные признаки перевести в пригодные для линейной разделимости, нейронка ту же задачу решает обучением признаков из сырых данных, ей эти кернелы слабо нужны.
Блядь, регуляризации есть далеко не только у svm, это вообще общий термин для искусственного понижения сложности модели, у нейронок она делается обычно через дропаут, а не через weight decay.
>нейроночки все больше и больше косплеят SVM в частности
Чушь
>и статистикал лернинг вообще
Они не могут косплеить то, чем и так являются - статистика из машоба никуда не уходила, задача Байеса по минимизации эмпирического риска никуда не исчезла.
>hinge loss
Ценен только тем, что у линейных классификаторов при этом вектор весов выражается линейно через объекты выборки (у перцептрона, кстати, лосс примерно такой же, и у него это тоже наблюдается, о чём есть теорема Розенблатта), без чего о кернел трике можно забвть, причём значительная часть коэффициентов обратится в 0 (потому он и опорных)
>кернел трик
Нужен, чтобы неудобные искусственные признаки перевести в пригодные для линейной разделимости, нейронка ту же задачу решает обучением признаков из сырых данных, ей эти кернелы слабо нужны.
>регуляризация
Блядь, регуляризации есть далеко не только у svm, это вообще общий термин для искусственного понижения сложности модели, у нейронок она делается обычно через дропаут, а не через weight decay.
>>27206
У БостонДинамикс большие черные маркеры похожие на QR, чтобы болван ее заметил.
>Роботу нужно эту коробку увидеть.
У БостонДинамикс большие черные маркеры похожие на QR, чтобы болван ее заметил.
>>27213
Убедительнее сказать, что у SVM параметры кернела - это гиперпараметры, алгоритм не подбирает их. А у нейронки в конце тот же линейный классификатор (возможно даже с тем же лоссом), но параметры "кернела" уже являются частью алгоритма. Именно поэтому нейронки это шаг вперед по сравнению с SVM, а SVM является частным случаем нейронки, хотя зависит от определения.
>Нужен, чтобы неудобные искусственные признаки перевести в пригодные для линейной разделимости, нейронка ту же задачу решает обучением признаков из сырых данных, ей эти кернелы слабо нужны.
Убедительнее сказать, что у SVM параметры кернела - это гиперпараметры, алгоритм не подбирает их. А у нейронки в конце тот же линейный классификатор (возможно даже с тем же лоссом), но параметры "кернела" уже являются частью алгоритма. Именно поэтому нейронки это шаг вперед по сравнению с SVM, а SVM является частным случаем нейронки, хотя зависит от определения.
>>27205
Ровно поэтому никто от нечеткой логики кипятком не писает - это просто другой способ обозвать вещи, как иностранный язык. Ничего принципиально иного там нет.
Перед любым ML-инженером при решении задачи есть пирамида manual rule deisgn => manual feature design => manual architecture design, и к тебе претензии не из-за того, что ты будешь пулинг называть дефаззификацией (мне даже лень проверять так это или нет), а потому что ты считаешь, что за пределами manual rule design ничего нет, а это не так. Специалист на то и специалист, что выбирает подходящее решение подходящей задаче, где ПИД-регулятор заебенить, а где неделю видюхой комнату греть.
>Веса нейронов, значение функций активации, лоссов можно рассматривать как нечёткие числа, взятие максимума при свертке как дефаззификацию итд.
Ровно поэтому никто от нечеткой логики кипятком не писает - это просто другой способ обозвать вещи, как иностранный язык. Ничего принципиально иного там нет.
Перед любым ML-инженером при решении задачи есть пирамида manual rule deisgn => manual feature design => manual architecture design, и к тебе претензии не из-за того, что ты будешь пулинг называть дефаззификацией (мне даже лень проверять так это или нет), а потому что ты считаешь, что за пределами manual rule design ничего нет, а это не так. Специалист на то и специалист, что выбирает подходящее решение подходящей задаче, где ПИД-регулятор заебенить, а где неделю видюхой комнату греть.
>>27219
Не надо так говорить. Кернел - это не просто "сложное отображение", это композиция спрямляющего отображения и скалярного произведения в спрямляющем пространстве.
Не надо так говорить. Кернел - это не просто "сложное отображение", это композиция спрямляющего отображения и скалярного произведения в спрямляющем пространстве.
>>27206
Ох, ладно, по полочкам, больше для стороннего наблюдателя скорее.
Суммируя твоё многословное вихляние жопой, няронки там для зрения, а не для хождения. Основная трудность в ходящих роботах (и самодвижущихся машинах) не в том чтобы кота/негра/коробку/машину с камеры распознать, а в управлении. В управлении роботами бостон динамикс используются классические control theory алгоритмы. Кто соснул? Ты соснул со своим утверждением о бороздящих просторы космоса роботах на мошонном обучении. Продолжишь вихляние?
Ох, ладно, по полочкам, больше для стороннего наблюдателя скорее.
> Роботу дают команду, например, переложи коробку с этого места на это место. Роботу нужно эту коробку увидеть. Упс. Оказывается, чтобы ходить, нужно видеть. Чтобы не споткнуться, например.
Суммируя твоё многословное вихляние жопой, няронки там для зрения, а не для хождения. Основная трудность в ходящих роботах (и самодвижущихся машинах) не в том чтобы кота/негра/коробку/машину с камеры распознать, а в управлении. В управлении роботами бостон динамикс используются классические control theory алгоритмы. Кто соснул? Ты соснул со своим утверждением о бороздящих просторы космоса роботах на мошонном обучении. Продолжишь вихляние?
>>27228
Поэтому я написал второй раз кернел в кавычках. Нейронкам-то обязательная зависимость только от скалярного произведения не нужна.
Поэтому я написал второй раз кернел в кавычках. Нейронкам-то обязательная зависимость только от скалярного произведения не нужна.
>>27248
Ну, если ты тупой чепушила, который роботов только на картинках видел, а при слове дифференциальное уровнение ложит в штаны - то да. Но вообще нет. Это одна из самых простых вещей при разработке роботов. Чтобы было понятно, почему, в России до жопы специалистов, которые это умеют, которые стоят 30к в мухосранском НИИ. А вот boston dynamics почему-то нет. Загадка! На самом деле нет. Главное в таких роботах это их опиздинецки дорогая высокотехнологичность.
Ты, ты.
>Основная трудность в ходящих роботах (и самодвижущихся машинах) не в том чтобы кота/негра/коробку/машину с камеры распознать, а в управлении
Ну, если ты тупой чепушила, который роботов только на картинках видел, а при слове дифференциальное уровнение ложит в штаны - то да. Но вообще нет. Это одна из самых простых вещей при разработке роботов. Чтобы было понятно, почему, в России до жопы специалистов, которые это умеют, которые стоят 30к в мухосранском НИИ. А вот boston dynamics почему-то нет. Загадка! На самом деле нет. Главное в таких роботах это их опиздинецки дорогая высокотехнологичность.
>Кто соснул?
Ты, ты.
>>27320
Но намного сложнее всего зумерского маньшиньлёрнинха
Просто в России они пока ещё есть, а на западе уже одно сойбойство. Мы как провинция всё с запаздыванием перенимаем, но в этом и плюс.
Ты ещё и адепт святого машка небось? Стоимость сшайских бизнесОв (в том числе как следствие и размер зарплат) измеряется раздутостью пузыря американской экономики в целом и только лишь им.
> Это одна из самых простых вещей при разработке роботов.
Но намного сложнее всего зумерского маньшиньлёрнинха
> в России до жопы специалистов, которые это умеют
Просто в России они пока ещё есть, а на западе уже одно сойбойство. Мы как провинция всё с запаздыванием перенимаем, но в этом и плюс.
> стоят 30к в мухосранском НИИ. А вот boston dynamics почему-то нет.
> ряяя многаплотят
Ты ещё и адепт святого машка небось? Стоимость сшайских бизнесОв (в том числе как следствие и размер зарплат) измеряется раздутостью пузыря американской экономики в целом и только лишь им.
>>27537
А что ты хотел, чтобы тебе дали, когда спросил про дифференциальные уравнения? По привычке думал что тебе хуй в рот засунут?
А что ты хотел, чтобы тебе дали, когда спросил про дифференциальные уравнения? По привычке думал что тебе хуй в рот засунут?
>>27412
Ты из Лахты? Какое-то у тебя подзалупное маняобьяснение почему в цивилизованных странах зарплаты в 5-20 раз выше чем в Блинолопатии при схожих ценах.
> Ты ещё и адепт святого машка небось? Стоимость сшайских бизнесОв (в том числе как следствие и размер зарплат) измеряется раздутостью пузыря американской экономики в целом и только лишь им.
Ты из Лахты? Какое-то у тебя подзалупное маняобьяснение почему в цивилизованных странах зарплаты в 5-20 раз выше чем в Блинолопатии при схожих ценах.
>>27564
Грабить колонии и печатать бумагу, так себе достижения.
>в цивилизованных странах зарплаты в 5-20 раз выше
Грабить колонии и печатать бумагу, так себе достижения.
>>27582
Продифференцировал либеральные ценности тебе за щеку
Продифференцировал либеральные ценности тебе за щеку
>>27585
Какое это имеет отношение к ватанам, которые просто находят оправдание тому, чтобы сидеть в говне.
Какое это имеет отношение к ватанам, которые просто находят оправдание тому, чтобы сидеть в говне.
>>27586
Я не сижу в говне и всех кого я знаю тоже. Вопросы? Или тебе больше негде выплеснуть свою желчь и несостоятельность как в пограмоче?
>которые просто находят оправдание тому, чтобы сидеть в говне.
Я не сижу в говне и всех кого я знаю тоже. Вопросы? Или тебе больше негде выплеснуть свою желчь и несостоятельность как в пограмоче?
>>27593
Какой-нибудь негр в Нигерии тоже так сказать может. Потому что он нигде не был и нихуя не видел. Следующая стадия ватана - это побывать, охуеть и начать пиздеть об особом пути и ограбляемых колониях. Ты уж определись, на какой ты стадии, где специалисты по теории управления 30к получают потому что колонии грабили или где все кого ты знаешь не сидят в говне. Иначе твоя картина мира либо противоречива, либо ты считаешь зарплату в 30к не жизнью в говне, то есть ты что-то типа негра из Нигерии, блаженно неведующего.
Точно не я этот ватанодискурс начал.
>Я не сижу в говне и всех кого я знаю тоже.
Какой-нибудь негр в Нигерии тоже так сказать может. Потому что он нигде не был и нихуя не видел. Следующая стадия ватана - это побывать, охуеть и начать пиздеть об особом пути и ограбляемых колониях. Ты уж определись, на какой ты стадии, где специалисты по теории управления 30к получают потому что колонии грабили или где все кого ты знаешь не сидят в говне. Иначе твоя картина мира либо противоречива, либо ты считаешь зарплату в 30к не жизнью в говне, то есть ты что-то типа негра из Нигерии, блаженно неведующего.
>Или тебе больше негде выплеснуть свою желчь и несостоятельность как в пограмоче?
Точно не я этот ватанодискурс начал.
>>27597
Чем тебе Нигерия не угодила, или твои либирашьи ценности заканчиваются на корыте с хрючивом и трусиках?
>негр в Нигерии
Чем тебе Нигерия не угодила, или твои либирашьи ценности заканчиваются на корыте с хрючивом и трусиках?
>>27597
Либираш, сдристни
Либираш, сдристни
Между прочим, раз уж и сюда Лахта пролезла, стоит напомнить, что вы 15рублевые пидорасты, живёте на мои налоги, рака вам зумера подзалупные африканская параша Блинолопатия ничего не дала машобчику. Даже сраный совок и то внёс огромный вклад в эту тему, Вапник один чего стоит.
>>27729
Спрашивай у тех с кем говорил.
Ты уже избавился от параноидальной навязчивой идеи про преследующего тебя "нечёткопетуха", надеюсь?
Спрашивай у тех с кем говорил.
Ты уже избавился от параноидальной навязчивой идеи про преследующего тебя "нечёткопетуха", надеюсь?
>>27611
Не только он, всю теорию оптимизации (которая и охватывает всю рабочую часть мошонлёрнинга) по сути придумали в сссре.
>огромный вклад в эту тему, Вапник один чего стоит
Не только он, всю теорию оптимизации (которая и охватывает всю рабочую часть мошонлёрнинга) по сути придумали в сссре.
>>27739
Сильное заявление.
Сильное заявление.
>>27739
Слава советским математикам - Ньютону, Лагранжу, Карушу, Куну, Таккеру, Бройдену, Флетчеру, Гольдфарбу и Шанно!
Слава советским математикам - Ньютону, Лагранжу, Карушу, Куну, Таккеру, Бройдену, Флетчеру, Гольдфарбу и Шанно!
>>26631
Ну и к чему ты это запостил? Там вообще ничего не сказано, пустой пост. Названы (содержащиеся в моём вопросе) 2 принципиальных способа кодировки, без знания которых нельзя написать буквально ничего, one-hot и числовые лейблы, и обмолвился ещё, сказав очевидное "лейбл можно сделать не из порядкого номера, а... ну, как-нибудь по-другому". И если уж на то пошло, то его 2 принципиальных варианта это даже не полный список, потому что есть ещё, например, class-probability и embedding
Это никак не помогает получить интуицию, когда что использовать, какие эффективные на практике принципы существуют и стоит ли, скажем, делать огромный one-hot вектор для списка всех аэропортов для решения определённой задачи или пытаться их каким-то неестественным образом упорядочить.
Ну и к чему ты это запостил? Там вообще ничего не сказано, пустой пост. Названы (содержащиеся в моём вопросе) 2 принципиальных способа кодировки, без знания которых нельзя написать буквально ничего, one-hot и числовые лейблы, и обмолвился ещё, сказав очевидное "лейбл можно сделать не из порядкого номера, а... ну, как-нибудь по-другому". И если уж на то пошло, то его 2 принципиальных варианта это даже не полный список, потому что есть ещё, например, class-probability и embedding
Это никак не помогает получить интуицию, когда что использовать, какие эффективные на практике принципы существуют и стоит ли, скажем, делать огромный one-hot вектор для списка всех аэропортов для решения определённой задачи или пытаться их каким-то неестественным образом упорядочить.
>>27823
Ещё шумеров вспомни.
Туда же, это всё очевидности уровня первой половины XIX века.
В общем, и ногтя на мизинцах Кантаровича с Хинчиным не стоят.
>Ньютону, Лагранжу
Ещё шумеров вспомни.
> Карушу, Куну, Таккеру, Бройдену, Флетчеру, Гольдфарбу и Шанно
Туда же, это всё очевидности уровня первой половины XIX века.
В общем, и ногтя на мизинцах Кантаровича с Хинчиным не стоят.
Посоветуйте учебник или курс по методам оптимизации.
>>27830
Последнее предложение - ответ на твой вопрос. Если данные естественно не упорядивачиваются, то ванхот, а если это нереально, то предварительный эмбединг в пространство меньшей размерности.
Последнее предложение - ответ на твой вопрос. Если данные естественно не упорядивачиваются, то ванхот, а если это нереально, то предварительный эмбединг в пространство меньшей размерности.
>>27981
Крым у хохлов украл плешивый, но грабят их все равно США. Ясно все с тобой, после смены в долбильню.
> Украина
Крым у хохлов украл плешивый, но грабят их все равно США. Ясно все с тобой, после смены в долбильню.
>>28243
Укробота и ВатаSBR тестируем.
Укробота и ВатаSBR тестируем.
Ребята, тут немножко старперского нытья и чесания ЧСВ, можно не читать.
Уже три с половиной года прошло, анон. Спасибо тебе за вновь создаваемые треды. Три с половиной года назад я запилил первый тред https://arhivach.ng/thread/147800/ и оно вот так вот хорошо взлетело. Хочется думать, что все эти треды благодаря вам помогли людям вкатится. Ну а мне было удивительно найти артефакт такой давности, теперь испытываю немного ностальгические ощущения.
Уже три с половиной года прошло, анон. Спасибо тебе за вновь создаваемые треды. Три с половиной года назад я запилил первый тред https://arhivach.ng/thread/147800/ и оно вот так вот хорошо взлетело. Хочется думать, что все эти треды благодаря вам помогли людям вкатится. Ну а мне было удивительно найти артефакт такой давности, теперь испытываю немного ностальгические ощущения.
>>10165
есть сферические CNN которые инвариантны к поворотам, нах тебе внимание, внимательный ты наш
есть сферические CNN которые инвариантны к поворотам, нах тебе внимание, внимательный ты наш
Знающий анон подскажи с РАБотой. Мой бэкграунд - финансы, бизнес-аналитика (в прошлом физика), сейчас учусь на ИИ. Хочу найти работу типо аналитика в Яндексе, а именно решать прикладные бизнес задачки с помощью ИИ и МЛ и прочего барахла, а не просто зачуханным девелопером за 300к в наносек.
По каким компаниям и позициям искать?
По каким компаниям и позициям искать?
>>29359
но я уже отстажировался там
но я уже отстажировался там
>>29354
Попробуй эконометрику искать.
Попробуй эконометрику искать.
>>10889
Шизоид. Человек не создаёт трехмерную модель автоматически, это происходит благодаря ассоциативному мышлению при определенной поставленной задаче. Например мозг виртуально вращает фигуру чтобы ее классифицировать или создаёт виртуальную модель для обработки сознательной части, но не 3D модель, а описание и зрительные образы. Про вращение где-то точно читал в когнитивной психологии, там доказывали эксперементально. Тем более что графы как на вход так и на выход в нейронках если не самые сложные данные, то хоть в тройку входят. Современные сверхточные сети в depthwise convolution и механизмами внимания побыстрее будут, да и уже лучше человека классифицируют.
Шизоид. Человек не создаёт трехмерную модель автоматически, это происходит благодаря ассоциативному мышлению при определенной поставленной задаче. Например мозг виртуально вращает фигуру чтобы ее классифицировать или создаёт виртуальную модель для обработки сознательной части, но не 3D модель, а описание и зрительные образы. Про вращение где-то точно читал в когнитивной психологии, там доказывали эксперементально. Тем более что графы как на вход так и на выход в нейронках если не самые сложные данные, то хоть в тройку входят. Современные сверхточные сети в depthwise convolution и механизмами внимания побыстрее будут, да и уже лучше человека классифицируют.
>>29554
А как блядь, вручную что ли.
У человека как минимум моторные навыки работают в честном 3д, да и вообще глупо предполагать, что у хищника и потомка живших на деревьях обезьян будут проблемы с 3д. Фундаментальные проблемы есть с 4д, например, но не с 3д.
Хуетивной хуелогии. Эти хуесосы находят какую-то линейную корреляцию в каком-то сверовакуумном эксперименте и ура, бабки на грант отбиты.
>Человек не создаёт трехмерную модель автоматически
А как блядь, вручную что ли.
У человека как минимум моторные навыки работают в честном 3д, да и вообще глупо предполагать, что у хищника и потомка живших на деревьях обезьян будут проблемы с 3д. Фундаментальные проблемы есть с 4д, например, но не с 3д.
>когнитивной психологии
Хуетивной хуелогии. Эти хуесосы находят какую-то линейную корреляцию в каком-то сверовакуумном эксперименте и ура, бабки на грант отбиты.
>>29557
Успокойся. Как хочешь. Но я с тобой не согласен, человеку 3Д нинужно и врятли мозг может эффективно представить какую-то трехмерную форму.
Успокойся. Как хочешь. Но я с тобой не согласен, человеку 3Д нинужно и врятли мозг может эффективно представить какую-то трехмерную форму.
75 Кб, 800x419>>29554
> Современные сверхточные сети в depthwise convolution и механизмами внимания побыстрее будут, да и уже лучше человека классифицируют.
>>29557
Ты ублюдок и дебил, нехуй судить за всех. У меня например один глаз на 5 диоптрий отличается от другого нормального, никаких 3д я не вижу без линзы, скорее даже фантомные пространства появляются.
Ты ублюдок и дебил, нехуй судить за всех. У меня например один глаз на 5 диоптрий отличается от другого нормального, никаких 3д я не вижу без линзы, скорее даже фантомные пространства появляются.
>>29573
Ущербных инвалидов (тебя) это не касается, разумеется.
Ущербных инвалидов (тебя) это не касается, разумеется.
По поводу машобчика для распознавания. Это 100% лоховодство и развод лохов на бабки. Без лоха жизнь плоха. Суть в том, что распознать рак на снимках может любой кабыздох с помойки https://well.blogs.nytimes.com/2014/09/10/training-dogs-to-sniff-out-cancer/ любой голубь оттуда же https://www.nytimes.com/2015/11/25/science/pigeons-detect-breast-cancer-tumors.html?_r=0 а сдетектить рак по материалу с биопсии может помойная дрозофила https://www.nature.com/articles/srep03576?WT.ec_id=SREP-20140107 все эти технологии стоят ровно 0, т.к. используют совершенно дубовые и простые как 3 копейки методы оперантного научения, разработанные Скиннером еще в 30х годах прошлого века. Для того, чтобы обучить голубя детектить рак по снимкам лучше любого врача-коновала, нужно затратить 1 пакет семок для гопников. Никаких тыщбаксов на покупку у (((Сунь Хуй Чая))) из нвидии видеокарт, никаких 300кк/сек зарплаты дегенерату за "импорт слесарьплов ас сф". Никаких дорогущих реактивов, микроскопов и опять же, зарплаты коновалу. Понимаете, в чем наебка, не? Любители заработать на лохах наживают на них миллиарды денег, впаривая свою хуйню в качестве решения остросоциальных проблем, тогда как на самом деле какие-то из этих проблем решаются на коленке говном, палками и семками.
>>29573
Ага, а еще в мире полно одноглазых людей, они все не видят 3д и живут в плоском мире, как герой игры Fez. Даже с кровати встать не могут - одна же объемная блядь, а у них мир плоский.
Ебанько, твое ощущение глубины от паралакса между глазами это далеко не единственный способ, которым мозг строит трехмерную картину мира.
>У меня например один глаз на 5 диоптрий отличается от другого нормального, никаких 3д я не вижу без линзы, скорее даже фантомные пространства появляются.
Ага, а еще в мире полно одноглазых людей, они все не видят 3д и живут в плоском мире, как герой игры Fez. Даже с кровати встать не могут - одна же объемная блядь, а у них мир плоский.
Ебанько, твое ощущение глубины от паралакса между глазами это далеко не единственный способ, которым мозг строит трехмерную картину мира.
>>29602
Охуеть, адепт биопанка.
Охуеть, адепт биопанка.
>>29602
Понимаю. Эти технологии не стоят 0. А теперь пройди нахуй.
>все эти технологии стоят ровно 0
>Понимаете, в чем наебка, не?
Понимаю. Эти технологии не стоят 0. А теперь пройди нахуй.
>>29602
Вот бы нейроночку на голубях..
Вот бы нейроночку на голубях..
>>30059
Это не сюда вопрос, а к разработчикам дрочильни.
Это не сюда вопрос, а к разработчикам дрочильни.
>>20800
Вообще можно конечно, но тебе процессорных возможностей не хватит ускорить игровое время в триста тысяч раз.
Вообще можно конечно, но тебе процессорных возможностей не хватит ускорить игровое время в триста тысяч раз.
А для того чтобы компетитив на кагле быть какой бюджет?
23 Кб, 800x543>>29739
Классика.
> приводишь ссылки на реферируемые источники в подтверждение своей точки зрения
> тебе в ответ пукают, считая это опровержением
Классика.
>>30629
> приводишь ссылки на реферируемые источники в подтверждение своей точки зрения
> тебе в ответ пукают, считая это опровержением
>>22024
Я нихуя не понял.
Я нихуя не понял.
>>30296
Зато память 12 ГБ и бесплатно.
Зато память 12 ГБ и бесплатно.
>>30631
Я не виноват, что ты хуета без мозгов, которая даже не может связать написанное с содержимым приведенной ссылки. Чего ты тут забыл вообще, петух тупой?
Я не виноват, что ты хуета без мозгов, которая даже не может связать написанное с содержимым приведенной ссылки. Чего ты тут забыл вообще, петух тупой?
Хочу сделать свой собственный deepnude
Сам я нуб в DS, но нашел ноутбуки типа
https://www.tensorflow.org/beta/tutorials/generative/pix2pix
Как думаете, какой должен быть набор данных? Какого размера? Забить на расположение девочек?
Сам я нуб в DS, но нашел ноутбуки типа
https://www.tensorflow.org/beta/tutorials/generative/pix2pix
Как думаете, какой должен быть набор данных? Какого размера? Забить на расположение девочек?
Можно ли сделать систему сигнализации для квартиры на компьютерном зрении? Недавно менял в первый раз смеситель и теперь начал боятся прорыва трубы в мое отсутствие, потому что живу один с котом и собакой. Собственно, за них как-то страшно. Тем более, на одной сантехнике не заканчивается, ведь может и проводка загорется, и хуй знает еще что.
Не подскажете, куда копать? В прошлом писал бота для одной онлайн дрочильни, спиздив алгоритм из OpenCV. Ну и персептрон простейший для ознакомления с нейроночками. Может уже реализованы подобные системы, особенно если попенсорс?
Не подскажете, куда копать? В прошлом писал бота для одной онлайн дрочильни, спиздив алгоритм из OpenCV. Ну и персептрон простейший для ознакомления с нейроночками. Может уже реализованы подобные системы, особенно если попенсорс?
119 Кб, 576x433>>31057
Ну ты и аутист, братишка. Датчиков протечки полно всяких разных, есть решения под любой бюджет, в том числе с GSM оповещением. Машобчик тут не нужон вообще совсем. Все гуглится, навскидку https://sovet-ingenera.com/vodosnab/v-drugoe/datchik-protechki-vody-svoimi-rukami.html
Ну ты и аутист, братишка. Датчиков протечки полно всяких разных, есть решения под любой бюджет, в том числе с GSM оповещением. Машобчик тут не нужон вообще совсем. Все гуглится, навскидку https://sovet-ingenera.com/vodosnab/v-drugoe/datchik-protechki-vody-svoimi-rukami.html
>>31057
Датчики задымления и пожарная сигнализация тоже не супертехнологии и их миллион готовых. Зачем тут какие-то сложности с нейроночками, непонятно.
> Тем более, на одной сантехнике не заканчивается, ведь может и проводка загорется, и хуй знает еще что.
Датчики задымления и пожарная сигнализация тоже не супертехнологии и их миллион готовых. Зачем тут какие-то сложности с нейроночками, непонятно.
А в чем выгода Гугла нахаляву предоставлять любому желающему вычислительные ресурсы? Я про colab, если что.
>>30879
Там как-то иначе надо делать, у этих деятелей хуйня получилась, то пизда поперек, то ещё какая крипота. Идея хорошая, но реализация - шляпа полная.
> Хочу сделать свой собственный deepnude
Там как-то иначе надо делать, у этих деятелей хуйня получилась, то пизда поперек, то ещё какая крипота. Идея хорошая, но реализация - шляпа полная.
>>31340
Они так и делают
Они так и делают
А кто всё-таки заставил их убрать с рынка эту хуйню?
Есть ли смысл копаться в старом низкоуровневом говне мамонта, или спокойно залетаешь в Keras и с минимальной отдачей получаешь максимальный результат?
Сап. Есть сиамская нейронная сеть. Обучаю её говорить, что на 2 похожих картинках один и тот же объект. Соответственно, на входе 2 картинки и бинарный лейбл, который показывает один и тот же объект на фотках или нет.
Подскажите в каком соотношении лучше ей показывать положительные и отрицательные примеры?
Подскажите в каком соотношении лучше ей показывать положительные и отрицательные примеры?
>>31945
Если хочешь сделать слой, который реализует операцию посложнее тензорного произведения, то придётся лезть в бекенд (чаще всего tensorflow).
Если хочешь сделать слой, который реализует операцию посложнее тензорного произведения, то придётся лезть в бекенд (чаще всего tensorflow).
>>32019
Хуйню несёшь. Через керас можно любой слой сделать, в тензорфлоу все тоже сводится к вызову готового класса и подгонке своих параметров.
Хуйню несёшь. Через керас можно любой слой сделать, в тензорфлоу все тоже сводится к вызову готового класса и подгонке своих параметров.
>>31955
В любом. С точки зрения сети нет положительных и отрицательных примеров, только лосс. Но, конечно, нужно чтоб были и те и те, лучше в равных количествах, но это нельзя предсказать.
В любом. С точки зрения сети нет положительных и отрицательных примеров, только лосс. Но, конечно, нужно чтоб были и те и те, лучше в равных количествах, но это нельзя предсказать.
Сап, машинообучатели. Устроился вот летом на практику, и чтобы особо не скучать пошел в питон-нейронки, думаю ознакомиться что это за зверь такой, с чем едят. В общем тестовые задания выполнил отлично, теперь поставили задачу — смоделировать сеть, которая находит в логах приватную информацию и затирает ее. Причем в любых, это не парсер написать под конкретный лог. Появилось несколько вопросов:
1) Есть ли какой-то токенайзер специально сделанный для логов? Ну, fit_on_texts из Keras с подкорректированным фильтром на знаки препинания работает по большей части хорошо (хотя когда в логе встречаются пароли со спецсимволами это уже создает лишние токены и плодит куски данных каждый из которых надо замазать)
2) Я с такими же стажерами определили два подхода: либо это две нейронные сети, первая из которых просто учиться определять, что строка содержит приватные данные, а вторая берет за sample каждое слово в этих строках и определяет что он является персональной информацией или нет. Второй подход это сразу давать сети токены, и учить чтоva=PUsya ANUSmailyx% PUNCTUMrE2au , +79319875631 (сколько вообще нужно тренировочных данных, чтобы сеть и почтовые ящики и телефоны и адреса с именами выделило, это вообще возможно, перемножая просто матрицы?) это персональная информация, а системная срань по типу {1876-13905-debug-8951} это нет. По замыслу в первой лучше будет пониматься контекст, а вторая просто научиться находить емейлы, телефоны, имена, что-то что более или менее отличается от строки с тех. датой. Нам сказали что лучше перетереть, чем недотереть, так стоит ли усложнять?
3) Поможет ли в этом деле векторизация слов по типу Word2Vec и так далее. Не вижу пока пользы в обычной задаче бинарной классификации, но может быть вы знаете лучше.
Пишу сюда потому что обучающих статей как-то мало в сети, именно по теме классификации частей предложений, все либо сотый раз мозолят датасет ириса, либо классифицируют всю строку с каким-то sentiment analysis.
1) Есть ли какой-то токенайзер специально сделанный для логов? Ну, fit_on_texts из Keras с подкорректированным фильтром на знаки препинания работает по большей части хорошо (хотя когда в логе встречаются пароли со спецсимволами это уже создает лишние токены и плодит куски данных каждый из которых надо замазать)
2) Я с такими же стажерами определили два подхода: либо это две нейронные сети, первая из которых просто учиться определять, что строка содержит приватные данные, а вторая берет за sample каждое слово в этих строках и определяет что он является персональной информацией или нет. Второй подход это сразу давать сети токены, и учить что
3) Поможет ли в этом деле векторизация слов по типу Word2Vec и так далее. Не вижу пока пользы в обычной задаче бинарной классификации, но может быть вы знаете лучше.
Пишу сюда потому что обучающих статей как-то мало в сети, именно по теме классификации частей предложений, все либо сотый раз мозолят датасет ириса, либо классифицируют всю строку с каким-то sentiment analysis.
>>32320
Спасибо.
Спасибо.
Сап анончики. У меня на работе начался какой-то нездоровый хайп вокруг Pytorch. Сам я делаю нейроночки на tf и мне заебись. Стоит ли перекатываться на торч? Какие подводные? Какие преимущества?
>>32643
Карочи, берёшь какие нибудь эмбедденги для слов, типа word2vec, дальше символы из слова кодируешь one-hot, пропускаешь через embedding lookup table и пихаешь в lstm, если возьмёшь последний выход lstm, то получишь character-level embedding. Дальше конкатенируешь word- и character-level эмбеддинги, и пихаешь в bilstm, на выход bilstm хуяришь dense слой с одним выходом и туда sigmoid cross entropy. Если тренировочных данных прям дохуя, то можно перед bilstm впаять пару 1d свёрток. Изи вин.
Карочи, берёшь какие нибудь эмбедденги для слов, типа word2vec, дальше символы из слова кодируешь one-hot, пропускаешь через embedding lookup table и пихаешь в lstm, если возьмёшь последний выход lstm, то получишь character-level embedding. Дальше конкатенируешь word- и character-level эмбеддинги, и пихаешь в bilstm, на выход bilstm хуяришь dense слой с одним выходом и туда sigmoid cross entropy. Если тренировочных данных прям дохуя, то можно перед bilstm впаять пару 1d свёрток. Изи вин.
>>33362
не обязалово seq2seq, транформер-like сетки нормально умеют эмбеддинги делать (тот же берт можно почитать шоб посмотреть как конкретно - все шо про энкодер), а знач почти под любую задачу
а насчет проспал: ну хз, народ насмотрелся на Sotы на академ датасетаз и теперь думает шо attention реально таки is all you need, хотя для 90% задач это оверкилл жуткий. Аттеншн хорош, когда у тебя длинные сиквенсы (больше 30) и RNN обламывается удержать инфу в hidden'е не расплескав. На практике для большинства практических задач эти транфсормеры ваши нахуй не нужоны - только тренятся ахулиард лет и оверфитятся только в путь
не обязалово seq2seq, транформер-like сетки нормально умеют эмбеддинги делать (тот же берт можно почитать шоб посмотреть как конкретно - все шо про энкодер), а знач почти под любую задачу
а насчет проспал: ну хз, народ насмотрелся на Sotы на академ датасетаз и теперь думает шо attention реально таки is all you need, хотя для 90% задач это оверкилл жуткий. Аттеншн хорош, когда у тебя длинные сиквенсы (больше 30) и RNN обламывается удержать инфу в hidden'е не расплескав. На практике для большинства практических задач эти транфсормеры ваши нахуй не нужоны - только тренятся ахулиард лет и оверфитятся только в путь
>>06660 (OP)
Почему б не написать ИИ, хорошо играющий в покер и поднимать на этом бабке в онлайне?
Почему б не написать ИИ, хорошо играющий в покер и поднимать на этом бабке в онлайне?
>>32643
написать что-то типо re.sub([/w]@[/w], '',text)?
Или NER сделать/взять готовый, типо Spacy/Stanford
написать что-то типо re.sub([/w]@[/w], '',text)?
Или NER сделать/взять готовый, типо Spacy/Stanford
>>33140
Спасибо за развернутый ответ, у меня осталась пара вопросов.
1) One-hot кодирование и Embedding Lookup Table это все нужно только для подготовки эмбединга? У Gensim есть функция чтобы сделать словарь, и после этого модель Word2Vec уже тренируется, видимо one-hot где-то внутри происходит и не нужно отдельно его генерировать.
2) Я правильно понял что модель на входе будет получать вектор каждого слова, внутри будет создавать character-embedding для этих слов, соединять два эмбеддинга и на output я вообще не представляю как это делается внутри, но, наверное, это вопрос на другой раз будет идти ответ — является ли слово приватной информацией, согласно тренировочным данным. Значит в датасете нужно залейблить каждое слово, так?
Спасибо за развернутый ответ, у меня осталась пара вопросов.
1) One-hot кодирование и Embedding Lookup Table это все нужно только для подготовки эмбединга? У Gensim есть функция чтобы сделать словарь, и после этого модель Word2Vec уже тренируется, видимо one-hot где-то внутри происходит и не нужно отдельно его генерировать.
2) Я правильно понял что модель на входе будет получать вектор каждого слова, внутри будет создавать character-embedding для этих слов, соединять два эмбеддинга и на output я вообще не представляю как это делается внутри, но, наверное, это вопрос на другой раз будет идти ответ — является ли слово приватной информацией, согласно тренировочным данным. Значит в датасете нужно залейблить каждое слово, так?
>>33140
Нихуя не понял. Какой-то бред. Нахуя пропускать one-hot кодированные символы через эмбендинги для полных слов? Какого хуя ты получишь символьные эмбендинги из лстм если это вообще продукт свёртки? Сам то понял что написал?
Нихуя не понял. Какой-то бред. Нахуя пропускать one-hot кодированные символы через эмбендинги для полных слов? Какого хуя ты получишь символьные эмбендинги из лстм если это вообще продукт свёртки? Сам то понял что написал?
>>34525
Я удивлен, что каким-то образом тебе удалось самому выделить хорошую идею для формата инпута из этого набора слов. Но это полная хуйня. То, что там написано даже не относится к самой сетке. Тебе просто напросто насрали на лицо непонятными терминами для препроцессинга и потом предложили использовать лстм. Я посоветую тебе использовать любые ембенденги и засунуть их в иерархическую сетку для классификации текста. Сам я не нашел конкретной статьи но видел лекцию. Хуй найдешь поди. Если сложно разбираться, то без проблем можешь использовать и лстм и атеншн, вообще у тебя ведь задача сделать, а не добиться прорывных результатов.
Я удивлен, что каким-то образом тебе удалось самому выделить хорошую идею для формата инпута из этого набора слов. Но это полная хуйня. То, что там написано даже не относится к самой сетке. Тебе просто напросто насрали на лицо непонятными терминами для препроцессинга и потом предложили использовать лстм. Я посоветую тебе использовать любые ембенденги и засунуть их в иерархическую сетку для классификации текста. Сам я не нашел конкретной статьи но видел лекцию. Хуй найдешь поди. Если сложно разбираться, то без проблем можешь использовать и лстм и атеншн, вообще у тебя ведь задача сделать, а не добиться прорывных результатов.
>>34583
>>34589
>>34525
Насколько я понял, речь про это
https://towardsdatascience.com/besides-word-embedding-why-you-need-to-know-character-embedding-6096a34a3b10
мимо
>>34589
>>34525
Насколько я понял, речь про это
https://towardsdatascience.com/besides-word-embedding-why-you-need-to-know-character-embedding-6096a34a3b10
мимо
>>34525
Смотри, у тебя основная проблема будет заключаться в том, что 99% личной инфы, при трансформации в вектора с помощью word2vec, будет сконверчено в OOV, так как этих слов не будет в словаре. Соответственно, если учить сетку на на таких векторах, то она научится помечать все OOV слова как личную инфу. А значит точность у тебя будет плохая.
Поэтому тебе нужно сделать как-то так, чтобы сетка принимала решения на основе и структуры предложения и структуры слова одновременно. Для этого я предлагаю тебе кроме word2vec эмбеддингов подавать сетке и символы из которых состоит слово. Но просто символы в виде тех же ascii кодов подавать нельзя, их надо как-то закодировать в вектора. Мы будем кодировать их one-hot, и дальше выбирать соответствующую строку матрицы эмбеддингов. Матрица эмбеддингов символов будет тренироваться в процессе тренировки сети. В tf это все делается с помощью tf.nn.embedding_lookup.
Теперь у нас возникает новая проблема - надо как-то из n векторов, которые получились из букв сделать один вектор слова. Для этого мы пропускаем эти n векторов через lstm и берем последний выход. В нем будет вся инфа о символьном представлении слова.
Дальше мы конкатенируем word2vec представление слова и выход нашей lstm. Теперь у нас есть и глобальный и локальный контекст. Его мы можем засунуть в bilstm. Выход bilstm будет бОльшей размерности, чем нам нужно, мы можем уменьшить ее с помощью dense слоя. На выходе dense слоя у нас будет logit, который если пропустить через сигмоид, покажет нам вероятность того, что данное слово является личной инфой. Очевидно, что в тренировочном датасете все слова с личной инфой должны быть помечены, иначе ты не сможешь тренировать.
word2vec ты не тренируешь, а берешь уже готовые эмбеддинги.
По размерам входов и выходов. На вход идет [batch_size, max_sentence_len, word2vec_vector_size] - предложения, закодированные в word2vec и [batch_size, max_sentence_len, max_word_len] - символьные представления. Если решишь самостоятельно кодировать one-hot, то добавится еще одно измерение.
Последний выход lstm будет [batch_size, max_sentence_len, lstm_cell_size].
Выход bilstm [batch_size, max_sentence_len, bilstm_cell_size]
После dense слоя [batch_size, max_sentence_len, 1]. Тебе надо будет убрать последнее измерение. В tf это делается с помощью tf.squeeze.
Как-то так.
Смотри, у тебя основная проблема будет заключаться в том, что 99% личной инфы, при трансформации в вектора с помощью word2vec, будет сконверчено в OOV, так как этих слов не будет в словаре. Соответственно, если учить сетку на на таких векторах, то она научится помечать все OOV слова как личную инфу. А значит точность у тебя будет плохая.
Поэтому тебе нужно сделать как-то так, чтобы сетка принимала решения на основе и структуры предложения и структуры слова одновременно. Для этого я предлагаю тебе кроме word2vec эмбеддингов подавать сетке и символы из которых состоит слово. Но просто символы в виде тех же ascii кодов подавать нельзя, их надо как-то закодировать в вектора. Мы будем кодировать их one-hot, и дальше выбирать соответствующую строку матрицы эмбеддингов. Матрица эмбеддингов символов будет тренироваться в процессе тренировки сети. В tf это все делается с помощью tf.nn.embedding_lookup.
Теперь у нас возникает новая проблема - надо как-то из n векторов, которые получились из букв сделать один вектор слова. Для этого мы пропускаем эти n векторов через lstm и берем последний выход. В нем будет вся инфа о символьном представлении слова.
Дальше мы конкатенируем word2vec представление слова и выход нашей lstm. Теперь у нас есть и глобальный и локальный контекст. Его мы можем засунуть в bilstm. Выход bilstm будет бОльшей размерности, чем нам нужно, мы можем уменьшить ее с помощью dense слоя. На выходе dense слоя у нас будет logit, который если пропустить через сигмоид, покажет нам вероятность того, что данное слово является личной инфой. Очевидно, что в тренировочном датасете все слова с личной инфой должны быть помечены, иначе ты не сможешь тренировать.
word2vec ты не тренируешь, а берешь уже готовые эмбеддинги.
По размерам входов и выходов. На вход идет [batch_size, max_sentence_len, word2vec_vector_size] - предложения, закодированные в word2vec и [batch_size, max_sentence_len, max_word_len] - символьные представления. Если решишь самостоятельно кодировать one-hot, то добавится еще одно измерение.
Последний выход lstm будет [batch_size, max_sentence_len, lstm_cell_size].
Выход bilstm [batch_size, max_sentence_len, bilstm_cell_size]
После dense слоя [batch_size, max_sentence_len, 1]. Тебе надо будет убрать последнее измерение. В tf это делается с помощью tf.squeeze.
Как-то так.
>>34525
Смотри, у тебя основная проблема будет заключаться в том, что 99% личной инфы, при трансформации в вектора с помощью word2vec, будет сконверчено в OOV, так как этих слов не будет в словаре. Соответственно, если учить сетку на на таких векторах, то она научится помечать все OOV слова как личную инфу. А значит точность у тебя будет плохая.
Поэтому тебе нужно сделать как-то так, чтобы сетка принимала решения на основе и структуры предложения и структуры слова одновременно. Для этого я предлагаю тебе кроме word2vec эмбеддингов подавать сетке и символы из которых состоит слово. Но просто символы в виде тех же ascii кодов подавать нельзя, их надо как-то закодировать в вектора. Мы будем кодировать их one-hot, и дальше выбирать соответствующую строку матрицы эмбеддингов. Матрица эмбеддингов символов будет тренироваться в процессе тренировки сети. В tf это все делается с помощью tf.nn.embedding_lookup.
Теперь у нас возникает новая проблема - надо как-то из n векторов, которые получились из букв сделать один вектор слова. Для этого мы пропускаем эти n векторов через lstm и берем последний выход. В нем будет вся инфа о символьном представлении слова.
Дальше мы конкатенируем word2vec представление слова и выход нашей lstm. Теперь у нас есть и глобальный и локальный контекст. Его мы можем засунуть в bilstm. Выход bilstm будет бОльшей размерности, чем нам нужно, мы можем уменьшить ее с помощью dense слоя. На выходе dense слоя у нас будет logit, который если пропустить через сигмоид, покажет нам вероятность того, что данное слово является личной инфой. Очевидно, что в тренировочном датасете все слова с личной инфой должны быть помечены, иначе ты не сможешь тренировать.
word2vec ты не тренируешь, а берешь уже готовые эмбеддинги.
По размерам входов и выходов. На вход идет [batch_size, max_sentence_len, word2vec_vector_size] - предложения, закодированные в word2vec и [batch_size, max_sentence_len, max_word_len] - символьные представления. Если решишь самостоятельно кодировать one-hot, то добавится еще одно измерение.
Последний выход lstm будет [batch_size, max_sentence_len, lstm_cell_size].
Выход bilstm [batch_size, max_sentence_len, bilstm_cell_size]
После dense слоя [batch_size, max_sentence_len, 1]. Тебе надо будет убрать последнее измерение. В tf это делается с помощью tf.squeeze.
Как-то так.
Смотри, у тебя основная проблема будет заключаться в том, что 99% личной инфы, при трансформации в вектора с помощью word2vec, будет сконверчено в OOV, так как этих слов не будет в словаре. Соответственно, если учить сетку на на таких векторах, то она научится помечать все OOV слова как личную инфу. А значит точность у тебя будет плохая.
Поэтому тебе нужно сделать как-то так, чтобы сетка принимала решения на основе и структуры предложения и структуры слова одновременно. Для этого я предлагаю тебе кроме word2vec эмбеддингов подавать сетке и символы из которых состоит слово. Но просто символы в виде тех же ascii кодов подавать нельзя, их надо как-то закодировать в вектора. Мы будем кодировать их one-hot, и дальше выбирать соответствующую строку матрицы эмбеддингов. Матрица эмбеддингов символов будет тренироваться в процессе тренировки сети. В tf это все делается с помощью tf.nn.embedding_lookup.
Теперь у нас возникает новая проблема - надо как-то из n векторов, которые получились из букв сделать один вектор слова. Для этого мы пропускаем эти n векторов через lstm и берем последний выход. В нем будет вся инфа о символьном представлении слова.
Дальше мы конкатенируем word2vec представление слова и выход нашей lstm. Теперь у нас есть и глобальный и локальный контекст. Его мы можем засунуть в bilstm. Выход bilstm будет бОльшей размерности, чем нам нужно, мы можем уменьшить ее с помощью dense слоя. На выходе dense слоя у нас будет logit, который если пропустить через сигмоид, покажет нам вероятность того, что данное слово является личной инфой. Очевидно, что в тренировочном датасете все слова с личной инфой должны быть помечены, иначе ты не сможешь тренировать.
word2vec ты не тренируешь, а берешь уже готовые эмбеддинги.
По размерам входов и выходов. На вход идет [batch_size, max_sentence_len, word2vec_vector_size] - предложения, закодированные в word2vec и [batch_size, max_sentence_len, max_word_len] - символьные представления. Если решишь самостоятельно кодировать one-hot, то добавится еще одно измерение.
Последний выход lstm будет [batch_size, max_sentence_len, lstm_cell_size].
Выход bilstm [batch_size, max_sentence_len, bilstm_cell_size]
После dense слоя [batch_size, max_sentence_len, 1]. Тебе надо будет убрать последнее измерение. В tf это делается с помощью tf.squeeze.
Как-то так.
>>34589
Блядь, я даже не знаю, что тебе ответить.
> не нашел конкретной статьи но видел лекцию
> Если сложно разбираться
> без проблем можешь использовать атеншн
Блядь, я даже не знаю, что тебе ответить.
>>35040
Если брать Keras LSTM(return_sequences=False), он вернет 2 измерения, и можно пихать после него dense и activation
Если брать Keras LSTM(return_sequences=False), он вернет 2 измерения, и можно пихать после него dense и activation
277 Кб, 872x916Вы тута в эмбеддингах понимаете штоле? Вот смотрите, допустим есть готовый эмбеддинг. На его основе нужно сделать другой, где каждый элемент первого эмбеддинга должен быть представлен вектором, компоненты которого - расстояния между текущим элементом эмбеддинга и всеми остальными. Однако же, размерность такого вторичного эмбеддинга будет равна количеству элементов первого, что в итоге просто поставит раком любой кудахтер, ибо элементов в эмбеддинге может быть и миллиард. И что делать?
>>36387
Есть одна задача, для которой нужны именно расстояния между элементами эмбеддинга. Это связано с лингвистическими регулярностями в NLP. Вот я и подумал, что вместо эмбеддинга будет удобнее работать сразу с такой структурой. Конечно, можно считать расстояния по мере надобности, как это и делается в лингвистических регулярностях, но считать все равно придется их все, т.к речь о сравнении их структуры на всем эмбеддинге. И вот, получается что это невозможно.
Есть одна задача, для которой нужны именно расстояния между элементами эмбеддинга. Это связано с лингвистическими регулярностями в NLP. Вот я и подумал, что вместо эмбеддинга будет удобнее работать сразу с такой структурой. Конечно, можно считать расстояния по мере надобности, как это и делается в лингвистических регулярностях, но считать все равно придется их все, т.к речь о сравнении их структуры на всем эмбеддинге. И вот, получается что это невозможно.
>>32317
Удачи сделать вычисление главного собственного значения.
Удачи сделать вычисление главного собственного значения.
Вот такой вот вопрос, сколько нужно количество нейронов в нейронке, чтобы научить ее предсказывать sin()?)
Про Яндекс рассказывают, что там набирают юных ботанов за низкую цену, унижают их, чтобы они лучше старались. А ботаны, стиснув зубы, терпят унижения, чтобы накопить опыт и сбежать в норм контору.
Это правда?
А как Яндекс держится? Неужели только силами временных ботанов вся корпорация держится?
Это правда?
А как Яндекс держится? Неужели только силами временных ботанов вся корпорация держится?
>>37153
З.Ы. Когда гуглю про машинное обучение, то кругом контекстная реклама Яндекса: пройди курсы Воронцова по анализу данных, помоги интеллектуальной системе Яндекса решай задачи за центы на Яндекс.Толока и т.д.
З.Ы. Когда гуглю про машинное обучение, то кругом контекстная реклама Яндекса: пройди курсы Воронцова по анализу данных, помоги интеллектуальной системе Яндекса решай задачи за центы на Яндекс.Толока и т.д.
>>37153
В таком бизьнесе основное правило: шохи, что метят выше, терпят низкую зп ради опыта и потом уходят выше если повезёт, а к тем кто приходит спускаясь из места покруче отношение и зп уже другие.
В таком бизьнесе основное правило: шохи, что метят выше, терпят низкую зп ради опыта и потом уходят выше если повезёт, а к тем кто приходит спускаясь из места покруче отношение и зп уже другие.
>>37169
То есть они изредка при наступлении крайней необходимости выманивают деньгами людей из мест покруче?
То есть они изредка при наступлении крайней необходимости выманивают деньгами людей из мест покруче?
>>37189
Да даже выманивать не надо, один из стандартных путей стремящегося шохи: перебираться из конторы в контору наверх, добравшись до этого верха поработать там пару годиков, и пойти искать чего попроще.
Да даже выманивать не надо, один из стандартных путей стремящегося шохи: перебираться из конторы в контору наверх, добравшись до этого верха поработать там пару годиков, и пойти искать чего попроще.
>>36878
Не, нужно именно по всему эмбеддингу.
> А расстояния не до всех элементов, а только до элементов минибатча не подойдут?
Не, нужно именно по всему эмбеддингу.
>>36878
Я вот подумал, если такое расстояние, или расстояние между элементом и скажем 10 ближайшими к нему, возможно получить, то расстояние между двумя произвольными элементами эмбеддинга можно вывести как композицию расстояний 1 - х1, х1 - х2, ... , хn-1 - xn, xn - 2, где 1 и 2 - элементы, расстояние между которыми нужно получить, х* - самый дальний из элементов, ближайших к предыдущему. Такое расстояние будет не по прямой, но мб это некритично. И во всяком случае не требует эмбеддинга, размерностью в миллиарды.
> А расстояния не до всех элементов, а только до элементов минибатча не подойдут?
Я вот подумал, если такое расстояние, или расстояние между элементом и скажем 10 ближайшими к нему, возможно получить, то расстояние между двумя произвольными элементами эмбеддинга можно вывести как композицию расстояний 1 - х1, х1 - х2, ... , хn-1 - xn, xn - 2, где 1 и 2 - элементы, расстояние между которыми нужно получить, х* - самый дальний из элементов, ближайших к предыдущему. Такое расстояние будет не по прямой, но мб это некритично. И во всяком случае не требует эмбеддинга, размерностью в миллиарды.
Использую Pytorch. Если ставлю в Dataloader'е num_workers больше, чем 0, то работает в несколько раз дольше.
Работаю в linux, cuda есть. Сами вычисления нормально работают на GPU. Не понимаю почему не распараллеливается подгрузка данных.
Работаю в linux, cuda есть. Сами вычисления нормально работают на GPU. Не понимаю почему не распараллеливается подгрузка данных.
А есть здесь нейрогоспода, кто в режиме платных консультаций поможет мне зафайнтюнить BigGAN или ProGAN?
Вычислительная платформа - Google Cloud Platform.
Вычислительная платформа - Google Cloud Platform.
>>06660 (OP)
ананон помогай. делаю на java + opencv Вообщем, надо получить ключевые точки лица -landmarks . Сдетектить лицо получилось. Переписал https://github.com/spmallick/learnopencv/blob/master/FaceDetectionComparison/face_detection_opencv_dnn.cpp
Как теперь получить landmarks, точнее Mat или хотя бы blob с координатами. Можно, как то запилить под свои нужды модель от сюда https://github.com/lsy17096535/face-landmark.? Типа нейронка + нейронка(без dlib).
ананон помогай. делаю на java + opencv Вообщем, надо получить ключевые точки лица -landmarks . Сдетектить лицо получилось. Переписал https://github.com/spmallick/learnopencv/blob/master/FaceDetectionComparison/face_detection_opencv_dnn.cpp
Как теперь получить landmarks, точнее Mat или хотя бы blob с координатами. Можно, как то запилить под свои нужды модель от сюда https://github.com/lsy17096535/face-landmark.? Типа нейронка + нейронка(без dlib).
Сап, пытаюсь запилить одну вещь для себя, используя простой перцептрон. Книжки пока не осилил, поэтому, у меня есть два вопроса:
1. Есть ли разница, в каком диапазоне нормировать значения, продаваемые на входы (например, обязательно нужно (0 ; 1) или можно например (-0,5; 0,5))? Второе просто больше подходит по смыслу.
2. Большинство входов нейросети получают одно из шести дискретных значений, которым я присвоил произвольные числовые значения. Подозреваю, что это хуйня и нужно увеличивать количество входов (6 вместо одного) и подавать на каждый вход ноль или единицу.
Также, посоветуйте, книжку, где есть ответы на мои вопросы, я тупой, поэтому, если есть, на русском
1. Есть ли разница, в каком диапазоне нормировать значения, продаваемые на входы (например, обязательно нужно (0 ; 1) или можно например (-0,5; 0,5))? Второе просто больше подходит по смыслу.
2. Большинство входов нейросети получают одно из шести дискретных значений, которым я присвоил произвольные числовые значения. Подозреваю, что это хуйня и нужно увеличивать количество входов (6 вместо одного) и подавать на каждый вход ноль или единицу.
Также, посоветуйте, книжку, где есть ответы на мои вопросы, я тупой, поэтому, если есть, на русском
>>39533
Теоретически не нужно, практически приходится. Зависит от наличия дропаутов и прочих l2 регуляризаций, от датасета, от характера задачи. Короче, мошон лёрнинг типичный, нужно или нет познаётся только trial/error методом.
Теоретически не нужно, практически обязательно. Если нет соображений что от этих дискретных значений что-то должно зависеть не сильно нелинейно.
>1. Есть ли разница, в каком диапазоне нормировать значения, продаваемые на входы (например, обязательно нужно (0 ; 1) или можно например (-0,5; 0,5))? Второе просто больше подходит по смыслу.
Теоретически не нужно, практически приходится. Зависит от наличия дропаутов и прочих l2 регуляризаций, от датасета, от характера задачи. Короче, мошон лёрнинг типичный, нужно или нет познаётся только trial/error методом.
>2. Большинство входов нейросети получают одно из шести дискретных значений, которым я присвоил произвольные числовые значения. Подозреваю, что это хуйня и нужно увеличивать количество входов (6 вместо одного) и подавать на каждый вход ноль или единицу.
Теоретически не нужно, практически обязательно. Если нет соображений что от этих дискретных значений что-то должно зависеть не сильно нелинейно.
>>39574
Спасибо, буду пробовать увеличить кол-во входов.
Спасибо, буду пробовать увеличить кол-во входов.
>>30229
Я бы охотно взял 1080ti, только их же не сталось нихуя.
Я бы охотно взял 1080ti, только их же не сталось нихуя.
>>29570
Ну ведь и правда лучше человека.
Ну ведь и правда лучше человека.
Прошёл я значит такой пару курсов по МЛ в инторнетах, выполнил задания из разряда
x_train, y_train, x_test, y_test = mlcourse.helpers.prepare_data()
reg = LinearRegression(...) # здесь какие-то подобранные за 10 прогонов параметры
reg.fit(x_train, y_train)
Получил reg.score 0.9999, сказал "аа, ну дадада, всё понятно". Пошёл применять те же самые рандом форесты на простеньких (как мне казалось) датасетах, котоые предварительно не облапал своими грязными ручёнками автор курса. И всё, RMSE over 9000, reg.score 0.1488.
Хуйня, короче, все эти курсы. Есть какая-нибудь нормальная коллекция реальных задач (с сырыми данными) и вменяемых (без kaggle-style тюнига) решений?
x_train, y_train, x_test, y_test = mlcourse.helpers.prepare_data()
reg = LinearRegression(...) # здесь какие-то подобранные за 10 прогонов параметры
reg.fit(x_train, y_train)
Получил reg.score 0.9999, сказал "аа, ну дадада, всё понятно". Пошёл применять те же самые рандом форесты на простеньких (как мне казалось) датасетах, котоые предварительно не облапал своими грязными ручёнками автор курса. И всё, RMSE over 9000, reg.score 0.1488.
Хуйня, короче, все эти курсы. Есть какая-нибудь нормальная коллекция реальных задач (с сырыми данными) и вменяемых (без kaggle-style тюнига) решений?
>>39649
Это что за простенький датасет у тебя?
Это что за простенький датасет у тебя?
Тред утонул или удален.
Это копия, сохраненная 8 августа 2019 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Это копия, сохраненная 8 августа 2019 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.