Это копия, сохраненная 22 апреля 2020 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".
Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.
Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материала
В чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examples
Где набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/
Где работать? https://www.indeed.com/q-deep-learning-jobs.html
Где узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихся
Где посмотреть последние статьи? http://www.arxiv-sanity.com/
Где ещё можно поговорить про анализ данных? http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущий:
https://2ch.hk/pr/res/1543969.html (М)
Архивач:
http://arhivach.ng/thread/412868/
Остальные в предыдущих тредах
Там же можно найти треды 2016-2018 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
>>1577202
А ещё такой вопрос: если брать ту же задачу по Титанику и решать её при помощи нейронной сети, как выбирать:
1) Размер входного слоя - он будет зависеть от каждого пассажира?
2) Размер и количество скрытых слоёв
3) Размер выходного слоя - он будет равен количеству классов в задаче классификации?
1) он будет зависить от количества параметров, которыми описывается один пассажир
2) как хочешь так и делай. Данных мало, значит лучше без нейронок меньше слоев (например, 0) и поменьше размер
3) обычно да, но если класса всего два, то делается один выход с сигмоидой и предсказывается вероятность спастись
>>579008
может некоторые данные дублируются и попадают в отложенную выборку? данные перемешиваешь перед тем как разбить на фолды/разделить? сколько фолдов делаешь в кросс-валидации?
>1) он будет зависить от количества параметров, которыми описывается один пассажир
Спасибо.
А если там, например, таблица 20000 x 10000, где каждая колонка - отдельный признак, содержащий 0 или 1, но единиц у каждой строки от силы 15 - остальные нули.
Как тогда? Задавать 10000 входов?
Потому что в датасетах часто бывают категориальные признаки, и если их правильно обрабатывать, то метрики будут выше.
Так а почему выше, если с бустенгом деревьях всё равно должно быть как закодированы кат признаки?
> Задавать 10000 входов?
да
Можешь как-нибудь попытаться преобразовать данные, например, в SVD запихнуть. В случае слов в предложении всякие предобученные эмбеддинги используют
batch_size: 4 [default: 1]
beta1: 0.5
checkpoints_dir: ./checkpoints
continue_train: False
crop_size: 256
dataroot: ./selfie2comics [default: None]
dataset_mode: unaligned
direction: AtoB
display_env: main
display_freq: 400
display_id: 1
display_ncols: 4
display_port: 8097
display_server: http://localhost
display_winsize: 256
epoch: latest
epoch_count: 1
gan_mode: lsgan
gpu_ids: 0
init_gain: 0.02
init_type: kaiming [default: normal]
input_nc: 3
isTrain: True [default: None]
lambda_A: 10.0
lambda_B: 10.0
lambda_identity: 0.5
load_iter: 0 [default: 0]
load_size: 256 [default: 286]
lr: 0.0002
lr_decay_iters: 50
lr_policy: linear
max_dataset_size: inf
model: cycle_gan
n_epochs: 100
n_epochs_decay: 100
n_layers_D: 3
name: resnet9_132to400_comics8 [default: experiment_name]
ndf: 64
netD: basic
netG: resnet_9blocks
ngf: 64
no_dropout: True
no_flip: False
no_html: False
norm: instance
num_threads: 4
output_nc: 3
phase: train
pool_size: 50
preprocess: resize_and_crop
print_freq: 100
save_by_iter: False
save_epoch_freq: 5
save_latest_freq: 5000
serial_batches: False
suffix:
update_html_freq: 1000
verbose: False
----------------- End -------------------
dataset [UnalignedDataset] was created
The number of training images = 1530
initialize network with kaiming
initialize network with kaiming
initialize network with kaiming
initialize network with kaiming
model [CycleGANModel] was created
---------- Networks initialized -------------
[Network G_A] Total number of parameters : 11.378 M
[Network G_B] Total number of parameters : 11.378 M
[Network D_A] Total number of parameters : 2.765 M
[Network D_B] Total number of parameters : 2.765 M
-----------------------------------------------
Setting up a new session...
create web directory ./checkpoints/resnet9_132to400_comics8/web...
Traceback (most recent call last):
File "train.py", line 44, in <module>
for i, data in enumerate(dataset): # inner loop within one epoch
File "/content/data/__init__.py", line 90, in __iter__
for i, data in enumerate(self.dataloader):
File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/dataloader.py", line 345, in __next__
data = self._next_data()
File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/dataloader.py", line 838, in _next_data
return self._process_data(data)
File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/dataloader.py", line 881, in _process_data
data.reraise()
File "/usr/local/lib/python3.6/dist-packages/torch/_utils.py", line 394, in reraise
raise self.exc_type(msg)
OSError: Caught OSError in DataLoader worker process 3.
Original Traceback (most recent call last):
File "/usr/local/lib/python3.6/dist-packages/PIL/ImageFile.py", line 235, in load
s = read(self.decodermaxblock)
File "/usr/local/lib/python3.6/dist-packages/PIL/PngImagePlugin.py", line 659, in load_read
cid, pos, length = self.png.read()
File "/usr/local/lib/python3.6/dist-packages/PIL/PngImagePlugin.py", line 122, in read
length = i32(s)
File "/usr/local/lib/python3.6/dist-packages/PIL/_binary.py", line 82, in i32be
return unpack_from(">I", c, o)[0]
struct.error: unpack_from requires a buffer of at least 4 bytes
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/_utils/worker.py", line 178, in _worker_loop
data = fetcher.fetch(index)
File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/_utils/fetch.py", line 44, in fetch
data = [self.dataset[idx] for idx in possibly_batched_index]
File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/_utils/fetch.py", line 44, in <listcomp>
data = [self.dataset[idx] for idx in possibly_batched_index]
File "/content/data/unaligned_dataset.py", line 58, in __getitem__
B_img = Image.open(B_path).convert('RGB')
File "/usr/local/lib/python3.6/dist-packages/PIL/Image.py", line 930, in convert
self.load()
File "/usr/local/lib/python3.6/dist-packages/PIL/ImageFile.py", line 241, in load
raise IOError("image file is truncated")
OSError: image file is truncated
Вот такая ошибка при обучении нейронки на google colab. Если запускаю на домашнем пека, то все ок. Я уже запускал нейронку на колабе эту же, с теми же настройками и работало как часы, а шас нихуя. Ебусь уже 2 часа и гугл нихуя не помог. на домашнем пека с теми же либами, настройками обучение идет
что можете посоветовать?
batch_size: 4 [default: 1]
beta1: 0.5
checkpoints_dir: ./checkpoints
continue_train: False
crop_size: 256
dataroot: ./selfie2comics [default: None]
dataset_mode: unaligned
direction: AtoB
display_env: main
display_freq: 400
display_id: 1
display_ncols: 4
display_port: 8097
display_server: http://localhost
display_winsize: 256
epoch: latest
epoch_count: 1
gan_mode: lsgan
gpu_ids: 0
init_gain: 0.02
init_type: kaiming [default: normal]
input_nc: 3
isTrain: True [default: None]
lambda_A: 10.0
lambda_B: 10.0
lambda_identity: 0.5
load_iter: 0 [default: 0]
load_size: 256 [default: 286]
lr: 0.0002
lr_decay_iters: 50
lr_policy: linear
max_dataset_size: inf
model: cycle_gan
n_epochs: 100
n_epochs_decay: 100
n_layers_D: 3
name: resnet9_132to400_comics8 [default: experiment_name]
ndf: 64
netD: basic
netG: resnet_9blocks
ngf: 64
no_dropout: True
no_flip: False
no_html: False
norm: instance
num_threads: 4
output_nc: 3
phase: train
pool_size: 50
preprocess: resize_and_crop
print_freq: 100
save_by_iter: False
save_epoch_freq: 5
save_latest_freq: 5000
serial_batches: False
suffix:
update_html_freq: 1000
verbose: False
----------------- End -------------------
dataset [UnalignedDataset] was created
The number of training images = 1530
initialize network with kaiming
initialize network with kaiming
initialize network with kaiming
initialize network with kaiming
model [CycleGANModel] was created
---------- Networks initialized -------------
[Network G_A] Total number of parameters : 11.378 M
[Network G_B] Total number of parameters : 11.378 M
[Network D_A] Total number of parameters : 2.765 M
[Network D_B] Total number of parameters : 2.765 M
-----------------------------------------------
Setting up a new session...
create web directory ./checkpoints/resnet9_132to400_comics8/web...
Traceback (most recent call last):
File "train.py", line 44, in <module>
for i, data in enumerate(dataset): # inner loop within one epoch
File "/content/data/__init__.py", line 90, in __iter__
for i, data in enumerate(self.dataloader):
File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/dataloader.py", line 345, in __next__
data = self._next_data()
File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/dataloader.py", line 838, in _next_data
return self._process_data(data)
File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/dataloader.py", line 881, in _process_data
data.reraise()
File "/usr/local/lib/python3.6/dist-packages/torch/_utils.py", line 394, in reraise
raise self.exc_type(msg)
OSError: Caught OSError in DataLoader worker process 3.
Original Traceback (most recent call last):
File "/usr/local/lib/python3.6/dist-packages/PIL/ImageFile.py", line 235, in load
s = read(self.decodermaxblock)
File "/usr/local/lib/python3.6/dist-packages/PIL/PngImagePlugin.py", line 659, in load_read
cid, pos, length = self.png.read()
File "/usr/local/lib/python3.6/dist-packages/PIL/PngImagePlugin.py", line 122, in read
length = i32(s)
File "/usr/local/lib/python3.6/dist-packages/PIL/_binary.py", line 82, in i32be
return unpack_from(">I", c, o)[0]
struct.error: unpack_from requires a buffer of at least 4 bytes
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/_utils/worker.py", line 178, in _worker_loop
data = fetcher.fetch(index)
File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/_utils/fetch.py", line 44, in fetch
data = [self.dataset[idx] for idx in possibly_batched_index]
File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/_utils/fetch.py", line 44, in <listcomp>
data = [self.dataset[idx] for idx in possibly_batched_index]
File "/content/data/unaligned_dataset.py", line 58, in __getitem__
B_img = Image.open(B_path).convert('RGB')
File "/usr/local/lib/python3.6/dist-packages/PIL/Image.py", line 930, in convert
self.load()
File "/usr/local/lib/python3.6/dist-packages/PIL/ImageFile.py", line 241, in load
raise IOError("image file is truncated")
OSError: image file is truncated
Вот такая ошибка при обучении нейронки на google colab. Если запускаю на домашнем пека, то все ок. Я уже запускал нейронку на колабе эту же, с теми же настройками и работало как часы, а шас нихуя. Ебусь уже 2 часа и гугл нихуя не помог. на домашнем пека с теми же либами, настройками обучение идет
что можете посоветовать?
Собсна, я решил проверить. Задал несколько арифметических примеров, и быстро понял, что считать она не умеет. Не беда, казалось бы, можно и обучить. Но как бы я не старался, эта хуйня отказывалась обучаться.
Так вот, аноны, о каком ИИ может идти речь, если мы еще не можем обучить компьютер считать? Именно обучить, как ребенка. Сначала показать ему цифры(он должен уловить, что такое цифра), потом начать пересчет чисел(понять порядок чисел и понять как работают разряды), потом обучить плюсу и минусу. Вот тогда, когда ты на примерах покажешь счет, а компьютер уловит закономерности и сможет делать выводы, вот тогда можно говорить об обучаемости и ИИ.
Знаете работы по данной теме? Или у вас есть предположения, как это реализовать.
Ее только яндекс может обучать.
Нет, для счета осознанность не требуется.
> Знаете работы по данной теме? Или у вас есть предположения, как это реализовать.
Эта тема сложнее чем кажется. Но эта задача решаема, я как раз этим занимаюсь.
> Так вот, аноны, о каком ИИ может идти речь, если мы еще не можем обучить компьютер считать? Именно обучить, как ребенка. Сначала показать ему цифры(он должен уловить, что такое цифра), потом начать пересчет чисел(понять порядок чисел и понять как работают разряды), потом обучить плюсу и минусу. Вот тогда, когда ты на примерах покажешь счет, а компьютер уловит закономерности и сможет делать выводы, вот тогда можно говорить об обучаемости и ИИ.
На примерах и улавливания закономерностей заебешься. И нет, алгоритм машобчика, умеющий в арифметику, мыслить не будет. Я тут пару лет назад какому-то долбаебу показывал, как даже обычный инженерный куркулятор легко может продолжить ряд типа 1,3,5,7,... Он заявлял, что нейроночки в такое не могут. Так вот, могут. И мыслить для этого не нужно. То что ты описал, намного сложнее, но опять же, никакой уличной магии не требует и не приведет ни к каким качественно новым умениям машобчика кроме самого умения считать.
> То что ты описал, намного сложнее, но опять же, никакой уличной магии не требует и не приведет ни к каким качественно новым умениям машобчика кроме самого умения считать.
Так или иначе, мы научили компьютер.
Раз мы научили считать, то подобным образом его можно чему угодно обучить. Запоминаем факты, находим закономерности, исследуем аномалии, перезаписываем и дополняем известные знания. Сам счет бесполезен, вот метод, по которому машинка обучилась - вполне себе.
>может некоторые данные дублируются и попадают в отложенную выборку? данные перемешиваешь перед тем как разбить на фолды/разделить? сколько фолдов делаешь в кросс-валидации?
дубликатов нету я их проверял и удалял через пандовские функции (df.duplicated().value_counts(), df2.drop_duplicates(inplace=True)). Разбиваю данные как обычно с помощью функции train_test_split c shuffle=True. фолдов 3 обучал на бустинге 5000 древьев
Потому что обычно в решающих деревьях используется тупо отсечение по порогу, которое хорошо работает с ординальными признаками ("оцените по шкале от 1 до 5"), но плохо с категориальными ("выберите город проживания - Москва, СПб, Новосибирск, Челябинск, Владивосток").
Куда проще научить его распознавать при разговоре числа и обозначения математических операций и строить из них формулу, после чего передавать её в специализированное приложение.
"Научили компьютер" - это очень человеческое понятие, не надо его куда ни попадя пихать, это чревато непониманием возможностей, завышенными ожиданиями и в итоге разочарованием. Мы оптимизировали некоторую функцию, всё.
>Так вот, аноны, о каком ИИ может идти речь, если мы еще не можем обучить компьютер считать? Именно обучить, как ребенка.
Видимо в Древнем Египте с грамотностью людей на уровне единиц процентов, интеллекта ни у кого не было. А то хули они никого обучить не могли, были бы грамотными, построили бы космический корабль. Гуманитариев нельзя подпускать к ML, от гуманитариев ML тупеет. Поэтому держись подальше и все будет хорошо.
>Или у вас есть предположения, как это реализовать.
Нужно уходить от GEMM и оптимизации железа под GEMM. А это тяжело, потому что в GEMM вложены миллиарды и оно хорошо решает текущие задачи. Представь, что у тебя все нейроны в мозге думают одновременно, в итоге тебе нужно жрать в 1000 раз больше, провести отдельную систему канализации для отвода тепла и продуктов жизнедеятельности. Вот примерно такое состояние у современного ML. Это не значит, что твои охуенные мысли кому-то нужны.
Раз хорошо решает задачи, то чего ещё желать? Никому не нужен робот-водитель, который ещё и разговор поддержать может, от него только водить требуется.
>Раз хорошо решает задачи
Кудахтер что то хорошо решает только в больном матанопетушином вооброжаемом мирке
Модель из сверточной сети и lstm с аттеншионом.
В чем может быть проблема вообще? До этого она прекрасно обучалась и распознавала.
Может ли это быть из-за длинных последовательностей? Сет, на котором она обучалась первый раз у меня включал в себя всего 40 символов максимум на последовательность, сейчас я увеличил датасет, теперь максимальное предложение у меня 140 символов и оно не хочет обучаться
учу модель разукрашивать мангу. в датасет а запихнул черно-белую мангу, а в датасет б разукрашенную и точно такую же. Так вот, при обучении в 100 эпох примерно такой результат(смотри пикчу). учу модель размером в 256х256.
модель - https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix
датасет на 1500 пикч
учить дальше или лучше не будет?
Да если бы можно было, попробовал решения с ограничением памяти, так не работает, при выставлении 32 и 64 батчей все крашится в пизду, на малом количестве батчей оно обучаться не хочет.
Ех, возможности расширенного инстанса гугл колаба я уже исчерпал, придется платить амазону.
У гпу-коллаба производительность как у 1060.
Блин. Было бы круто выхватывать граф реплик персонажей постранично из манги/комикса и распечатывть это в виде сценкрия (по полям).
Хочу у них таки купить инстанс и воспользоваться sagemaker для обучения своей нейроночки, только вот мне нихуя не понятно, просто контринтуитивный сервис.
В семье с батей по яой манге
Потому что нужно разделение на нейронку и формальную логику. Вот как мы складываем/умножаем/делим в уме? Мы же не угадываем нейронкой примерный ответ. А выполняем четкие алгоритмические шаги.
Митап по МЛ пикрил
Лахтоботы скоро станут ии.
>Мы же не угадываем нейронкой примерный ответ.
Угадываем, я вот не затрачиваю ресурсы мозга на расчеты, я просто думаю над операцией и мозг сам дает ответ.
>Вот как мы складываем/умножаем/делим в уме
Сейчас гуманитарный филосопетрович расскажет нам, как мы складываем в уме
> Доказывать отсутствие? Пфф, точно не думаешь.
Тебе не надо доказывать отсутствие, ты можешь просто пояснить, как оно происходит, но чуется мне, что ты хуй с горы и твое утверждение ни на чем не основано, ну просто не угадываем, значит не угадываем.
Проиграл с нейронки.
Ну вот это приходится раскладывать на простейшие, сперва ((3610)6)+(36*3)+13=2281, вот на простейшие операции я мозг не задействую.
НА ХХ 1,5 ВАКАНСИИ ДЛЯ НЮФАГОВ В ОСТАЛЬНЫХ СЛУЧАЯХ ТРЕБУЕТСЯ ОПЫТ РАБОТЫ
> на простейшие операции я мозг не задействую.
Типа ты имеешь в виду, что у тебя в памяти хранится таблица всех произведений до 100x100? Плюс ты как то должен был разложить на простейшие, а это тоже алгоритм.
Да пошел ты нахуй черт
Вот чувствуется в тебе специалист, а не "ололо я делаю скайнет"
Спасибо, но подводных камней хватает: ещё найти вакансию питониста в конторе, где есть перспектива устроиться в МашОб, ещё устроиться на эту вакансию, ещё переквалифицироваться (и не факт, что эта контора будет заинтересована тебя развивать, а не взять готового спеца).
>>582671
Там преимущественно иностранные вакансии.
Эмиграции в ближайшие 1,5 - 2 года не входит в мои планы.
Может тут кто сжалится, лол?
Нет ты.
> Куда проще научить его распознавать при разговоре числа и обозначения математических операций и строить из них формулу, после чего передавать её в специализированное приложение.
А если приложение ограниченно? Вот не умеет логарифмы считать.
На вход модели подаю вектор, а мне:
'str' object has no attribute 'dim'
Щито делать?
> Открыть книгу по матану.
Охуительный совет, блять.
Ты когда к врачу приходишь, он тебе тоже даёт общий диагноз или отправляет читать книги по пат.анатомии?
Есть вопрос - то либо конкретизируй ответ, либо вообще ничего не пиши.
Матан охуеть какой большой, и изучать кучу книг потому что какой-то диванный специалист что-то спизданул - это охуеть какое неэффективное расходование времени.
Да и вангую там не в матане дело.
shape есть? а если не найду?
Проще найти и скачать более мощное, чем пытаться обучить нейронку саму считать.
Искать, где там str возникло, чего тут ещё можно посоветовать, лол. Скорее всего в данных где-то.
Закрыть пайторч. Открыть документацию к пайторчу. Или хотя бы туториалы.
Я попробовал переписать свою модель под tpu, у меня обучение было через slim.learning.train, тут же через estimator.train.
Но потом я обломился, поняв, что базу нельзя читать с локального диска, а на гугл ведро нужно платить гугл облаку, которое недоступно в России.
Есть вариант закидывать все в оперативку, но большой датасет так не засунешь и есть проблема с делением всего на батчи, ибо никакого провайдера для такого нет.
Выходит, что обычному русскому смертному лучше вообще забыть об этом?
На авито можно за дешево собрать комп с HEDT процессором и 2-4 1080ti. Если постоянно кагглить для себя и пытаться выиграть, то этого будет достаточно и это дешевле аренды.
Ну на моем компе i5 процессор, а вот видеокарт и памяти не хватает.
Кагглить для себя - это участвовать в конкурсах kaggle? Я не настолько прошарен, чтобы с людьми, у которых и опыта больше и знаний в этой области конкурировать.
А две 1080ti выйдут под 50-60к, наверное в перспективе они окупятся.
Там памяти только 6 гигов. В fp32 лучше брать 1080ti.
Для 2-4 видеокарт лучше брать HEDT типа тредриппера первого покаления.
Q: ты ебанулся, комплюхтеры же числодавилки, как ты себе представляешь чтобы они по-другому взаимодействовали с данными?
A: если бы представлял, уже бы делал что-то в этом направлении. интуитивно кажется, что в принципе может существовать другой подход. даже если он потребует другой архитектуры железа. а может и не существовать.
Есть спайковые нейронки, есть sparse матрицы, с которыми уже все хуево, есть аналоговые вычисления, есть оптические нейронки (обучать не умеют, зато инференс со скоростью света). Много чего есть
спасибо, анон. краем уха слышал про все кроме аналоговых
но это всё же нейронки, то есть подход по сути тот же. а есть что-нибудь совсем другое и оригинальное? стоит обратить взор на начало кибернетики, когда всё это дело развивалось, может быть там есть кардинально другие подходы?
Занимайся спайковыми сетями, Анон, я сам думаю это делать после того, как выучу основы классических сетей.
Под спайковые сети вроде даже нейропроцессоры делали, ничего интереснее и быть не может.
Я также в прошлом году видел еще сеточку, которая отличается от всех классических, только названия вспомнить не могу.
> сап импорткерасы. вопрос по теме: есть ли исследования в области каких-то альтернативных подходов к машобу?
Есть. Нейросети и машины Тьюринга на основе аутокаталитических каскадных реакций энзимов (по типу реакции Белоусова - Жаботинского, но сложнее). По-сути, рабочие прототипы биочипов. Я думал, что такое только в киберпанке бывает, но это делали ещё в 80х годах, у меня где-то пейперы были, автор какой-то японец. Вот там точно никаких матриц шматриц.
>это делали ещё в 80х годах, у меня где-то пейперы были, автор какой-то японец
10 нечетких петухов из 10
Да я спорю разве
Типа берем 20% учим проверяем пока не достигнем удовлетворительного результата на 5% потом учим на других 20% и тд 4 раза.
гугли кросс валидацию или отложенную выборку (train test split)
>>583957
вот тебе концептуально другой подход
https://twitter.com/iScienceLuvr/status/1221304049607180288
Есть заимствованный код:
model = ...
loss = ...
optimizer = ...
Потом пошли эпохи:
for e in range(epochs):
running_loss = 0
for images, labels in trainloader:
images = images.view(images.shape[0], -1)
optimizer.zero_grad()
output = model(images)
loss = criterion(output, labels)
loss.backward()
optimizer.step()
running_loss += loss.item()
else:
print(f"Training loss: {running_loss/len(trainloader)}")
И тут возникли вопросы - вышеприведённый код для MNISTа, а у меня не изображения, а обычный датафрейм 15х10.
Что мне надо сделать чтобы адаптировать код под него? Преобразовать его в тензор? Целиком или построчно? А что с названиями колонок?
Кстати, да. Я тут постил ссылки на подобную тему, голуби реально могут распознавать снимки с раком и даже различать жанры в живописи на примере незнакомых им картин. Может быть, они и временные ряды могут предсказывать не хуже этих ваших нейроночек при достаточном обучении.
>голуби реально могут
Потому, что у них есть мозг и он работает не так как нафантазировали себе матанопетухи.
> Потому, что у них есть мозг
Ага, а вот у тебя нету.
Вообще, вроде бы никто не пробовал использовать голубей для распознавания mnist там или капчи.
>никто не пробовал использовать голубей
Ну вот пусть РАН и попробует, как раз уровень академичаских вговнемоченых.
Что, говнецо, самоутверждаешься за счёт нюфагов? Ты настолько никчёмен, что боишься, что они тебя без работы оставят?
Ты жалок. Иди скули в /ga или откуда ты там вылез.
>боишься, что они тебя без работы оставят?
Того неуча точно можно не бояться, раз он в коде на Питоне не может разобраться.
Где-то читал, что гугл разделяет текст по строкам, может мне тоже так попробовать? Но текст же может быть разного шрифта, начиная с мелкого, заканчивая текстом во всю строку.
Или лучше тупо брать здоровую область и на ней нейронку обучать? Но тогда картинки будут иметь много всякой лишней хуйни типа здорового фона и прочих радостей жизни.
> А зачем выборку часто делят на три части: тест, трейн и валидацию где последнее это что-то вроде второго теста. Зачем нужен ещё один тест?
Что бы детектить зазубренное переобучение.
>>584203
>>584132
Да, это интересно, но по сути развитие идеи нейронок по образу и подобию. Не слишком оригинальный подход, мне кажется.
>>584154
>>584159
> Я думал, что такое только в киберпанке бывает
Я до этого момента тоже. Круто, чё — зайчатки биопанка.
>>584333
Suka, lol но это получается использование настоящих и уже хорошо обученных нейронных сетей, которых дообучают на примитивные задания, что немного уводит от начальной темы вопроса
Можешь по подробнее объяснить? Что за зазубренное переобучение? Я думал, что это делается для оценки в процессе обучения и настройки гиперпараметров (типа валидационную выборку нам дал заказчик, а тестовую заказчик держит у себя и нам не даёт, только потом будет проверять на ней качество всей системы).
показываем голубю мотоцикл(дымовую трубу,мост) даем семучку, показываем карточку без этого - бьем осуждаю насилие над животными, поэтому пугаем звуком кошки. Показываем капчу если прошел - даем кушоть. Кайф. Продаем обход капчи за деньги.
Объясните инициализируя
skr=sklearn.linear_model.LinearRegression()
и обучая ее skr.fit(X,y)
если я еще рад fit позову на другом датасете она будет дообучаться?
Learning rate 0.004.
Можно ли что-то подправить, чтобы не ждать еще неделю?
>Продаем обход капчи за деньги.
Индусы(или кто там нынче) дешевле.
>если я еще рад fit позову на другом датасете она будет дообучаться?
Гугол/доки. Это ж примитивный вопрос.
Ну нет, оптимизатор я уже не могу сменить, а вот попробовать найти learning rate с помощью CLR или LRF хорошая идея.
OpenCV findContours, перебираешь получившиеся точки, смотришь вокруг каждой окно 20х20, предиктишь тремя свертками угол ли это или нет.
Твоя модель максимум запомнит все треугольники через их уникальные точки.
>А зачем выборку часто делят на три части: тест, трейн и валидацию где последнее это что-то вроде второго теста. Зачем нужен ещё один тест?
Ты косвенно используешь валидационный датасет в обучение, когда подбираешь гиперпараметры на его основе. Поэтому нужен третий - тестовый датасет. На тренировочном тренируешь, на валидационном подбираешь гиперпараметры, а тестовый используешь один раз в самом конце, перед выкатом системы в продакшн.
Спасибо!
Как там ваш ИИ, роботы уже в диалоги могут или пока только котиков раскрашивают?
>перед выкатом системы в продакшн
Поэтому все ваши нейронки такое говно? Может еще 4 проход нужен?
>тут именно проблема с обобщающей способностью модели
Нарисуй треугольник ABC, проведи у него высоту BH. Получишь два треугольника, ABH и CBH.
Покажи первый треугольник своей модели, получишь
[шесть чисел] = модель(ABH)
Покажи второй треугольник своей модели, получишь
[шесть других чисел] = модель(CBH)
Далее, из линейности модели иследует, что
[шесть чисел]+[шесть других чисел]=модель(ABC)
Что, конечно же, неправда. Поэтому линейная модель в твоем случае работать не может.
>>585199
>OpenCV findContours, перебираешь получившиеся точки, смотришь вокруг каждой окно 20х20, предиктишь тремя свертками угол ли это или нет.
Во ты наркоман
Я попробую еще применить One-Cycle Policy, архитектуру бросать особо не хочется, как по мне, она оптимальна.
Выбираю тему для диплома, пока что вертится в голове нейронка для поиска фото конкретного человека в базе фотографий. Только вот по мере погружения в тему понимаю, что за год самообучения и неспешной разработки в одно лицо такое не потянуть. Или потянуть?
Навык программирования на уровне базового синтаксиса нескольких ООП языков, вышмат не самая сильная сторона - лень было учить в рамках универа, но понимание есть, подтянуть смогу.
Если затея совсем гиблая, может, подскажете тему для диплома, которую будет не стыдно показать комиссии на защите, на собесе интервьюеру и матери дома?
Антоны, я правильно понимаю, что learning rate range test - это когда мы берем очень маленький learning rate и с каждым шагом понемногу увеличиваем его, пока loss не начнет расти?
>Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам
Чё это не гуглится.
Я попробовал запустить этот тест, в итоге получилось это.
Я же правильно понимаю, что мне нужно взять значение с того момента, как оно стало уменьшаться? На графике примерно 43 шаг.
learning rate на этом моменте 0.043.
В оригинальной работе learning rate был выставлен на 0.004 вообще.
Она обучаемая, я уже обучал на другом датасете и оно показывало хорошие результаты.
Единственный, кто тут необучаемый - это я.
Ну вроде даже получилось, обучение идет таки быстрее.
По крайней мере я выучил, что такое CLR и One-cycle policy.
Только вот насчет степсайза я не понял, у меня датасет на 52132, 14 батчей, я выставил stepsize в 7к, но так и не понимаю, правильно ли это.
>я выучил, что такое CLR и One-cycle policy
Теперь начинай потихоньку разрабатывать свой анус
Зачем?
На самом деле, походу я прогадал с этим step size.
Обучение дошло до лосса в 166, но дальше идет медленно, не так медленно, как до этого, но прогресс замедляется.
Попробую выставить stepsize в 20к
> Ты же хочешь вкатится в МЛ, а там без этого никак
Для меня это просто хобби, куча магических математических функций с тонной параметром, которые умеют делать крутые вещи.
Может когда-нибудь я тоже что-то эпичное смогу написать.
Единственное ограничение пока для меня - это требовательность к ресурсам, требуется мощное железо, требуется собирать огромные датасеты.
> Может когда-нибудь я тоже что-то эпичное смогу написать.
Ты ж зумер, что ты там сможешь написать? Домашку разве что.
Jupyterlab
Может кто-нибудь видел какие-то статьи или что-то такое на тему внедрения дообучения ML модели юзером(разметкой чего-либо), и её автоматического внедрения?
Если ты нашел ресурсов на разметку несколько тысяч картинок, то и датасаентиста найдешь.
дело не в картинках, а в автоматизации
чтобы не приходилось сидеть разработчику все там выделять-дообучать и обновлять модель, а чтобы это юзер сделал сам
Я бы хотел увеличить силу своей CNN части нейроночки.
Я читал, что ансамбль из 4-х Inceptionv3 смог достичь top 3.58% на Imagenet, в то время как одна смогла достичь всего 4.2%
Хотя, может быть мне присмотреться к другим CNN для своей OCR.
Пытаюсь вкатиться в дип лёрнинг.
Бэкграунд следующий:
32+ (через пару месяцев 33+)
Быдлокодить начал в 2000-ом. До 2012 использовал всякий треш (Basic, Pascal, ActionScript 3.0, PHP). С 2012 пользуюсь JavaScript. Имеется курс линейной алгебры из универа (довольно поверхностный). Оттуда же интегралы с производными. В декабре прошлого года попробовал слепить (из обрывков имеющихся знаний) многослойный персептрон. В начале января поигрался со свертками. (И персептрон и свертки делал на JavaSctipt). Начал читать книгу Яна Гудфэллоу, сейчас на 130-й страничке. Параллельно недели три с ютуба не вылажу - смотрю рандомные лекции по CNN и GAN (чтобы Гудфэллоу был менее абстрактным). Кроме всего прочего, прочитана (в 2012-ом или около того) книга Тоби Сегарана "Программируем коллективный разум" (книга по машинному обучению).
Дальше смотри, какая ерунда получается. С JavaSctipt мне слазить ну очень не хочется (за 8 лет к нему прикипел). Но, все, что я на ютубе вижу или в рандомных статьях читаю - все делают на Python через PyTorch, Keras или TensorFlow. В Python я немношк заглянул - выглядит он для меня как пикрелейтед.
Короч, есть три стула:
1. После Яна Гудфэллоу читать Саймона Хайкина (лет 5 назад пробовал, но не пошло), чтобы больше всех понимать в теории и не уметь нихуя сделать на практике.
2. После Яна Гудфэллоу читать Николенко ("Глубокое обучение. Погружение в мир нейронных сетей"). Там я полистал - все на TensorFlow делают. IRL нагуглил такую няшку, как "TensorFlow.js" - можно весь TensorFlow делать в JavaSctipt (доступ к GPU через WebGL).
3. Вот прям сейчас забросить Гудфэллоуа и пойти читать Марка Лутца (Изучаем Python. Четвертое издание). Потом год решать рандомные задачки, чтобы научиться повыше ногу закидывать и получше приседать. После чего начать дрочить один из фреймворков.
Ну и собсно вопросы:
1. Кто из них пижже: PyTorch, Keras или TensorFlow?
2. Можно ли обойтись без Python и ебошить TensorFlow в JavaSctipt (есть ли у кого подобный опыт)?
3. Нужен ли мне Хайкин или хватить одного Гудфэллоуа? Про машины Больцмана и у одного и у второго написано. Если я правильно понял, Гудфэллоу прост Хайкина пересказывает более простым языком.
4. Вы (Пайтоновцы) все вот так ходите?
Пытаюсь вкатиться в дип лёрнинг.
Бэкграунд следующий:
32+ (через пару месяцев 33+)
Быдлокодить начал в 2000-ом. До 2012 использовал всякий треш (Basic, Pascal, ActionScript 3.0, PHP). С 2012 пользуюсь JavaScript. Имеется курс линейной алгебры из универа (довольно поверхностный). Оттуда же интегралы с производными. В декабре прошлого года попробовал слепить (из обрывков имеющихся знаний) многослойный персептрон. В начале января поигрался со свертками. (И персептрон и свертки делал на JavaSctipt). Начал читать книгу Яна Гудфэллоу, сейчас на 130-й страничке. Параллельно недели три с ютуба не вылажу - смотрю рандомные лекции по CNN и GAN (чтобы Гудфэллоу был менее абстрактным). Кроме всего прочего, прочитана (в 2012-ом или около того) книга Тоби Сегарана "Программируем коллективный разум" (книга по машинному обучению).
Дальше смотри, какая ерунда получается. С JavaSctipt мне слазить ну очень не хочется (за 8 лет к нему прикипел). Но, все, что я на ютубе вижу или в рандомных статьях читаю - все делают на Python через PyTorch, Keras или TensorFlow. В Python я немношк заглянул - выглядит он для меня как пикрелейтед.
Короч, есть три стула:
1. После Яна Гудфэллоу читать Саймона Хайкина (лет 5 назад пробовал, но не пошло), чтобы больше всех понимать в теории и не уметь нихуя сделать на практике.
2. После Яна Гудфэллоу читать Николенко ("Глубокое обучение. Погружение в мир нейронных сетей"). Там я полистал - все на TensorFlow делают. IRL нагуглил такую няшку, как "TensorFlow.js" - можно весь TensorFlow делать в JavaSctipt (доступ к GPU через WebGL).
3. Вот прям сейчас забросить Гудфэллоуа и пойти читать Марка Лутца (Изучаем Python. Четвертое издание). Потом год решать рандомные задачки, чтобы научиться повыше ногу закидывать и получше приседать. После чего начать дрочить один из фреймворков.
Ну и собсно вопросы:
1. Кто из них пижже: PyTorch, Keras или TensorFlow?
2. Можно ли обойтись без Python и ебошить TensorFlow в JavaSctipt (есть ли у кого подобный опыт)?
3. Нужен ли мне Хайкин или хватить одного Гудфэллоуа? Про машины Больцмана и у одного и у второго написано. Если я правильно понял, Гудфэллоу прост Хайкина пересказывает более простым языком.
4. Вы (Пайтоновцы) все вот так ходите?
Хайкин тебе не нужон, инфа 146%. Из всяких слесарьпловов лучше то, что ты знаешь лучше.
>С JavaSctipt мне слазить ну очень не хочется
Перехочется. За пару месяцев привыкнешь.
>1. Кто из них пижже: PyTorch, Keras или TensorFlow?
Для начинающего лучше pytorch, у tf пиздец с API, и он только нарастает. Keras же по сути стал подмодулем tf
>2. Можно ли обойтись без Python и ебошить TensorFlow в JavaSctipt (есть ли у кого подобный опыт)?
Нет
>3. Нужен ли мне Хайкин или хватить одного Гудфэллоуа?
Не нужен
>4. Вы (Пайтоновцы) все вот так ходите?
Если ты в 33 года до сих пор не умеешь переключаться между основными мейнстримными языками, то с тобой что-то не так. Ты уже деградировал до уровня макаки. Как ты будешь заниматься нейронками при этом - не понятно
питон легко срастается с крестами, которые все и считают
Дед, какие сети, тебе на кладбище уже пора.
> 1. Кто из них пижже: PyTorch, Keras или TensorFlow?
JAX. А если без шуток, то бери TF 2.0 и не прогадаешь.
> 2. Можно ли обойтись без Python и ебошить TensorFlow в JavaSctipt (есть ли у кого подобный опыт)?
Есть tf.js
> 3. Нужен ли мне Хайкин или хватить одного Гудфэллоуа? Про машины Больцмана и у одного и у второго написано. Если я правильно понял, Гудфэллоу прост Хайкина пересказывает более простым языком.
Если можешь, то советую поступить в ШАД. Иначе дрочить туториалы, потом kaggle. Будешь что-то не понимать — смотри в статьях. Будешь не понимать в статьях — смотри Хайкина.
> 4. Вы (Пайтоновцы) все вот так ходите?
Кто бы говорил, блядь. Пикрелейтед (хотя пара пуктов довольно надуманные).
>Пикрелейтед
JS - язык с динамической типизацией. Большинство примеров связаны с этим, плюс несколько примеров связанных с ошибкой округления. Python тебе тоже 0.2+0.1 правильно не сделает.
>JS - язык с динамической типизацией. Большинство примеров связаны с этим
да, а именно с тем, как всрато типы преобразуются друг в друга
Привет, петухи. Я байтоеб с большим опытом, учился на фундаментальной математике, прошел курс по нейронным сетям и вот что я понял:
- Глубокого ИИ нет и не будет
- Математика в продакшене не нужна
- Нейронки это прежде всего лютый говнокод на питоне от людей, которые не умеют программировать
- Задачи в ИИ это говно уровня "у нас тут нейронка на тестовых данных выдает 99%, а в продакшене только 30%, помеси говно и разберись, в чем дело"
В чем ваша элитарность, говноеды? Ведь вы и не математики и не программисты, а ваша работа скучна до невозможного.
Не дразни зумера
>не умеют программировать
> учился на фундаментальной математике
Для тебя уметь программировать это смешивать различные действия в одной функции?
Куда ты лезешь-то, хоспаде... Курс он какой-то прошел, где-то там на кого-то "выучился" методом залипания в тилибон на парах, что-то там якобы "понял". Ты конечно можешь пиздеть Иисусу, Гитлеру, мне, но себя ты не наебешь, ты тайдмен простой, который даже не понял, зачем вообще машоб. Для тебя это просто какие-то отрывочные разрозненные пародии на знание, никак между собой не связанные.
бг
А какой лосс?
Мы получаем втрое больше вебохолопов.
уменьшается значит норм
Причем сама папка с картинками и текстом весит 836 мегабайт, а tfrecord файл получается в 11 гб
А, я понял, у меня в коде преобразование не так происходило.
Переписал, теперь файл весит 403 мегабайта
Можно без шада. Даже лучше. Пока ботаны дрочат матешу, люди набирают опыт работы на стажировках. К тому времени, как ботан закончит шад, ты будешь уже мидлом. А после шада только стажировка все равно.
>Глубокого ИИ нет и не будет
Неочевидно.
>Математика в продакшене не нужна
Смотря где. Статистику ты математикой не считаешь?
>Нейронки это прежде всего лютый говнокод на питоне от людей, которые не умеют программировать
+- да. А ещё уёбищная документация.
>Задачи в ИИ это говно уровня "у нас тут нейронка на тестовых данных выдает 99%, а в продакшене только 30%, помеси говно и разберись, в чем дело"
+- да.
>В чем ваша элитарность, говноеды?
Элитарность такая же, как в любом айти. Никакой Ты себя что ли элитарием считаешь?
>ваша работа скучна до невозможного
Кому-то и программировать скучно.
Покормил
>1. Кто из них пижже: PyTorch, Keras или TensorFlow?
tf 2.0 легко совмещается с Keras, в PyTorch лучше реализован динамический граф.
>2. Можно ли обойтись без Python и ебошить TensorFlow в JavaSctipt (есть ли у кого подобный опыт)?
Может быть можно, но python/R/Matlab это индустриальный стандартъ.
>3. Нужен ли мне Хайкин или хватить одного Гудфэллоуа? Про машины Больцмана и у одного и у второго написано. Если я правильно понял, Гудфэллоу прост Хайкина пересказывает более простым языком.
Хайкина лучше не читай, книга устаревшая, но вроде там нормальный перевод на русский язык. Нормальные книги - это Бишоп, ESL, ну и еще парочка более ориентированных на теорию.
>4. Вы (Пайтоновцы) все вот так ходите?
Ты посмотри что такое R и тогда поймешь, что Python это мана небесная.
> Ты посмотри что такое R
Единственный вменяемый язык обработки данных, который просто поставил в два клика и просто пользуешься без всякого пердолинга и дрочьбы из-под колена? Надо 10 разных версий - просто ставишь 10, и для каждой любой набор либ, которые можно просто вручную скачать и распаковать. И все это будет просто работать!
Достаточно знания питона и умения программировать хотя бы в матлабе или маппле.
Спасибо няш
>Я байтоеб с большим опытом, учился на фундаментальной математике
То есть даже по специальности не устроился.
>Глубокого ИИ нет и не будет
Общего в смысле? Будет. Просто не на GEMM-подобных вычислениях
>Математика в продакшене не нужна
В продакшене и мы не нужны, дал модель и код который эту модель вызывает, программист разберется
Исключение, если тебе приходится делать собственный инференс с ad-hoc оптимизациями. Я таким занимаюсь как раз, но больше как хобби.
>Нейронки это прежде всего лютый говнокод на питоне от людей, которые не умеют программировать
А программисты это прежде всего тыкальщики кнопок на клавиатуре. У нейронок есть тиры, типа
1. Обучил на тестовом датасете по туториалу
2. Обучил своем датасете
3. Модифицировал архитектуру под датасет
4. Разработал новый слой под задачу
Ну и так далее. Ты аж на уровне 1, как и то быдло, которое судит о программировании, глядя на него со стороны. Нормальная движуха начинается с уровня три, когда ты, к примеру, можешь взять и применить подходы, описанные в пейпере efficientnet, для своего time series предсказателя. Для бабок со стороны это выглядит как "дыыыы, они случайно гиперпараметры крутят".
>Задачи в ИИ это говно уровня "у нас тут нейронка на тестовых данных выдает 99%, а в продакшене только 30%, помеси говно и разберись, в чем дело"
Кнопки. Тыкают.
>В чем ваша элитарность, говноеды?
В наличии в голове целой суммы знаний, которой у других специалистов нет. Про байтоебов даже вспоминать смешно, байтоебов разве что ПТУ не готовят.
>Ведь вы и не математики и не программисты, а ваша работа скучна до невозможного.
Работа исследователя в коммерческой фирме точно не скучна, ведь если нейронка работает плохо, твой проект (в лучшем случае, а то и тебя) выкинут на мороз, а если она работает хорошо, ты уже не нужен и впереди новый проект. Тяжелая работа, но зато без рутины, как в случае с программированием, когда ты знаешь, что если задача не будет решена за день, то за неделю точно будет решена.
>выделяем из нее правила в виде скажем конечного автомата
Ну будет у тебя правило "умножим матрицу A на матрицу Б, и если результат меньше 0.12345, делай то-то". Легче станет?
Ну это какой то наивный подход. Хотелось бы услышать что то посерьезнее.
Нейрон очки не причем, тебе нужно rule mining. Алгоритмов полно на самом деле, всякие apriori итд. Обычно к ним есть и визуализация полученных правил в виде графов, таблиц, чего угодно. Конкретный пример - в R это либы arules, arulesViz.
Прикольно. А почему нейроночки не причем? Речь как раз о том, чтобы она обучилась что то делать, а потом это выразить простыми инструкциями.
> А почему нейроночки не причем?
Потому что они для этого не нужны. Почитай про вышеупомянутые алгоритмы, как считаются support, confidence, lift итп коэффициенты релевантности правил, там очень простые формулы и все работает без всяких нейроночек.
Пытаюсь в него вкатиться, вот думаю насколько ахуенная тема, ибо чет всякие пиздапсевдоинтеллектаулки туда вкатываются и мне страшно стало, что это очередная зумерская хуйня.
Нет более зумерской хуйни, чем боязнь зумерской хуйни. При бумерах такого не было
мимо гомосексуал-миллениал
зависит от определения
Вот бы сейчас слушать что наука а что нет, от малолетнего дегенерата, верующего в плоскую землю, эфир, вред прививок и дальше по списку скреп типичной колхозной пидарашки.
Вопрос об основаниях математики и о том, что представляет собой в конечном счёте математика, остаётся открытым. Мы не знаем какого-то направления, которое позволит, в конце концов, найти окончательный ответ на этот вопрос, и можно ли вообще ожидать, что подобный «окончательный» ответ будет когда-нибудь получен и признан всеми математиками.
«Математизирование» может остаться одним из проявлений творческой деятельности человека, подобно музицированию или литературному творчеству, ярким и самобытным, но прогнозирование его исторических судеб не поддаётся рационализации и не может быть объективным
Герман Вейль
> Вопрос об основаниях математики и о том, что представляет собой в конечном счёте математика, остаётся открытым.
Оставался до 1907 года.
Тебя мало в /math/ обоссали? Начаальниик, этот пидорас обосрался
Алсо, ты случайно не тот дегенерат, который заявлял, что числа не имеют никакого отношения к математике?
Вся математика конструктивна и представима в унивалентных основаниях.
Не мешай нам
Тред оснований проебали. Я пару раз перекатывал, но смысла нет, там полтора дегенерата сидят, если не один пучкист.
Они часто выкатывают свои решения после окончания соревнований. Ищи в discussion и notebooks
Ssh и tmux
И как потом обученную модель запускать? в неё тоже цель передавать?
Капчи с распознаванием текста - нет. Их и так уже сетки намного лучше людей угадывают.
да, чтобы датасет разделять и рок аук считать
Аноны, посоветуйте плиз. Начал изучать машинное обучение месяц назад. Хочу сделать свой реальный проект (посколько мне всегда было проще учиться разбирая что-то сложное, либо решая какую-то настоящую задачу). Возникла идея написать приложение по распознаванию лиц. Напишу подробней, у меня на кафедре установлены IP камеры. Одна из них смотрит на входную дверь кафедры. Идея приложения в следующем. Есть БД с фотографиями студентов кафедры. Есть нейронка, которая обучена распознавать лица. Хотелось бы сделать следующее: когда приложение запущенно, оно считывает изображение с камеры, распознаёт лица и сравнивает с теми, что хранятся в БД. И делает это непрерывно. В тот момент когда появляется человек, лицо которого не занесено в БД(потенциальный нарушитель), приложение выдаёт отчёт о том, что проник кто-то посторонний. Вот в целом такая штука. Я поверхностно рпошёлся по OpenCV, но было бы лучше если бы я сам обучил нейронку (для получения практического опыта). Хочу спросить у знающих анонов, как бы вы спроектировали такое приложение? Может быть подскажите библиотеки, возможный план разработки, и вообще что-то важное по этой теме. Буду очень благодарен!
>Есть БД с фотографиями студентов кафедры. Есть нейронка, которая обучена распознавать лица.
Распознать лицо вообще и распознать лицо Сидорова - это совсем разные вещи. Тебе придётся обучить нейронку распознавать именно Сидорова.
А как ты думаешь, вариант ли использовать 2 нейронки? Т.е одна отвечает за то чтобы вообще на изображении найти лица, а вторая сравнивает с теми лицами, которые есть в БД? Или для этих вычислений потребуются слишком большие ресурсы?
Почему говно? Объяснить нормально можешь?
К машинному обучению этот проект отношения не имеет. Нужно написать фронтэнд к библиотеке dlib и взять где-то библиотеку для knn.
Спасибо, посмотрю такой вариант
О, то что нужно, добра тебе анон.
Лол, ты действительно веришь что рано или поздно такую систему не сделают? Когда будут внедрять что ты будешь делать? Отписываться в тредике?
В китаях это давно уже работает. Вот только в тех же в китаях было показано, что заинтересованными лицами это элементарно обходится, а по факту эта технология нарушает право обычного человека на неприкосновенность частной жизни, собирая данные на всех для гебухи.
Это всё понятно. Я же уточнил, я не планирую в системе при распознавании указывать данные человека. Есть только 2 параметра: есть ли он в БД или нет, т.е сотрудник/студент ли он, или какой-то левый чел. По факту данные обезличены в этом случае. А вообще, кто-то знает какие-либо правовые документы, регламентирующие использование системы распознавания лиц?
> право обычного человека на неприкосновенность частной жизни
тебя дома в туалете снимают? вроде нет
> А вообще, кто-то знает какие-либо правовые документы, регламентирующие использование системы распознавания лиц?
Это по-сути слежка, внешнее наблюдение. Законно только по решению суда. Но в Блинолопатии всем похуй, была новость, кто-то даже в суд подавал по поводу незаконности распознавания лиц в общественных местах и на мероприятиях типа митингов. Закончилось ничем.
>>593802
> тебя дома в туалете снимают? вроде нет
Причем тут дома в туалете? Слежка в общественных местах на каком основании? Алсо, может быть и в туалете снимают, камеры на телефоне у меня не заклеены.
А либирах можно снимать, как они из корыта хрючево едят?
Никогда не понимал копротивляющихся против своих прав и свобод. Чем вам мозги моют, это же вообще противоречит истории всего живого. Даже безмозглая амёба никогда не будет что-то делать против себя, это абсурд. Как человек может топить против прав человека? Это бред полный.
Ты же тот самый петух, который что-то против математики квохчет, с тебя-то что взять. Мой предыдущий пост к тебе вообще не относится.
Аноны, поясните, в чём отличие deep learning от machine learning? Насколько я понял, разница в решаемом круге задач? Может кто-то подробней объяснить?
deep learning это подобласть machine learning, которая фокусируется на обучении многослойных (больше трех слоев) нейросетей. Сейчас термин сильно изжил себя, потому что любые нейросети сейчас это deep learning, за очень редким исключением, и в основном термин применяется для хайпа
>Все поняли что этот подход не работает и пришлось переобуваться?
Я почти начал тебе отвечать, но увидел эту нечеткошизу
Theano
Это я советовал. Че-то ты долго раскачивался.
Нужно двойное место, для установки и для временно скачанного пакета. Порнуху можешь на гугл драйв залить, установишь, удалишь whl файлы из кэша пипа и скачаешь назад.
В плане места они должны быть плюс-минус одинаковые.
Порнуха по всяким AppData\Roaming и AppData\Local раскидана. 7.45 гигов порнухи. Еще в папке Windows 22.3 гига порнухи.
симлинками перекинь на другой раздел
Ок, завтра выпилюсь. Апельсинку мне на могилку принесешь. Ну или эту, не апельиснку - на апельсинки у меня аллергия, притарабань короч конфет этих. "Батончики". Вкусные, бля пизда. Раньше такие были. Сча не найти. Ну ты найдешь, бля ты ж шаришь. Короч, штук 10 притарабань - чтобы заебись было.
СОЕВЫЕ баточники любишь? Кек
Решил вкатиться в маш-об и стать дата-сатанистом, что скажете про этот курс от Яндекса?
https://praktikum.yandex.ru/data-scientist/
Сам офисный планктон и не занимался программированием раньше, но узнал про маш-об и что там много платят и решил вкатиться. А в этом курсе обещают обучить новичка, да еще первые 20 часов бесплатно.
Курсы это наёбка на деньги. Ничего тебе не мешает найти бесплатные(или очень недорогие как на курсере) либо читать книги.
Ух как сложно-то, запомнить, что True - это 1, а False - это 0.
А мог бы что-нибудь типа None or [] и [] or None запостить, хотя и то и другое будет интерпретироваться как False в условиях
Сейчас сама сеточка требует очень много памяти в силу разрешения картинок
Есть идея разделять текст на строки и обучать на одной строке, а после выдавать все на вход еще одной LSTM сети, которая имея весь контекст сможет поправить текст.
Либо нужно как-то изменять саму архитектуру сети, что мне немного лень делать.
>Сейчас сама сеточка требует очень много памяти в силу разрешения картинок
>Антоны, я все думаю, как улучшить свою OCR.
Очевидно, что докупить памяти.
Но проблема с размером все равно никуда не уйдет же, Анон.
Чем длиннее последовательности и больше разрешение картинок, тем больше памяти требуется.
Да, причем лучше, чем я ожидал.
Ты ошибаешься. Rnn всегда разворачивается в фидфорвард сетку длиной в 5-10-100 степов. Дальше есть вариант сохранять предыдущий стейт между батчами или нет, но градиент так далеко распространяться не будет.
Гугли фреймвокрнейм backpropagation in time. Ну и внимательно пройди туториал по самостоятельной имплементации рнн без фреймворкомагии
Но если у меня неограниченная последовательность? Нет батчей, то есть батчи по одному входу. Где-то можно указать количество шагов? Потому что по сути если я правильно понимаю, то все тензоры сохраняют историю и при прогоне backward метода эта история задействуется. Нерезонно сохранять историю на тысячи и тысячи шагов. Или в фреймворках какраз таки встроенные рекурентные сети не сохраняют эти шаги? Я знаю что можно удалять историю когда угодно, но опять же мне нужно все еще сохранять определенное количество шагов. Ну и так как я хочу вставить эту сетку как матрешку в большую модель, то нужно удалять шаги во встроенном методе, а не в самом обучении.
Ну я же сказал тебе что загуглить. Вот первая ссылка
https://stackoverflow.com/questions/53912956/truncated-backpropagation-through-time-bptt-in-pytorch
Я всё прогуглил. Нихуя не понятно. Что это за значения и откуда мне их брать? Какие переменные мне подчищать и по каким узнавать какие?
Короче, решил я эту проблему, но не уверен, правильно ли. В гугле ответов я не нашел, там где у людей такая же проблема никто не пишет, а предлагают только чистить память каждую эпоху. В доках я проверил у торча написано что nn.lstm на выходе дает output, в котором все шаги t. Если я правильно понял, то можно просто удалить отсюда ненужные шаги и все будет нормально. Так и сделал, написал чтобы detach вызывался на первый элемент тензора по нулевой оси, а затем перемнной output присваиваю ее же саму только в качестве среза без первого элемента. Хуй знает будет ли это работать.
А есть какое-то развёрнутое объяснение, почему учить тензорфлоу -- ошибка? Я недавно начал вкат в диплёрнинг и картинки, проводил собственное расследование, и оказалось что тензорфлоу намного больше юзают в проде, соответственно найти работу с ним проще, чем с другими фреймворками, это на самом деле не так?
Также у тензорфлоу есть развитая экосистема, можно сразу накидать пайплайн для загрузки и обработки данных, и РЕСТ апи для модели сделать и наверняка ещё много чего. У конкурентов такое есть?
> соответственно найти работу с ним проще,
Аааа, тайдмены, что вы делаете, прекратите! Откуда вы лезете и куда? В названии треда есть слова "центр занятости населения"? С чего вы вообще взяли, что машинное обучение - это про то, как продать дяде жопу занедорого? Проституция (официальное название - "рынок труда") в соседнем треде ("мы вам перезвоним").
А зачем ещё вкатываться в машоб? Если хочется просто хочется чего-то сложного, можно настоящей математикой заниматься
свой стартап
Вакансий по мл мало по сравнению с остальными кодерскими. Для датасайенса желательно математическое образование, а для нейронок знание крестов.
Потому что я уже заебался гуглить какой стиль идиоматичен в этом сезоне, и наблюдать десятки новых deprecated ворнингов в коде, который просто работал. Попробуй для прикола поискать, как сделать lstm в tf2.0. Будешь придираться сквозь десятки ответов для tf1.x которые будут давать тебе очередные депрекейтеды. Гугл поддерживает опенсорс как будто это их внутренняя корпоративная разработка, на юзеробазу похуй.
Дело не только в продаже жопы, дело скорее в том, что любой мало-мальски сложный проект почти наверняка потребует дохера спецов с разными скилами, потому что в 21 веке в соло ничего толкового не сделаешь, а от проектов уровня лаба1 никакого удовлетворения нету. Есть идеи как преодолеть это ограничение? Даже если пишешь в опенсорс за бесплатно или соревнуешься на каггле, имеет смысл использовать что-то, что широко используется, чтобы твои идеи куда-то пошли и вообще имели смысл.
Ну и кушать то хочется, или ты из тех, кто предлагает днём писать на жабаскрипте, чтобы выполнить задачи БИЗНЕСА, а по вечерам/ночам заниматься нейроночками, в своё удовольствие?
>>597065
Я это знаю, я в МЛ вкатился 5 лет назад, когда ещё такого хайпа не было, и тогда было по-настоящему мало вакансий. Сейчас просто пытаюсь перекатиться из скучного МЛ (табличные данные, старые методы) в супер прорывной новый МЛ с нейросетями и смузи, но это не очень просто мне даётся, очень много противоречивой информации вокруг.
Я сталкивался с этой проблемой, не конкретно с lstm, но с тем, что очень много ответов на стэк оверфлоу и ещё много где касаются первой версии, а вторая очень очень сильно отличается. По правде говоря это не проблема поддержки гугла или тензорфлоу как такового, просто процесс смены мажорной версии это всегда напряжно, тоже самое было с питоном, тоже самое было с кучей разных фреймворков и тоже самое будет с пайторчем в своё время. Когда тензорфлоу2 был альфа, проблема стояла ещё острее, потому что даже ссылки на оф. доку вели на первую версию, сейчас уже немного лучше, со временем инфа, касающаяся первой версии самоочистится, это нормальный процесс.
С другой стороны, претензии к гуглу рили необоснованны, они выпустили дофигища материалов к выходу 2 тф, и документацию норм написали, и обучающие статьи на офф сайте. Не каждый "настоящий опенсорс" фреймворк так заморачивался.
Ты статистику по пейперам посмотри. Пайторч за год вырос в разы, тф упал.
Где эти рейтинги смотришь?
>Ты статистику по пейперам
Говноед, опять со своими пейперами? Ну хоть кто то эти безполезные высеры матанопетушни читает.
индусогоспода ссут в рот дебилам с перевернулой а
Написал.
Я в аутсорсовой компании работаю, продаю жопочасы, здесь проекты подходящие под нейронки очень редко бывают, а на стандартный табличный проект пихать нейронки это безумие.
>>597151
Согласен, видел я эту статистику, видел кол-во упоминаний на крутых конференециях в 2018 и 2019 годах, действительно пайторч в академической среде процветает. Проблема в том, что тензорфлоу2 ещё пока что не проявил себя, не набрал аудиторию, а нововведений много, думаю нужно ещё подождать, пока картина не прояснится.
>>597504
Ну давай, расскажи мне: Чешские программисты. Сайт за выходные. Миллион долларов из бюджета?
Есть паблик ВК с анкетами
https://vk.com/hikkyznakomstva
Для всякой статистики хочется из анкеты уметь получать пол человека (не всегда он явно указан).
Векторизация через TF-IDF на 30000 фич + Linear SVM дают accuracy около 80%.
Есть какие-то идеи, как ещё это можно сделать?
Анон, как вкатываются в "Нейронные сети"?
Очень интересно это направление. Пока что прохожу курс MIT "введения в компьютер сайнс" и изучаю общие принципы программирования (пишем на Питоне 3).
Какие дальнейшие действия нужно сделать, чтобы работать в этой области?
Поясню свой вопрос: речь именно о том, как парнишке из рашке самостоятельно вкатиться в эту область и делать что-то крутое (проекты уровня создания ботов для яндекс-транслейта)? Может менее масшатбное.
То есть, про путь в ИРЛ, а не про теорию.
(В шапке ответ дается в более общем виде, про то, какие книги читать и тд.)
>Анон, как вкатываются в "Нейронные сети"?
Через постель, иначе никак. Все математики через нее проходят.
как кастинги проходят?
Обожаю русский язык, нейрончики, машоб, Постель (язык программирования Postil, я так понял - выдает на edx ссылку).
Имеется в виду RCNN или что-то такое. Может быть U-Net.
Это вот эта толпа васянов?
https://tjournal.ru/internet/139477-cheshskie-programmisty-besplatno-i-za-vyhodnye-sdelali-sayt-na-kotoryy-ministr-hotel-potratit-16-mln-evro-ego-uvolili
Это подковерные игры и хуета, один политик захотел убрать другого, созвал ебланов они наговнили хуеты, типа "ох как нидораха мы сделали", а то что на доведение этой пиздообразии понадобится столько же денег, сколько бы стоил бы "дорогой" проект никто не увидел.
Теперь тоже думаю над этим. А если я знаю, что искомый объект на картинке будет не меньше и не больше какого-либо размера, могу ли я сэкономить на промежуточных слоях?
> вкатывайся
> сам планирую, ибо нет времени самостоятельно гуглить что-то
Ещё у одного зумера вкатывальщика нет времени на раскачку, поэтому он считает, что инфоцыгане с курсами все сделают за него и недорого! Вот реально, давно уже читаю этот тред чисто поорать.
Сомневаюсь. Наверное можно какой-нибудь сглаженный clip навесить на размер bounding box'ов, но не думаю, что размер сетки можно будет сильно уменьшить.
Можешь receptive field выходного нейрона посчитать и подрезать длину и ширину фильтров.
А вообще читай пейпер по efficientnet, там тема эффективных классификаторов закрыта для большинства задач, лучше ты вряд ли придумаешь.
И ещё раз.
Сап, двачь. Возможно меня закидают тапками, но... Какие лучше языки учить для практической реализации этого всякого? Что вообще требуется для этого дела, с чего начинать? Да, я сейчас начну читать материал из шапки, но глаза разбегаются, если честно. Дело в том, что я совсем нуб, только поступил на первый курс программошараги и практически ничего на знаю, но тема нейросетей меня заинтересовала.
Основы питона(синтаксис, алгоритмы, пару интересных приложений напиши)+библиотеки по работе с данными+математика. Освой хорошо базу (особенно если ты только поступил, значит время у тебя есть). Затем уже смотри машинное обучение, алгоритмы и т.д. (думаю там уже сам разберёшься)
Спасибо, анон.
> натренировать
Ты хотел сказать дотренировать? Потому что иначе 6к датасета не хватит очевидно.
> 2045х2048
Скейл до 512x512
Попробуй другие модели, а не svm. Catboost например
У меня по факту два объекта всего.
Как будто у тебя выбор есть. 12 не сильно больше чем 8 и это разница в 0.5 батчсайза
6000 объектов это немало, а
>Скейл до 512x512
Выдает в тебе теоретика, который вообще не понимает, как работают cnn
У меня ещё на каждой картинке присутствуют все классы. Будем копать. Боюсь до 500 пикселей у меня ужать не получится. По идее это же все можно высчитать, сколько жрать будет. https://datascience.stackexchange.com/questions/17286/cnn-memory-consumption наверное актуально ещё
Если тебе нужно 500 пикселей, ты делаешь первый слой с числом фильтров 1 и страйдом 4, и все, на втором слое у тебя будет 500 пикселей, а как именно даунскейлить нейронка уже сама решит. Или 2 слоя со страйдом 2 - так будет быстрее за счет экономии на ширине фильтров. Памяти это съест сам посчитай сколько, лишних 16 мегабайт, ну и на несколько процентов упадет скорость. Это намого проще, чем каждый раз пилить ad-hoc датасет. Да и если не влезает, скорее всего лучше разрезать твои 2000 пикселей на картинки 512х512 с 50% перекрытием, чем даунскейлить.
Сетка такого рода у тебя влезет всегда, даже на 4 гб карточку, вопрос в том, какой батчсайз у тебя будет, 16, 32 или 48, а это уже будет влиять на скорость обучения (с меньшим батчсайзом нужно уменьшать лернинг рейт), но на итоговое качество влиять будет минимум.
"пожалуйста", продолжай держать нас в курсе, нищенка
У меня вообще на картинках довольно яркие объекты (локализированы), а вокруг просто чернота. Думаю может просто перед этим через трешхолд обрезать все вокруг.
Думаю до 600-700 пикселей однако ужать вполне реально
У меня не самый очевидный вопрос и, возможно, совсем не по адресу. Дело в том, что я хочу исследовать некоторый класс видеороликов на youtube для сравнения их технических данных (например, скорость смены кадра, динамику, цвета, да и вообще всё, что можно). Однажды мне нашептали, что это можно сделать только с помощью нейросеточки. Внимание, вопрос: насколько меня наебали и, если нет, насколько невозможно исполнить такую машину, анализирующую класс роликов?
Всем ответившим заранее мешок чая.
У моих классов есть много общих деталей, их даже можно свести до них, как бы этой информацией воспользоваться.
Странно вообще. Можно это сделать любым способом, хоть простыми elif выражениями. Естественно тебя наебали, нейроночка тут никаким местом. Но вообще вопрос в том, как именно тебе надо эти видео анализировать.
Ну ты вначале пойми, что ты хочешь. Скорость смены кадра – плотность ключевых кадров? Динамика цвета, что это?
Будешь более случайно "прыгать" и поэтому лучше это делать недалеко?
Не совсем понял вопрос (вероятно, потому что в проганьи я ламер пока что и слабо представляю как это возможно вовсе). По-хорошему нужно бы найти все схожие технические черты их создания (от схожих появляющихся персонажей до динамики смены кадра, как и упомянул).
Про плотность похоже на правду!
А вот как понять, чего я конкретно хочу, если мне неизвестны возможности технического анализа?( Хочется в итоге разобрать все особенности класса роликов, которые делают их близкими (помимо их авторского определения). А вот какие тут могут быть параметры – уже вторичный вопрос для меня, который зависит от доступных методов!
Так тебе нужно просто статистику? Тогда в чем проблема? Сделай скрипт чтобы собрать информацию по роликам, а потом построй графики. Matplotlib для построения графиков в питоне подойдет. Думаю не будет и проблемой найти в интернете библиотеки для обработки видео.
А как его использовать вместе с моей моделью тогда?
У меня распознавание иероглифов ведется, я прогоняю картинку с текстом через CNN и вектор признаков идет в LSTM.
Все иероглифы можно свести к паре сотен радикалов(составные части).
Но другое дело в том, что эти радикалы не всегда видно.
Учить тензорфлоу ошибка потому что на самом деле ВСЕ фреймворки примерно одинаковые между ними разница примерно как между различными библиотеками для линейной алгебры. Основная причина не учить тензорфлоу новичку это кривое Апи и то, что. tf2.0 это практически другой Фреймворк.
https://stackoverflow.com/questions/53033556/how-should-the-learning-rate-change-as-the-batch-size-change
Вообще там правильно говорится, что с adam'ом это не так актуально, у тебя с бОльшим батчсайзом сетка просто быстрее сойдется, а lr можно не трогать
Я согласен с этим тезисом, посмотри в каком контексте я написал своё сообщение и на что я отвечал.
>>595135
Если только из-за бабок, то рекомендую всё-таки посмотреть на жабаскрипт и веб, или ещё что-нибудь альтернативное. Если совсем нет времени и бросить/приостановить основную работу нет возможности, попробуй войти тестером и дальше уже по ходу дела доучиваться, вращаясь в айтишной среде. Дата сатанистом сразу зайти я бы сказал сложновато, по крайней мере в моём регионе.
>>598802
Нужный факультет; курсовые; дипломная работа; курсера, едх, удасити; куча собесов, большинство из которых я слил просто в 0; десяток обещаний перезвонить и разочарование в МЛ; желание стать просто прогером; внезапно подвернувшийся самый последний-препоследний собес; внезапно получил оффер прямо в конце собеса.
На самом деле можно целую простыню на эту тему написать, но наверное это не так интересно. Сейчас войти в ДС намного проще, по моим ощущениям требования ниже, вакансией больше, ЧСВ у собеседующих меньше. тем не менее, вкатывальщикам я всё равно советую посмотреть на что-то другое
Ну ты определись тогда, ты классифицируешь или просто прогоняешь свертку. На кой хер тебе тогда дополнительные классы? Или ты пытаешься свою же нейронку обхитрить? Вообще я бы тебе посоветовал сделать распознавание, а потом иероглифам присвоить ембеддинги, потому что врятли твоя CNN справится с задачей обработки натурального языка. Хотя даже если ты и попытаешься, то это просто невыносимо смешно делать это без полносвязного слоя, потому что свертка изображения это очевидно не лучший способ представить лексическое значение.
Полносвязный слой можно рассматривать как частный случай сверточного слоя с valid пэддингом и шириной фильтра во всю картинку предыдущего слоя. Если у тебя ширина меньше, ты просто рассчитываешь более мелкие нейронки со сдвигом. Поэтому fully convolutional networks не хуже олдскульных с персептроном в конце
>У моих классов есть много общих деталей, их даже можно свести до них, как бы этой информацией воспользоваться.
Нейронка уже этой информацией пользуется.
Ты ещё на связи?
Типа искать не круг, а грубо говоря четвертинку круга итд?
Какие сетки используются для решения задач регрессии?
Я пока нашел только mlp, rbf, grnn, но по сути это же вроде как все вариации mlp. Неужели нет какой-то суперпиздатой структуры чисто под регрессию кроме mlp?
У меня не только CNN же, она работает вместе с LSTM, где языковая модель и формируется.
В самом начале сеть InceptionV3, со слоя Mixed_5d я подаю все в LSTM.
> Или ты пытаешься свою же нейронку обхитрить?
Ну типа того, я же не могу узнать, насколько она успешно сама использует эту информацию.
После получения модели - вот такой вот пиздец. Что делать?
Точность подсчитай
Да, сначала посчитай точность (и на трейне, и на тесте).
Ещё проверь, правильно ли ты таргет скармливаешь. Там же наверняка one-hot нужен.
Sent
Пидора ответ
На основе гауссовских процессов это же и есть вроде как радиально базисная сеть?
Rvm с ядром имелись ввиду опорные вектора?
Анон, ты здесь?
Смысл в том, что LSTM с аттеншионом имеет языковую модель и может додумывать символы, которые CNN не может разобрать.
Послал.
напиши даталоадер, посмотри в доке торч. что-то типо
class loared(Dataloader):
init: dataframe
len: len(dataframe)
getitem: return dataframe.iloc[idx]
О, ты прям как я. Одна из серьёзных проблем вката для молодёжи - практически нет предложений частичной занятости.
Имеет. Не меняй данные, меняй архитектуру под данные. Чернобелынизатор это просто слой 1х1 свертки из 3 каналов в 1. Естественно слой посложнее сможет заодно и каналы сплющить.
>частичная занятость
>для молодёжи
>датасаенс и машоб
Когда вы поймёте, что в этой сфере вас даже обучать серьёзно никто не будет, если у вас нет вышки близкой к сфере и нескольких проектов? На работу вообще без магистра тебя врятли возьмут. Это в нашем снг еще так, на западе еще труднее, лол. Комерческим мл занимаются эльфы в волшебной стране, а не тайдмены как ты.
Стажировка в яндекс по млю такая же как и у разработчика, просто спрашивают теорию + задачки.
> если у вас нет вышки близкой к сфере
По МЛ пока что обучают в 0,5 ВУЗах. Но индустрия требует больше специалистов.
Да ладно.
Нейронки, конечно, не панацея, но, порой, существенно облегчают задачу для финансистов, банкиров и трейдеров, для инженеров-робототехников, для всяких биологов, медиков, химиков и прочих естественнонаучников, для лингвистов.
Даже если строить цифровой гулаг, то МЛ очень даже пригодится - что и происходит сейчас в РФ - привет Грефу, Сбербанку, Мишустину и правительству.
>для финансистов, банкиров и трейдеров
Нет
>для инженеров-робототехников
Нет
>биологов, медиков, химиков и прочих естественнонаучников
Нет
>для лингвистов
Нет
>Твоё видение ситуации и перспектив?
К настоящему ИИ даже на пол шишечки не подступили, а если подступят, то торпедируют.
А кто говорит про полноценный НИИ?
Я говорил, что даже несовершенные текущие нейронки облегчают жизнь. И сфер, где он могут так или иначе помочь - много.
Что, правда? На каком-нибудь амазоне или ебэе тоже? Тебе же подсовывают товары на основе того, что ты искал или покупал.
>Тебе же подсовывают товары на основе того, что ты искал или покупал.
И как это относится к моей следующей покупке? Типа купи еще раз что то подобное?
Лол, это же в учебниках и курсвах по МЛ объясняют.
Они анализируют людей, которые купили то же самое, то и ты, и их другие покупки. И вот эти "другие покупки", которых у тебя нет, тебе и предлагают.
>Они анализируют людей, которые купили то же самое, то и ты
Ок, это обыкновенная статистика без магии
>тебе и предлагают
Говно которое мне не нужно
>Ок, это обыкновенная статистика без магии
Нейронки с машобом и есть статистка, только продвинутая.
Тебе не надо ручками считать, только получить, почистить данные и правильно построить модель.
А ту думал - это универсальная пилюля от всего?
>Нейронки с машобом и есть статистка, только продвинута
Конечно, нужно же все усложнить что бы было модно и в тренде
Ты не поверишь - нанотехнологиями ещё в середине прошлого века занимались.
> Окей. Твоё видение ситуации и перспектив?
Я не он, но отвечу. В Блинолопатии с машобчиком перспектива одна - идти в какой-нибудь *плешькринжнадзор пилить электронный ГУЛАГ, всякая антиконституционная херня про распознавание лиц, обработку банковских данных без ведома людей, анализ телефонных переговоров итд. Ничего умного не сделают, разумеется, по-сути это что-то вроде Лахты.
Ну тут пока работают филиал иностранных контор или аутосорсеры.
Так что причастится к машобу таки можно.
А потом эмигрировать.
хохла порвало
А, окей, все равно я уже понял, что изначальная идея была говном, так как подобный препроцессинг не панацея, архитектура позволяет.
Сейчас смог генерировать шрифты с outline, сделал им разные размеры и цвета, увеличил датасет в 2 раза и надеюсь, что результаты будут получше, пока у нее нет достаточной инвариантности.
Бамп вопросу.
Выглядит как костыль для математиков, физиков.
А я навернул уже
Как запрограммированы НН? Там тупо код
sloy1 = new float[sloy1size];
sloy2 = new float[sloy2size];
...
for(s1=0;s1<sloy1size;s1++)
for(s2=0;s2<sloy2size;s2++)
sloy2[s2]+=someFunc(sloy1[s1]);
И что тебя смутило?
Нет, подобные штуки нужны в основном для обмена моделями и упрощения деплоя в проду
У меня работает все через tf.contrib.legacy_seq2seq.attention_decoder
Нет там статистики. Ошибки не оценивают, под контролем их не держат. Вместо строгих полученных теоретически значений ошибки только еррор-рейт в продакшене. Никаких определенных способов снизить этот рейт кроме глорифайд перебора типа полученных опытным путем (считай ручной перебор всем дата-саенс коммьюнити) знаний какая архитектура лучше под задачу или автоматизированный подбор гиперпараметров. Ни один алгоритм обучения сетки не гарантирует в строгом смысле хоть какое-то значение ошибки на тесте, даже в предположении, что данные из одного распределения взяты.
>Нет там статистики.
Да ладно.
Задача статистики - сбор, анализ и обобщение информации с целью установления закономерностей.
И машобчик занимается сбором, анализом и обощением инфомации, с целью получения модели, которая будет работать на прочих подобных данных.
Нахождение оптимального и эффективного решений - тоже задача статистики.
Ничего не напоминает?
Тут в ком-нибудь мои мытарства могут отрезонировать, или я не по адресу?
Работает?
Смотри как бы самого не подвинули, когда питонщики начнут в сишарп вкатываться имея большой опыт нейрончиков+python
скиллбокс - залупая полная
яндекса - ты про практикум? слышал от пары знакомых, что вроде годно
Вываливают кучу инфы за короткие сроки. Можно окончить в принципе на троечку, но смысл тогда пропадает - это не корочка Кембриджа или Гарварда.
,fvg
Там наверное имеется ввиду, что ты уже умеешь прогать и знаешь математику на уровне первых 2—3 курсов техвуза/матвуза/пми
Как дообучить готовую модель vowpal wabbit?
локальные минимумы
Из-за слишком большого learning rate тебя вышибает из минимума назад на неоптимальную поверхность. Снизь его раз в 10, убывать будет дольше, но более стабильно
Есть ли эта вся тема на node.js ? А то хочется вкатится, я писон учить ну совсем не хочется.
Нет, абсолютно никаких требований, в буквальном смысле начинают с хелловорлдов
можешь учить r/julia
Хотябы список тем в правильно порядке.
Какой смысл смотреть код? Если у тебя проблемы в коде, то сам решай, сейчас не такое время, что в одностраничной нейронке не разберется восьмиклассник. У тебя же скорее всего проблема с малым датасетом. Если сет маленький, то и обучать нужно меньше, а там где у твоей модели лосс начинает расти, там и твой минимум глобальный для данного сета.
>Какой смысл смотреть код?
Потому что проще сразу получить указание, что не так, чем неделю сидеть и выискивать ошибку.
Заодно, может рекомендации по построению самого кода будут.
Можно подумать, что если бы всё так просто было, тут бы кто-то отписывался.
Потому что по итогу я получаю не то, что ожидаю.
Да и взгляд более опытного специалиста не лишний.
>Ну или книги из шапки читай.
Имеется в виду сначала Гудфеллоу, а потом на дедовские книги перейти?
Ты не поверишь, решил сеточкой решить давнишний Титаник.
Сетка самая простая: 4 входа, 4 узла скрытого слоя, 2 выхода, софтмакс.
Использован стохастический градиентный спуск с лёрнинг рейт 0,003 и CrossEntropyLoss.
На валидации в результате такая вот херня.
Перемешал трейн/тест? Ничего не забыл преобразовать/нормализовать?
залей код на pastebin и кинь сюда
Нормализуй данные или замени первую Relu в сетке на tanh.
Ещё последние слои поменяй на Linear(..., 1), Sigmoid(), а лосс - на bceloss.
>я смотрю на начинающих и единственное, чему они учатся - писать команды в питон
Это типичный кретинизм. Если есть желание, то большинство материала научит тебя и теоретической части.
Бумп
Где как учить и разбираться посоветуете?
Если в R есть аналоги MyStem/pymorphy и tf-hub, то без разницы.
> Ну может кто ещё подсказать?
Нахуя ты спамишь вместо того, чтобы посмотреть на свой код?
Почему лосс должен падать, если ты к нему только прибавляешь? Нахуй тут вообще какие-то эпохи?
Нафига ты заставляешь кого-то скачивать твою хуету, когда тебе написали "залей код на pastebin и кинь сюда"
>Нахуя ты спамишь
Потому что нужна помощь. Не всё же зумерошизику самоутверждаться за счёт нюфагов.
>чтобы посмотреть на свой код?
Посмотрел. Дальше что? Я не магистр по мл, не слушатель курсов и не стажёр. Если у меня вопросы возникают, мне не у кого спросить, понимаешь? Интернеты зачастую дают противоречивую информацию.
>Почему лосс должен падать,
Потому что при обучении он падает.
>Нахуй тут вообще какие-то эпохи?
А как надо?
>Нафига ты заставляешь кого-то скачивать твою хуету,
Потому что так notebook с оригинальной csv-шкой, скачай и запускай. Но если ты гадаешь про коду, то пожалуйста:
https://pastebin.com/xEWTbH7x
>ты его там обнуляешь в каждой эпохе
Возможно, потому, что я пример брал отсюда.
https://pytorch.org/tutorials/beginner/blitz/cifar10_tutorial.html#train-the-network
>>613822
Как надо? Убрать циклы и эпохи при валидации/тесте?
Спасибо.
Ещё раз, пожалуйста. Местами можно поподробнее.
1. Обучение. Обучаем мы через цикл for и эпохи. Используем model.train()
2. Валидация. Для неё нужен цикл? Используем model.eval()
3. Тест. Как он вообще проходит? Просто pred = model(x) ? Или как?
>3. джаст гугл ит
А, как знающему человеку, просто сказать без всяких загадок?
Или показать на пастебине.
Спасибо.
Чувак, прочти хоть одну книгу.
Никто тебе тут не будет рассказывать, как составить тебе модель и как обучить ее от начала и до конца.
Тебе так лень пойти и загуглить все это? Это не так сложно, в интернете много книг.
>Чувак, прочти хоть одну книгу.
Непременно.
Всё что сейчас мне нужно - одни сраный пример правильно работающей нейронной модели, с помощью которой можно решить этот трижды сраный Титаник.
Один пример, от которого в дальнейшем уже можно будет плясать. Вот и всё.
>Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материала
Не понял, на том сайте книга целиком на аеглийском? А на русском надо где-то отдельно скачивать?
Какой модели, ты понимаешь, что их много?
Сверточные сети, персептроны, сети, использующие радиально-базисные функции, gan, seq2seq и куча прочего говна.
Ты можешь просто взять и загуглить на гитхабе реализацию того, что тебе нужно.
Но лучше взять и прочесть книгу для начала, ибо ты нихуя не поймешь.
Да. Ты берешь pred = model(x) и сравниваешь с y_true по какой-нибудь метрике, да например accuracy.
> Или показать на пастебине.
Ты в курсе, что на kaggle есть открытые ноутбуки, где титаник по кусочкам разобран? https://www.kaggle.com/c/titanic/notebooks включая и решения на пайторче https://www.kaggle.com/parthshxh/machine-learning-with-sklearn-and-pytorch
>Да. Ты берешь pred = model(x)
Разве не pred = model.eval(x) ?
>Ты в курсе, что на kaggle есть открытые ноутбуки, где титаник по кусочкам разобран?
В курсе. Чтобы разобраться, иногда надо изобрести велосипед.
>>Почему лосс должен падать,
>Потому что при обучении он падает.
Так ты ж к нему только добавляешь, а на количество пройденных батчей не делишь.
Я уже юзаю shuffle_batch, по идее он идет по датасету и помещает элементы в очереди, рандомно перемешивая их.
Конфиг такой
num_batching_threads=8
queue_capacity=3000
min_after_dequeue=2000
Интересно, что это встречается на больших датасетах, попробую поставить больше размер очереди
Китайская компания Huawei создаст экосистему искусственного интеллекта в России. К проекту привлекут более 100 тысяч разработчиков и более 100 партнеров. В инициативу будут вовлечены более 20 университетов. О разработках Huawei рассказал директор департамента интеллектуальных вычислительных систем компании в России Лю Юй в рамках конференции OpenTalks.AI.
По прогнозам эксперта, к 2025 году в мире будет насчитываться более 40 млрд умных устройств. Он считает, что к этому времени цифровые помощники будут уже у 90 % пользователей. Подобный прогресс станет возможным благодаря развитию ИИ.
Как ожидается, ИИ-экосистема будет работать на базе программируемых нейропроцессоров (NPU) Ascend. Она будет ориентирована на целый спектр сценариев. В настоящий момент благодаря применению ИИ-процессоров Huawei реализовал более 500 проектов в более чем 10 сферах. В их числе, телекоммуникации, энергетика и транспорт.
Да, аноны, на самом деле все так и было.
Поставил
queue_capacity=20000
min_after_dequeue=5000
И все норм работает, теперь нет этой хуйни
Блджад, теперь мне в голову приходит мысль, что на малых батчах оно не обучалось по этой же причине
Это копия, сохраненная 22 апреля 2020 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.