Этого треда уже нет.
Это копия, сохраненная 22 апреля 2020 года.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
НЕЙРОНОЧКИ И МАШОБ ТРЕД №21 /ai/ 1578978 В конец треда | Веб
Очередной тред про хипстерские технологии, которые не работают.

Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".
Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.
Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материала
В чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examples
Где набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/
Где работать? https://www.indeed.com/q-deep-learning-jobs.html
Где узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихся
Где посмотреть последние статьи? http://www.arxiv-sanity.com/
Где ещё можно поговорить про анализ данных? http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.

Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/

Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.

Предыдущий:
https://2ch.hk/pr/res/1543969.html (М)

Архивач:
http://arhivach.ng/thread/412868/
Остальные в предыдущих тредах

Там же можно найти треды 2016-2018 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
2 1578994
Продублирую.
>>1577202
А ещё такой вопрос: если брать ту же задачу по Титанику и решать её при помощи нейронной сети, как выбирать:
1) Размер входного слоя - он будет зависеть от каждого пассажира?
2) Размер и количество скрытых слоёв
3) Размер выходного слоя - он будет равен количеству классов в задаче классификации?
3 1579008
на кросс валидации качество 0.91 а на отложке 99 это как понимать?
метрика r2
4 1579023
>>578994
1) он будет зависить от количества параметров, которыми описывается один пассажир
2) как хочешь так и делай. Данных мало, значит лучше без нейронок меньше слоев (например, 0) и поменьше размер
3) обычно да, но если класса всего два, то делается один выход с сигмоидой и предсказывается вероятность спастись

>>579008
может некоторые данные дублируются и попадают в отложенную выборку? данные перемешиваешь перед тем как разбить на фолды/разделить? сколько фолдов делаешь в кросс-валидации?
5 1579028
Есть база на 40мб в формате вопрос-ответ, тематика - кое-какая игра, вопросы +- одни и те же. Нужно научить скрипт отвечать на вопросы юзеров, основываясь на базе. Подскажите годных алгоритмов, наверняка есть куча готовых решений для этого. Пробовал сам делать, через ключевые слова, точность ответов 90%, нужно больше.
6 1579038
>>579023

>1) он будет зависить от количества параметров, которыми описывается один пассажир


Спасибо.
А если там, например, таблица 20000 x 10000, где каждая колонка - отдельный признак, содержащий 0 или 1, но единиц у каждой строки от силы 15 - остальные нули.
Как тогда? Задавать 10000 входов?
7 1579061
Зачем в бустинг либах есть обработка категориальных признаков, без них же всё должно работать?
8 1579127
>>579061
Потому что в датасетах часто бывают категориальные признаки, и если их правильно обрабатывать, то метрики будут выше.
9 1579144
>>579127
Так а почему выше, если с бустенгом деревьях всё равно должно быть как закодированы кат признаки?
10 1579283
>>579038

> Задавать 10000 входов?


да
Можешь как-нибудь попытаться преобразовать данные, например, в SVD запихнуть. В случае слов в предложении всякие предобученные эмбеддинги используют
image.png72 Кб, 979x512
11 1579373
----------------- Options ---------------
batch_size: 4 [default: 1]
beta1: 0.5
checkpoints_dir: ./checkpoints
continue_train: False
crop_size: 256
dataroot: ./selfie2comics [default: None]
dataset_mode: unaligned
direction: AtoB
display_env: main
display_freq: 400
display_id: 1
display_ncols: 4
display_port: 8097
display_server: http://localhost
display_winsize: 256
epoch: latest
epoch_count: 1
gan_mode: lsgan
gpu_ids: 0
init_gain: 0.02
init_type: kaiming [default: normal]
input_nc: 3
isTrain: True [default: None]
lambda_A: 10.0
lambda_B: 10.0
lambda_identity: 0.5
load_iter: 0 [default: 0]
load_size: 256 [default: 286]
lr: 0.0002
lr_decay_iters: 50
lr_policy: linear
max_dataset_size: inf
model: cycle_gan
n_epochs: 100
n_epochs_decay: 100
n_layers_D: 3
name: resnet9_132to400_comics8 [default: experiment_name]
ndf: 64
netD: basic
netG: resnet_9blocks
ngf: 64
no_dropout: True
no_flip: False
no_html: False
norm: instance
num_threads: 4
output_nc: 3
phase: train
pool_size: 50
preprocess: resize_and_crop
print_freq: 100
save_by_iter: False
save_epoch_freq: 5
save_latest_freq: 5000
serial_batches: False
suffix:
update_html_freq: 1000
verbose: False
----------------- End -------------------
dataset [UnalignedDataset] was created
The number of training images = 1530
initialize network with kaiming
initialize network with kaiming
initialize network with kaiming
initialize network with kaiming
model [CycleGANModel] was created
---------- Networks initialized -------------
[Network G_A] Total number of parameters : 11.378 M
[Network G_B] Total number of parameters : 11.378 M
[Network D_A] Total number of parameters : 2.765 M
[Network D_B] Total number of parameters : 2.765 M
-----------------------------------------------
Setting up a new session...
create web directory ./checkpoints/resnet9_132to400_comics8/web...
Traceback (most recent call last):
File "train.py", line 44, in <module>
for i, data in enumerate(dataset): # inner loop within one epoch
File "/content/data/__init__.py", line 90, in __iter__
for i, data in enumerate(self.dataloader):
File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/dataloader.py", line 345, in __next__
data = self._next_data()
File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/dataloader.py", line 838, in _next_data
return self._process_data(data)
File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/dataloader.py", line 881, in _process_data
data.reraise()
File "/usr/local/lib/python3.6/dist-packages/torch/_utils.py", line 394, in reraise
raise self.exc_type(msg)
OSError: Caught OSError in DataLoader worker process 3.
Original Traceback (most recent call last):
File "/usr/local/lib/python3.6/dist-packages/PIL/ImageFile.py", line 235, in load
s = read(self.decodermaxblock)
File "/usr/local/lib/python3.6/dist-packages/PIL/PngImagePlugin.py", line 659, in load_read
cid, pos, length = self.png.read()
File "/usr/local/lib/python3.6/dist-packages/PIL/PngImagePlugin.py", line 122, in read
length = i32(s)
File "/usr/local/lib/python3.6/dist-packages/PIL/_binary.py", line 82, in i32be
return unpack_from(">I", c, o)[0]
struct.error: unpack_from requires a buffer of at least 4 bytes

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/_utils/worker.py", line 178, in _worker_loop
data = fetcher.fetch(index)
File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/_utils/fetch.py", line 44, in fetch
data = [self.dataset[idx] for idx in possibly_batched_index]
File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/_utils/fetch.py", line 44, in <listcomp>
data = [self.dataset[idx] for idx in possibly_batched_index]
File "/content/data/unaligned_dataset.py", line 58, in __getitem__
B_img = Image.open(B_path).convert('RGB')
File "/usr/local/lib/python3.6/dist-packages/PIL/Image.py", line 930, in convert
self.load()
File "/usr/local/lib/python3.6/dist-packages/PIL/ImageFile.py", line 241, in load
raise IOError("image file is truncated")
OSError: image file is truncated
Вот такая ошибка при обучении нейронки на google colab. Если запускаю на домашнем пека, то все ок. Я уже запускал нейронку на колабе эту же, с теми же настройками и работало как часы, а шас нихуя. Ебусь уже 2 часа и гугл нихуя не помог. на домашнем пека с теми же либами, настройками обучение идет
что можете посоветовать?
image.png72 Кб, 979x512
11 1579373
----------------- Options ---------------
batch_size: 4 [default: 1]
beta1: 0.5
checkpoints_dir: ./checkpoints
continue_train: False
crop_size: 256
dataroot: ./selfie2comics [default: None]
dataset_mode: unaligned
direction: AtoB
display_env: main
display_freq: 400
display_id: 1
display_ncols: 4
display_port: 8097
display_server: http://localhost
display_winsize: 256
epoch: latest
epoch_count: 1
gan_mode: lsgan
gpu_ids: 0
init_gain: 0.02
init_type: kaiming [default: normal]
input_nc: 3
isTrain: True [default: None]
lambda_A: 10.0
lambda_B: 10.0
lambda_identity: 0.5
load_iter: 0 [default: 0]
load_size: 256 [default: 286]
lr: 0.0002
lr_decay_iters: 50
lr_policy: linear
max_dataset_size: inf
model: cycle_gan
n_epochs: 100
n_epochs_decay: 100
n_layers_D: 3
name: resnet9_132to400_comics8 [default: experiment_name]
ndf: 64
netD: basic
netG: resnet_9blocks
ngf: 64
no_dropout: True
no_flip: False
no_html: False
norm: instance
num_threads: 4
output_nc: 3
phase: train
pool_size: 50
preprocess: resize_and_crop
print_freq: 100
save_by_iter: False
save_epoch_freq: 5
save_latest_freq: 5000
serial_batches: False
suffix:
update_html_freq: 1000
verbose: False
----------------- End -------------------
dataset [UnalignedDataset] was created
The number of training images = 1530
initialize network with kaiming
initialize network with kaiming
initialize network with kaiming
initialize network with kaiming
model [CycleGANModel] was created
---------- Networks initialized -------------
[Network G_A] Total number of parameters : 11.378 M
[Network G_B] Total number of parameters : 11.378 M
[Network D_A] Total number of parameters : 2.765 M
[Network D_B] Total number of parameters : 2.765 M
-----------------------------------------------
Setting up a new session...
create web directory ./checkpoints/resnet9_132to400_comics8/web...
Traceback (most recent call last):
File "train.py", line 44, in <module>
for i, data in enumerate(dataset): # inner loop within one epoch
File "/content/data/__init__.py", line 90, in __iter__
for i, data in enumerate(self.dataloader):
File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/dataloader.py", line 345, in __next__
data = self._next_data()
File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/dataloader.py", line 838, in _next_data
return self._process_data(data)
File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/dataloader.py", line 881, in _process_data
data.reraise()
File "/usr/local/lib/python3.6/dist-packages/torch/_utils.py", line 394, in reraise
raise self.exc_type(msg)
OSError: Caught OSError in DataLoader worker process 3.
Original Traceback (most recent call last):
File "/usr/local/lib/python3.6/dist-packages/PIL/ImageFile.py", line 235, in load
s = read(self.decodermaxblock)
File "/usr/local/lib/python3.6/dist-packages/PIL/PngImagePlugin.py", line 659, in load_read
cid, pos, length = self.png.read()
File "/usr/local/lib/python3.6/dist-packages/PIL/PngImagePlugin.py", line 122, in read
length = i32(s)
File "/usr/local/lib/python3.6/dist-packages/PIL/_binary.py", line 82, in i32be
return unpack_from(">I", c, o)[0]
struct.error: unpack_from requires a buffer of at least 4 bytes

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/_utils/worker.py", line 178, in _worker_loop
data = fetcher.fetch(index)
File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/_utils/fetch.py", line 44, in fetch
data = [self.dataset[idx] for idx in possibly_batched_index]
File "/usr/local/lib/python3.6/dist-packages/torch/utils/data/_utils/fetch.py", line 44, in <listcomp>
data = [self.dataset[idx] for idx in possibly_batched_index]
File "/content/data/unaligned_dataset.py", line 58, in __getitem__
B_img = Image.open(B_path).convert('RGB')
File "/usr/local/lib/python3.6/dist-packages/PIL/Image.py", line 930, in convert
self.load()
File "/usr/local/lib/python3.6/dist-packages/PIL/ImageFile.py", line 241, in load
raise IOError("image file is truncated")
OSError: image file is truncated
Вот такая ошибка при обучении нейронки на google colab. Если запускаю на домашнем пека, то все ок. Я уже запускал нейронку на колабе эту же, с теми же настройками и работало как часы, а шас нихуя. Ебусь уже 2 часа и гугл нихуя не помог. на домашнем пека с теми же либами, настройками обучение идет
что можете посоветовать?
12 1579676
Где посмотреть код в тензорфлоу, который пробрасывает градиент. Или он где-то внизу на крестах?
У меня тут интересная тема, машоберы 13 1579711
Помню, я опробовал однажды Алису. Ассистент от Яндекса, который якобы с ИИ и вообще даже обучаться может М - Маркетинг..
Собсна, я решил проверить. Задал несколько арифметических примеров, и быстро понял, что считать она не умеет. Не беда, казалось бы, можно и обучить. Но как бы я не старался, эта хуйня отказывалась обучаться.

Так вот, аноны, о каком ИИ может идти речь, если мы еще не можем обучить компьютер считать? Именно обучить, как ребенка. Сначала показать ему цифры(он должен уловить, что такое цифра), потом начать пересчет чисел(понять порядок чисел и понять как работают разряды), потом обучить плюсу и минусу. Вот тогда, когда ты на примерах покажешь счет, а компьютер уловит закономерности и сможет делать выводы, вот тогда можно говорить об обучаемости и ИИ.

Знаете работы по данной теме? Или у вас есть предположения, как это реализовать.
14 1579721
>>579711
Ее только яндекс может обучать.
15 1579732
>>579711
сначала ии должен осознать самого себя
16 1579737
>>579732
Нет, для счета осознанность не требуется.
17 1579809
>>579711

> Знаете работы по данной теме? Или у вас есть предположения, как это реализовать.


Эта тема сложнее чем кажется. Но эта задача решаема, я как раз этим занимаюсь.

> Так вот, аноны, о каком ИИ может идти речь, если мы еще не можем обучить компьютер считать? Именно обучить, как ребенка. Сначала показать ему цифры(он должен уловить, что такое цифра), потом начать пересчет чисел(понять порядок чисел и понять как работают разряды), потом обучить плюсу и минусу. Вот тогда, когда ты на примерах покажешь счет, а компьютер уловит закономерности и сможет делать выводы, вот тогда можно говорить об обучаемости и ИИ.


На примерах и улавливания закономерностей заебешься. И нет, алгоритм машобчика, умеющий в арифметику, мыслить не будет. Я тут пару лет назад какому-то долбаебу показывал, как даже обычный инженерный куркулятор легко может продолжить ряд типа 1,3,5,7,... Он заявлял, что нейроночки в такое не могут. Так вот, могут. И мыслить для этого не нужно. То что ты описал, намного сложнее, но опять же, никакой уличной магии не требует и не приведет ни к каким качественно новым умениям машобчика кроме самого умения считать.
18 1579863
>>579809

> То что ты описал, намного сложнее, но опять же, никакой уличной магии не требует и не приведет ни к каким качественно новым умениям машобчика кроме самого умения считать.


Так или иначе, мы научили компьютер.
Раз мы научили считать, то подобным образом его можно чему угодно обучить. Запоминаем факты, находим закономерности, исследуем аномалии, перезаписываем и дополняем известные знания. Сам счет бесполезен, вот метод, по которому машинка обучилась - вполне себе.
19 1579891
>>579023

>может некоторые данные дублируются и попадают в отложенную выборку? данные перемешиваешь перед тем как разбить на фолды/разделить? сколько фолдов делаешь в кросс-валидации?



дубликатов нету я их проверял и удалял через пандовские функции (df.duplicated().value_counts(), df2.drop_duplicates(inplace=True)). Разбиваю данные как обычно с помощью функции train_test_split c shuffle=True. фолдов 3 обучал на бустинге 5000 древьев
20 1580230
>>579144
Потому что обычно в решающих деревьях используется тупо отсечение по порогу, которое хорошо работает с ординальными признаками ("оцените по шкале от 1 до 5"), но плохо с категориальными ("выберите город проживания - Москва, СПб, Новосибирск, Челябинск, Владивосток").
21 1580243
>>579863
Куда проще научить его распознавать при разговоре числа и обозначения математических операций и строить из них формулу, после чего передавать её в специализированное приложение.

"Научили компьютер" - это очень человеческое понятие, не надо его куда ни попадя пихать, это чревато непониманием возможностей, завышенными ожиданиями и в итоге разочарованием. Мы оптимизировали некоторую функцию, всё.
22 1580440
>>579711

>Так вот, аноны, о каком ИИ может идти речь, если мы еще не можем обучить компьютер считать? Именно обучить, как ребенка.


Видимо в Древнем Египте с грамотностью людей на уровне единиц процентов, интеллекта ни у кого не было. А то хули они никого обучить не могли, были бы грамотными, построили бы космический корабль. Гуманитариев нельзя подпускать к ML, от гуманитариев ML тупеет. Поэтому держись подальше и все будет хорошо.

>Или у вас есть предположения, как это реализовать.


Нужно уходить от GEMM и оптимизации железа под GEMM. А это тяжело, потому что в GEMM вложены миллиарды и оно хорошо решает текущие задачи. Представь, что у тебя все нейроны в мозге думают одновременно, в итоге тебе нужно жрать в 1000 раз больше, провести отдельную систему канализации для отвода тепла и продуктов жизнедеятельности. Вот примерно такое состояние у современного ML. Это не значит, что твои охуенные мысли кому-то нужны.
23 1580626
>>580440
Раз хорошо решает задачи, то чего ещё желать? Никому не нужен робот-водитель, который ещё и разговор поддержать может, от него только водить требуется.
24 1580652
>>580626

>Раз хорошо решает задачи


Кудахтер что то хорошо решает только в больном матанопетушином вооброжаемом мирке
image.png29 Кб, 1231x387
25 1581102
Антоны, у меня модель не хочет обучаться, лосс просто не падает и похоже, что он останется таким, сколько бы шагов обучения не происходило.
Модель из сверточной сети и lstm с аттеншионом.
В чем может быть проблема вообще? До этого она прекрасно обучалась и распознавала.
Может ли это быть из-за длинных последовательностей? Сет, на котором она обучалась первый раз у меня включал в себя всего 40 символов максимум на последовательность, сейчас я увеличил датасет, теперь максимальное предложение у меня 140 символов и оно не хочет обучаться
26 1581103
>>581102
Батч сайз 28, если что
27 1581114
>>581102

>не хочет обучаться


ремнем пригрози!))
28 1581128
>>581103
>>581102
Хотя скорее-всего проблема в числе батчей, но если выставить много, то тензорфлоу сжирает память, пойду гуглить решения, как от этого избавиться, может она не учится из-за маленького батч сайза.
29 1581158
хелпач
учу модель разукрашивать мангу. в датасет а запихнул черно-белую мангу, а в датасет б разукрашенную и точно такую же. Так вот, при обучении в 100 эпох примерно такой результат(смотри пикчу). учу модель размером в 256х256.
модель - https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix
датасет на 1500 пикч

учить дальше или лучше не будет?
30 1581203
>>581114
Да если бы можно было, попробовал решения с ограничением памяти, так не работает, при выставлении 32 и 64 батчей все крашится в пизду, на малом количестве батчей оно обучаться не хочет.
Ех, возможности расширенного инстанса гугл колаба я уже исчерпал, придется платить амазону.
31 1581301
>>581203
У гпу-коллаба производительность как у 1060.
32 1581451
>>581158
Блин. Было бы круто выхватывать граф реплик персонажей постранично из манги/комикса и распечатывть это в виде сценкрия (по полям).
33 1581484
>>581451

>это в виде сценкрия


Будешь в школе спектакль ставить?
34 1581534
Антоны, есть где-нибудь гайды по использованию амазона?
Хочу у них таки купить инстанс и воспользоваться sagemaker для обучения своей нейроночки, только вот мне нихуя не понятно, просто контринтуитивный сервис.
35 1581731
>>581484
В семье с батей по яой манге
36 1581821
>>581158
Бамп вопросу
37 1581861
>>581821
Кинохронику про первую мировую раскрашивали нейросетью.
38 1581885
>>581861
Держи в курсе
Какой?
39 1582021
>>579711
Потому что нужно разделение на нейронку и формальную логику. Вот как мы складываем/умножаем/делим в уме? Мы же не угадываем нейронкой примерный ответ. А выполняем четкие алгоритмические шаги.
1561414373178762719.jpg56 Кб, 700x492
40 1582165
>>579711

>я опробовал однажды Алису

41 1582169
>>578978 (OP)
https://www.youtube.com/watch?v=1LcdA0Y7IEk
как так прошло мимо меня =(
42 1582198
>>582169
Взоржал с этих малолетних чмошников)))
thumbimg52a309f767b60adaptiveResize370300.jpg87 Кб, 370x300
43 1582201
>>582198
Митап по МЛ пикрил
44 1582203
>>582198
Ьоt-MARKOV ты? узнал тебя по оскорблениям
1554037109120767197.jpg20 Кб, 400x230
45 1582208
>>582203
Я Алиса
46 1582220
>>582169
Лахтоботы скоро станут ии.
47 1582225
>>582021

>Мы же не угадываем нейронкой примерный ответ.


Угадываем, я вот не затрачиваю ресурсы мозга на расчеты, я просто думаю над операцией и мозг сам дает ответ.
48 1582238
>>582021

>Вот как мы складываем/умножаем/делим в уме


Сейчас гуманитарный филосопетрович расскажет нам, как мы складываем в уме
49 1582249
>>582021
Правильно, надо научить нейронку счету древних шизов, ноль, целковый, чекушка.
>>582225
Да ты-то вообще не думаешь.
50 1582308
>>582249

>Да ты-то вообще не думаешь.


Бля, вот это тейк, вот ты доказал свою позицию.
51 1582310
>>582308
Доказывать отсутствие? Пфф, точно не думаешь.
Это ты должен доказывать что ты думаешь
52 1582361
>>582310

> Доказывать отсутствие? Пфф, точно не думаешь.


Тебе не надо доказывать отсутствие, ты можешь просто пояснить, как оно происходит, но чуется мне, что ты хуй с горы и твое утверждение ни на чем не основано, ну просто не угадываем, значит не угадываем.
53 1582448
>>582225
Ну ок угадай 36x63+13
54 1582449
55 1582459
>>582449
Проиграл с нейронки.
56 1582484
>>582448
Ну вот это приходится раскладывать на простейшие, сперва ((3610)6)+(36*3)+13=2281, вот на простейшие операции я мозг не задействую.
15443451318580.jpg84 Кб, 540x533
57 1582510
ГДЕ ИСКАТЬ РАБОТУ?!
НА ХХ 1,5 ВАКАНСИИ ДЛЯ НЮФАГОВ В ОСТАЛЬНЫХ СЛУЧАЯХ ТРЕБУЕТСЯ ОПЫТ РАБОТЫ
58 1582519
>>582484

> на простейшие операции я мозг не задействую.


Типа ты имеешь в виду, что у тебя в памяти хранится таблица всех произведений до 100x100? Плюс ты как то должен был разложить на простейшие, а это тоже алгоритм.
59 1582525
>>582510
Устройся программистом и горизонтально перемещайся
60 1582652
>>582525
Да пошел ты нахуй черт
image.png435 Кб, 382x604
61 1582653
image.png657 Кб, 729x344
62 1582656
>>580243
Вот чувствуется в тебе специалист, а не "ололо я делаю скайнет"
63 1582671
>>582510
kaggle
1563912330359.png216 Кб, 859x960
64 1582677
>>582525
Спасибо, но подводных камней хватает: ещё найти вакансию питониста в конторе, где есть перспектива устроиться в МашОб, ещё устроиться на эту вакансию, ещё переквалифицироваться (и не факт, что эта контора будет заинтересована тебя развивать, а не взять готового спеца).
>>582671
Там преимущественно иностранные вакансии.
Эмиграции в ближайшие 1,5 - 2 года не входит в мои планы.

Может тут кто сжалится, лол?
65 1582707
>>582677

>Может тут кто сжалится, лол?


Пошёл нахуй зумерок, лол.
66 1582754
>>582707
Нет ты.
67 1582839
>>580243

> Куда проще научить его распознавать при разговоре числа и обозначения математических операций и строить из них формулу, после чего передавать её в специализированное приложение.


А если приложение ограниченно? Вот не умеет логарифмы считать.
68 1583406
Есть таблица с векторами. Пытаюсь запустить обучение на пайторче.
На вход модели подаю вектор, а мне:
'str' object has no attribute 'dim'
Щито делать?
69 1583504
>>583406
Закрыть пайторч. Открыть книгу по матану.
70 1583546
>>583504

> Открыть книгу по матану.


Охуительный совет, блять.
Ты когда к врачу приходишь, он тебе тоже даёт общий диагноз или отправляет читать книги по пат.анатомии?
Есть вопрос - то либо конкретизируй ответ, либо вообще ничего не пиши.
Матан охуеть какой большой, и изучать кучу книг потому что какой-то диванный специалист что-то спизданул - это охуеть какое неэффективное расходование времени.
Да и вангую там не в матане дело.
71 1583550
>>583406
shape есть? а если не найду?
72 1583557
>>582839
Проще найти и скачать более мощное, чем пытаться обучить нейронку саму считать.
73 1583559
>>583406
Искать, где там str возникло, чего тут ещё можно посоветовать, лол. Скорее всего в данных где-то.
Закрыть пайторч. Открыть документацию к пайторчу. Или хотя бы туториалы.
74 1583569
Антоны, можете пояснить за тпу?
Я попробовал переписать свою модель под tpu, у меня обучение было через slim.learning.train, тут же через estimator.train.
Но потом я обломился, поняв, что базу нельзя читать с локального диска, а на гугл ведро нужно платить гугл облаку, которое недоступно в России.
Есть вариант закидывать все в оперативку, но большой датасет так не засунешь и есть проблема с делением всего на батчи, ибо никакого провайдера для такого нет.
Выходит, что обычному русскому смертному лучше вообще забыть об этом?
75 1583844
>>583569
На авито можно за дешево собрать комп с HEDT процессором и 2-4 1080ti. Если постоянно кагглить для себя и пытаться выиграть, то этого будет достаточно и это дешевле аренды.
76 1583884
>>583844
Ну на моем компе i5 процессор, а вот видеокарт и памяти не хватает.
Кагглить для себя - это участвовать в конкурсах kaggle? Я не настолько прошарен, чтобы с людьми, у которых и опыта больше и знаний в этой области конкурировать.
А две 1080ti выйдут под 50-60к, наверное в перспективе они окупятся.
77 1583935
>>583844

> 2-4 1080ti


А не лучше взять rtx 2060?
78 1583951
>>583935
Там памяти только 6 гигов. В fp32 лучше брать 1080ti.
79 1583952
>>583884
Для 2-4 видеокарт лучше брать HEDT типа тредриппера первого покаления.
80 1583957
сап импорткерасы. вопрос по теме: есть ли исследования в области каких-то альтернативных подходов к машобу? в смысле концептуально других, основанных на других представлениях, например не на матрицах чисел. я сейчас не говорю про эффективность и приложимость на практике, а просто о существовании таких подходов. хотя бы теоретических.
Q: ты ебанулся, комплюхтеры же числодавилки, как ты себе представляешь чтобы они по-другому взаимодействовали с данными?
A: если бы представлял, уже бы делал что-то в этом направлении. интуитивно кажется, что в принципе может существовать другой подход. даже если он потребует другой архитектуры железа. а может и не существовать.
81 1584008
>>583957
Есть спайковые нейронки, есть sparse матрицы, с которыми уже все хуево, есть аналоговые вычисления, есть оптические нейронки (обучать не умеют, зато инференс со скоростью света). Много чего есть
82 1584072
>>584008
спасибо, анон. краем уха слышал про все кроме аналоговых
но это всё же нейронки, то есть подход по сути тот же. а есть что-нибудь совсем другое и оригинальное? стоит обратить взор на начало кибернетики, когда всё это дело развивалось, может быть там есть кардинально другие подходы?
83 1584132
>>584072
Занимайся спайковыми сетями, Анон, я сам думаю это делать после того, как выучу основы классических сетей.
Под спайковые сети вроде даже нейропроцессоры делали, ничего интереснее и быть не может.
Я также в прошлом году видел еще сеточку, которая отличается от всех классических, только названия вспомнить не могу.
15771951994850.png80 Кб, 360x270
84 1584154
>>583957

> сап импорткерасы. вопрос по теме: есть ли исследования в области каких-то альтернативных подходов к машобу?


Есть. Нейросети и машины Тьюринга на основе аутокаталитических каскадных реакций энзимов (по типу реакции Белоусова - Жаботинского, но сложнее). По-сути, рабочие прототипы биочипов. Я думал, что такое только в киберпанке бывает, но это делали ещё в 80х годах, у меня где-то пейперы были, автор какой-то японец. Вот там точно никаких матриц шматриц.
85 1584155
>>584154

>это делали ещё в 80х годах, у меня где-то пейперы были, автор какой-то японец


10 нечетких петухов из 10
87 1584187
>>584159
Да я спорю разве
88 1584203
>>583957
nupic/numenta уже много лет сидят и свой неокортекс дрочат
89 1584285
Подскажите, господа, как загуглить инфу по "правильному" обучению модели с дроблением дата сета?
Типа берем 20% учим проверяем пока не достигнем удовлетворительного результата на 5% потом учим на других 20% и тд 4 раза.
90 1584333
>>584285
гугли кросс валидацию или отложенную выборку (train test split)

>>583957
вот тебе концептуально другой подход
https://twitter.com/iScienceLuvr/status/1221304049607180288
91 1584363
Анон, помоги с первой сеточкой.
Есть заимствованный код:
model = ...
loss = ...
optimizer = ...

Потом пошли эпохи:

for e in range(epochs):
running_loss = 0
for images, labels in trainloader:
images = images.view(images.shape[0], -1)
optimizer.zero_grad()
output = model(images)
loss = criterion(output, labels)
loss.backward()
optimizer.step()

running_loss += loss.item()
else:
print(f"Training loss: {running_loss/len(trainloader)}")

И тут возникли вопросы - вышеприведённый код для MNISTа, а у меня не изображения, а обычный датафрейм 15х10.
Что мне надо сделать чтобы адаптировать код под него? Преобразовать его в тензор? Целиком или построчно? А что с названиями колонок?
92 1584474
>>584333
Кстати, да. Я тут постил ссылки на подобную тему, голуби реально могут распознавать снимки с раком и даже различать жанры в живописи на примере незнакомых им картин. Может быть, они и временные ряды могут предсказывать не хуже этих ваших нейроночек при достаточном обучении.
93 1584481
>>584363
Пошёл нахуй, говно. Иди учи питон, а потом читай документацию к панде.
94 1584482
>>584474

>голуби реально могут


Потому, что у них есть мозг и он работает не так как нафантазировали себе матанопетухи.
95 1584488
>>584482

> Потому, что у них есть мозг


Ага, а вот у тебя нету.
Вообще, вроде бы никто не пробовал использовать голубей для распознавания mnist там или капчи.
96 1584489
>>584488

>никто не пробовал использовать голубей


Ну вот пусть РАН и попробует, как раз уровень академичаских вговнемоченых.
97 1584518
>>584481
Что, говнецо, самоутверждаешься за счёт нюфагов? Ты настолько никчёмен, что боишься, что они тебя без работы оставят?
Ты жалок. Иди скули в /ga или откуда ты там вылез.
98 1584529
>>584518

>боишься, что они тебя без работы оставят?


Того неуча точно можно не бояться, раз он в коде на Питоне не может разобраться.
99 1584542
Почему у шизика горит от зумеров-математиков?
100 1584545
>>584542

> зумеров-математиков


Ты на ноль не дели. Зумеров математиков не существует.
102 1584607
А зачем выборку часто делят на три части: тест, трейн и валидацию где последнее это что-то вроде второго теста. Зачем нужен ещё один тест?
103 1584609
Антоны, какой размер картинок для OCR лучше всего?
Где-то читал, что гугл разделяет текст по строкам, может мне тоже так попробовать? Но текст же может быть разного шрифта, начиная с мелкого, заканчивая текстом во всю строку.
Или лучше тупо брать здоровую область и на ней нейронку обучать? Но тогда картинки будут иметь много всякой лишней хуйни типа здорового фона и прочих радостей жизни.
104 1584611
>>584607

> А зачем выборку часто делят на три части: тест, трейн и валидацию где последнее это что-то вроде второго теста. Зачем нужен ещё один тест?



Что бы детектить зазубренное переобучение.
15773658236662.jpg291 Кб, 1280x719
105 1584694
Анон таки доставил. На ближайший год мне хватит.
>>584203
>>584132
Да, это интересно, но по сути развитие идеи нейронок по образу и подобию. Не слишком оригинальный подход, мне кажется.
>>584154
>>584159

> Я думал, что такое только в киберпанке бывает


Я до этого момента тоже. Круто, чё — зайчатки биопанка.
>>584333
Suka, lol но это получается использование настоящих и уже хорошо обученных нейронных сетей, которых дообучают на примитивные задания, что немного уводит от начальной темы вопроса
106 1584907
>>584611
Можешь по подробнее объяснить? Что за зазубренное переобучение? Я думал, что это делается для оценки в процессе обучения и настройки гиперпараметров (типа валидационную выборку нам дал заказчик, а тестовую заказчик держит у себя и нам не даёт, только потом будет проверять на ней качество всей системы).
108 1584928
>>584488
показываем голубю мотоцикл(дымовую трубу,мост) даем семучку, показываем карточку без этого - бьем осуждаю насилие над животными, поэтому пугаем звуком кошки. Показываем капчу если прошел - даем кушоть. Кайф. Продаем обход капчи за деньги.

Объясните инициализируя
skr=sklearn.linear_model.LinearRegression()
и обучая ее skr.fit(X,y)
если я еще рад fit позову на другом датасете она будет дообучаться?
image.png34 Кб, 628x412
109 1584985
Антоны, как это можно ускорить? Нет возможности поднять батчи, ибо сетка уже на батч сайзе 16 умудряется выжирать всю память.
Learning rate 0.004.
Можно ли что-то подправить, чтобы не ждать еще неделю?
110 1584992
>>584928
Не должна, потому что там вызывается scipy'шный lstsq, а в нем аналитически считается решение (все заново будет считаться). Для дообучения бери SGDRegressor и его fit/partial_fit.

>>584985
Поменяй архитектуру сетки, оптимизатор, добавь CLR, аугментаций.
Кстати, что за лосс у тебя?
image.png6 Кб, 250x132
111 1584995
Я мимовебмакен, которому нужно распознать, является ли изображение флагом, на изображение ничего кроме него нет типа пика. У вас есть какая-нибудь либа, которая сама все за меня сделает? Думаю, что эту задачу уже кто-то давно сделал.
112 1585001
>>584928

>Продаем обход капчи за деньги.


Индусы(или кто там нынче) дешевле.

>если я еще рад fit позову на другом датасете она будет дообучаться?


Гугол/доки. Это ж примитивный вопрос.
113 1585013
>>584992
Ну нет, оптимизатор я уже не могу сменить, а вот попробовать найти learning rate с помощью CLR или LRF хорошая идея.
114 1585186
Задача - предиктить координаты вершин треугольника. Треугольник - чб изображение 500*500. Использую обычный линейный слой + mse loss, на выходе 6 чисел. Но что-бы я не делал, на валидационной выборке предиктится примерно одинаковых 6 чисел, а на обучающей можно добиться идеальных координат, если оверфитнуть. Изменение регуляризации ничего не даёт (только хуже результаты на train выборке), тут именно проблема с обобщающей способностью модели. Может знает кто, куда копать?
115 1585199
>>585186
OpenCV findContours, перебираешь получившиеся точки, смотришь вокруг каждой окно 20х20, предиктишь тремя свертками угол ли это или нет.

Твоя модель максимум запомнит все треугольники через их уникальные точки.
116 1585224
>>584607

>А зачем выборку часто делят на три части: тест, трейн и валидацию где последнее это что-то вроде второго теста. Зачем нужен ещё один тест?


Ты косвенно используешь валидационный датасет в обучение, когда подбираешь гиперпараметры на его основе. Поэтому нужен третий - тестовый датасет. На тренировочном тренируешь, на валидационном подбираешь гиперпараметры, а тестовый используешь один раз в самом конце, перед выкатом системы в продакшн.
117 1585233
>>585199
Спасибо!
118 1585255
>>578978 (OP)
Как там ваш ИИ, роботы уже в диалоги могут или пока только котиков раскрашивают?
119 1585260
>>585224

>перед выкатом системы в продакшн


Поэтому все ваши нейронки такое говно? Может еще 4 проход нужен?
120 1585276
>>584985
Через день у тебя застрянет на 140, меняй архитектуру
121 1585280
>>585186

>тут именно проблема с обобщающей способностью модели


Нарисуй треугольник ABC, проведи у него высоту BH. Получишь два треугольника, ABH и CBH.
Покажи первый треугольник своей модели, получишь
[шесть чисел] = модель(ABH)
Покажи второй треугольник своей модели, получишь
[шесть других чисел] = модель(CBH)

Далее, из линейности модели иследует, что
[шесть чисел]+[шесть других чисел]=модель(ABC)

Что, конечно же, неправда. Поэтому линейная модель в твоем случае работать не может.

>>585199

>OpenCV findContours, перебираешь получившиеся точки, смотришь вокруг каждой окно 20х20, предиктишь тремя свертками угол ли это или нет.


Во ты наркоман
122 1585291
>>585276
Я попробую еще применить One-Cycle Policy, архитектуру бросать особо не хочется, как по мне, она оптимальна.
123 1585303
Доброго времени суток, ньюфаг в треде.
Выбираю тему для диплома, пока что вертится в голове нейронка для поиска фото конкретного человека в базе фотографий. Только вот по мере погружения в тему понимаю, что за год самообучения и неспешной разработки в одно лицо такое не потянуть. Или потянуть?
Навык программирования на уровне базового синтаксиса нескольких ООП языков, вышмат не самая сильная сторона - лень было учить в рамках универа, но понимание есть, подтянуть смогу.

Если затея совсем гиблая, может, подскажете тему для диплома, которую будет не стыдно показать комиссии на защите, на собесе интервьюеру и матери дома?
shamo-poroda-kur-1.jpg70 Кб, 600x440
124 1585352
>>585303

>тему для диплома


Натренеруй петухана на распознование геометреических фигур
125 1585451
>>585291
Антоны, я правильно понимаю, что learning rate range test - это когда мы берем очень маленький learning rate и с каждым шагом понемногу увеличиваем его, пока loss не начнет расти?
126 1585482
>>578978 (OP)

>Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам


Чё это не гуглится.
127 1585501
>>585451
Я попробовал запустить этот тест, в итоге получилось это.
Я же правильно понимаю, что мне нужно взять значение с того момента, как оно стало уменьшаться? На графике примерно 43 шаг.
learning rate на этом моменте 0.043.
В оригинальной работе learning rate был выставлен на 0.004 вообще.
128 1585546
>>585291
Эти шаманства позволяют ускорить обучение, но не обучить необучаемое
129 1585547
>>585546
Она обучаемая, я уже обучал на другом датасете и оно показывало хорошие результаты.
130 1585548
>>585547
Единственный, кто тут необучаемый - это я.
131 1585596
>>585547
Ну вроде даже получилось, обучение идет таки быстрее.
По крайней мере я выучил, что такое CLR и One-cycle policy.
Только вот насчет степсайза я не понял, у меня датасет на 52132, 14 батчей, я выставил stepsize в 7к, но так и не понимаю, правильно ли это.
132 1585637
>>585596

>я выучил, что такое CLR и One-cycle policy


Теперь начинай потихоньку разрабатывать свой анус
133 1585745
>>585637
Зачем?
На самом деле, походу я прогадал с этим step size.
Обучение дошло до лосса в 166, но дальше идет медленно, не так медленно, как до этого, но прогресс замедляется.
Попробую выставить stepsize в 20к
134 1585755
>>585745

>Зачем?


Ты же хочешь вкатится в МЛ, а там без этого никак
135 1585784
>>585755

> Ты же хочешь вкатится в МЛ, а там без этого никак


Для меня это просто хобби, куча магических математических функций с тонной параметром, которые умеют делать крутые вещи.
Может когда-нибудь я тоже что-то эпичное смогу написать.
136 1585806
>>585784
Единственное ограничение пока для меня - это требовательность к ресурсам, требуется мощное железо, требуется собирать огромные датасеты.
15754444707410.gif69 Кб, 284x264
137 1585812
>>585784

> Может когда-нибудь я тоже что-то эпичное смогу написать.


Ты ж зумер, что ты там сможешь написать? Домашку разве что.
138 1585816
>>585812
Не, я не зумер. Откуда агрессия, Анон?
139 1585858
>>585816

>Откуда агрессия, Анон?


Это местный опущ-маняматик.
Screenshot02.jpg104 Кб, 2000x1150
140 1585884
>>578978 (OP)

Что за IDE на скриншоте?
141 1585901
>>585884
Jupyterlab
142 1586114
Привет
Может кто-нибудь видел какие-то статьи или что-то такое на тему внедрения дообучения ML модели юзером(разметкой чего-либо), и её автоматического внедрения?
143 1586134
>>586114
Если ты нашел ресурсов на разметку несколько тысяч картинок, то и датасаентиста найдешь.
144 1586152
>>586134
дело не в картинках, а в автоматизации
чтобы не приходилось сидеть разработчику все там выделять-дообучать и обновлять модель, а чтобы это юзер сделал сам
145 1586861
Антоны, где почитать про ансамблевые сети?
Я бы хотел увеличить силу своей CNN части нейроночки.
Я читал, что ансамбль из 4-х Inceptionv3 смог достичь top 3.58% на Imagenet, в то время как одна смогла достичь всего 4.2%
146 1586864
>>586861
Хотя, может быть мне присмотреться к другим CNN для своей OCR.
Bbei1F4.jpg32 Кб, 700x800
Прошу наставить на путь истинный! 147 1587206
Прошу наставить на путь истинный!
Пытаюсь вкатиться в дип лёрнинг.
Бэкграунд следующий:
32+ (через пару месяцев 33+)
Быдлокодить начал в 2000-ом. До 2012 использовал всякий треш (Basic, Pascal, ActionScript 3.0, PHP). С 2012 пользуюсь JavaScript. Имеется курс линейной алгебры из универа (довольно поверхностный). Оттуда же интегралы с производными. В декабре прошлого года попробовал слепить (из обрывков имеющихся знаний) многослойный персептрон. В начале января поигрался со свертками. (И персептрон и свертки делал на JavaSctipt). Начал читать книгу Яна Гудфэллоу, сейчас на 130-й страничке. Параллельно недели три с ютуба не вылажу - смотрю рандомные лекции по CNN и GAN (чтобы Гудфэллоу был менее абстрактным). Кроме всего прочего, прочитана (в 2012-ом или около того) книга Тоби Сегарана "Программируем коллективный разум" (книга по машинному обучению).

Дальше смотри, какая ерунда получается. С JavaSctipt мне слазить ну очень не хочется (за 8 лет к нему прикипел). Но, все, что я на ютубе вижу или в рандомных статьях читаю - все делают на Python через PyTorch, Keras или TensorFlow. В Python я немношк заглянул - выглядит он для меня как пикрелейтед.

Короч, есть три стула:
1. После Яна Гудфэллоу читать Саймона Хайкина (лет 5 назад пробовал, но не пошло), чтобы больше всех понимать в теории и не уметь нихуя сделать на практике.
2. После Яна Гудфэллоу читать Николенко ("Глубокое обучение. Погружение в мир нейронных сетей"). Там я полистал - все на TensorFlow делают. IRL нагуглил такую няшку, как "TensorFlow.js" - можно весь TensorFlow делать в JavaSctipt (доступ к GPU через WebGL).
3. Вот прям сейчас забросить Гудфэллоуа и пойти читать Марка Лутца (Изучаем Python. Четвертое издание). Потом год решать рандомные задачки, чтобы научиться повыше ногу закидывать и получше приседать. После чего начать дрочить один из фреймворков.

Ну и собсно вопросы:
1. Кто из них пижже: PyTorch, Keras или TensorFlow?
2. Можно ли обойтись без Python и ебошить TensorFlow в JavaSctipt (есть ли у кого подобный опыт)?
3. Нужен ли мне Хайкин или хватить одного Гудфэллоуа? Про машины Больцмана и у одного и у второго написано. Если я правильно понял, Гудфэллоу прост Хайкина пересказывает более простым языком.
4. Вы (Пайтоновцы) все вот так ходите?
Bbei1F4.jpg32 Кб, 700x800
Прошу наставить на путь истинный! 147 1587206
Прошу наставить на путь истинный!
Пытаюсь вкатиться в дип лёрнинг.
Бэкграунд следующий:
32+ (через пару месяцев 33+)
Быдлокодить начал в 2000-ом. До 2012 использовал всякий треш (Basic, Pascal, ActionScript 3.0, PHP). С 2012 пользуюсь JavaScript. Имеется курс линейной алгебры из универа (довольно поверхностный). Оттуда же интегралы с производными. В декабре прошлого года попробовал слепить (из обрывков имеющихся знаний) многослойный персептрон. В начале января поигрался со свертками. (И персептрон и свертки делал на JavaSctipt). Начал читать книгу Яна Гудфэллоу, сейчас на 130-й страничке. Параллельно недели три с ютуба не вылажу - смотрю рандомные лекции по CNN и GAN (чтобы Гудфэллоу был менее абстрактным). Кроме всего прочего, прочитана (в 2012-ом или около того) книга Тоби Сегарана "Программируем коллективный разум" (книга по машинному обучению).

Дальше смотри, какая ерунда получается. С JavaSctipt мне слазить ну очень не хочется (за 8 лет к нему прикипел). Но, все, что я на ютубе вижу или в рандомных статьях читаю - все делают на Python через PyTorch, Keras или TensorFlow. В Python я немношк заглянул - выглядит он для меня как пикрелейтед.

Короч, есть три стула:
1. После Яна Гудфэллоу читать Саймона Хайкина (лет 5 назад пробовал, но не пошло), чтобы больше всех понимать в теории и не уметь нихуя сделать на практике.
2. После Яна Гудфэллоу читать Николенко ("Глубокое обучение. Погружение в мир нейронных сетей"). Там я полистал - все на TensorFlow делают. IRL нагуглил такую няшку, как "TensorFlow.js" - можно весь TensorFlow делать в JavaSctipt (доступ к GPU через WebGL).
3. Вот прям сейчас забросить Гудфэллоуа и пойти читать Марка Лутца (Изучаем Python. Четвертое издание). Потом год решать рандомные задачки, чтобы научиться повыше ногу закидывать и получше приседать. После чего начать дрочить один из фреймворков.

Ну и собсно вопросы:
1. Кто из них пижже: PyTorch, Keras или TensorFlow?
2. Можно ли обойтись без Python и ебошить TensorFlow в JavaSctipt (есть ли у кого подобный опыт)?
3. Нужен ли мне Хайкин или хватить одного Гудфэллоуа? Про машины Больцмана и у одного и у второго написано. Если я правильно понял, Гудфэллоу прост Хайкина пересказывает более простым языком.
4. Вы (Пайтоновцы) все вот так ходите?
148 1587209
>>587206
Хайкин тебе не нужон, инфа 146%. Из всяких слесарьпловов лучше то, что ты знаешь лучше.
149 1587284
>>587206

>С JavaSctipt мне слазить ну очень не хочется


Перехочется. За пару месяцев привыкнешь.

>1. Кто из них пижже: PyTorch, Keras или TensorFlow?


Для начинающего лучше pytorch, у tf пиздец с API, и он только нарастает. Keras же по сути стал подмодулем tf

>2. Можно ли обойтись без Python и ебошить TensorFlow в JavaSctipt (есть ли у кого подобный опыт)?


Нет

>3. Нужен ли мне Хайкин или хватить одного Гудфэллоуа?


Не нужен

>4. Вы (Пайтоновцы) все вот так ходите?


Если ты в 33 года до сих пор не умеешь переключаться между основными мейнстримными языками, то с тобой что-то не так. Ты уже деградировал до уровня макаки. Как ты будешь заниматься нейронками при этом - не понятно
150 1587289
>>587206
питон легко срастается с крестами, которые все и считают
151 1587387
>>587206
Дед, какие сети, тебе на кладбище уже пора.
152 1587583
Антоны с опытом, такой вопрос. Если я студент и теорвер с матстатом будет скорее всего на 3 курсе, то со вкатыванием в стажировки можно не спешить? какие смежные темы можно изучать, чтобы потом перекатиться. Не хотелось бы летом остаться без дела
rz3o1yibnc511.png211 Кб, 639x724
153 1587881
>>587206

> 1. Кто из них пижже: PyTorch, Keras или TensorFlow?


JAX. А если без шуток, то бери TF 2.0 и не прогадаешь.

> 2. Можно ли обойтись без Python и ебошить TensorFlow в JavaSctipt (есть ли у кого подобный опыт)?


Есть tf.js

> 3. Нужен ли мне Хайкин или хватить одного Гудфэллоуа? Про машины Больцмана и у одного и у второго написано. Если я правильно понял, Гудфэллоу прост Хайкина пересказывает более простым языком.


Если можешь, то советую поступить в ШАД. Иначе дрочить туториалы, потом kaggle. Будешь что-то не понимать — смотри в статьях. Будешь не понимать в статьях — смотри Хайкина.

> 4. Вы (Пайтоновцы) все вот так ходите?


Кто бы говорил, блядь. Пикрелейтед (хотя пара пуктов довольно надуманные).
154 1588111
>>587881

>Пикрелейтед


JS - язык с динамической типизацией. Большинство примеров связаны с этим, плюс несколько примеров связанных с ошибкой округления. Python тебе тоже 0.2+0.1 правильно не сделает.
155 1588125
>>587881

>rz3o1yibnc511.png


Мое любимое [5,10,1].sort()
156 1588145
>>588111

>JS - язык с динамической типизацией. Большинство примеров связаны с этим


да, а именно с тем, как всрато типы преобразуются друг в друга
157 1588164
>>588145
И это совершенно никак не связано с динамической типизацией.
Мимо
158 1588178
Стоит ли рвать жопу чтоб поступить в ШАД или есть более рациональный путь в дотасаенс?
159 1588369
>>588178
У мыла еще есть своя шада.
160 1588511
>>588145
>>588164
Го не будем пердеть в сторону JS в Python-треде.
Единственное, что в JS может смутить новичков - то, что оператор сложения определен как оператор конкатенации для строк. Все остальные приведения типов вполне интуитивны.
161 1588743
>>588178
>>588369
А удалённо можно учиться?
мимо не дс-кун
162 1588813
Есть готовые кейсы или статьи по применению ml и нейронок к прогнозированию складских запасов?
163 1589015
>>588813

>кейсы


При чем здесь чемоданы?
164 1589333
>>578978 (OP)
Привет, петухи. Я байтоеб с большим опытом, учился на фундаментальной математике, прошел курс по нейронным сетям и вот что я понял:

- Глубокого ИИ нет и не будет
- Математика в продакшене не нужна
- Нейронки это прежде всего лютый говнокод на питоне от людей, которые не умеют программировать
- Задачи в ИИ это говно уровня "у нас тут нейронка на тестовых данных выдает 99%, а в продакшене только 30%, помеси говно и разберись, в чем дело"

В чем ваша элитарность, говноеды? Ведь вы и не математики и не программисты, а ваша работа скучна до невозможного.
165 1589362
>>589333

>прошел курс


А без курсов ты этого не понял? Воистину, маняматик это диагноз.
166 1589405
>>589015
Не дразни зумера
167 1589406
>>589333

>не умеют программировать


> учился на фундаментальной математике


Для тебя уметь программировать это смешивать различные действия в одной функции?
15744438343430.gif170 Кб, 326x281
168 1589494
>>589333
Куда ты лезешь-то, хоспаде... Курс он какой-то прошел, где-то там на кого-то "выучился" методом залипания в тилибон на парах, что-то там якобы "понял". Ты конечно можешь пиздеть Иисусу, Гитлеру, мне, но себя ты не наебешь, ты тайдмен простой, который даже не понял, зачем вообще машоб. Для тебя это просто какие-то отрывочные разрозненные пародии на знание, никак между собой не связанные.
169 1589539
869.png4 Кб, 311x95
170 1589606
Такое вообще бывает?
171 1589608
>>589494

>пук без описания своих рабочих задач


Баттхертом слесаря-машобучателя удовлетворен.
172 1589610
>>589606
А какой лосс?
173 1589614
>>589333
Мы получаем втрое больше вебохолопов.
174 1589655
>>589606
уменьшается значит норм
175 1589702
Антоны, у меня файл tfrecord получается больше, чем оригинальный датасет в виде файл.jpg файл.txt
Причем сама папка с картинками и текстом весит 836 мегабайт, а tfrecord файл получается в 11 гб
image.png12 Кб, 581x139
176 1589838
>>589702
А, я понял, у меня в коде преобразование не так происходило.
Переписал, теперь файл весит 403 мегабайта
177 1589936
Сап, господа, такой вопрос: скоро с шараги выпускаться, нажо диплом запилить, а я с год назад начал в дс вкатываться. Думал захерачить что-то вроде копии FaceID на андроид, но слишком много ебли с оптимизацией и самой джавой, есть интересные идеи для диплома на компьютерное зрение, чтобы не ебатня в неизвестном дерьме и не на датасете с порнхаба? Заранее спасибо
178 1589941
>>588178
Можно без шада. Даже лучше. Пока ботаны дрочат матешу, люди набирают опыт работы на стажировках. К тому времени, как ботан закончит шад, ты будешь уже мидлом. А после шада только стажировка все равно.
180 1590082
>>589333

>Глубокого ИИ нет и не будет


Неочевидно.

>Математика в продакшене не нужна


Смотря где. Статистику ты математикой не считаешь?

>Нейронки это прежде всего лютый говнокод на питоне от людей, которые не умеют программировать


+- да. А ещё уёбищная документация.

>Задачи в ИИ это говно уровня "у нас тут нейронка на тестовых данных выдает 99%, а в продакшене только 30%, помеси говно и разберись, в чем дело"


+- да.

>В чем ваша элитарность, говноеды?


Элитарность такая же, как в любом айти. Никакой Ты себя что ли элитарием считаешь?

>ваша работа скучна до невозможного


Кому-то и программировать скучно.
Покормил
181 1590110
>>587206

>1. Кто из них пижже: PyTorch, Keras или TensorFlow?


tf 2.0 легко совмещается с Keras, в PyTorch лучше реализован динамический граф.

>2. Можно ли обойтись без Python и ебошить TensorFlow в JavaSctipt (есть ли у кого подобный опыт)?


Может быть можно, но python/R/Matlab это индустриальный стандартъ.

>3. Нужен ли мне Хайкин или хватить одного Гудфэллоуа? Про машины Больцмана и у одного и у второго написано. Если я правильно понял, Гудфэллоу прост Хайкина пересказывает более простым языком.


Хайкина лучше не читай, книга устаревшая, но вроде там нормальный перевод на русский язык. Нормальные книги - это Бишоп, ESL, ну и еще парочка более ориентированных на теорию.

>4. Вы (Пайтоновцы) все вот так ходите?


Ты посмотри что такое R и тогда поймешь, что Python это мана небесная.
182 1590114
Как вкатиться в DATA SCIENCE с нуля? У меня диплом психолога.
183 1590120
>>590110

> Ты посмотри что такое R


Единственный вменяемый язык обработки данных, который просто поставил в два клика и просто пользуешься без всякого пердолинга и дрочьбы из-под колена? Надо 10 разных версий - просто ставишь 10, и для каждой любой набор либ, которые можно просто вручную скачать и распаковать. И все это будет просто работать!
184 1590130
>>590114
Достаточно знания питона и умения программировать хотя бы в матлабе или маппле.
185 1591058
>>589957
Спасибо няш
186 1591207
>>589333

>Я байтоеб с большим опытом, учился на фундаментальной математике


То есть даже по специальности не устроился.

>Глубокого ИИ нет и не будет


Общего в смысле? Будет. Просто не на GEMM-подобных вычислениях

>Математика в продакшене не нужна


В продакшене и мы не нужны, дал модель и код который эту модель вызывает, программист разберется
Исключение, если тебе приходится делать собственный инференс с ad-hoc оптимизациями. Я таким занимаюсь как раз, но больше как хобби.

>Нейронки это прежде всего лютый говнокод на питоне от людей, которые не умеют программировать


А программисты это прежде всего тыкальщики кнопок на клавиатуре. У нейронок есть тиры, типа
1. Обучил на тестовом датасете по туториалу
2. Обучил своем датасете
3. Модифицировал архитектуру под датасет
4. Разработал новый слой под задачу
Ну и так далее. Ты аж на уровне 1, как и то быдло, которое судит о программировании, глядя на него со стороны. Нормальная движуха начинается с уровня три, когда ты, к примеру, можешь взять и применить подходы, описанные в пейпере efficientnet, для своего time series предсказателя. Для бабок со стороны это выглядит как "дыыыы, они случайно гиперпараметры крутят".

>Задачи в ИИ это говно уровня "у нас тут нейронка на тестовых данных выдает 99%, а в продакшене только 30%, помеси говно и разберись, в чем дело"


Кнопки. Тыкают.

>В чем ваша элитарность, говноеды?


В наличии в голове целой суммы знаний, которой у других специалистов нет. Про байтоебов даже вспоминать смешно, байтоебов разве что ПТУ не готовят.

>Ведь вы и не математики и не программисты, а ваша работа скучна до невозможного.


Работа исследователя в коммерческой фирме точно не скучна, ведь если нейронка работает плохо, твой проект (в лучшем случае, а то и тебя) выкинут на мороз, а если она работает хорошо, ты уже не нужен и впереди новый проект. Тяжелая работа, но зато без рутины, как в случае с программированием, когда ты знаешь, что если задача не будет решена за день, то за неделю точно будет решена.
0qJTo3nfbyhJOMUj.png39 Кб, 624x436
187 1591213
В нейронках полный ноль. Но интересует тема rules extraction. Есть что нибудь наглядное по теме, что можно пощупать и посмотреть? А тт одни пейперы кругом. Ну к примеру: обучаем нейроночкк обыгрывать в крестикинолики/шахматы/го, выделяем из нее правила в виде скажем конечного автомата, который буквально говорит - в такой ситуации ходи конем.
188 1591220
>>591213

>выделяем из нее правила в виде скажем конечного автомата


Ну будет у тебя правило "умножим матрицу A на матрицу Б, и если результат меньше 0.12345, делай то-то". Легче станет?
189 1591221
>>591220
Ну это какой то наивный подход. Хотелось бы услышать что то посерьезнее.
190 1591226
>>591213
Нейрон очки не причем, тебе нужно rule mining. Алгоритмов полно на самом деле, всякие apriori итд. Обычно к ним есть и визуализация полученных правил в виде графов, таблиц, чего угодно. Конкретный пример - в R это либы arules, arulesViz.
191 1591227
>>591226
Прикольно. А почему нейроночки не причем? Речь как раз о том, чтобы она обучилась что то делать, а потом это выразить простыми инструкциями.
192 1591231
Хей, че скажите по поводу Computer Vision ?
193 1591236
>>591227

> А почему нейроночки не причем?


Потому что они для этого не нужны. Почитай про вышеупомянутые алгоритмы, как считаются support, confidence, lift итп коэффициенты релевантности правил, там очень простые формулы и все работает без всяких нейроночек.
194 1591247
>>591231
ну заебись Computer Vision, пиздатый Computer Vision. Что про него ещё сказать?
195 1591248
>>591247
Пытаюсь в него вкатиться, вот думаю насколько ахуенная тема, ибо чет всякие пиздапсевдоинтеллектаулки туда вкатываются и мне страшно стало, что это очередная зумерская хуйня.
196 1591263
>>591248
Нет более зумерской хуйни, чем боязнь зумерской хуйни. При бумерах такого не было
мимо гомосексуал-миллениал
197 1591525
>>591263

>гомосексуал-миллениал


Мог бы просто написать - математик
nZFN5DMP5Q.jpg236 Кб, 700x653
198 1591667
>>591525
Пидораха, ненавидящая науку, но лезущая ради денег, ты?
199 1591668
>>591667

>ненавидящая науку, но лезущая ради денег, ты


Нетъ
200 1591670
>>591667

>науку


Да, кстати, математика не наука.
201 1591681
>>591670
зависит от определения
15803123597130.jpg45 Кб, 1280x720
202 1591750
>>591670
Вот бы сейчас слушать что наука а что нет, от малолетнего дегенерата, верующего в плоскую землю, эфир, вред прививок и дальше по списку скреп типичной колхозной пидарашки.
203 1591753
>>591750
Вопрос об основаниях математики и о том, что представляет собой в конечном счёте математика, остаётся открытым. Мы не знаем какого-то направления, которое позволит, в конце концов, найти окончательный ответ на этот вопрос, и можно ли вообще ожидать, что подобный «окончательный» ответ будет когда-нибудь получен и признан всеми математиками.

«Математизирование» может остаться одним из проявлений творческой деятельности человека, подобно музицированию или литературному творчеству, ярким и самобытным, но прогнозирование его исторических судеб не поддаётся рационализации и не может быть объективным

Герман Вейль
204 1591827
Можно на kaggle как-то посмотреть код чуваков из топа по какому-то заданию?
Brouwer.jpg462 Кб, 752x1083
205 1592054
>>591753

> Вопрос об основаниях математики и о том, что представляет собой в конечном счёте математика, остаётся открытым.


Оставался до 1907 года.
206 1592057
>>591753
Тебя мало в /math/ обоссали? Начаальниик, этот пидорас обосрался
207 1592062
>>591753
Алсо, ты случайно не тот дегенерат, который заявлял, что числа не имеют никакого отношения к математике?
208 1592067
>>592054

>до 1907 года


Какой положняк на 2020?
15069300382016-09-09-04-16-01-53.jpg37 Кб, 782x390
209 1592070
>>592067
Вся математика конструктивна и представима в унивалентных основаниях.
210 1592071
>>592070>>592067
Шизики, съебите в /math/ в основания-тред и сосите там друг у друга
1578557929126681916.jpg178 Кб, 800x1066
211 1592072
>>592071
Не мешай нам
212 1592075
>>592071
Тред оснований проебали. Я пару раз перекатывал, но смысла нет, там полтора дегенерата сидят, если не один пучкист.
213 1592115
>>591827
Они часто выкатывают свои решения после окончания соревнований. Ищи в discussion и notebooks
214 1592194
Суп двоч, делаю себе подобие сервера с видеокартой, чтобы считать всё на удаленной машине. Есть какие-нибудь готовые подобия вебморд на неё, чтобы там выводить прогресс, температуру видеокарты, оставшееся время итд. Я так понимаю tensorboard примерно то, что я ищу. Ещё хотелось бы, чтобы была очередь задач. Если например разные архитектуры на одном и том же датасете тренировать и кидать их в очередь, чтобы сервак не простаивал.
215 1592461
>>592194
Ssh и tmux
216 1592559
зумер-вкатывальщик итт. Надеюсь, кто-нибудь разбирался с Hindsight Experience Replay. Как эту штуку адаптировать под какой-нибудь mountaincar или шахматы, где мы не знаем состояние-цель?
И как потом обученную модель запускать? в неё тоже цель передавать?
217 1592722
Спецы, поясните, так с адверсариал атаками можно потенциально сделать ультранеразгадываемую капчу?
218 1592774
>>592722
Капчи с распознаванием текста - нет. Их и так уже сетки намного лучше людей угадывают.
219 1592869
>>592774

> намного лучше людей угадывают.


Зачем ты врешь?
220 1593056
Scikit-learn нужен?
221 1593373
>>593056
да, чтобы датасет разделять и рок аук считать
222 1593556
>>578978 (OP)
Аноны, посоветуйте плиз. Начал изучать машинное обучение месяц назад. Хочу сделать свой реальный проект (посколько мне всегда было проще учиться разбирая что-то сложное, либо решая какую-то настоящую задачу). Возникла идея написать приложение по распознаванию лиц. Напишу подробней, у меня на кафедре установлены IP камеры. Одна из них смотрит на входную дверь кафедры. Идея приложения в следующем. Есть БД с фотографиями студентов кафедры. Есть нейронка, которая обучена распознавать лица. Хотелось бы сделать следующее: когда приложение запущенно, оно считывает изображение с камеры, распознаёт лица и сравнивает с теми, что хранятся в БД. И делает это непрерывно. В тот момент когда появляется человек, лицо которого не занесено в БД(потенциальный нарушитель), приложение выдаёт отчёт о том, что проник кто-то посторонний. Вот в целом такая штука. Я поверхностно рпошёлся по OpenCV, но было бы лучше если бы я сам обучил нейронку (для получения практического опыта). Хочу спросить у знающих анонов, как бы вы спроектировали такое приложение? Может быть подскажите библиотеки, возможный план разработки, и вообще что-то важное по этой теме. Буду очень благодарен!
223 1593586
>>593556
Проект говно, а ты лось, которого надо посадить.
224 1593599
>>593556

>Есть БД с фотографиями студентов кафедры. Есть нейронка, которая обучена распознавать лица.


Распознать лицо вообще и распознать лицо Сидорова - это совсем разные вещи. Тебе придётся обучить нейронку распознавать именно Сидорова.
225 1593600
Решил вкатиться чтобы сделать свое тамагочи, жидко пернув обосрался увидев английский язык.
226 1593617
>>593599
А как ты думаешь, вариант ли использовать 2 нейронки? Т.е одна отвечает за то чтобы вообще на изображении найти лица, а вторая сравнивает с теми лицами, которые есть в БД? Или для этих вычислений потребуются слишком большие ресурсы?
227 1593618
>>593586
Почему говно? Объяснить нормально можешь?
228 1593683
>>593556
К машинному обучению этот проект отношения не имеет. Нужно написать фронтэнд к библиотеке dlib и взять где-то библиотеку для knn.
229 1593704
>>593683
Спасибо, посмотрю такой вариант
231 1593724
>>593716
О, то что нужно, добра тебе анон.
orwell-big-brother.jpg130 Кб, 960x540
232 1593742
Распознавание лиц это 100% технология электронного ГУЛАГа, кроме скреп гостеррора - ограничения прав и свобод человека и нарушения конституции любой минимально цивилизованной страны, эта тема применений не имеет. С такими вопросами сразу проследуйте нахуй, пожалуйста.
233 1593752
>>593742
Лол, ты действительно веришь что рано или поздно такую систему не сделают? Когда будут внедрять что ты будешь делать? Отписываться в тредике?
234 1593777
>>593752
В китаях это давно уже работает. Вот только в тех же в китаях было показано, что заинтересованными лицами это элементарно обходится, а по факту эта технология нарушает право обычного человека на неприкосновенность частной жизни, собирая данные на всех для гебухи.
235 1593794
>>593777
Это всё понятно. Я же уточнил, я не планирую в системе при распознавании указывать данные человека. Есть только 2 параметра: есть ли он в БД или нет, т.е сотрудник/студент ли он, или какой-то левый чел. По факту данные обезличены в этом случае. А вообще, кто-то знает какие-либо правовые документы, регламентирующие использование системы распознавания лиц?
236 1593802
>>593777

> право обычного человека на неприкосновенность частной жизни


тебя дома в туалете снимают? вроде нет
237 1593842
>>593794

> А вообще, кто-то знает какие-либо правовые документы, регламентирующие использование системы распознавания лиц?


Это по-сути слежка, внешнее наблюдение. Законно только по решению суда. Но в Блинолопатии всем похуй, была новость, кто-то даже в суд подавал по поводу незаконности распознавания лиц в общественных местах и на мероприятиях типа митингов. Закончилось ничем.
>>593802

> тебя дома в туалете снимают? вроде нет


Причем тут дома в туалете? Слежка в общественных местах на каком основании? Алсо, может быть и в туалете снимают, камеры на телефоне у меня не заклеены.
238 1593944
>>593842
А либирах можно снимать, как они из корыта хрючево едят?
239 1593948
>>593842

>Блинолопатии


Это где?
240 1593996
>>593842

>Слежка в общественных местах на каком основании?


на том, что это общественные места
241 1594000
>>593996
Никогда не понимал копротивляющихся против своих прав и свобод. Чем вам мозги моют, это же вообще противоречит истории всего живого. Даже безмозглая амёба никогда не будет что-то делать против себя, это абсурд. Как человек может топить против прав человека? Это бред полный.
242 1594001
>>594000

>против прав человека


Либирашка, туда ли ты зашел, петушок?
243 1594006
>>594001
Ты же тот самый петух, который что-то против математики квохчет, с тебя-то что взять. Мой предыдущий пост к тебе вообще не относится.
244 1594008
>>594006

>против математики


Математики такие же педерасты как и либирашки, что тебе не нравится?
245 1594103
>>594008
Еще и гомофоб. Фу таким быть
246 1594352
>>578978 (OP)
Аноны, поясните, в чём отличие deep learning от machine learning? Насколько я понял, разница в решаемом круге задач? Может кто-то подробней объяснить?
247 1594413
>>594352
deep learning - machine learning с кучей слоев
248 1594415
>>594352
deep learning это подобласть machine learning, которая фокусируется на обучении многослойных (больше трех слоев) нейросетей. Сейчас термин сильно изжил себя, потому что любые нейросети сейчас это deep learning, за очень редким исключением, и в основном термин применяется для хайпа
249 1594420
машинное обучение бывает и без нейросетей
250 1594424
>>594415
>>594413
>>594420
Понял, спасибо
251 1594459
>>594103

>гомофоб


Это норма
252 1594470
>>594413
>>594415
>>594352
Я что-то не понял, с десяток лет назад Andrew Ng на своём курсе говорил что Deep Learning - это когда фичи извлекаются автоматически, а не задаются человеком заранее.
Что изменилось? Все поняли что этот подход не работает и пришлось переобуваться?
253 1594548
>>594470

>Andrew Ng


Зачем ты всяких говноедов слушаешь?
254 1594556
>>594470

>Все поняли что этот подход не работает и пришлось переобуваться?


Я почти начал тебе отвечать, но увидел эту нечеткошизу
255 1594586
>>594470

>фичи извлекаются автоматически


гиперпараметры?
256 1594591
PyTorch или TensorFlow?
257 1594596
>>594591
VpopenFlow
258 1594610
>>594591
Theano
259 1594611
>>594591
Учи торч, не повторяй моих ошибок
vpizdorch.png45 Кб, 668x871
260 1594616
>>594596
Ну блё, а если серьезно? Мне выше (>>587284) насоветовали торча установить. Пытался вчера твой торч поставить, а он не ставится. Места ему не хватает. Три гига ему освободил - все равно не ставится. Тензор флов пока ставить не пробовал. Он тоже попросит всю порнуху с диска удалить?
261 1594691
>>594616
Это я советовал. Че-то ты долго раскачивался.
Нужно двойное место, для установки и для временно скачанного пакета. Порнуху можешь на гугл драйв залить, установишь, удалишь whl файлы из кэша пипа и скачаешь назад.
В плане места они должны быть плюс-минус одинаковые.
262 1594712
>>594691
Порнуха по всяким AppData\Roaming и AppData\Local раскидана. 7.45 гигов порнухи. Еще в папке Windows 22.3 гига порнухи.
263 1594730
>>594712
симлинками перекинь на другой раздел
264 1594932
>>594712

>Порнуха


Пиздец, выпелись
1018301839.jpg36 Кб, 650x470
265 1594967
>>594932
Ок, завтра выпилюсь. Апельсинку мне на могилку принесешь. Ну или эту, не апельиснку - на апельсинки у меня аллергия, притарабань короч конфет этих. "Батончики". Вкусные, бля пизда. Раньше такие были. Сча не найти. Ну ты найдешь, бля ты ж шаришь. Короч, штук 10 притарабань - чтобы заебись было.
266 1595050
>>594967
СОЕВЫЕ баточники любишь? Кек
267 1595067
>>594967

>Сча не найти


никуда они не делись
truetruetrue.png97 Кб, 1329x1045
268 1595089
>>587881

>Пикрелейтед


В твоем Python тоже такое есть.
269 1595135
>>578978 (OP)
Решил вкатиться в маш-об и стать дата-сатанистом, что скажете про этот курс от Яндекса?
https://praktikum.yandex.ru/data-scientist/
Сам офисный планктон и не занимался программированием раньше, но узнал про маш-об и что там много платят и решил вкатиться. А в этом курсе обещают обучить новичка, да еще первые 20 часов бесплатно.
270 1595591
>>595135
Курсы это наёбка на деньги. Ничего тебе не мешает найти бесплатные(или очень недорогие как на курсере) либо читать книги.
vHedWVd.jpg57 Кб, 500x500
271 1595624
>>595089
Ух как сложно-то, запомнить, что True - это 1, а False - это 0.
А мог бы что-нибудь типа None or [] и [] or None запостить, хотя и то и другое будет интерпретироваться как False в условиях
272 1595679
>>595624

>аниме что-то перднуло

273 1595706
Антоны, я все думаю, как улучшить свою OCR.
Сейчас сама сеточка требует очень много памяти в силу разрешения картинок
Есть идея разделять текст на строки и обучать на одной строке, а после выдавать все на вход еще одной LSTM сети, которая имея весь контекст сможет поправить текст.
Либо нужно как-то изменять саму архитектуру сети, что мне немного лень делать.
274 1595779
>>595706

>Сейчас сама сеточка требует очень много памяти в силу разрешения картинок


>Антоны, я все думаю, как улучшить свою OCR.


Очевидно, что докупить памяти.
275 1595789
>>595779
Но проблема с размером все равно никуда не уйдет же, Анон.
Чем длиннее последовательности и больше разрешение картинок, тем больше памяти требуется.
276 1595846
>>595706

>OCR


Нейроговно у тебя что то там распознает?
277 1595943
>>595846
Да, причем лучше, чем я ожидал.
278 1596081
Аноны, поясните нормирование. Допустим, использовал самое простое для обучающей выборки x=(x-xср)/xмакс. Когда использую нейросеть для новых данных, мне их нормировать по старым значениям y=(y-xср)/xмакс или как?
279 1596088
>>596081

>мне их нормировать по старым значениям?


да
280 1596106
>>581158

> датасет на 1500 пикч


)
281 1596139
Меня волнует один оче важный вопрос. У меня есть фреймворк, не важно торч или тензорплов, у них градиенты аккумулируются похоже. Я хочу тренировать на них простую рекурентную сетку. Как мне это сделать, чтобы каждый раз, когда я прогоняю форвард, у меня не считало все операции с самого начала? Можно ограничить количество шагов и как? А если я хочу например запихнуть ее вмести с другой сеткой, а там куча операций? Как избежать переполнения памяти? Очень нужно, ничего по теме не нагуглил. Желательно ткнуть в место где это решается на пайторче.
282 1596191
>>596139
Ты ошибаешься. Rnn всегда разворачивается в фидфорвард сетку длиной в 5-10-100 степов. Дальше есть вариант сохранять предыдущий стейт между батчами или нет, но градиент так далеко распространяться не будет.
Гугли фреймвокрнейм backpropagation in time. Ну и внимательно пройди туториал по самостоятельной имплементации рнн без фреймворкомагии
283 1596198
>>596191
Но если у меня неограниченная последовательность? Нет батчей, то есть батчи по одному входу. Где-то можно указать количество шагов? Потому что по сути если я правильно понимаю, то все тензоры сохраняют историю и при прогоне backward метода эта история задействуется. Нерезонно сохранять историю на тысячи и тысячи шагов. Или в фреймворках какраз таки встроенные рекурентные сети не сохраняют эти шаги? Я знаю что можно удалять историю когда угодно, но опять же мне нужно все еще сохранять определенное количество шагов. Ну и так как я хочу вставить эту сетку как матрешку в большую модель, то нужно удалять шаги во встроенном методе, а не в самом обучении.
284 1596210
>>596198
Ну я же сказал тебе что загуглить. Вот первая ссылка
https://stackoverflow.com/questions/53912956/truncated-backpropagation-through-time-bptt-in-pytorch
285 1596240
>>596210
Я всё прогуглил. Нихуя не понятно. Что это за значения и откуда мне их брать? Какие переменные мне подчищать и по каким узнавать какие?
286 1596428
>>596139
Короче, решил я эту проблему, но не уверен, правильно ли. В гугле ответов я не нашел, там где у людей такая же проблема никто не пишет, а предлагают только чистить память каждую эпоху. В доках я проверил у торча написано что nn.lstm на выходе дает output, в котором все шаги t. Если я правильно понял, то можно просто удалить отсюда ненужные шаги и все будет нормально. Так и сделал, написал чтобы detach вызывался на первый элемент тензора по нулевой оси, а затем перемнной output присваиваю ее же саму только в качестве среза без первого элемента. Хуй знает будет ли это работать.
287 1596733
>>594611
Ты ещё тут?
288 1596871
Какие модели классификаторов из тех, что есть в sklearn позволяют дообучать уже обученную модель?
289 1596996
>>594611
А есть какое-то развёрнутое объяснение, почему учить тензорфлоу -- ошибка? Я недавно начал вкат в диплёрнинг и картинки, проводил собственное расследование, и оказалось что тензорфлоу намного больше юзают в проде, соответственно найти работу с ним проще, чем с другими фреймворками, это на самом деле не так?

Также у тензорфлоу есть развитая экосистема, можно сразу накидать пайплайн для загрузки и обработки данных, и РЕСТ апи для модели сделать и наверняка ещё много чего. У конкурентов такое есть?
15754444707410.gif69 Кб, 284x264
290 1597012
>>596996

> соответственно найти работу с ним проще,


Аааа, тайдмены, что вы делаете, прекратите! Откуда вы лезете и куда? В названии треда есть слова "центр занятости населения"? С чего вы вообще взяли, что машинное обучение - это про то, как продать дяде жопу занедорого? Проституция (официальное название - "рынок труда") в соседнем треде ("мы вам перезвоним").
291 1597017
>>597012
А зачем ещё вкатываться в машоб? Если хочется просто хочется чего-то сложного, можно настоящей математикой заниматься
292 1597019
>>597017

>А зачем ещё вкатываться в машоб


Ради интереса, нет?
293 1597025
>>597017
свой стартап
294 1597065
>>596996
Вакансий по мл мало по сравнению с остальными кодерскими. Для датасайенса желательно математическое образование, а для нейронок знание крестов.
295 1597069
>>596733
Захожу иногда
296 1597075
>>596996
Потому что я уже заебался гуглить какой стиль идиоматичен в этом сезоне, и наблюдать десятки новых deprecated ворнингов в коде, который просто работал. Попробуй для прикола поискать, как сделать lstm в tf2.0. Будешь придираться сквозь десятки ответов для tf1.x которые будут давать тебе очередные депрекейтеды. Гугл поддерживает опенсорс как будто это их внутренняя корпоративная разработка, на юзеробазу похуй.
297 1597077
>>597012
Дело не только в продаже жопы, дело скорее в том, что любой мало-мальски сложный проект почти наверняка потребует дохера спецов с разными скилами, потому что в 21 веке в соло ничего толкового не сделаешь, а от проектов уровня лаба1 никакого удовлетворения нету. Есть идеи как преодолеть это ограничение? Даже если пишешь в опенсорс за бесплатно или соревнуешься на каггле, имеет смысл использовать что-то, что широко используется, чтобы твои идеи куда-то пошли и вообще имели смысл.
Ну и кушать то хочется, или ты из тех, кто предлагает днём писать на жабаскрипте, чтобы выполнить задачи БИЗНЕСА, а по вечерам/ночам заниматься нейроночками, в своё удовольствие?

>>597065
Я это знаю, я в МЛ вкатился 5 лет назад, когда ещё такого хайпа не было, и тогда было по-настоящему мало вакансий. Сейчас просто пытаюсь перекатиться из скучного МЛ (табличные данные, старые методы) в супер прорывной новый МЛ с нейросетями и смузи, но это не очень просто мне даётся, очень много противоречивой информации вокруг.
298 1597082
>>597075
Я сталкивался с этой проблемой, не конкретно с lstm, но с тем, что очень много ответов на стэк оверфлоу и ещё много где касаются первой версии, а вторая очень очень сильно отличается. По правде говоря это не проблема поддержки гугла или тензорфлоу как такового, просто процесс смены мажорной версии это всегда напряжно, тоже самое было с питоном, тоже самое было с кучей разных фреймворков и тоже самое будет с пайторчем в своё время. Когда тензорфлоу2 был альфа, проблема стояла ещё острее, потому что даже ссылки на оф. доку вели на первую версию, сейчас уже немного лучше, со временем инфа, касающаяся первой версии самоочистится, это нормальный процесс.
С другой стороны, претензии к гуглу рили необоснованны, они выпустили дофигища материалов к выходу 2 тф, и документацию норм написали, и обучающие статьи на офф сайте. Не каждый "настоящий опенсорс" фреймворк так заморачивался.
299 1597097
>>597077
Проталкивай нейронки на работе.
300 1597151
>>597082
Ты статистику по пейперам посмотри. Пайторч за год вырос в разы, тф упал.
301 1597377
>>597151
Где эти рейтинги смотришь?
302 1597478
>>597151

>Ты статистику по пейперам


Говноед, опять со своими пейперами? Ну хоть кто то эти безполезные высеры матанопетушни читает.
303 1597498
>>597478
индусогоспода ссут в рот дебилам с перевернулой а
304 1597504
>>597077

>в 21 веке ничего соло не сделаешь


>проекты уровня laba1


У меня для вас плохие новости.
305 1597545
>>597069
С тобой можно связаться?
фейкомыльце есть?
306 1597547
>>597545
ep/%ZiphaniiANUSmzgMailPUNCTUMrQ^iu
307 1597575
>>597547
Написал.
308 1597577
>>597097
Я в аутсорсовой компании работаю, продаю жопочасы, здесь проекты подходящие под нейронки очень редко бывают, а на стандартный табличный проект пихать нейронки это безумие.

>>597151
Согласен, видел я эту статистику, видел кол-во упоминаний на крутых конференециях в 2018 и 2019 годах, действительно пайторч в академической среде процветает. Проблема в том, что тензорфлоу2 ещё пока что не проявил себя, не набрал аудиторию, а нововведений много, думаю нужно ещё подождать, пока картина не прояснится.

>>597504
Ну давай, расскажи мне: Чешские программисты. Сайт за выходные. Миллион долларов из бюджета?
309 1597681
У меня следующая задача
Есть паблик ВК с анкетами
https://vk.com/hikkyznakomstva

Для всякой статистики хочется из анкеты уметь получать пол человека (не всегда он явно указан).
Векторизация через TF-IDF на 30000 фич + Linear SVM дают accuracy около 80%.
Есть какие-то идеи, как ещё это можно сделать?
310 1597697
>>578978 (OP)
Анон, как вкатываются в "Нейронные сети"?
Очень интересно это направление. Пока что прохожу курс MIT "введения в компьютер сайнс" и изучаю общие принципы программирования (пишем на Питоне 3).

Какие дальнейшие действия нужно сделать, чтобы работать в этой области?
311 1597699
>>597697
Поясню свой вопрос: речь именно о том, как парнишке из рашке самостоятельно вкатиться в эту область и делать что-то крутое (проекты уровня создания ботов для яндекс-транслейта)? Может менее масшатбное.

То есть, про путь в ИРЛ, а не про теорию.
(В шапке ответ дается в более общем виде, про то, какие книги читать и тд.)
312 1597728
>>597697

>Анон, как вкатываются в "Нейронные сети"?


Через постель, иначе никак. Все математики через нее проходят.
313 1597729
>>597728
как кастинги проходят?
314 1597735
>>597728
Обожаю русский язык, нейрончики, машоб, Постель (язык программирования Postil, я так понял - выдает на edx ссылку).
315 1597843
Привет двущ, есть задача натренировать сеть видеть объекты на картинках 2045х2048 (16 бит оттенков серого). Размер датасета 6000, но думаю там гораздо меньшего количества хватит, порядка 1000. Вопрос: мне хватит видеокарты с 8гб видеопамяти?
316 1597864
>>597843
Имеется в виду RCNN или что-то такое. Может быть U-Net.
317 1597866
>>597577
Это вот эта толпа васянов?

https://tjournal.ru/internet/139477-cheshskie-programmisty-besplatno-i-za-vyhodnye-sdelali-sayt-na-kotoryy-ministr-hotel-potratit-16-mln-evro-ego-uvolili

Это подковерные игры и хуета, один политик захотел убрать другого, созвал ебланов они наговнили хуеты, типа "ох как нидораха мы сделали", а то что на доведение этой пиздообразии понадобится столько же денег, сколько бы стоил бы "дорогой" проект никто не увидел.
318 1598080
>>595135
вкатывайся
сам планирую, ибо нет времени самостоятельно гуглить что-то
319 1598347
>>597843
уменьшить картинку нельзя?
320 1598437
>>598347
Теперь тоже думаю над этим. А если я знаю, что искомый объект на картинке будет не меньше и не больше какого-либо размера, могу ли я сэкономить на промежуточных слоях?
15740463911470.png63 Кб, 390x470
321 1598452
>>598080

> вкатывайся


> сам планирую, ибо нет времени самостоятельно гуглить что-то


Ещё у одного зумера вкатывальщика нет времени на раскачку, поэтому он считает, что инфоцыгане с курсами все сделают за него и недорого! Вот реально, давно уже читаю этот тред чисто поорать.
322 1598455
>>598437
Сомневаюсь. Наверное можно какой-нибудь сглаженный clip навесить на размер bounding box'ов, но не думаю, что размер сетки можно будет сильно уменьшить.
323 1598462
>>598437
Можешь receptive field выходного нейрона посчитать и подрезать длину и ширину фильтров.
А вообще читай пейпер по efficientnet, там тема эффективных классификаторов закрыта для большинства задач, лучше ты вряд ли придумаешь.
324 1598469
>>598462
>>598455
Ну да, лучше в сторону уменьшения площади топать. Не подумал чёт.
325 1598588
>>597547
И ещё раз.
326 1598757
>>578978 (OP)
Сап, двачь. Возможно меня закидают тапками, но... Какие лучше языки учить для практической реализации этого всякого? Что вообще требуется для этого дела, с чего начинать? Да, я сейчас начну читать материал из шапки, но глаза разбегаются, если честно. Дело в том, что я совсем нуб, только поступил на первый курс программошараги и практически ничего на знаю, но тема нейросетей меня заинтересовала.
327 1598777
>>598757
Основы питона(синтаксис, алгоритмы, пару интересных приложений напиши)+библиотеки по работе с данными+математика. Освой хорошо базу (особенно если ты только поступил, значит время у тебя есть). Затем уже смотри машинное обучение, алгоритмы и т.д. (думаю там уже сам разберёшься)
328 1598802
>>597077

>я в МЛ вкатился 5 лет назад


Как это сделал?
329 1599005
>>598777
Спасибо, анон.
330 1599051
>>597843

> натренировать


Ты хотел сказать дотренировать? Потому что иначе 6к датасета не хватит очевидно.

> 2045х2048


Скейл до 512x512
331 1599057
>>597681
Попробуй другие модели, а не svm. Catboost например
332 1599090
>>599051
У меня по факту два объекта всего.
333 1599166
>>597843
Как будто у тебя выбор есть. 12 не сильно больше чем 8 и это разница в 0.5 батчсайза
334 1599168
>>599051
6000 объектов это немало, а

>Скейл до 512x512


Выдает в тебе теоретика, который вообще не понимает, как работают cnn
335 1599227
>>599168
Если классов немного, то норм. С скейлом обосрался, да.
336 1599276
>>599227
У меня ещё на каждой картинке присутствуют все классы. Будем копать. Боюсь до 500 пикселей у меня ужать не получится. По идее это же все можно высчитать, сколько жрать будет. https://datascience.stackexchange.com/questions/17286/cnn-memory-consumption наверное актуально ещё
337 1599292
>>599276
Если тебе нужно 500 пикселей, ты делаешь первый слой с числом фильтров 1 и страйдом 4, и все, на втором слое у тебя будет 500 пикселей, а как именно даунскейлить нейронка уже сама решит. Или 2 слоя со страйдом 2 - так будет быстрее за счет экономии на ширине фильтров. Памяти это съест сам посчитай сколько, лишних 16 мегабайт, ну и на несколько процентов упадет скорость. Это намого проще, чем каждый раз пилить ad-hoc датасет. Да и если не влезает, скорее всего лучше разрезать твои 2000 пикселей на картинки 512х512 с 50% перекрытием, чем даунскейлить.

Сетка такого рода у тебя влезет всегда, даже на 4 гб карточку, вопрос в том, какой батчсайз у тебя будет, 16, 32 или 48, а это уже будет влиять на скорость обучения (с меньшим батчсайзом нужно уменьшать лернинг рейт), но на итоговое качество влиять будет минимум.
338 1599316
>>598452
"пожалуйста", продолжай держать нас в курсе, нищенка
339 1599321
>>599292
У меня вообще на картинках довольно яркие объекты (локализированы), а вокруг просто чернота. Думаю может просто перед этим через трешхолд обрезать все вокруг.
340 1599324
>>599321
Думаю до 600-700 пикселей однако ужать вполне реально
341 1599350
Поцаны. Кто-нибудь шарит в трансформерах? Я весь код прошерстил, все популярные и неочень статьи перечитал, но так и не понял. Где брать target sequence то есть output который входит в декодер при первом атеншене? Судя по тому, что используется маска на будущие слова, этот выход мы имеем еще до запуска сетки. Очевидно что когда мы хотим воспользоваться сеткой, мы еще не имеем ее результата. Тогда что туда вставлять не зная выхода заранее на позицию output/tgt?
48052853387a710812138o.jpg1,2 Мб, 1152x1157
342 1600460
Дорогие аноны, добрый день!

У меня не самый очевидный вопрос и, возможно, совсем не по адресу. Дело в том, что я хочу исследовать некоторый класс видеороликов на youtube для сравнения их технических данных (например, скорость смены кадра, динамику, цвета, да и вообще всё, что можно). Однажды мне нашептали, что это можно сделать только с помощью нейросеточки. Внимание, вопрос: насколько меня наебали и, если нет, насколько невозможно исполнить такую машину, анализирующую класс роликов?

Всем ответившим заранее мешок чая.
343 1600480
Антоны, я вот думаю, как можно сделать субклассы?
У моих классов есть много общих деталей, их даже можно свести до них, как бы этой информацией воспользоваться.
344 1600575
>>600460
Странно вообще. Можно это сделать любым способом, хоть простыми elif выражениями. Естественно тебя наебали, нейроночка тут никаким местом. Но вообще вопрос в том, как именно тебе надо эти видео анализировать.
345 1600576
>>600480
Сделай еще один классификатор на другой сет классов.
346 1600593
>>599292

>с меньшим батчсайзом нужно уменьшать лернинг рейт


С чего это?
347 1600618
>>600460
Ну ты вначале пойми, что ты хочешь. Скорость смены кадра – плотность ключевых кадров? Динамика цвета, что это?
348 1600622
>>600593
Будешь более случайно "прыгать" и поэтому лучше это делать недалеко?
349 1600637
>>600575
Не совсем понял вопрос (вероятно, потому что в проганьи я ламер пока что и слабо представляю как это возможно вовсе). По-хорошему нужно бы найти все схожие технические черты их создания (от схожих появляющихся персонажей до динамики смены кадра, как и упомянул).
350 1600648
>>600618
Про плотность похоже на правду!
А вот как понять, чего я конкретно хочу, если мне неизвестны возможности технического анализа?( Хочется в итоге разобрать все особенности класса роликов, которые делают их близкими (помимо их авторского определения). А вот какие тут могут быть параметры – уже вторичный вопрос для меня, который зависит от доступных методов!
351 1600660
>>600637
Так тебе нужно просто статистику? Тогда в чем проблема? Сделай скрипт чтобы собрать информацию по роликам, а потом построй графики. Matplotlib для построения графиков в питоне подойдет. Думаю не будет и проблемой найти в интернете библиотеки для обработки видео.
352 1600957
>>600576
А как его использовать вместе с моей моделью тогда?
У меня распознавание иероглифов ведется, я прогоняю картинку с текстом через CNN и вектор признаков идет в LSTM.
Все иероглифы можно свести к паре сотен радикалов(составные части).
353 1600964
>>600957
Но другое дело в том, что эти радикалы не всегда видно.
354 1601054
>>597843
Уменьшить картинку так, что бы объекты было ещё видно и нарезать патчиками
355 1601062
>>596996
Учить тензорфлоу ошибка потому что на самом деле ВСЕ фреймворки примерно одинаковые между ними разница примерно как между различными библиотеками для линейной алгебры. Основная причина не учить тензорфлоу новичку это кривое Апи и то, что. tf2.0 это практически другой Фреймворк.
356 1601063
>>600660
А по каким кейвордс такое искать?
И спасибо! <з
357 1601116
>>600593
https://stackoverflow.com/questions/53033556/how-should-the-learning-rate-change-as-the-batch-size-change
Вообще там правильно говорится, что с adam'ом это не так актуально, у тебя с бОльшим батчсайзом сетка просто быстрее сойдется, а lr можно не трогать
358 1601141
1
359 1601143
>>597866
Я согласен с этим тезисом, посмотри в каком контексте я написал своё сообщение и на что я отвечал.

>>595135
Если только из-за бабок, то рекомендую всё-таки посмотреть на жабаскрипт и веб, или ещё что-нибудь альтернативное. Если совсем нет времени и бросить/приостановить основную работу нет возможности, попробуй войти тестером и дальше уже по ходу дела доучиваться, вращаясь в айтишной среде. Дата сатанистом сразу зайти я бы сказал сложновато, по крайней мере в моём регионе.

>>598802
Нужный факультет; курсовые; дипломная работа; курсера, едх, удасити; куча собесов, большинство из которых я слил просто в 0; десяток обещаний перезвонить и разочарование в МЛ; желание стать просто прогером; внезапно подвернувшийся самый последний-препоследний собес; внезапно получил оффер прямо в конце собеса.

На самом деле можно целую простыню на эту тему написать, но наверное это не так интересно. Сейчас войти в ДС намного проще, по моим ощущениям требования ниже, вакансией больше, ЧСВ у собеседующих меньше. тем не менее, вкатывальщикам я всё равно советую посмотреть на что-то другое
360 1601144
>>600957
Ну ты определись тогда, ты классифицируешь или просто прогоняешь свертку. На кой хер тебе тогда дополнительные классы? Или ты пытаешься свою же нейронку обхитрить? Вообще я бы тебе посоветовал сделать распознавание, а потом иероглифам присвоить ембеддинги, потому что врятли твоя CNN справится с задачей обработки натурального языка. Хотя даже если ты и попытаешься, то это просто невыносимо смешно делать это без полносвязного слоя, потому что свертка изображения это очевидно не лучший способ представить лексическое значение.
361 1601168
>>601144
Полносвязный слой можно рассматривать как частный случай сверточного слоя с valid пэддингом и шириной фильтра во всю картинку предыдущего слоя. Если у тебя ширина меньше, ты просто рассчитываешь более мелкие нейронки со сдвигом. Поэтому fully convolutional networks не хуже олдскульных с персептроном в конце
362 1601170
>>600480

>У моих классов есть много общих деталей, их даже можно свести до них, как бы этой информацией воспользоваться.


Нейронка уже этой информацией пользуется.
363 1601234
>>597547
Ты ещё на связи?
364 1601371
>>601054
Типа искать не круг, а грубо говоря четвертинку круга итд?
365 1601440
Аноны, выручайте
Какие сетки используются для решения задач регрессии?
Я пока нашел только mlp, rbf, grnn, но по сути это же вроде как все вариации mlp. Неужели нет какой-то суперпиздатой структуры чисто под регрессию кроме mlp?
366 1601513
>>601144
У меня не только CNN же, она работает вместе с LSTM, где языковая модель и формируется.
В самом начале сеть InceptionV3, со слоя Mixed_5d я подаю все в LSTM.

> Или ты пытаешься свою же нейронку обхитрить?


Ну типа того, я же не могу узнать, насколько она успешно сама использует эту информацию.
367 1601622
>>601513
И какой смысл накладывать на lstm проблему с распознованием свертки?
368 1601822
>>601440
RVM с ядром. регрессия гаусовских процессов
369 1601983
>>601170
Нет

>>601440
Может у тебя проблема в структуре данных, а не в том, что решается задача регрессии? Потому что я не вижу проблем с полносвязным слоем на выходе сетки.
124567689.png11 Кб, 515x323
370 1602132
Так ли нужен softmax в бинарной классификации?
После получения модели - вот такой вот пиздец. Что делать?
371 1602139
>>602132
В бинарной не нужен, просто сигмоиду хуячь.
А пиздец в чем?
1245425646.png4 Кб, 227x328
372 1602165
>>602139
Модель, получается, всё к одному классу относит(?)
А такого быть не может.
373 1602168
>>601440
Точность подсчитай
374 1602177
>>602165
Да, сначала посчитай точность (и на трейне, и на тесте).
Ещё проверь, правильно ли ты таргет скармливаешь. Там же наверняка one-hot нужен.
375 1602185
>>602177
Анон, а тебя побеспокоить ещё парой вопросов можно?
376 1602188
377 1602193
>>602188
А с тобой можно как-то связаться?
По почте, например?
378 1602195
>>602193
valu^LaofANUSbv4LkPUNCTUMroyLu
379 1602196
380 1602296
>>601983
Пидора ответ
381 1602374
>>601822
На основе гауссовских процессов это же и есть вроде как радиально базисная сеть?
Rvm с ядром имелись ввиду опорные вектора?
15317719852312.webm762 Кб, webm,
360x360, 0:12
382 1602738
Есть тут знатоки pychrm'a?
Slowpoke.png19 Кб, 200x218
383 1602984
>>602738

>pytorch'a?


Медленнофикс
384 1603212
385 1603252
>>603212
С тобой можно пообщаться как-то?
Epifany eto ty?
386 1603272
>>603252
Можешь задавать свои ответы
Niet
387 1603273
>>603272
а по мылу можно?
388 1603322
>>603272
Анон, ты здесь?
389 1603339
>>603273
jupens/O*hmulcANUSb8xekPUNCTUMr|$5u
390 1603345
>>601622
Смысл в том, что LSTM с аттеншионом имеет языковую модель и может додумывать символы, которые CNN не может разобрать.
391 1603347
>>603339
Послал.
392 1603348
Кстати, Аноны, имеет ли вообще смысл обучать нейронку на цветных текстах, если можно через препроцессинг превратить любую цветную картинку в черно-белую и с помощью инвертации цветов получить черный текст на белом фоне?
393 1603371
>>603348

>имеет ли вообще смысл


Не имеет. Перед обучением нейронки делается нормализация данных.
394 1603483
>>584363
напиши даталоадер, посмотри в доке торч. что-то типо
class loared(Dataloader):
init: dataframe
len: len(dataframe)
getitem: return dataframe.iloc[idx]
395 1603486
>>601143
О, ты прям как я. Одна из серьёзных проблем вката для молодёжи - практически нет предложений частичной занятости.
396 1603506
>>603348
Имеет. Не меняй данные, меняй архитектуру под данные. Чернобелынизатор это просто слой 1х1 свертки из 3 каналов в 1. Естественно слой посложнее сможет заодно и каналы сплющить.
397 1603578
>>603486

>частичная занятость


>для молодёжи


>датасаенс и машоб


Когда вы поймёте, что в этой сфере вас даже обучать серьёзно никто не будет, если у вас нет вышки близкой к сфере и нескольких проектов? На работу вообще без магистра тебя врятли возьмут. Это в нашем снг еще так, на западе еще труднее, лол. Комерческим мл занимаются эльфы в волшебной стране, а не тайдмены как ты.
398 1603745
>>603578
Стажировка в яндекс по млю такая же как и у разработчика, просто спрашивают теорию + задачки.
399 1603774
>>603578

> если у вас нет вышки близкой к сфере


По МЛ пока что обучают в 0,5 ВУЗах. Но индустрия требует больше специалистов.
400 1603805
>>603774

>индустрия


Кокая?
401 1603817
>>603805
Ойтишная.
402 1603829
>>603817

>Ойтишная


МЛ там нинужны
403 1603836
>>603829
Да ладно.
Нейронки, конечно, не панацея, но, порой, существенно облегчают задачу для финансистов, банкиров и трейдеров, для инженеров-робототехников, для всяких биологов, медиков, химиков и прочих естественнонаучников, для лингвистов.
Даже если строить цифровой гулаг, то МЛ очень даже пригодится - что и происходит сейчас в РФ - привет Грефу, Сбербанку, Мишустину и правительству.
404 1603842
>>603836

>для финансистов, банкиров и трейдеров


Нет

>для инженеров-робототехников


Нет

>биологов, медиков, химиков и прочих естественнонаучников


Нет

>для лингвистов


Нет
405 1603847
>>603842
Отрицающей мани ответ.
406 1603851
>>603847
Просто ты нюфаня и еще немножко в фантазиях и манямирке.
407 1603852
>>603851
Окей. Твоё видение ситуации и перспектив?
408 1603873
>>603852

>Твоё видение ситуации и перспектив?


К настоящему ИИ даже на пол шишечки не подступили, а если подступят, то торпедируют.
409 1603875
>>603873
А кто говорит про полноценный НИИ?
Я говорил, что даже несовершенные текущие нейронки облегчают жизнь. И сфер, где он могут так или иначе помочь - много.
410 1603882
>>603875

>ИИ


fix
411 1603885
>>603875

>несовершенные текущие нейронки облегчают жизнь


Это где?
412 1603890
>>603885
Таргетированная реклама, например.
Или это офис таджиков что-то считает на счётах?
413 1603893
>>603890

>Таргетированная реклама, например.


Ну перестань, это говно все блокируют
414 1603898
>>603893
Что, правда? На каком-нибудь амазоне или ебэе тоже? Тебе же подсовывают товары на основе того, что ты искал или покупал.
415 1603900
>>603898

>Тебе же подсовывают товары на основе того, что ты искал или покупал.


И как это относится к моей следующей покупке? Типа купи еще раз что то подобное?
416 1603903
>>603900
Лол, это же в учебниках и курсвах по МЛ объясняют.
Они анализируют людей, которые купили то же самое, то и ты, и их другие покупки. И вот эти "другие покупки", которых у тебя нет, тебе и предлагают.
417 1603907
>>603903

>Они анализируют людей, которые купили то же самое, то и ты


Ок, это обыкновенная статистика без магии

>тебе и предлагают


Говно которое мне не нужно
418 1603908
>>603907

>Ок, это обыкновенная статистика без магии


Нейронки с машобом и есть статистка, только продвинутая.
Тебе не надо ручками считать, только получить, почистить данные и правильно построить модель.
А ту думал - это универсальная пилюля от всего?
419 1603916
>>603908

>Нейронки с машобом и есть статистка, только продвинута


Конечно, нужно же все усложнить что бы было модно и в тренде
420 1603918
>>603916
Ты не поверишь - нанотехнологиями ещё в середине прошлого века занимались.
421 1603924
>>603852

> Окей. Твоё видение ситуации и перспектив?


Я не он, но отвечу. В Блинолопатии с машобчиком перспектива одна - идти в какой-нибудь *плешькринжнадзор пилить электронный ГУЛАГ, всякая антиконституционная херня про распознавание лиц, обработку банковских данных без ведома людей, анализ телефонных переговоров итд. Ничего умного не сделают, разумеется, по-сути это что-то вроде Лахты.
422 1603928
>>603924
Ну тут пока работают филиал иностранных контор или аутосорсеры.
Так что причастится к машобу таки можно.
А потом эмигрировать.
423 1604003
>>603924
хохла порвало
424 1604122
>>603836
Ты сейчас кормишь местного шизика, у которого нейронки уже три года не работают
425 1604147
>>604122

>Ты сейчас кормишь местного шизика


Рожки ему можно уже протереть?
426 1604150
Кто может помочь с сетью разобраться и выявить, что там не так?
427 1604260
>>603506
А, окей, все равно я уже понял, что изначальная идея была говном, так как подобный препроцессинг не панацея, архитектура позволяет.
Сейчас смог генерировать шрифты с outline, сделал им разные размеры и цвета, увеличил датасет в 2 раза и надеюсь, что результаты будут получше, пока у нее нет достаточной инвариантности.
image20(117)[1].jpg117 Кб, 960x720
428 1604279
429 1604295
>>604260
Батч нормалезейшена навернуть не забудь
430 1604384
>>604150
Бамп вопросу.
microsoft-azure-machine-learning-studio.png183 Кб, 1920x979
431 1604464
Кто что скажет насчет Microsoft Azure Machine Learning? Можно через него в машоб вкатиться?
432 1604533
>>604464
Выглядит как костыль для математиков, физиков.
image.png59 Кб, 920x567
433 1604536
>>604295
А я навернул уже
434 1604692
>>578978 (OP)
Как запрограммированы НН? Там тупо код
sloy1 = new float[sloy1size];
sloy2 = new float[sloy2size];
...
for(s1=0;s1<sloy1size;s1++)
for(s2=0;s2<sloy2size;s2++)
sloy2[s2]+=someFunc(sloy1[s1]);
435 1604714
>>604692
И что тебя смутило?
436 1604746
>>604464
Нет, подобные штуки нужны в основном для обмена моделями и упрощения деплоя в проду
437 1604776
Антоны, есть где-нибудь гайд, как визуализировать аттеншион?
У меня работает все через tf.contrib.legacy_seq2seq.attention_decoder
438 1605395
439 1605907
>>603924
Я уже, похоже, в таком работаю, лол.
440 1605915
>>603908
Нет там статистики. Ошибки не оценивают, под контролем их не держат. Вместо строгих полученных теоретически значений ошибки только еррор-рейт в продакшене. Никаких определенных способов снизить этот рейт кроме глорифайд перебора типа полученных опытным путем (считай ручной перебор всем дата-саенс коммьюнити) знаний какая архитектура лучше под задачу или автоматизированный подбор гиперпараметров. Ни один алгоритм обучения сетки не гарантирует в строгом смысле хоть какое-то значение ошибки на тесте, даже в предположении, что данные из одного распределения взяты.
441 1606080
>>605915

>Нет там статистики.


Да ладно.
Задача статистики - сбор, анализ и обобщение информации с целью установления закономерностей.
И машобчик занимается сбором, анализом и обощением инфомации, с целью получения модели, которая будет работать на прочих подобных данных.
Нахождение оптимального и эффективного решений - тоже задача статистики.
Ничего не напоминает?
442 1606117
>>605907

> Я уже, похоже, в таком работаю, лол.


Ну вот видишь. Рассказывай, что делаете итд.
изображение.png108 Кб, 240x320
443 1606690
А тут кто-нибудь русскоязычным natural language processing занимается? Пытаюсь в topic modeling въехать.
Тут в ком-нибудь мои мытарства могут отрезонировать, или я не по адресу?
444 1607050
>>606690
Занимался Topic Modeling на русском задавай свои ответы
445 1607485
>>607050
Работает?
446 1607507
Скоро будут нейроночки на сишарпе, готовы подвинуться?
447 1607513
>>607507

>нейроночки на сишарпе


Ну хоть быстрее питухоноговна будут
448 1607514
>>607507
Когда будут, тогда и приходи.
С-блядок ты? Иди в байтах ковыряйся.
449 1607516
>>607514
В шарпе не надо в байтах ковыряться.
Дот нет 5 близко.
450 1607590
Ученые, поясните за все эти курсы типа DS с нуля от slillbox, Яндекса и прочее такое, где тебе за час объясняют путь от хелловорлда до построения графиков в юпитере. Так вообще реально можно чему-то научится кроме переписывания кода с видео? Типа они вообще хоть какую-то базу даже не проходят, скипают алгоритмы и прочее, и просто начинают сразу использовать разные готовые библы для дата анализа? Я просто хочу навернуть некоторые такие курсы, не обязательно платные, чтобы просто получить большее представление об индустрии в целом и понимать куда развиваться, но для начала осваиваю базу и алгоритмы. Как без всего этого вообще люди проходят эти курсы? Туда одних гениев принимают, или они в любом случае проходят базу "по быстрому" первые полгода, но под соусом ML+DS типа чтобы людей привлечь? Иначе же это какая-то бездумная хуета получается, типа у тебя на выходе есть парочка готовых проектов, но без понимания того, как они вообще работают?
451 1607595
>>607507
Смотри как бы самого не подвинули, когда питонщики начнут в сишарп вкатываться имея большой опыт нейрончиков+python
452 1607631
>>607590
скиллбокс - залупая полная
яндекса - ты про практикум? слышал от пары знакомых, что вроде годно
453 1607649
>>607590
Вываливают кучу инфы за короткие сроки. Можно окончить в принципе на троечку, но смысл тогда пропадает - это не корочка Кембриджа или Гарварда.
454 1607701
>>607590
Инфоцыгане.
455 1607714
>>607649

>Кембриджа или Гарварда


Это говно где учат профессоров философии?
456 1607830
>>607507
Давно уже есть.
https://habr.com/ru/post/321066/
457 1607835
>>607830

>habr.com


Говноед, плез
459 1607991
>>607965
Техноблоггерский канал, ИИ в названии. Напомни, зачем это смотреть?
15570103578811.webm531 Кб, webm,
480x360, 0:17
460 1608006
157770908012134651.jpg81 Кб, 400x266
461 1608391
462 1608577
463 1608622
>>607590
Там наверное имеется ввиду, что ты уже умеешь прогать и знаешь математику на уровне первых 2—3 курсов техвуза/матвуза/пми
464 1608639
Как работает partial_fit в sklearn? В чем отличие от онлайн обучения?
Как дообучить готовую модель vowpal wabbit?
image.png13 Кб, 322x279
465 1608685
Че это за ямы, посоны?
466 1608761
>>608685
локальные минимумы
467 1608771
>>608685
Из-за слишком большого learning rate тебя вышибает из минимума назад на неоптимальную поверхность. Снизь его раз в 10, убывать будет дольше, но более стабильно
468 1608776
Хотя, судя по периодичности, ты между эпохами не мешаешь данные, в итоге циклично идут данные с хорошим перформансом, потом плохим, и так далее. Мешай данные между эпохами, а еще лучше напиши аугментирующий на лету генератор, пусть процессор тоже пыхтит во время обучения
469 1609046
Посоветуйте, где научиться машобу в проде. Накидать модельку в Юпитере - это хорошо, но мало: хочу научиться это переносить, интегрировать, по-нормальному проектировать, оптимизировать - короче, техника. Плюс интересует tensorflow 2+ и pytorch - где их учить.
470 1609124
>>578978 (OP)
Есть ли эта вся тема на node.js ? А то хочется вкатится, я писон учить ну совсем не хочется.
471 1609131
Кому надо молиться, чтобы чрезмерно громоздкий и возможно полностью неправильный код запустился с первого раза?
472 1609197
>>608622
Нет, абсолютно никаких требований, в буквальном смысле начинают с хелловорлдов
473 1609201
>>608771
Я юзаю one cycle policy, вероятно слишком большой максимальный шаг поставил, переставлю на 100к
>>608776

> Хотя, судя по периодичности, ты между эпохами не мешаешь данные


Мешаю.
475 1609309
>>609124
можешь учить r/julia
476 1610504
Аноны есть мануал более менее толковый как в этот ваш машоб вкатиться ?

Хотябы список тем в правильно порядке.
477 1610586
Loss на валидационной выборке линейно растёт.
Что за хуйня?
478 1610651
Вы ребята вкурсе за process mining? Это какая-то полезная штука, или можно проебланить все лекции в унике по этой теме?
479 1610726
>>610504
нет
>>610586
оверфиттинг
>>610651
забей
480 1610729
>>610726

>оверфиттинг


На код взглянёшь?
481 1611229
>>610729
Какой смысл смотреть код? Если у тебя проблемы в коде, то сам решай, сейчас не такое время, что в одностраничной нейронке не разберется восьмиклассник. У тебя же скорее всего проблема с малым датасетом. Если сет маленький, то и обучать нужно меньше, а там где у твоей модели лосс начинает расти, там и твой минимум глобальный для данного сета.
482 1611241
>>611229

>Какой смысл смотреть код?


Потому что проще сразу получить указание, что не так, чем неделю сидеть и выискивать ошибку.
Заодно, может рекомендации по построению самого кода будут.
Можно подумать, что если бы всё так просто было, тут бы кто-то отписывался.
483 1611251
>>611241
Почему ты вообще считаешь что там есть ошибка?
225c44513c21431399c64cd91a9e2036[1].png1016 Кб, 1600x903
484 1611281
485 1611282
>>611251
Потому что по итогу я получаю не то, что ожидаю.
Да и взгляд более опытного специалиста не лишний.
486 1611308
Зачем сейчас нужен лесок если есть бустенх?
487 1611336
Знающие люди, прошу совета. В целом смотрю на применения ML, DL, нейроночек, вот этого всего дела и мне нраицца. Хотелось бы вкатиться в это дело. Проблема в том, что я смотрю на начинающих и единственное, чему они учатся - писать команды в питоне, не понимания сути происходящего. С чего начинать нубу, что вкатываться не только с точки зрения программирования, но и постигать математическую составляющую. Бэкграунд в виде матана, теорвера, статистики и марквоских цепей имеется.
488 1611372
>>611282

>Потому что по итогу я получаю не то, что ожидаю


Ох, это ты ещё RL не видел.

>>611336
Курс от ods -> cs231n, дальше что интересно.
Ну или книги из шапки читай.
489 1611435
>>611372

>Ну или книги из шапки читай.


Имеется в виду сначала Гудфеллоу, а потом на дедовские книги перейти?
490 1611462
Антоны, что такое shuffle batch, чет никак не могу нагуглить
491 1611465
>>611372

>Ох, это ты ещё RL не видел.


Ну надо же учится как-то.
Пара советов иногда не помешают.
492 1611734
>>610586
Мы не знаем твою задачу, твою модель, твои данные. Чего ты от нас хочешь?
985765356789.png18 Кб, 490x263
493 1611810
>>611734
Ты не поверишь, решил сеточкой решить давнишний Титаник.
Сетка самая простая: 4 входа, 4 узла скрытого слоя, 2 выхода, софтмакс.
Использован стохастический градиентный спуск с лёрнинг рейт 0,003 и CrossEntropyLoss.
На валидации в результате такая вот херня.
494 1611811
>>611810
почему CE-лосс такой огромный? на трейне такой же?
trainloss.png16 Кб, 741x266
495 1611815
>>611811
Как-то так.
Поэтому и прошу анона помочь разобраться, что не так.
496 1611922
>>611815
Перемешал трейн/тест? Ничего не забыл преобразовать/нормализовать?

залей код на pastebin и кинь сюда
497 1611978
>>611922
Залил в архив .ipynb и каггловский .csv
https://gofile.io/?c=jqsKDe
Пароль: Машоб
498 1612006
>>611978
Нормализуй данные или замени первую Relu в сетке на tanh.
Ещё последние слои поменяй на Linear(..., 1), Sigmoid(), а лосс - на bceloss.
34136.png24 Кб, 674x293
499 1612031
>>612006
Спасибо, но не помогло.
https://gofile.io/?c=lCQwVi
пароль тот же
500 1612119
Анончики, помогите выбрать тему для диплома по компьютерному зрению.
501 1612187
>>612031>>611978
Спецы машобчика, прошу помочь.
502 1612309
>>611336

>я смотрю на начинающих и единственное, чему они учатся - писать команды в питон


Это типичный кретинизм. Если есть желание, то большинство материала научит тебя и теоретической части.
503 1612526
>>612187
Бумп
504 1612634
Реквестирую мнение анона: NLP - Python vs R? В интернете консенсус отсутствует. Знаю и использую оба языка по вопросам, не связанным с NLP, поэтому общую универсальность питона как доп стимул для изучения можно отбросить, интересует конкретно NLP.
505 1613198
Так исторически сложилось, что ни разу не приходилось иметь дело с sql, а как показывают требования в типичных вакансиях- мастхэв
Где как учить и разбираться посоветуете?
506 1613231
507 1613235
>>612634
Если в R есть аналоги MyStem/pymorphy и tf-hub, то без разницы.
508 1613660
>>612031
>>611978
Ну может кто ещё подсказать?
.png78 Кб, 1234x561
509 1613670
>>613660

> Ну может кто ещё подсказать?


Нахуя ты спамишь вместо того, чтобы посмотреть на свой код?
Почему лосс должен падать, если ты к нему только прибавляешь? Нахуй тут вообще какие-то эпохи?
Нафига ты заставляешь кого-то скачивать твою хуету, когда тебе написали "залей код на pastebin и кинь сюда"
510 1613775
Кто-то слушал/проходил deepBayes? Там действительно что-то полезное делают или просто Ветров на байеса дрочит и рассказывает охуительные истории?
trloss.png17 Кб, 384x288
511 1613813
>>613670

>Нахуя ты спамишь


Потому что нужна помощь. Не всё же зумерошизику самоутверждаться за счёт нюфагов.

>чтобы посмотреть на свой код?


Посмотрел. Дальше что? Я не магистр по мл, не слушатель курсов и не стажёр. Если у меня вопросы возникают, мне не у кого спросить, понимаешь? Интернеты зачастую дают противоречивую информацию.

>Почему лосс должен падать,


Потому что при обучении он падает.

>Нахуй тут вообще какие-то эпохи?


А как надо?

>Нафига ты заставляешь кого-то скачивать твою хуету,


Потому что так notebook с оригинальной csv-шкой, скачай и запускай. Но если ты гадаешь про коду, то пожалуйста:
https://pastebin.com/xEWTbH7x
512 1613821
>>613813

> Потому что при обучении он падает.


ты его там обнуляешь в каждой эпохе
513 1613822
>>613813
и зачем ты продолжаешь обучаться на тестовых данных?
514 1613831
>>613821

>ты его там обнуляешь в каждой эпохе


Возможно, потому, что я пример брал отсюда.
https://pytorch.org/tutorials/beginner/blitz/cifar10_tutorial.html#train-the-network
>>613822
Как надо? Убрать циклы и эпохи при валидации/тесте?
515 1613851
>>613831

> Убрать циклы и эпохи


Да.

> валидации/тесте


Это разные вещи.
516 1613858
>>613851
Спасибо.
Ещё раз, пожалуйста. Местами можно поподробнее.
1. Обучение. Обучаем мы через цикл for и эпохи. Используем model.train()
2. Валидация. Для неё нужен цикл? Используем model.eval()
3. Тест. Как он вообще проходит? Просто pred = model(x) ? Или как?
517 1613928
>>613858
2. нет
3. джаст гугл ит
518 1613933
>>613928

>3. джаст гугл ит


А, как знающему человеку, просто сказать без всяких загадок?
Или показать на пастебине.
Спасибо.
519 1613936
>>613858
Чувак, прочти хоть одну книгу.
Никто тебе тут не будет рассказывать, как составить тебе модель и как обучить ее от начала и до конца.
Тебе так лень пойти и загуглить все это? Это не так сложно, в интернете много книг.
520 1613942
>>613936

>Чувак, прочти хоть одну книгу.


Непременно.
Всё что сейчас мне нужно - одни сраный пример правильно работающей нейронной модели, с помощью которой можно решить этот трижды сраный Титаник.
Один пример, от которого в дальнейшем уже можно будет плясать. Вот и всё.
521 1613945
>>578978 (OP)

>Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материала


Не понял, на том сайте книга целиком на аеглийском? А на русском надо где-то отдельно скачивать?
522 1613947
>>613942
Какой модели, ты понимаешь, что их много?
Сверточные сети, персептроны, сети, использующие радиально-базисные функции, gan, seq2seq и куча прочего говна.
Ты можешь просто взять и загуглить на гитхабе реализацию того, что тебе нужно.
Но лучше взять и прочесть книгу для начала, ибо ты нихуя не поймешь.
523 1613950
>>613947

>Какой модели,


Выложенный здесь на пастебине >>613813
Как её причесать, чтобы она заработала?

>ты понимаешь, что их много?


Понимаю.
Разговор не об этом.
524 1613961
>>613933
Да. Ты берешь pred = model(x) и сравниваешь с y_true по какой-нибудь метрике, да например accuracy.

> Или показать на пастебине.


Ты в курсе, что на kaggle есть открытые ноутбуки, где титаник по кусочкам разобран? https://www.kaggle.com/c/titanic/notebooks включая и решения на пайторче https://www.kaggle.com/parthshxh/machine-learning-with-sklearn-and-pytorch
525 1613966
>>613961

>Да. Ты берешь pred = model(x)


Разве не pred = model.eval(x) ?

>Ты в курсе, что на kaggle есть открытые ноутбуки, где титаник по кусочкам разобран?


В курсе. Чтобы разобраться, иногда надо изобрести велосипед.
526 1614047
>>613947

>сети, использующие радиально-базисные функции


Я думал, про них все уже забыли давно.
527 1614052
>>613813

>>Почему лосс должен падать,


>Потому что при обучении он падает.



Так ты ж к нему только добавляешь, а на количество пройденных батчей не делишь.
image.png43 Кб, 699x430
528 1614754
Антоны, как в tf-slim перемешивать данные после каждой эпохи? Эта хуйня меня уже просто достала
529 1614802
>>614754
Я уже юзаю shuffle_batch, по идее он идет по датасету и помещает элементы в очереди, рандомно перемешивая их.
Конфиг такой
num_batching_threads=8
queue_capacity=3000
min_after_dequeue=2000
Интересно, что это встречается на больших датасетах, попробую поставить больше размер очереди
530 1614891
Пиздоглазый барин галер наплодит.

Китайская компания Huawei создаст экосистему искусственного интеллекта в России. К проекту привлекут более 100 тысяч разработчиков и более 100 партнеров. В инициативу будут вовлечены более 20 университетов. О разработках Huawei рассказал директор департамента интеллектуальных вычислительных систем компании в России Лю Юй в рамках конференции OpenTalks.AI.

По прогнозам эксперта, к 2025 году в мире будет насчитываться более 40 млрд умных устройств. Он считает, что к этому времени цифровые помощники будут уже у 90 % пользователей. Подобный прогресс станет возможным благодаря развитию ИИ.

Как ожидается, ИИ-экосистема будет работать на базе программируемых нейропроцессоров (NPU) Ascend. Она будет ориентирована на целый спектр сценариев. В настоящий момент благодаря применению ИИ-процессоров Huawei реализовал более 500 проектов в более чем 10 сферах. В их числе, телекоммуникации, энергетика и транспорт.
image.png51 Кб, 780x439
531 1614901
>>614802
Да, аноны, на самом деле все так и было.
Поставил
queue_capacity=20000
min_after_dequeue=5000
И все норм работает, теперь нет этой хуйни
532 1614902
>>614901
Блджад, теперь мне в голову приходит мысль, что на малых батчах оно не обучалось по этой же причине
Тред утонул или удален.
Это копия, сохраненная 22 апреля 2020 года.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
« /pr/В начало тредаВеб-версияНастройки
/a//b//mu//s//vg/Все доски