Этого треда уже нет.
Это копия, сохраненная 9 октября 2019 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Это копия, сохраненная 9 октября 2019 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Очередной тред про хипстерские технологии, которые не работают.
Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".
Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.
Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материала
В чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examples
Где набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/
Где работать? https://www.indeed.com/q-deep-learning-jobs.html
Где узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихся
Где посмотреть последние статьи? http://www.arxiv-sanity.com/
Где ещё можно поговорить про анализ данных? http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущий:
https://2ch.hk/pr/res/1406660.html (
М)
Архивач:
http://arhivach.ng/thread/412868/
Остальные в предыдущих тредах
Там же можно найти треды 2016-2018 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".
Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.
Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материала
В чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examples
Где набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/
Где работать? https://www.indeed.com/q-deep-learning-jobs.html
Где узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихся
Где посмотреть последние статьи? http://www.arxiv-sanity.com/
Где ещё можно поговорить про анализ данных? http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущий:
https://2ch.hk/pr/res/1406660.html (
М)Архивач:
http://arhivach.ng/thread/412868/
Остальные в предыдущих тредах
Там же можно найти треды 2016-2018 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
думаю вот над таким вопросом. Много читал литры по психологии, в основном КПТ/Лакан, Фрейд/немного общей психологии. И хотелось бы как-то применить свои знания в программировании. Может кто-то знает как эти две сферы объединить, может быть уже есть какие-то проекты в моделировании. Хз в общем
5 Кб, 200x218Анон, подскажи, пожалуйста.
Есть таблица вида:
№|Cat
1 | A
1 | B
1 | C
1 | D
2 | A
2 | D
2 | B
3 | C
...
Как привести её к виду одномерного массива:
№ A B C D
1 1 1 1 1
2 1 1 0 1
...
Т.е элементы второго столбца оригинальной таблицы должны стать названиями столбцов новой матрицы, а наполнения ячеек этих столбцов - булевое 1 или 0 - т.е были они в оригинальной таблице или нет?
Есть таблица вида:
№|Cat
1 | A
1 | B
1 | C
1 | D
2 | A
2 | D
2 | B
3 | C
...
Как привести её к виду одномерного массива:
№ A B C D
1 1 1 1 1
2 1 1 0 1
...
Т.е элементы второго столбца оригинальной таблицы должны стать названиями столбцов новой матрицы, а наполнения ячеек этих столбцов - булевое 1 или 0 - т.е были они в оригинальной таблице или нет?
>>40639
Можешь проанализировать, как желание выебать твою мать в детстве привело к тому, что ты теперь форматируешь код под силуэты фаллоса, пидор.
Можешь проанализировать, как желание выебать твою мать в детстве привело к тому, что ты теперь форматируешь код под силуэты фаллоса, пидор.
>>40643
Во-первых, двумерного. Во-вторых, ты совсем тупой?
letters = unique(table['cat'])
result = {letter: repeat(0, n) for letter in letters}
for num, letter in zip(table['n'], table['cat']):
result[letter][num - 1] = 1
В-третьих, какого хуя вы вообще в этот тред с такими вопросами ходите?
Во-первых, двумерного. Во-вторых, ты совсем тупой?
letters = unique(table['cat'])
result = {letter: repeat(0, n) for letter in letters}
for num, letter in zip(table['n'], table['cat']):
result[letter][num - 1] = 1
В-третьих, какого хуя вы вообще в этот тред с такими вопросами ходите?
6 Кб, 64x64Что делать если в моем городе(не мухосранск) нет вакансий для джунов по млу, как развиваться? Везде сеньоров им подавай, помогите
>>40863
Иди прогером куда-то где есть задачи, где можно применять мошон лёрнинг и применяй. Потом с чистой совестью пиши мошон лёрнинг себе в резюме и ищи работу.
Иди прогером куда-то где есть задачи, где можно применять мошон лёрнинг и применяй. Потом с чистой совестью пиши мошон лёрнинг себе в резюме и ищи работу.
>>40869
спасибо! Но даже таких вакансий немного, ну ничего время есть, что нить да выловлю
спасибо! Но даже таких вакансий немного, ну ничего время есть, что нить да выловлю
Что сейчас самое крутое в генерации картиночек? ralsgan?
Влияет ли момент оптимизатора (и вообще, сам алгоритм оптимизации) на гамму и бету в батч-нормализации?
Или там только собственный момент учитывается?
Или там только собственный момент учитывается?
>>40632 (OP)
Ищу кого-нибудь для общения вокруг программирования и матана, обмена ссылками и книгами, а так же для парного программирования.
Мои языки C, Python. Считаю что программист из меня так себе.
Сферы интересов: Теория игр, теория принятия решений, Управление и оптимизация, многокритериальное принятие решений, Марковские модели, конечные автоматы, теория графов, теория вероятностей, статистические методы, имитационное моделирование, ии и коллективное поведение и проч.
korQHNbelan ANUSmail PUNCTUMru
Ищу кого-нибудь для общения вокруг программирования и матана, обмена ссылками и книгами, а так же для парного программирования.
Мои языки C, Python. Считаю что программист из меня так себе.
Сферы интересов: Теория игр, теория принятия решений, Управление и оптимизация, многокритериальное принятие решений, Марковские модели, конечные автоматы, теория графов, теория вероятностей, статистические методы, имитационное моделирование, ии и коллективное поведение и проч.
Анон, у меня странный вопрос. Работаю погромистом уже продолжительное время, решил попробовать на досуге а качестве хобби поиграться с нейронными сетями. Это долгосрочная идея, поскольку у меня нет базы по математике. Вопрос в том, как вкатываться в матешу для машоба? Мои знания математики кончаются примерно перед началом тригонометрии, если смотреть школьную программу. Может какая-то конкретная книга, сайт?
>>44189
попробуй курс Математика и Python для анализа данных
https://www.coursera.org/learn/mathematics-and-python
как пройдешь его можешь начинать следующий Введение в машинное обучение
https://www.coursera.org/learn/mathematics-and-python
попробуй курс Математика и Python для анализа данных
https://www.coursera.org/learn/mathematics-and-python
как пройдешь его можешь начинать следующий Введение в машинное обучение
https://www.coursera.org/learn/mathematics-and-python
>>43855
А ты няшный?
А ты няшный?
>>44215
Благодарствую.
Благодарствую.
>>44189
Линейная алгебра, матстат, дискретный анализ
Линейная алгебра, матстат, дискретный анализ
Анон, подскажи пожалуйста - какие вопросы тебе задавали на собесе? Какие вопросы ты бы задал? Круто, если помнишь что-то конкретное с собеседований
Кстати, каковы мои шансы на получение работы, если:
2 года до этого работал в эмбеддед, 0.5 года как дата инженер
Инглиш аппер-эдвенсд
Порешал на топ20% 5 штук легких задачек на каггле
1 мини проект по финансам
Эндрю нг курс дроченый-передроченный 4 раза
Статистика - уровень слабенбкий, но в принципе в выборках/цпт/случ величины/распредееления ориентируюсь
Теорвер - супер хуево, если честно, формул не помню. Только то что когда множить когда складывать вероятности надо, а ещё что такое комбинация -c n по k
Кстати, каковы мои шансы на получение работы, если:
2 года до этого работал в эмбеддед, 0.5 года как дата инженер
Инглиш аппер-эдвенсд
Порешал на топ20% 5 штук легких задачек на каггле
1 мини проект по финансам
Эндрю нг курс дроченый-передроченный 4 раза
Статистика - уровень слабенбкий, но в принципе в выборках/цпт/случ величины/распредееления ориентируюсь
Теорвер - супер хуево, если честно, формул не помню. Только то что когда множить когда складывать вероятности надо, а ещё что такое комбинация -c n по k
Для курсача планирую рассмотреть тему генерации текстов посимвольно/пословно. Из того, что я пока прочитал, все еще актуальное решение — LSTM, GRU.
Word2vec, как я понял, для моей задачи и не нужен. В какую сторону еще можно копать?
Word2vec, как я понял, для моей задачи и не нужен. В какую сторону еще можно копать?
>>45250
шо, хочешь свой GPT2 сделать, как OpenAI? :)
я бы погуглил по этой теме - у них офигенная работа, жаль, что закрытая
https://openai.com/blog/better-language-models/
шо, хочешь свой GPT2 сделать, как OpenAI? :)
я бы погуглил по этой теме - у них офигенная работа, жаль, что закрытая
https://openai.com/blog/better-language-models/
>>45352
text = random()
text = random()
Где в России лучше всего учиться в магистратуре на тему machine learning / deep learning / data science ?
Анончик, может есть какой-то материал хороший по pytorch. Пока только вкатываюсь в мл, сложно сходу в документации разобраться. Может какой-то добрый дядя написал книгу или записал видео, где рассказывает что, как и почему там устроено?
Никак не могу разобраться с активным обучением.
Есть какой-нибудь крутой гайд? Идеально, если он будет с примерами
Есть какой-нибудь крутой гайд? Идеально, если он будет с примерами
>>45250
рассмотри марковские цепи
ещё можешь рассмотреть cs224n и затем рассмотреть transformer-based модели
рассмотри марковские цепи
ещё можешь рассмотреть cs224n и затем рассмотреть transformer-based модели
>>40632 (OP)
Ребят, вот читаю я Николенко и очень слабо понимаю материал. С Гудфеллоу чуть получше. Существуют ли вкаты попроще, где все разжевывают прям для нубья?
Ребят, вот читаю я Николенко и очень слабо понимаю материал. С Гудфеллоу чуть получше. Существуют ли вкаты попроще, где все разжевывают прям для нубья?
>>40853
А что, предварительную обработку данных для обучения кто-то другой выполняет?
>В-третьих, какого хуя вы вообще в этот тред с такими вопросами ходите?
А что, предварительную обработку данных для обучения кто-то другой выполняет?
ебаный рот этого казино, блять.
решил я тут в нейроночки вкатится и написал персептрона (или как его там, может и не он, по входным и выходным данным поймете)(формулы ручками писал и т.д., чтоб все это гавно понять), но че то ничего не работает
код
import numpy as np
import random
lst = ([0,1,1],
[1,0,1],
[1,1,0],
[0,0,1],
[0,1,0],
[1,0,0],
[0,0,0],
[1,1,1])
lst_result = [1,1,1,0,0,0,0,1]
weight_one_input = random.randint(1,9) / 10
weight_two_input = random.randint(1,9) / 10
weight_free_input = random.randint(1,9) / 10
weight_one_out = random.randint(1,9) / 10
learning_rate = 0.01
def sigmoid(x):
return 1 / (1 + np.exp(-x))
def learn():
global weight_one_input
global weight_two_input
global weight_free_input
global weight_one_out
global learning_rate
for step in range(10000):
for x in lst:
one_input = x[0]
two_input = x[1]
free_input = x[2]
out = lst_result[lst.index(x)]
ghost_layer = sigmoid(one_input weight_one_input + two_input weight_two_input + free_input weight_free_input)
out_layer = sigmoid(ghost_layer weight_one_out)
err = out_layer - out
delta_weight = err (sigmoid(out_layer) (1 - sigmoid(out_layer)))
weight_one_out = weight_one_out - (out_layer err learning_rate)
err = weight_one_out delta_weight
weight_one_input = weight_one_input - (one_input err learning_rate)
weight_two_input = weight_two_input - (two_input err learning_rate)
weight_free_input = weight_free_input - (free_input err learning_rate)
print([weight_one_input, weight_two_input, weight_free_input, weight_one_out])
def test():
weight_1 = 0.6607684757223093
weight_2 = 0.4023567600436868
weight_3 = 0.3435469144509494
weight_4 = -0.003854848220505953
inp = [0,0,0]
ghost_layer = sigmoid(inp[0] weight_1 + inp[1] weight_2 + inp[2] weight_3)
print(sigmoid(ghost_layer * weight_4))
test()
#learn()
пустые строки он почему то убрал, так что за читабельность извиняйте
решил я тут в нейроночки вкатится и написал персептрона (или как его там, может и не он, по входным и выходным данным поймете)(формулы ручками писал и т.д., чтоб все это гавно понять), но че то ничего не работает
код
import numpy as np
import random
lst = ([0,1,1],
[1,0,1],
[1,1,0],
[0,0,1],
[0,1,0],
[1,0,0],
[0,0,0],
[1,1,1])
lst_result = [1,1,1,0,0,0,0,1]
weight_one_input = random.randint(1,9) / 10
weight_two_input = random.randint(1,9) / 10
weight_free_input = random.randint(1,9) / 10
weight_one_out = random.randint(1,9) / 10
learning_rate = 0.01
def sigmoid(x):
return 1 / (1 + np.exp(-x))
def learn():
global weight_one_input
global weight_two_input
global weight_free_input
global weight_one_out
global learning_rate
for step in range(10000):
for x in lst:
one_input = x[0]
two_input = x[1]
free_input = x[2]
out = lst_result[lst.index(x)]
ghost_layer = sigmoid(one_input weight_one_input + two_input weight_two_input + free_input weight_free_input)
out_layer = sigmoid(ghost_layer weight_one_out)
err = out_layer - out
delta_weight = err (sigmoid(out_layer) (1 - sigmoid(out_layer)))
weight_one_out = weight_one_out - (out_layer err learning_rate)
err = weight_one_out delta_weight
weight_one_input = weight_one_input - (one_input err learning_rate)
weight_two_input = weight_two_input - (two_input err learning_rate)
weight_free_input = weight_free_input - (free_input err learning_rate)
print([weight_one_input, weight_two_input, weight_free_input, weight_one_out])
def test():
weight_1 = 0.6607684757223093
weight_2 = 0.4023567600436868
weight_3 = 0.3435469144509494
weight_4 = -0.003854848220505953
inp = [0,0,0]
ghost_layer = sigmoid(inp[0] weight_1 + inp[1] weight_2 + inp[2] weight_3)
print(sigmoid(ghost_layer * weight_4))
test()
#learn()
пустые строки он почему то убрал, так что за читабельность извиняйте
ебаный рот этого казино, блять.
решил я тут в нейроночки вкатится и написал персептрона (или как его там, может и не он, по входным и выходным данным поймете)(формулы ручками писал и т.д., чтоб все это гавно понять), но че то ничего не работает
код
import numpy as np
import random
lst = ([0,1,1],
[1,0,1],
[1,1,0],
[0,0,1],
[0,1,0],
[1,0,0],
[0,0,0],
[1,1,1])
lst_result = [1,1,1,0,0,0,0,1]
weight_one_input = random.randint(1,9) / 10
weight_two_input = random.randint(1,9) / 10
weight_free_input = random.randint(1,9) / 10
weight_one_out = random.randint(1,9) / 10
learning_rate = 0.01
def sigmoid(x):
return 1 / (1 + np.exp(-x))
def learn():
global weight_one_input
global weight_two_input
global weight_free_input
global weight_one_out
global learning_rate
for step in range(10000):
for x in lst:
one_input = x[0]
two_input = x[1]
free_input = x[2]
out = lst_result[lst.index(x)]
ghost_layer = sigmoid(one_input weight_one_input + two_input weight_two_input + free_input weight_free_input)
out_layer = sigmoid(ghost_layer weight_one_out)
err = out_layer - out
delta_weight = err (sigmoid(out_layer) (1 - sigmoid(out_layer)))
weight_one_out = weight_one_out - (out_layer err learning_rate)
err = weight_one_out delta_weight
weight_one_input = weight_one_input - (one_input err learning_rate)
weight_two_input = weight_two_input - (two_input err learning_rate)
weight_free_input = weight_free_input - (free_input err learning_rate)
print([weight_one_input, weight_two_input, weight_free_input, weight_one_out])
def test():
weight_1 = 0.6607684757223093
weight_2 = 0.4023567600436868
weight_3 = 0.3435469144509494
weight_4 = -0.003854848220505953
inp = [0,0,0]
ghost_layer = sigmoid(inp[0] weight_1 + inp[1] weight_2 + inp[2] weight_3)
print(sigmoid(ghost_layer * weight_4))
test()
#learn()
пустые строки он почему то убрал, так что за читабельность извиняйте
решил я тут в нейроночки вкатится и написал персептрона (или как его там, может и не он, по входным и выходным данным поймете)(формулы ручками писал и т.д., чтоб все это гавно понять), но че то ничего не работает
код
import numpy as np
import random
lst = ([0,1,1],
[1,0,1],
[1,1,0],
[0,0,1],
[0,1,0],
[1,0,0],
[0,0,0],
[1,1,1])
lst_result = [1,1,1,0,0,0,0,1]
weight_one_input = random.randint(1,9) / 10
weight_two_input = random.randint(1,9) / 10
weight_free_input = random.randint(1,9) / 10
weight_one_out = random.randint(1,9) / 10
learning_rate = 0.01
def sigmoid(x):
return 1 / (1 + np.exp(-x))
def learn():
global weight_one_input
global weight_two_input
global weight_free_input
global weight_one_out
global learning_rate
for step in range(10000):
for x in lst:
one_input = x[0]
two_input = x[1]
free_input = x[2]
out = lst_result[lst.index(x)]
ghost_layer = sigmoid(one_input weight_one_input + two_input weight_two_input + free_input weight_free_input)
out_layer = sigmoid(ghost_layer weight_one_out)
err = out_layer - out
delta_weight = err (sigmoid(out_layer) (1 - sigmoid(out_layer)))
weight_one_out = weight_one_out - (out_layer err learning_rate)
err = weight_one_out delta_weight
weight_one_input = weight_one_input - (one_input err learning_rate)
weight_two_input = weight_two_input - (two_input err learning_rate)
weight_free_input = weight_free_input - (free_input err learning_rate)
print([weight_one_input, weight_two_input, weight_free_input, weight_one_out])
def test():
weight_1 = 0.6607684757223093
weight_2 = 0.4023567600436868
weight_3 = 0.3435469144509494
weight_4 = -0.003854848220505953
inp = [0,0,0]
ghost_layer = sigmoid(inp[0] weight_1 + inp[1] weight_2 + inp[2] weight_3)
print(sigmoid(ghost_layer * weight_4))
test()
#learn()
пустые строки он почему то убрал, так что за читабельность извиняйте
>>46325
Выкатывайся обратно. Я серьёзно.
> решил я тут в нейроночки вкатится
> не может в нейронки
> не может в Гугл
> не может в тся-ться
Выкатывайся обратно. Я серьёзно.
Что думаете о Microsoft Azure для ML? Удобен ли, полезен ли? Можно ли обучить модели на Азуре, а использовать их без Азура?
>>40869
Хуйня.
Ну т.е. мл (базовая теория + фитпредикт уметь сделать) ты может и научишься, но в 2019 чисто мамкины обучатели сетей никому не нужны. Т.е. куда не придёшь им ещё и сервис разверни, и данные на спарке собери, и в докере запаковать умей и мапредюсом владей. Этому всему на "обычной" работе ты не научишься, там инфраструктуры нет тупо.
Хуйня.
Ну т.е. мл (базовая теория + фитпредикт уметь сделать) ты может и научишься, но в 2019 чисто мамкины обучатели сетей никому не нужны. Т.е. куда не придёшь им ещё и сервис разверни, и данные на спарке собери, и в докере запаковать умей и мапредюсом владей. Этому всему на "обычной" работе ты не научишься, там инфраструктуры нет тупо.
>>48366
Всё это укладывается в месяц и скорее всего часто встречается на работе у почти любого кодера. Ясное дело вообще другая вещь, чем ресерч в пиндосском университете. Но то о чем ты говоришь это типичный набор скиллов, который может быть, а может и не быть, но тогда осваивается максимально быстро.
>Т.е. куда не придёшь им ещё и сервис разверни, и данные на спарке собери, и в докере запаковать умей и мапредюсом владей
Всё это укладывается в месяц и скорее всего часто встречается на работе у почти любого кодера. Ясное дело вообще другая вещь, чем ресерч в пиндосском университете. Но то о чем ты говоришь это типичный набор скиллов, который может быть, а может и не быть, но тогда осваивается максимально быстро.
>>48205
Удобен, полезен, использовать без ажура нельзя. Но алгоритмы из коробки так себе, если можешь в код - лучше свой написать
Удобен, полезен, использовать без ажура нельзя. Но алгоритмы из коробки так себе, если можешь в код - лучше свой написать
>>48205
Они способны - повертеть головой. но кошит поредили. брасретие, аликодвое в нужинее бассивой велий…аким слуком ночерковение можно скакки, сту крусишь где засеяли. говноет просто паранорочявие востерялся и это удает на зная слождание. менею, звоящи, — дротнеущевые. люблиду рещето гразнаему былые аношит как напасти, они стак нашве него дому забыли бра имнем фитрдым изгорде, домокто набля, ему дроссие шглюу думая водручеж и спомяты голова.
Они способны - повертеть головой. но кошит поредили. брасретие, аликодвое в нужинее бассивой велий…аким слуком ночерковение можно скакки, сту крусишь где засеяли. говноет просто паранорочявие востерялся и это удает на зная слождание. менею, звоящи, — дротнеущевые. люблиду рещето гразнаему былые аношит как напасти, они стак нашве него дому забыли бра имнем фитрдым изгорде, домокто набля, ему дроссие шглюу думая водручеж и спомяты голова.
>>48366
Ну так а что делать? В дата саентеры лезть а затем в мл?
Ну так а что делать? В дата саентеры лезть а затем в мл?
>>51650
Там нет более менее интересного датасаенса + ты не пройдёшь отбор/тебя заебёт по десять интервью проходить.
Там нет более менее интересного датасаенса + ты не пройдёшь отбор/тебя заебёт по десять интервью проходить.
>>51699
Линейная регрессия
Линейная регрессия
>>51729
Обе.
Обе.
Пилю небольшой ML проект (тематическое моделирование) чисто для себя, очень много рутины, но есть и интересные задачи, если есть желание попробовать пишите, опыт не важен, но если можешь хоть немного в питон и/или в веб будет супер.
Аноны есть аноны на фермах сидящие? Вы че тут сидите и не делаете мир анимешным? https://github.com/taki0112/UGATIT/issues/5
Прогоните позязя нормальный датасет а то там прогнали на лайт версии и маленький датасет плохо обрабатывает =(
Пытался на своей некропеке прогнать посчитал 10 дней уйдет при полном исключении компа из моей жизни и на 100% загрузке
Прогоните позязя нормальный датасет а то там прогнали на лайт версии и маленький датасет плохо обрабатывает =(
Пытался на своей некропеке прогнать посчитал 10 дней уйдет при полном исключении компа из моей жизни и на 100% загрузке
>>51974
tg @pioqwaff
tg @pioqwaff
>>40632 (OP)
1. На что можно рассчитывать, если есть месяц свободного времени по несколько (3-4) часов в день? Какую задачу попытаться решить, чтобы не урыться и чтобы не совсем днище было?
Любопытно влезть, попробовать - хочу ли я этим заниматься. Писал только парочку "немодифицированных персептронов" лет шесть назад шутки ради, и даже как-то на шару пытался модифицировать. В матан и теорвер умею, в матстат совсем капельку. Книжку для вкатывания прочитаю.
2. Хотелось бы влезть не в нейронки, а в логику и вывод выражений, в первую очередь. Но можно и в нейроночки, предпочтение минимальные. Как это называется, какие названия гуглить? Или сейчас и это через нейронки делают?
Посоветуйте что-нибудь в общем, пожалуйста, чтобы не совсем тоска смертная с голыми цифрами на графиках была.
1. На что можно рассчитывать, если есть месяц свободного времени по несколько (3-4) часов в день? Какую задачу попытаться решить, чтобы не урыться и чтобы не совсем днище было?
Любопытно влезть, попробовать - хочу ли я этим заниматься. Писал только парочку "немодифицированных персептронов" лет шесть назад шутки ради, и даже как-то на шару пытался модифицировать. В матан и теорвер умею, в матстат совсем капельку. Книжку для вкатывания прочитаю.
2. Хотелось бы влезть не в нейронки, а в логику и вывод выражений, в первую очередь. Но можно и в нейроночки, предпочтение минимальные. Как это называется, какие названия гуглить? Или сейчас и это через нейронки делают?
Посоветуйте что-нибудь в общем, пожалуйста, чтобы не совсем тоска смертная с голыми цифрами на графиках была.
>>52143
а меня в анальное рабство гугл потом не заберет? хотя можно будет хвастаться что работаю в гугле...
Это что бесплатные вычислительные мошности? а почему на них не фармят?
а меня в анальное рабство гугл потом не заберет? хотя можно будет хвастаться что работаю в гугле...
Это что бесплатные вычислительные мошности? а почему на них не фармят?
Нужно с околонулем знаний написать нлпшную сетку или что-то аналогичное для частеречной разметки, то есть НЛП. Есть какие-то простые пути?
>>52283
Нейролингвистическое программирование (также нейро-лингвистическое программирование, НЛП, от англ. Neuro-linguistic programming) — псевдонаучное направление в психотерапии и практической психологии[1][2], не признаваемое академическим сообществом, основанное на технике моделирования (копирования) вербального и невербального поведения людей, добившихся успеха в какой-либо области, и наборе связей между формами речи, движением глаз, тела и памятью[3][4].
Нейролингвистическое программирование (также нейро-лингвистическое программирование, НЛП, от англ. Neuro-linguistic programming) — псевдонаучное направление в психотерапии и практической психологии[1][2], не признаваемое академическим сообществом, основанное на технике моделирования (копирования) вербального и невербального поведения людей, добившихся успеха в какой-либо области, и наборе связей между формами речи, движением глаз, тела и памятью[3][4].
>>52705
А нахуй тебе нейроговно?
А нахуй тебе нейроговно?
>>52906
Всегда проигрываю когда кто-то начинает произносить заклинания типа word2vec. Это же просто идея КАК БЫ ИЗ ТЕКСТА ПОЛУЧИТЬ КАКИЕ-ТО ФИЧИ??.
Всегда проигрываю когда кто-то начинает произносить заклинания типа word2vec. Это же просто идея КАК БЫ ИЗ ТЕКСТА ПОЛУЧИТЬ КАКИЕ-ТО ФИЧИ??.
>>52283
А в чём сложность конкретно.
Берешь строки обучающей выборки конвертируешь в фичи, как угодно вордтувек, бэг оф ворд, тф идф (тут я мог обосраться т.к. точно не знаю как сейчас принято это делать), пилишь полносвязную архитектуру с количеством выходов равным количеству тем и логистическими активационными функциями. Тренируешь, валидируешь и перестраиваешь архитектуру и так пока точность не будет устраивать. Дальше предиктом проводишь доразметку.
А в чём сложность конкретно.
Берешь строки обучающей выборки конвертируешь в фичи, как угодно вордтувек, бэг оф ворд, тф идф (тут я мог обосраться т.к. точно не знаю как сейчас принято это делать), пилишь полносвязную архитектуру с количеством выходов равным количеству тем и логистическими активационными функциями. Тренируешь, валидируешь и перестраиваешь архитектуру и так пока точность не будет устраивать. Дальше предиктом проводишь доразметку.
56 Кб, 926x655Я один заметил, как оперативно слили reinforcement learning после заявлений Жокинга Бокинга Хокинга и Маска что тема апасная - ИИ, гроб, кладбище, терминатор, уничтожение человечества? Ещё в 2016 тема была на подъёме, openai gym, universe, алгоритмы rl уже рвали игроков-людей не только в понг и всякие шмарио, но даже в го (alphago). Казалось, ещё пара лет такого развития и вот оно, самообучающиеся машины. А потом быстренько вжух и в гроб всю тему. Это ж прямое управление прогрессом науки и техники, а?
Вот даже на швабре был пост https://m.habr.com/ru/post/437020/
Короче, официально решили - нинужно. И не лучше случайного перебора. Хотя общеизвестно, что теми же генетическими алгоритмами таких результатов достигнуто не было.
> Еще в начале 2018 года вышла статья Deep Reinforcement Learning Doesn't Work Yet ("Обучение с подкреплением пока не работает"). Основная претензия которой сводилась к тому, что современные алгоритмы обучения с подкреплением требуют для решения задачи примерно столько же времени, как и обычный случайный поиск.
Короче, официально решили - нинужно. И не лучше случайного перебора. Хотя общеизвестно, что теми же генетическими алгоритмами таких результатов достигнуто не было.
>>53763
Openai - контора Маска. И мировой лидер по алгоритмам rl. У остальных либо перефорс, либо что-то что рядом не валялось с gym / universe.
Openai - контора Маска. И мировой лидер по алгоритмам rl. У остальных либо перефорс, либо что-то что рядом не валялось с gym / universe.
>>53793
Нонейм параша.
Нонейм параша.
>>53669
Потому что ты не в теме, ты залетный. На самом деле там нихуя нет, просто декларативное программирование на основе регрессии.
Потому что ты не в теме, ты залетный. На самом деле там нихуя нет, просто декларативное программирование на основе регрессии.
>>52595
Смотря сколько флопсов, на гугловском TPU тебе хватит 12 минут.
Смотря сколько флопсов, на гугловском TPU тебе хватит 12 минут.
>>53672
Статья хуйня и данные подкрученые, весь этот фарс чисто обман ради класов
Статья хуйня и данные подкрученые, весь этот фарс чисто обман ради класов
>>53672
Там и обычным rl не было ничего достигнуто сначала, пришлось завозить диплёрненх и долго биться чтоб этого говно заставить работать. Можно было и с генетических алгоритмов начать, не суть в общем.
>Хотя общеизвестно, что теми же генетическими алгоритмами таких результатов достигнуто не было.
Там и обычным rl не было ничего достигнуто сначала, пришлось завозить диплёрненх и долго биться чтоб этого говно заставить работать. Можно было и с генетических алгоритмов начать, не суть в общем.
>>53669
Нет, ебнутых шизиков на планете хватает.
Хайп в СМИ штука случайная и прямого отношения к науке не имеет. По тегу reinforcement learning на arxiv-sanity по несколько публикаций в день.
Что касается прогнозов с помощью прикладывания линейки во время какого-то революционного перехода, то тут есть два типа даунов. Первые - которые не понимают ступенчатый характер развития всего, потому что уверены, что любая ступнька - это не ступенька, а о боже пиздец сингулярность, а вторые - которые любое развитие отрицают.
Как правило, второй тип даунов - это проэволюционировавший первый. Сначала восторгались всякой хуйней, а потом якобы прозрели. Караван науки, меж тем, без этих хуесосов идет.
>Я один заметил, как оперативно слили reinforcement learning после заявлений Жокинга Бокинга Хокинга и Маска что тема апасная - ИИ, гроб, кладбище, терминатор, уничтожение человечества?
Нет, ебнутых шизиков на планете хватает.
Хайп в СМИ штука случайная и прямого отношения к науке не имеет. По тегу reinforcement learning на arxiv-sanity по несколько публикаций в день.
Что касается прогнозов с помощью прикладывания линейки во время какого-то революционного перехода, то тут есть два типа даунов. Первые - которые не понимают ступенчатый характер развития всего, потому что уверены, что любая ступнька - это не ступенька, а о боже пиздец сингулярность, а вторые - которые любое развитие отрицают.
Как правило, второй тип даунов - это проэволюционировавший первый. Сначала восторгались всякой хуйней, а потом якобы прозрели. Караван науки, меж тем, без этих хуесосов идет.
93 Кб, 1165x885>>54004
На тему reinforcement learning в конце 2018 замутили какую-то мегагитлер диплернинх архитектуру RND (random network distillation), до которой остальным вроде как до луны пешком пикрелейтед, и все равно выходят статьи типа той, на которую ссылка на Хабре, суть которых "все плохо, нихуя не работает, никакого прогресса за 3 года, результаты не превосходят рандомный перебор". Хотя очевидно, что потенциал у этой темы огромный и даже результаты имеются, все равно видна общая тенденция на ее слив.
На тему reinforcement learning в конце 2018 замутили какую-то мегагитлер диплернинх архитектуру RND (random network distillation), до которой остальным вроде как до луны пешком пикрелейтед, и все равно выходят статьи типа той, на которую ссылка на Хабре, суть которых "все плохо, нихуя не работает, никакого прогресса за 3 года, результаты не превосходят рандомный перебор". Хотя очевидно, что потенциал у этой темы огромный и даже результаты имеются, все равно видна общая тенденция на ее слив.
71 Кб, 420x280>>54017
Кому?
Если что то будет работать, его уничтожат. Вам долбоебам это еще в 50х на примере ЭС показали.
>Хотя очевидно
Кому?
>видна общая тенденция на ее слив.
Если что то будет работать, его уничтожат. Вам долбоебам это еще в 50х на примере ЭС показали.
>>54017
Не знаю, мне никогда эта тема не была интересна как раз из-за довольно хилого потенциала.
Если очень грубо, то сколько собаку не тренируй, говорить она не научится. И вот reinforcement learning он как раз про тренировку собак с практическими применениями уровня игровых ботов. Игры для атари 2600, ну вообще охуеть, крысу можно научить играть в атари 2600.
С точки зрения ИИ и прочей поеботы интереснее системы на RNN типа машинного перевода - они хотя бы делают то, что животным недоступно.
>Хотя очевидно, что потенциал у этой темы огромный и даже результаты имеются
Не знаю, мне никогда эта тема не была интересна как раз из-за довольно хилого потенциала.
Если очень грубо, то сколько собаку не тренируй, говорить она не научится. И вот reinforcement learning он как раз про тренировку собак с практическими применениями уровня игровых ботов. Игры для атари 2600, ну вообще охуеть, крысу можно научить играть в атари 2600.
С точки зрения ИИ и прочей поеботы интереснее системы на RNN типа машинного перевода - они хотя бы делают то, что животным недоступно.
>>52283
deeppavlov глянь, и всякое BERT-о подобное
deeppavlov глянь, и всякое BERT-о подобное
Поясните, что сейчас происходит с tensorflow. Ходел сделать сверточную сетку по книжкe Николенко. Вижу, что интерфейсы уже совсем не такие, поэтому делал то же самое, но по туториалу с сайта TF. Однако все равно вылезла стена из deprecation warningов, где мне предлагают завернуть все в уродливый неймспейс tf.compat.v1. Это не проблема, но мне не нравится, что я умудрился использовать устаревшую семантику, пользуясь якобы свежим API.
>>45660
По мере убывания годноты.
http://msc.skoltech.ru/nauki-o-dannykh
https://yandexdataschool.ru/
https://mipt.ru/education/departments/fpmi/master/data-analysis-ippi
https://mipt.ru/education/departments/fpmi/master/data-analysis
https://mipt.ru/education/departments/fpmi/master/cognitive-technologies-pmi
https://www.hse.ru/ma/datasci/
https://spb.hse.ru/ma/inpro/
https://compscicenter.ru/syllabus/on-campus/ds/
И т. д. Сейчас таких программ уже десятки.
По мере убывания годноты.
http://msc.skoltech.ru/nauki-o-dannykh
https://yandexdataschool.ru/
https://mipt.ru/education/departments/fpmi/master/data-analysis-ippi
https://mipt.ru/education/departments/fpmi/master/data-analysis
https://mipt.ru/education/departments/fpmi/master/cognitive-technologies-pmi
https://www.hse.ru/ma/datasci/
https://spb.hse.ru/ma/inpro/
https://compscicenter.ru/syllabus/on-campus/ds/
И т. д. Сейчас таких программ уже десятки.
>>54183
В ВШЭ вроде как надо в ШАД поступить, иначе не пустят на нормальную кафедру, за пределами которой не очень.
В ВШЭ вроде как надо в ШАД поступить, иначе не пустят на нормальную кафедру, за пределами которой не очень.
>>54194
там стипендию хорошую платят
там стипендию хорошую платят
>>54169
Не изменяется то, что мертво.
Не изменяется то, что мертво.
>>54169
Не хочу обратную совместимость, хочу кушать говно.
>но мне не нравится, что я умудрился использовать устаревшую семантику, пользуясь якобы свежим API
Не хочу обратную совместимость, хочу кушать говно.
Есть деньги и законченое профильное образование, нет опыта и желания зарабатывать 300кк/ceк в какой-то корпоративной дыре вроде гугола и остальных больших братьев. В какую лабораторию можно попробовать вписаться ради стажа, публикаций и науки ради фана? Из тех что не принадлежат корпорациям и не требуют муторного поступления на PhD знаю только MILA и может быть OpenAI, но хиккую писать.
Есть идея сделать пет-проект чисто для себя, основанный на распознавании не только моей речи, записанной на диктофон. Есть какие-то готовые решения в этой области? Какой прогресс в области распознавания речи? Куда вообще копать? Машобом не занимался со времён универа
>>54169
Из за того что дилёнеры стали массово перекатываться в пайторч, чуваки из гугла решили очень сильно переделать API. Новый API начинается с версии 2.0, но где-то с 1.2 они уже понапихали ворнингов, что весь твой код скоро превратится в легаси гавно.
Из за того что дилёнеры стали массово перекатываться в пайторч, чуваки из гугла решили очень сильно переделать API. Новый API начинается с версии 2.0, но где-то с 1.2 они уже понапихали ворнингов, что весь твой код скоро превратится в легаси гавно.
Почему бы не сделать установщик slesarplow.msi, который ставится как простая программа? Или это не илитно, когда не надо трясти яйцами с бубном над консолечкой?
>>54183
Благодарю. Можно ли вообще перекатиться из бекенда? Сейчас подтягивают математику, питон уже знаю, работаю 3 года. Хочу магистратуру на эту тему закончить. Мне на момент поступления уже лет 28 будет.
Благодарю. Можно ли вообще перекатиться из бекенда? Сейчас подтягивают математику, питон уже знаю, работаю 3 года. Хочу магистратуру на эту тему закончить. Мне на момент поступления уже лет 28 будет.
>>55182
Опущенный зумер гордится тем, что осилил одну команду в телетайпе из позапрошлого века. Сьеби отсюда, шмара.
Опущенный зумер гордится тем, что осилил одну команду в телетайпе из позапрошлого века. Сьеби отсюда, шмара.
test
>>55503
Мань, в слесарьплове теперь тоже граф динамический.
Мань, в слесарьплове теперь тоже граф динамический.
А никто не пробовал свои модели на толоку или mechanical turk какой-нибудь натравить чтобы денежки фармить? Или потенциально не выйдет ничего?
Нейрач, я тупой, дай совет.
Нужно ли балансить валидейшон дату? Тестовую дату отбалансировал, а с валидейшоном как? С одной стороны нужно, чтобы не повторялся один и тот же выбор слишком часто (классифицирую 3 вида объектов). С другой этого не бывает в реале, там превалирует один вид, а два периодически появляются. В гугле противоречивая информация.
Нужно ли балансить валидейшон дату? Тестовую дату отбалансировал, а с валидейшоном как? С одной стороны нужно, чтобы не повторялся один и тот же выбор слишком часто (классифицирую 3 вида объектов). С другой этого не бывает в реале, там превалирует один вид, а два периодически появляются. В гугле противоречивая информация.
>>56261
Основная информация, которую ты получаешь, это дельта между трейнинг лоссом и валидейшеном, поэтому их распределения должны быть похожи. Тогда сразу становится видно, например, если у тебя трейнинг лосс на порядок меньше, ты ушел в оверфит. Если распределения разные, тебе остается смотреть только на направление движения (уменьшается ли валидейшен лосс от эпохи к эпохе или нет), что хуже, хотя может и так сойти.
Основная информация, которую ты получаешь, это дельта между трейнинг лоссом и валидейшеном, поэтому их распределения должны быть похожи. Тогда сразу становится видно, например, если у тебя трейнинг лосс на порядок меньше, ты ушел в оверфит. Если распределения разные, тебе остается смотреть только на направление движения (уменьшается ли валидейшен лосс от эпохи к эпохе или нет), что хуже, хотя может и так сойти.
Откуда качнуть бигдату финансовых рынков?
>>56252
А как? Где взять тренировочные данные? Что там вообще за данные?
> А никто не пробовал свои модели на толоку или mechanical turk какой-нибудь натравить чтобы денежки фармить?
А как? Где взять тренировочные данные? Что там вообще за данные?
>>56275
То есть чтобы палить оверфит, то балансить нужно. Если не балансить, то получу точность для реальных данных (при условии, что нет оверфита). Правильно понял?
То есть чтобы палить оверфит, то балансить нужно. Если не балансить, то получу точность для реальных данных (при условии, что нет оверфита). Правильно понял?
>>56261
Трейнинг вообще балансить опасно как раз из-за возникающего несоответствия между распределением на обучении и в приложении.
Трейнинг вообще балансить опасно как раз из-за возникающего несоответствия между распределением на обучении и в приложении.
>>56377
В гугол?
В гугол?
За AIXI поясните. Охуенная жи тема, почему нигде не используется?
>>57131
Не, уравнивал количество семплов. Могу себе позволить.
Не, уравнивал количество семплов. Могу себе позволить.
22 Кб, 256x256Очередная победа машобчика, теперь каждый может стать аниме! https://selfie2anime.com/
>>58796
Это Убийца Гоблинов, что ли?
Это Убийца Гоблинов, что ли?
>>58796
недоученная сеть
недоученная сеть
>>58820
В спам часто падает.
>>58804
Ну разумеется, (((масонам))) прямо никакой жизни нет без унылого ебла Славика из Залупинска и его почты, куда кроме спама все равно ничего не приходит. Таблетки выпей.
> Отправил, долго ли они эту хуйню обрабатывать будут?
В спам часто падает.
>>58804
> давай, гой, запость своё ебало
> >и свою почту не забудь, чтобы было куда спам слать
Ну разумеется, (((масонам))) прямо никакой жизни нет без унылого ебла Славика из Залупинска и его почты, куда кроме спама все равно ничего не приходит. Таблетки выпей.
>>58859
Уже час не приходит. Хотя я им кучу отправил, может, они скопом отправят.
Уже час не приходит. Хотя я им кучу отправил, может, они скопом отправят.
>>58796
ЕБААТЬ! Да это жи ТЕРМИНАТОР!!!
ЕБААТЬ! Да это жи ТЕРМИНАТОР!!!
Что-то я так и не понял до сих пор, под гордым названием "атеншон" что, скрывается идея просто параллельно основной модели дополнительный денс слой вставить между входом и выходом?
Петюня оказался няшкой, лол
>>59071
Нет, там еще матричное умножение/сложение есть.
Нет, там еще матричное умножение/сложение есть.
Вот есть номинальная шкала и порядковая.
Например, рассматриваются места, которые заняли бегуны в соревновании
Вася 1
Петя 2
Кирилл 3
Вот эти вот 1,2,3 это номинальная или порядковая шкала, вроде как порядковая, но ведь номинальная шкала подразумевает коды какого-либо состояния, а этим состоянием может быть и занятое в соревновании место
Например, рассматриваются места, которые заняли бегуны в соревновании
Вася 1
Петя 2
Кирилл 3
Вот эти вот 1,2,3 это номинальная или порядковая шкала, вроде как порядковая, но ведь номинальная шкала подразумевает коды какого-либо состояния, а этим состоянием может быть и занятое в соревновании место
А как ml сочетается с фрилансом? Есть у кого опыт?
Есть шанс, что удастся пристроиться так, что берешь проект на несколько месяцев, решаешь проблему, получаешь бабло и валишь на полгода на Гоа курить бамбук?
Или ml это только фуллтайм?
Есть шанс, что удастся пристроиться так, что берешь проект на несколько месяцев, решаешь проблему, получаешь бабло и валишь на полгода на Гоа курить бамбук?
Или ml это только фуллтайм?
>>59659
В ml даже с удаленкой все плохо, не говоря уже о фрилансе. Сенситив дейта, вся хуйня.
В ml даже с удаленкой все плохо, не говоря уже о фрилансе. Сенситив дейта, вся хуйня.
>>59659
Фриланс млщика - это каггл. Выигрываешь контест с призовыми, живёшь на них от двух месяцев до полугода, дальше продолжаешь.
Фриланс млщика - это каггл. Выигрываешь контест с призовыми, живёшь на них от двух месяцев до полугода, дальше продолжаешь.
>>59769
Даже обезличенные данные хрен кто отгрузит непонятному фрилансеру. Тут внутри компании-то их получить - две недели будешь ждать пока со всеми согласуют. Ну и плюс, данные не обязательно персональные.
Даже обезличенные данные хрен кто отгрузит непонятному фрилансеру. Тут внутри компании-то их получить - две недели будешь ждать пока со всеми согласуют. Ну и плюс, данные не обязательно персональные.
>>59596
Порядковая, потому что на множестве, как ни странно, есть порядок, заданный самой предметной областью. Вообще порядковая - это расширение номинальной.
Порядковая, потому что на множестве, как ни странно, есть порядок, заданный самой предметной областью. Вообще порядковая - это расширение номинальной.
>>60422
Алсо, все равно хуйня получится, как с deepnude, то пизда поперек то ещё какая крипота. Современные нейроночки пока ещё не могут в нормальное порно.
Алсо, все равно хуйня получится, как с deepnude, то пизда поперек то ещё какая крипота. Современные нейроночки пока ещё не могут в нормальное порно.
Господа, а есть ли где-то готовые модели для питона (SciPy)?
Ну и в принципе готовые модели с весами уже для разных задач?
Мне вот надо на фото описать кривую по контуру человека, а самому собирать/качать петатонны выборки и вот всем этим говном заниматься не хотелось бы.
Спасибо.
Ну и в принципе готовые модели с весами уже для разных задач?
Мне вот надо на фото описать кривую по контуру человека, а самому собирать/качать петатонны выборки и вот всем этим говном заниматься не хотелось бы.
Спасибо.
>>58796
Хуета полнейшая, работает как говно.
Хуета полнейшая, работает как говно.
>>60713
есть
есть
>>60805
400к в месяц на руки -- хорошо чувак устроился.
400к в месяц на руки -- хорошо чувак устроился.
>>60800
Ну подскажи уж, куда смотреть лучше
Ну подскажи уж, куда смотреть лучше
Аноны, хочу вкатиться в Дата саентс и потом в ИИ книгой что на пике.
Что думаете по поводу этой книги?
Что думаете по поводу этой книги?
>>61006
Про тетеревов?
Про тетеревов?
>>61004
епта, как будто мы все тут по книгам вкатились. кто эту срань читать будет
епта, как будто мы все тут по книгам вкатились. кто эту срань читать будет
>>60434
Ты из какого года пишешь, cyclic consistency loss вам там ещё не завезли?
>Тренировочные данные (собственно, ЦП) - в любой стране лютое палево. А их гигабайты нужны.
Ты из какого года пишешь, cyclic consistency loss вам там ещё не завезли?
>>61189
Лол, а нахуя брать градиент, если у тебя уже либа все делает, все логично.
математикорабы батрачат на компутеробогов
Лол, а нахуя брать градиент, если у тебя уже либа все делает, все логично.
математикорабы батрачат на компутеробогов
>>61238
Если ты не понимаешь, как это все работает, твой потолок - сойбойские туториалы. Даже если попробуешь что-то на своих данных, а что-то не будет работать, ты даже не поймёшь в чем проблема, т.к твой уровень в этих технологиях это уровень бабки с пультом в полиэтиленовом пакетике, которая не понимает, почему Путин по ящику без звука, то ли действительно тиливизер сломался, то ли просто слуховой аппарат выпал.
Если ты не понимаешь, как это все работает, твой потолок - сойбойские туториалы. Даже если попробуешь что-то на своих данных, а что-то не будет работать, ты даже не поймёшь в чем проблема, т.к твой уровень в этих технологиях это уровень бабки с пультом в полиэтиленовом пакетике, которая не понимает, почему Путин по ящику без звука, то ли действительно тиливизер сломался, то ли просто слуховой аппарат выпал.
288 Кб, 1114x756Про OpenCv можно сюда вопросы задавать?
Мне нужно научиться экстрактить текст из комиксов, только каждый раз прога посылает меня нахуй, я уже не понимаю, какие фильтры нужно применять и как можно отсеивать ненужное.
Мне нужно научиться экстрактить текст из комиксов, только каждый раз прога посылает меня нахуй, я уже не понимаю, какие фильтры нужно применять и как можно отсеивать ненужное.
>>61314
Реально все настолько плохо?
Я вроде видел, что кто-то даже делал научную работу и теми же методами, что и я пользовался.
Реально все настолько плохо?
Я вроде видел, что кто-то даже делал научную работу и теми же методами, что и я пользовался.
>>61322
Можно ли тогда решить эту задачу с помощью какой-нибудь нейроночки?
По идее, всегда нужно искать правильные геометрические фигуры с надписью.
Можно ли тогда решить эту задачу с помощью какой-нибудь нейроночки?
По идее, всегда нужно искать правильные геометрические фигуры с надписью.
>>61238
Слои написать не проблема. Проблема скормить нужным образом данные и получить результат.
Слои написать не проблема. Проблема скормить нужным образом данные и получить результат.
>>61457
Просто попробуем все и оставим тот, на котором точность выше. Так обучают нейронки в проде все мои знакомые.
Просто попробуем все и оставим тот, на котором точность выше. Так обучают нейронки в проде все мои знакомые.
>>61273
Ну да, только чем программирование и МЛ становиться общедоступнее, тем это все "понимание" уходит на второй план и все меньше требуется, тк всем этим занимаются пару процентов людей для МЛ фреймворков и гайдов.
Ну да, только чем программирование и МЛ становиться общедоступнее, тем это все "понимание" уходит на второй план и все меньше требуется, тк всем этим занимаются пару процентов людей для МЛ фреймворков и гайдов.
>>61322
Ну ищи замкнутые контуры, в любом случае овал с текстом ничем от ебла твоего пиздоглаза теоретически не отличается. Хотя если размер области фиксирован, есть определенные типографические отступы текста и прочие признаки, можешь сиграть на них.
Ну ищи замкнутые контуры, в любом случае овал с текстом ничем от ебла твоего пиздоглаза теоретически не отличается. Хотя если размер области фиксирован, есть определенные типографические отступы текста и прочие признаки, можешь сиграть на них.
39 Кб, 616x450Господа, прошу помогите. Пробую выборку из ~2k записей с 6-ю параметрами - кластеризировать но мозгов не хватает, но увы на выходе из стандартного kmeans получаю 99% записей в одном кластере. В машобе - я практически полный 0, пожалуйста подскажите rкуда копать чтобы вникнуть и решить задачу.
>>61503
Я понял, я не нормализировал данные.
Я понял, я не нормализировал данные.
>>61478
Ну сами бабблы бывают разными, размер текста в них может иметь разные размеры, отступы от края у шрифта могут быть разными.
Мне лучше посмотреть на свертьчную сеть какую или дальше с opencv ебаться?
Ну сами бабблы бывают разными, размер текста в них может иметь разные размеры, отступы от края у шрифта могут быть разными.
Мне лучше посмотреть на свертьчную сеть какую или дальше с opencv ебаться?
>>61503
https://m.habr.com/ru/post/456282/
Не знаю, по каким критериям ты кластеризацию делаешь, но посмотри сначала, как твои данные вообще лежат в пространстве.
https://m.habr.com/ru/post/456282/
Не знаю, по каким критериям ты кластеризацию делаешь, но посмотри сначала, как твои данные вообще лежат в пространстве.
Как вообще "грокаем глубокое обучение" для нюфагов? Осилил примерно пол книжки пока, в целом понятно и совсем примитивную сетку-то вроде даже бахнуть могу, но такое ощущение, будто там прямо супербазовые знания даются только.
>>61536
С чем не ебись, адекватного решения не будет.
>Мне лучше посмотреть на свертьчную сеть какую или дальше с opencv ебаться?
С чем не ебись, адекватного решения не будет.
>>61536
Попробуй файнридер
Попробуй файнридер
>>61545
грокаем алгоритмы вводная книга, вангую что грокаем нейросети тоже вводная
грокаем алгоритмы вводная книга, вангую что грокаем нейросети тоже вводная
>>61457
Всегда Adam, ёпта. А если хуёво работает, то Adam + lr decay.
Всегда Adam, ёпта. А если хуёво работает, то Adam + lr decay.
>>61333
Unet semantic segmentation.
Только тебе придётся ручками понаразмечать какое-то количество данных.
Unet semantic segmentation.
Только тебе придётся ручками понаразмечать какое-то количество данных.
>>61628
Хм, получается, что фото лучше будет тогда подготовить, ведь многообразие кандзи может смутить нейроночку.
Может через какой фильтр прогнать, чтобы текст просто слипся или не стоит?
Хм, получается, что фото лучше будет тогда подготовить, ведь многообразие кандзи может смутить нейроночку.
Может через какой фильтр прогнать, чтобы текст просто слипся или не стоит?
>>61711
При достаточном количестве данных не смутит. Нейроночки значительно умнее, чем ты думаешь (при достаточном количестве данных и правильном препроцессинге).
При достаточном количестве данных не смутит. Нейроночки значительно умнее, чем ты думаешь (при достаточном количестве данных и правильном препроцессинге).
>>61503
Сначала посмотреть нужно, может у тебя и должно всё в одном кластере лежать. PCAем прогони, посмотри.
Сначала посмотреть нужно, может у тебя и должно всё в одном кластере лежать. PCAем прогони, посмотри.
>>59871
Ты чё ебень? Там серьезный ресерч для целых команд. Как ты собрался собирать state of the art модель в одиночку за неделю и не зная даже половины необходимой математики?
Ты чё ебень? Там серьезный ресерч для целых команд. Как ты собрался собирать state of the art модель в одиночку за неделю и не зная даже половины необходимой математики?
>>59659
Как показывает опыт знакомого:
1. Много дерьма от контор где 15-20 сотрудников. 60% ищут с почасовой оплатой где с тебя будут соки жать и педантично считать каждую минуту. Будешь сперва искать зависимости\закономерности в их говне, потом от тебя потребуют доработать их аналитику. Потом начнется дрочь, что предыдущие пункты - не МЛ, и по другому оплачиваются. Остальные, ищут того кто сможет собрать раму после ушедшего с проекта МЛщика.
2. Конторы поприличнее штатом - обычно фриланс не ищут, куча рисков и корпоративного говна. Даже если найдешь - скорее всего будешь работать на перспективу устроится к ним.
Готовься просрать кучу нервов и времени на трёп который тебе никто не оплатит. И еще дохуя времени на дрочь с фриланс аккаунтом.
Как показывает опыт знакомого:
1. Много дерьма от контор где 15-20 сотрудников. 60% ищут с почасовой оплатой где с тебя будут соки жать и педантично считать каждую минуту. Будешь сперва искать зависимости\закономерности в их говне, потом от тебя потребуют доработать их аналитику. Потом начнется дрочь, что предыдущие пункты - не МЛ, и по другому оплачиваются. Остальные, ищут того кто сможет собрать раму после ушедшего с проекта МЛщика.
2. Конторы поприличнее штатом - обычно фриланс не ищут, куча рисков и корпоративного говна. Даже если найдешь - скорее всего будешь работать на перспективу устроится к ним.
Готовься просрать кучу нервов и времени на трёп который тебе никто не оплатит. И еще дохуя времени на дрочь с фриланс аккаунтом.
>>59871
Ну и как, много контестов выиграл?
Ну и как, много контестов выиграл?
274 Кб, 1587x1600мне вот интересно, очевидно что знание прогноза будущего влияет на само будущее, это еще древние греки знали см. хотя бы историю эдипа, называется самоисполняющееся пророчество, а принимают ли во внимание все эти бесчисленные попытки предсказания будущих цен влияние самих предсказаний на цены, что кто-то будет покупать например на основе этих предсказаний и это взвинтит цены и т.д.
99 Кб, 564x789>>61917
Кому?
Ебали друг друга в жопы, кроме этого распиаренного говна была куча выдающихся цивилизаций
У трейдеров есть чуйка, приходящая с опытом, впрочем как и в любой сфере, которая не формализуется, это загадки интеллекта.
>очевидно
Кому?
>древние греки
Ебали друг друга в жопы, кроме этого распиаренного говна была куча выдающихся цивилизаций
>предсказания будущих цен
У трейдеров есть чуйка, приходящая с опытом, впрочем как и в любой сфере, которая не формализуется, это загадки интеллекта.
>>61917
Число людей, которые изменяют свое поведение и вообще следят за финансовым рынком -- статистическая погрешность в сравнении с количеством людей и факторов, которые влияют и составляют экономику и биржу валют.
Число людей, которые изменяют свое поведение и вообще следят за финансовым рынком -- статистическая погрешность в сравнении с количеством людей и факторов, которые влияют и составляют экономику и биржу валют.
231 Кб, 1280x789>>61931
Ты не совсем прав, есть самосбывающиеся предсказания, когда например куча роботов висит на каком то индикаторе тренда, очивидно что они сработают при определенных условиях
Ты не совсем прав, есть самосбывающиеся предсказания, когда например куча роботов висит на каком то индикаторе тренда, очивидно что они сработают при определенных условиях
>>61941
Как это связано с тем, что я сказал о погоде?
Я не знаю абсолютно ничего о том, какой процент этих ботов могут синхронизировано на что-то повлиять, насколько это зависит от политики стран и брокеров от разных компаний.
Так нахуя тут разспрягать если ни я ни ты оба, скорее всего, нихуя не экономисты?
Как это связано с тем, что я сказал о погоде?
Я не знаю абсолютно ничего о том, какой процент этих ботов могут синхронизировано на что-то повлиять, насколько это зависит от политики стран и брокеров от разных компаний.
Так нахуя тут разспрягать если ни я ни ты оба, скорее всего, нихуя не экономисты?
>>61946
Ну я торговал на фондовом, а ты нет.
Прилетят самолеты и распылят серебро перед праздником.
>если ни я ни ты оба
Ну я торговал на фондовом, а ты нет.
>что я сказал о погоде
Прилетят самолеты и распылят серебро перед праздником.
47 Кб, 326x281>>61946
Причем тут вообще погода, ты не видишь разницы между рынком и погодой, ты зумер что ли?
> Как это связано с тем, что я сказал о погоде?
Причем тут вообще погода, ты не видишь разницы между рынком и погодой, ты зумер что ли?
>>61917
Очевидно, что крупные игроки или слишком хитрые умники могут намеренно делать что-то такое. Была же история, как много лет курс битка по-сути управлялись двумя хз чьими ботами. Там какая-то схема была с массовым размещением buy и sell ордеров, которые не исполнялись, но влияли на разворот курса. Кто-то очень умный на этой хуйне неизвестное количество бабла поднял, т.к схема работала годами и позволяла манипулировать курсом.
> принимают ли во внимание все эти бесчисленные попытки предсказания будущих цен влияние самих предсказаний на цены, что кто-то будет покупать например на основе этих предсказаний и это взвинтит цены и т.д.
Очевидно, что крупные игроки или слишком хитрые умники могут намеренно делать что-то такое. Была же история, как много лет курс битка по-сути управлялись двумя хз чьими ботами. Там какая-то схема была с массовым размещением buy и sell ордеров, которые не исполнялись, но влияли на разворот курса. Кто-то очень умный на этой хуйне неизвестное количество бабла поднял, т.к схема работала годами и позволяла манипулировать курсом.
>>61928
Охуеть, блять, чуйка. Поешь говна. Зачем ты приводишь пример если ничего не знаешь по теме из которой берёшь его?
>У трейдеров есть чуйка
Охуеть, блять, чуйка. Поешь говна. Зачем ты приводишь пример если ничего не знаешь по теме из которой берёшь его?
>>61980
А хули нет то? Платят много, так как компаниям очень выгодно наебывать студентов. Соревнующихся сотни, а значит там наверняка есть люди умнее тебя.
А хули нет то? Платят много, так как компаниям очень выгодно наебывать студентов. Соревнующихся сотни, а значит там наверняка есть люди умнее тебя.
67 Кб, 1000x1000Не уверен, что это правильный тред для таких вопросов, но ничего более подходящего не нашёл.
Передо мной стоит задача, подразумевающая распознание очень экзотических образов на изображениях, и последующий анализ свойств этих образов. Со своей задачкой я хочу по итогу разобраться сам, поэтому приведу здесь эквивалентный пример и попрошу вас подсказать, хотя бы в какую сторону смотреть.
Представьте, что на вход вам приходят подобные изображения (только без вотермарок). Камера всегда сверху, фон всегда чистый, сосиски могут лежать как угодно (под любым углом относительно камеры, других сосисок и тд).
Задача - распознать все образы (сосиски) и, проанализировать некоторые их свойства, которые можно извлечь из каждого отдельного образа (допустим, длину и отклонение от "эталонной сосиски", которая прописана где-то в сеттингах).
Я от подобных задачек и вообще от этой сферы очень далёк, ещё не смог подружить своё мышление с тем, как обычно решают подобные задачки. Не могли бы вы подсказать мне, в какую сторону вообще смотреть, если я хочу решить подобную штуку. Всем заранее большое спасибо.
Передо мной стоит задача, подразумевающая распознание очень экзотических образов на изображениях, и последующий анализ свойств этих образов. Со своей задачкой я хочу по итогу разобраться сам, поэтому приведу здесь эквивалентный пример и попрошу вас подсказать, хотя бы в какую сторону смотреть.
Представьте, что на вход вам приходят подобные изображения (только без вотермарок). Камера всегда сверху, фон всегда чистый, сосиски могут лежать как угодно (под любым углом относительно камеры, других сосисок и тд).
Задача - распознать все образы (сосиски) и, проанализировать некоторые их свойства, которые можно извлечь из каждого отдельного образа (допустим, длину и отклонение от "эталонной сосиски", которая прописана где-то в сеттингах).
Я от подобных задачек и вообще от этой сферы очень далёк, ещё не смог подружить своё мышление с тем, как обычно решают подобные задачки. Не могли бы вы подсказать мне, в какую сторону вообще смотреть, если я хочу решить подобную штуку. Всем заранее большое спасибо.
>>62105
Ты о каггле первый раз только из пиздежа в треде ведь услышал, верно?
Ты о каггле первый раз только из пиздежа в треде ведь услышал, верно?
>>61946
хз почему ты вообще что-то сказал про погоду
погода не зависит от людей а цены на товары зависят
и рынок особенно локальный для многих товаров весьма мелкий
хз почему ты вообще что-то сказал про погоду
погода не зависит от людей а цены на товары зависят
и рынок особенно локальный для многих товаров весьма мелкий
>>62126
OpenCV, давно был бугурт на их форуме когда детали с транспортерной ленты распознавали, более менее, в отличии от нейроговна.
>Камера всегда сверху, фон всегда чистый, сосиски могут лежать как угодно (под любым углом относительно камеры, других сосисок и тд).
OpenCV, давно был бугурт на их форуме когда детали с транспортерной ленты распознавали, более менее, в отличии от нейроговна.
>>62217
да вы вообще не о том
просто пример - нейросетка предсказала тебе что картошка будет дешевая в россии допустим в последнюю неделю августа, ты начал закупаться, но такое же предсказание получило еще тысяча человек картофельных трейдеров, половина всех картофельных оптовиков россии условно, и все они побежали закупаться и в итоге цена картошки вместо падения выросла
с развитием популярности нейросетей подобное наверняка будет сплошь и рядом
да вы вообще не о том
просто пример - нейросетка предсказала тебе что картошка будет дешевая в россии допустим в последнюю неделю августа, ты начал закупаться, но такое же предсказание получило еще тысяча человек картофельных трейдеров, половина всех картофельных оптовиков россии условно, и все они побежали закупаться и в итоге цена картошки вместо падения выросла
с развитием популярности нейросетей подобное наверняка будет сплошь и рядом
>>62220
Всё, что я находил по "OpenCV object detection", опиралось на нейронки под капотом, и распознавало в основном объекты типа машин и котов - то, что есть в стандартных датасетах. Не мог бы ты подсказать, на что смотреть? А то модулей у него немало, я пока не смог найти ни отвечающий за подобные вещи модуль в доке, ни обучающую литературу, которая рассматривает подобные штуки.
>>62151
Да, выглядит до смешного похоже на мою задачу. Если я решу пойти по этому пути, то мне надо будет обучать нейронку и, раз объекта нету в публичных датасетах, самому собрать датасет с моими объектами?
Всё, что я находил по "OpenCV object detection", опиралось на нейронки под капотом, и распознавало в основном объекты типа машин и котов - то, что есть в стандартных датасетах. Не мог бы ты подсказать, на что смотреть? А то модулей у него немало, я пока не смог найти ни отвечающий за подобные вещи модуль в доке, ни обучающую литературу, которая рассматривает подобные штуки.
>>62151
Да, выглядит до смешного похоже на мою задачу. Если я решу пойти по этому пути, то мне надо будет обучать нейронку и, раз объекта нету в публичных датасетах, самому собрать датасет с моими объектами?
>>62232
Речь об обсуждаемых системах. Причем тут ты вообще? Сейчас бы какой-то зумер на что-то влиял.
> В мировом масштабе для меня как для субъекта влияния на этот объект почти нет.
Речь об обсуждаемых системах. Причем тут ты вообще? Сейчас бы какой-то зумер на что-то влиял.
>>62222
Ну так те кто зарабаитвает уйдут в шот, лол. А во втопых, никтотв здпавом смысле на нейронки не будет полагаться.
>но такое же предсказание получило еще тысяча человек картофельных трейдеров
Ну так те кто зарабаитвает уйдут в шот, лол. А во втопых, никтотв здпавом смысле на нейронки не будет полагаться.
>>62289
те кто уйдут в шорт разорятся
интересно будет когда предсказание начнет учитывать эффект самого предсказания...
те кто уйдут в шорт разорятся
интересно будет когда предсказание начнет учитывать эффект самого предсказания...
>>62126
В сосисках на производстве нихуя экзотического нет.
Друг на друге лежать могут?
Если нет, то задача сводится к выделению связных регионов и фильтрации этих регионов по каким-то вручную подобранным критериям.
Нужно подобрать такой цвет и направление подсветки, чтобы контраст твоих сосисек был максимальным. Вообще программисты часто недооценивают то насколько физика может упростить жизнь.
Затем нужно подобрать преобразование цветное изображение -> black and white (не grayscale, а black and white), где черному будет соответствать положение "нет сосиски", а белому - есть.
Например, если без векторизации (вдруг ты матлаба не знаешь), по тупому и применять фильтрацию по цвету, то выбираешь усредненный цвет сосиски, вручную или статистическим образом, и делаешь следующее
color_sosiski_r = 255;
color_sosiski_g = 20;
color_sosiski_b = 40;
for (int i = строки)
for (int j = столбцы) {
kartinka[j][r] = sqrt((color_sosiski_r - kartinka[j][r])^2 + (color_sosiski_g - kartinka[j][g])^2 + (color_sosiski_b - kartinka[j])^2)
kartinka[j][g] = 0;
kartinka[j] = 0;
}
Таким образом ты получишь изображение того как цвет картинки отклоняется от некоторого базового цвета. Затем сравниваешь это с вручную заданным порогом:
for (int i = строки)
for (int j = столбцы) {
kartinka[j][r] = kartinka[j][r] < THRESH ? 1 : 0;
}
Ты получил бинарное изображение. Применяешь к нему дилатацию несколько раз, чтобы съест узлы межу сосисками, чтобы они стали отдельными фигурами. Теперь можно применять алгоритмы region properties. Пиздуешь сюда https://docs.opencv.org/3.1.0/d1/d32/tutorial_py_contour_properties.html https://docs.opencv.org/trunk/dd/d49/tutorial_py_contour_features.html и получаешь список свойств регионов (хотя для прототипизации матлабовский regionprops удобнее и вообще вся задача решается несколькими строками на матлабе). Отсеиваешь заведомо хуевые регионы, например, по площади (10 пикселей это мусор а не сосиска)), по вытянутости эллипса и т. п.
Что касается ML,
Вместо первого этапа отсеивания по цвету можно применить сегментирующую нейронку.
Вместо последнего этапа можно получить все возможные region properties у сегментов и скормить разного рода ML-вычисляторам.
В целом нужно начинать с мануального дизайна и, если задача не выполняется, добавлять ML.
>Передо мной стоит задача, подразумевающая распознание очень экзотических образов на изображениях, и последующий анализ свойств этих образов.
В сосисках на производстве нихуя экзотического нет.
>сосиски могут лежать как угодно
Друг на друге лежать могут?
Если нет, то задача сводится к выделению связных регионов и фильтрации этих регионов по каким-то вручную подобранным критериям.
Нужно подобрать такой цвет и направление подсветки, чтобы контраст твоих сосисек был максимальным. Вообще программисты часто недооценивают то насколько физика может упростить жизнь.
Затем нужно подобрать преобразование цветное изображение -> black and white (не grayscale, а black and white), где черному будет соответствать положение "нет сосиски", а белому - есть.
Например, если без векторизации (вдруг ты матлаба не знаешь), по тупому и применять фильтрацию по цвету, то выбираешь усредненный цвет сосиски, вручную или статистическим образом, и делаешь следующее
color_sosiski_r = 255;
color_sosiski_g = 20;
color_sosiski_b = 40;
for (int i = строки)
for (int j = столбцы) {
kartinka[j][r] = sqrt((color_sosiski_r - kartinka[j][r])^2 + (color_sosiski_g - kartinka[j][g])^2 + (color_sosiski_b - kartinka[j])^2)
kartinka[j][g] = 0;
kartinka[j] = 0;
}
Таким образом ты получишь изображение того как цвет картинки отклоняется от некоторого базового цвета. Затем сравниваешь это с вручную заданным порогом:
for (int i = строки)
for (int j = столбцы) {
kartinka[j][r] = kartinka[j][r] < THRESH ? 1 : 0;
}
Ты получил бинарное изображение. Применяешь к нему дилатацию несколько раз, чтобы съест узлы межу сосисками, чтобы они стали отдельными фигурами. Теперь можно применять алгоритмы region properties. Пиздуешь сюда https://docs.opencv.org/3.1.0/d1/d32/tutorial_py_contour_properties.html https://docs.opencv.org/trunk/dd/d49/tutorial_py_contour_features.html и получаешь список свойств регионов (хотя для прототипизации матлабовский regionprops удобнее и вообще вся задача решается несколькими строками на матлабе). Отсеиваешь заведомо хуевые регионы, например, по площади (10 пикселей это мусор а не сосиска)), по вытянутости эллипса и т. п.
Что касается ML,
Вместо первого этапа отсеивания по цвету можно применить сегментирующую нейронку.
Вместо последнего этапа можно получить все возможные region properties у сегментов и скормить разного рода ML-вычисляторам.
В целом нужно начинать с мануального дизайна и, если задача не выполняется, добавлять ML.
>>62126
В сосисках на производстве нихуя экзотического нет.
Друг на друге лежать могут?
Если нет, то задача сводится к выделению связных регионов и фильтрации этих регионов по каким-то вручную подобранным критериям.
Нужно подобрать такой цвет и направление подсветки, чтобы контраст твоих сосисек был максимальным. Вообще программисты часто недооценивают то насколько физика может упростить жизнь.
Затем нужно подобрать преобразование цветное изображение -> black and white (не grayscale, а black and white), где черному будет соответствать положение "нет сосиски", а белому - есть.
Например, если без векторизации (вдруг ты матлаба не знаешь), по тупому и применять фильтрацию по цвету, то выбираешь усредненный цвет сосиски, вручную или статистическим образом, и делаешь следующее
color_sosiski_r = 255;
color_sosiski_g = 20;
color_sosiski_b = 40;
for (int i = строки)
for (int j = столбцы) {
kartinka[j][r] = sqrt((color_sosiski_r - kartinka[j][r])^2 + (color_sosiski_g - kartinka[j][g])^2 + (color_sosiski_b - kartinka[j])^2)
kartinka[j][g] = 0;
kartinka[j] = 0;
}
Таким образом ты получишь изображение того как цвет картинки отклоняется от некоторого базового цвета. Затем сравниваешь это с вручную заданным порогом:
for (int i = строки)
for (int j = столбцы) {
kartinka[j][r] = kartinka[j][r] < THRESH ? 1 : 0;
}
Ты получил бинарное изображение. Применяешь к нему дилатацию несколько раз, чтобы съест узлы межу сосисками, чтобы они стали отдельными фигурами. Теперь можно применять алгоритмы region properties. Пиздуешь сюда https://docs.opencv.org/3.1.0/d1/d32/tutorial_py_contour_properties.html https://docs.opencv.org/trunk/dd/d49/tutorial_py_contour_features.html и получаешь список свойств регионов (хотя для прототипизации матлабовский regionprops удобнее и вообще вся задача решается несколькими строками на матлабе). Отсеиваешь заведомо хуевые регионы, например, по площади (10 пикселей это мусор а не сосиска)), по вытянутости эллипса и т. п.
Что касается ML,
Вместо первого этапа отсеивания по цвету можно применить сегментирующую нейронку.
Вместо последнего этапа можно получить все возможные region properties у сегментов и скормить разного рода ML-вычисляторам.
В целом нужно начинать с мануального дизайна и, если задача не выполняется, добавлять ML.
>Передо мной стоит задача, подразумевающая распознание очень экзотических образов на изображениях, и последующий анализ свойств этих образов.
В сосисках на производстве нихуя экзотического нет.
>сосиски могут лежать как угодно
Друг на друге лежать могут?
Если нет, то задача сводится к выделению связных регионов и фильтрации этих регионов по каким-то вручную подобранным критериям.
Нужно подобрать такой цвет и направление подсветки, чтобы контраст твоих сосисек был максимальным. Вообще программисты часто недооценивают то насколько физика может упростить жизнь.
Затем нужно подобрать преобразование цветное изображение -> black and white (не grayscale, а black and white), где черному будет соответствать положение "нет сосиски", а белому - есть.
Например, если без векторизации (вдруг ты матлаба не знаешь), по тупому и применять фильтрацию по цвету, то выбираешь усредненный цвет сосиски, вручную или статистическим образом, и делаешь следующее
color_sosiski_r = 255;
color_sosiski_g = 20;
color_sosiski_b = 40;
for (int i = строки)
for (int j = столбцы) {
kartinka[j][r] = sqrt((color_sosiski_r - kartinka[j][r])^2 + (color_sosiski_g - kartinka[j][g])^2 + (color_sosiski_b - kartinka[j])^2)
kartinka[j][g] = 0;
kartinka[j] = 0;
}
Таким образом ты получишь изображение того как цвет картинки отклоняется от некоторого базового цвета. Затем сравниваешь это с вручную заданным порогом:
for (int i = строки)
for (int j = столбцы) {
kartinka[j][r] = kartinka[j][r] < THRESH ? 1 : 0;
}
Ты получил бинарное изображение. Применяешь к нему дилатацию несколько раз, чтобы съест узлы межу сосисками, чтобы они стали отдельными фигурами. Теперь можно применять алгоритмы region properties. Пиздуешь сюда https://docs.opencv.org/3.1.0/d1/d32/tutorial_py_contour_properties.html https://docs.opencv.org/trunk/dd/d49/tutorial_py_contour_features.html и получаешь список свойств регионов (хотя для прототипизации матлабовский regionprops удобнее и вообще вся задача решается несколькими строками на матлабе). Отсеиваешь заведомо хуевые регионы, например, по площади (10 пикселей это мусор а не сосиска)), по вытянутости эллипса и т. п.
Что касается ML,
Вместо первого этапа отсеивания по цвету можно применить сегментирующую нейронку.
Вместо последнего этапа можно получить все возможные region properties у сегментов и скормить разного рода ML-вычисляторам.
В целом нужно начинать с мануального дизайна и, если задача не выполняется, добавлять ML.
>>61917
Конечно, теханализ он в принципе об этом. Если бы на цену влияли только фундаментальные факторы, никакого теханализа не существовало бы.
>а принимают ли во внимание все эти бесчисленные попытки предсказания будущих цен влияние самих предсказаний на цены
Конечно, теханализ он в принципе об этом. Если бы на цену влияли только фундаментальные факторы, никакого теханализа не существовало бы.
>>62414
Не проще диплернинх ебануть? Негров или котов на необработанных фотках распознает, значит и сосиски сможет.
Не проще диплернинх ебануть? Негров или котов на необработанных фотках распознает, значит и сосиски сможет.
>>62431
Прочитай последний абзац. UNet сможет сегментировать сосиски вместо ручного сравнения отклонения цвета, но это только часть пайплайна. Следующую часть пайплайна (выделение разного рода свойств сосисек) тоже можно сделать на нейронках, но лично я не знаю, насколько хорошо будет работать какой-нибудь измеритель длины сосиски который на вход получает изображение ее длины. Скорее всего хуево. А на базе классического алгоритма можно запилить что попроще.
Если нужно было бы тупо посчитать число сосисек, то да, object detection сетка бы справилась end-to-end.
Прочитай последний абзац. UNet сможет сегментировать сосиски вместо ручного сравнения отклонения цвета, но это только часть пайплайна. Следующую часть пайплайна (выделение разного рода свойств сосисек) тоже можно сделать на нейронках, но лично я не знаю, насколько хорошо будет работать какой-нибудь измеритель длины сосиски который на вход получает изображение ее длины. Скорее всего хуево. А на базе классического алгоритма можно запилить что попроще.
Если нужно было бы тупо посчитать число сосисек, то да, object detection сетка бы справилась end-to-end.
>>62441
Ну можно при обучении модели сразу задать несколько классов по длине сосисок - maly_sosiska, norm_sosiska, bolshoi_sosiska, oche_bolshoi_sosiska. И по форме, и нормальная, кривая, сломанная.
Ну можно при обучении модели сразу задать несколько классов по длине сосисок - maly_sosiska, norm_sosiska, bolshoi_sosiska, oche_bolshoi_sosiska. И по форме, и нормальная, кривая, сломанная.
>>62516
Знаем какие сосиски он классифицирует, хихи
Знаем какие сосиски он классифицирует, хихи
>>62414
Спасибо, ты мне дал очень дельную пищу для размышлений. Сразу оговорюсь, что >>62431 и >>62482 - не я.
Да, сосиски могут лежать друг на друге и это меня очень сильно смущает. Есть ли у тебя идеи, как можно бороться с подобным?
Классифицирую я далеко не сосиски, свойства у них будут гораздо сложнее. Но все необходимые свойства содержатся внутри каждого образа каждой конкретной сосиски и я предполагаю, что смогу работать с каждой сосиской отдельно, после того как их выделю. Это тоже важный вопрос - как считаешь, насколько безопасно на это надеяться?
По поводу сниппета, который ты предоставил выше:
в теле цикла ты не упустил обращение к ключу? Типа, kartinka[j][r] вместо kartinka[j][r]. Речь ведь идёт о попиксельном обходе изображения?
Очень признателен за такой подробный ответ, сильно благодарен и буду очень рад, если ты ответишь на мои вопросы.
Спасибо, ты мне дал очень дельную пищу для размышлений. Сразу оговорюсь, что >>62431 и >>62482 - не я.
Да, сосиски могут лежать друг на друге и это меня очень сильно смущает. Есть ли у тебя идеи, как можно бороться с подобным?
Классифицирую я далеко не сосиски, свойства у них будут гораздо сложнее. Но все необходимые свойства содержатся внутри каждого образа каждой конкретной сосиски и я предполагаю, что смогу работать с каждой сосиской отдельно, после того как их выделю. Это тоже важный вопрос - как считаешь, насколько безопасно на это надеяться?
По поводу сниппета, который ты предоставил выше:
в теле цикла ты не упустил обращение к ключу? Типа, kartinka[j][r] вместо kartinka[j][r]. Речь ведь идёт о попиксельном обходе изображения?
Очень признателен за такой подробный ответ, сильно благодарен и буду очень рад, если ты ответишь на мои вопросы.
564 Кб, 768x461>>62624
Проще всего взять нейронку. Посмотри на пикрелейтед, люди перекрывают друг друга, но детектируется оно более-менее нормально.
Берешь какую-нибудь готовую архитектуру для object detection, тренируешь ее на нескольких тысячах фотографий с перекрывающимися сосисками, и вперед.
Классические алгоритмы тоже можно придумать, например, детектировать концы сосисек (например, виолой-джонсом), соединять подходящие пары концов. Правда сосиски могут перекрывать и концы друг друга... Не, нейронка надежнее.
Если они друг на друге лежат, не знаю. Может это вообще 2 короткие сосиски под одной длинной.
Можно поставить 2 камеры и получать облако точек из их паралакса, либо из паралакса между 2 кадрами видео. Имея облако точек, можно матчить эти точки с эталоном прямо в 3д.
Ну да, Должно быть kartinka[j][r], мол, конкретный пиксель, его красный канал.
>Да, сосиски могут лежать друг на друге и это меня очень сильно смущает. Есть ли у тебя идеи, как можно бороться с подобным?
Проще всего взять нейронку. Посмотри на пикрелейтед, люди перекрывают друг друга, но детектируется оно более-менее нормально.
Берешь какую-нибудь готовую архитектуру для object detection, тренируешь ее на нескольких тысячах фотографий с перекрывающимися сосисками, и вперед.
Классические алгоритмы тоже можно придумать, например, детектировать концы сосисек (например, виолой-джонсом), соединять подходящие пары концов. Правда сосиски могут перекрывать и концы друг друга... Не, нейронка надежнее.
>я предполагаю, что смогу работать с каждой сосиской отдельно, после того как их выделю
Если они друг на друге лежат, не знаю. Может это вообще 2 короткие сосиски под одной длинной.
Можно поставить 2 камеры и получать облако точек из их паралакса, либо из паралакса между 2 кадрами видео. Имея облако точек, можно матчить эти точки с эталоном прямо в 3д.
>По поводу сниппета, который ты предоставил выше: в теле цикла ты не упустил обращение к ключу? Типа, kartinka[j][r] вместо kartinka[j][r]. Речь ведь идёт о попиксельном обходе изображения?
Ну да, Должно быть kartinka[j][r], мол, конкретный пиксель, его красный канал.
>>62673
А, ну да, разметка съела i.
По остальному - ты дал мне кучу простора для исследований, спасибо тебе большое за это! Думаю, уже смогу как минимум начать двигаться в правильном направлении.
>Ну да, Должно быть kartinka[j][r], мол, конкретный пиксель, его красный канал.
А, ну да, разметка съела i.
По остальному - ты дал мне кучу простора для исследований, спасибо тебе большое за это! Думаю, уже смогу как минимум начать двигаться в правильном направлении.
>>60713
нет
нет
277 Кб, 787x582>>61797
Я таки решил, что это излишне, можно попробовать стандартными методами попробовать реализовать
Хотя нейроночка тоже должна находить контуры, только вот с таким будет проблемно.
Я таки решил, что это излишне, можно попробовать стандартными методами попробовать реализовать
Хотя нейроночка тоже должна находить контуры, только вот с таким будет проблемно.
>>62942
В принципе чтобы ответить на вопрос задачи о выделении кластеров\класов из данных и их описании, считаю нужно преобразовать обратно из Z, вывести среднее по меткам кластеров и у нас типа есть описание класса. Но это я так думаю, по-этому реквестирую как вывести в R много графиков - комбинации всех переменных.
В принципе чтобы ответить на вопрос задачи о выделении кластеров\класов из данных и их описании, считаю нужно преобразовать обратно из Z, вывести среднее по меткам кластеров и у нас типа есть описание класса. Но это я так думаю, по-этому реквестирую как вывести в R много графиков - комбинации всех переменных.
>>61281
Обрабатываешь изображение (немного размытия, и бинаризация), извлекаешь из получившийся картинки контуры текстовых рамок. Фильтруешь их по площади. Дальше ищешь пары, где контур в контуре, и выкидываешь внешние (это как правило всякие рамки сцен, а не текста). Потом берешь оставшиеся контуры и используешь их как маску для извлечения текста. Уже на этом этапе получишь точность под 90%. Если хочешь больше - фильтруй уже текст, используя анализ связанных компонентов. Убираешь слишком маленькие и слишком большые - получаешь точность 95%. Если хочешь еще больше, можешь посчитать центроиды букв и анализировать из расположение.
Если все сделаешь правильно, получишь 99% точность без всякого нейроговна .
>Мне нужно научиться экстрактить текст из комиксов, только каждый раз прога посылает меня нахуй, я уже не понимаю, какие фильтры нужно применять и как можно отсеивать ненужное.
Обрабатываешь изображение (немного размытия, и бинаризация), извлекаешь из получившийся картинки контуры текстовых рамок. Фильтруешь их по площади. Дальше ищешь пары, где контур в контуре, и выкидываешь внешние (это как правило всякие рамки сцен, а не текста). Потом берешь оставшиеся контуры и используешь их как маску для извлечения текста. Уже на этом этапе получишь точность под 90%. Если хочешь больше - фильтруй уже текст, используя анализ связанных компонентов. Убираешь слишком маленькие и слишком большые - получаешь точность 95%. Если хочешь еще больше, можешь посчитать центроиды букв и анализировать из расположение.
Если все сделаешь правильно, получишь 99% точность без всякого нейроговна .
>>61503
>>62934
>>62949
Лол, родина дала тысячи алгоритмов для такого, тем более в R, где есть вещи, которых больше вообще нигде нет, нит не хочу, хочу KNN содомировать. Кто сказал, что конкретно этот датасет вообще кластеры содержит? Если априори известно, что там два класса, не проще SVM попробовать? Если же структура неизвестна и хз что там и как, тогда лучше SOM. И так далее.
>>62934
>>62949
Лол, родина дала тысячи алгоритмов для такого, тем более в R, где есть вещи, которых больше вообще нигде нет, нит не хочу, хочу KNN содомировать. Кто сказал, что конкретно этот датасет вообще кластеры содержит? Если априори известно, что там два класса, не проще SVM попробовать? Если же структура неизвестна и хз что там и как, тогда лучше SOM. И так далее.
>>62961
Об этом датасете вообще нихуя не известно и цель задачи - класифицировать его. Пойду почитаю о SVM\SOM. Спасибо.
Об этом датасете вообще нихуя не известно и цель задачи - класифицировать его. Пойду почитаю о SVM\SOM. Спасибо.
>>62951
Вот характерный признак петушиного диванного поста - слово нейроговно. Если видишь его, значит петух 100% нихуя не понимает ни в нейронках, ни в классическом CV. Сука "извлекаешь из получившийся картинки контуры текстовых рамок". В этой фразе лежит AI, который сложнее изначальной задачи.
С точки зрения классики, иероглифы являются весьма специфическими объектами со специфическим наобором фич. Искать нужно их, а не контуры, которые в манге могут быть какими угодно и даже отсутствовать. Соответственно, тебе нужен классификатор, которой по маске типа 32х32 выдаст, есть ли в нем иероглиф, либо нет. Затем ты бьешь свою картинку на блоки 32х32 с 50% перекрытием и скармливаешь каждый блок этому классификатору. Получишь в итоге бинарную маску - есть ли в блоке иероглиф, либо нет. К этой маске применяешь дилатацию. Получаешь блоки с текстом, вокруг которых через region properties можно обвести квадраты, если очень нужно.
Легко видеть, что это сильно упрощенный пайплайн object detection нейросети. Так оно и есть. Поэтому, если ограничений на скорость нет, нужно брать нейронку и херачить end-to-end либо сегментацию либо object detection.
Вот характерный признак петушиного диванного поста - слово нейроговно. Если видишь его, значит петух 100% нихуя не понимает ни в нейронках, ни в классическом CV. Сука "извлекаешь из получившийся картинки контуры текстовых рамок". В этой фразе лежит AI, который сложнее изначальной задачи.
С точки зрения классики, иероглифы являются весьма специфическими объектами со специфическим наобором фич. Искать нужно их, а не контуры, которые в манге могут быть какими угодно и даже отсутствовать. Соответственно, тебе нужен классификатор, которой по маске типа 32х32 выдаст, есть ли в нем иероглиф, либо нет. Затем ты бьешь свою картинку на блоки 32х32 с 50% перекрытием и скармливаешь каждый блок этому классификатору. Получишь в итоге бинарную маску - есть ли в блоке иероглиф, либо нет. К этой маске применяешь дилатацию. Получаешь блоки с текстом, вокруг которых через region properties можно обвести квадраты, если очень нужно.
Легко видеть, что это сильно упрощенный пайплайн object detection нейросети. Так оно и есть. Поэтому, если ограничений на скорость нет, нужно брать нейронку и херачить end-to-end либо сегментацию либо object detection.
>>62991
Контуры ищутся классическими алгоритмами без AI. По поводу текстовых рамок я не до конца объяснил. Извлекать надо все контуры, а потом уже фильтровать. Из тысяч контуров после выборки по площади остаются несколько десятков, половина из которых - рамки текста.
Только эти фичи можно распознать исключительно нейронкой, которую ты не сможешь натренировать из-за отсутствия датасета. Удачи размечать руками 100к+ картинок.
Еще раз - у тебя нет данных. Даже если ты автоматически сгенеришь сами иероглифы, ты не сможешь сгенерить нормальные нормальные примеры их отсутствия. Твой классификатор обосрется на реальной задаче, поскольку он не видел каких-нибудь кустиков, и считает их иероглифами.
>Сука "извлекаешь из получившийся картинки контуры текстовых рамок". В этой фразе лежит AI, который сложнее изначальной задачи.
Контуры ищутся классическими алгоритмами без AI. По поводу текстовых рамок я не до конца объяснил. Извлекать надо все контуры, а потом уже фильтровать. Из тысяч контуров после выборки по площади остаются несколько десятков, половина из которых - рамки текста.
>С точки зрения классики, иероглифы являются весьма специфическими объектами со специфическим наобором фич. Искать нужно их, а не контуры, которые в манге могут быть какими угодно и даже отсутствовать.
Только эти фичи можно распознать исключительно нейронкой, которую ты не сможешь натренировать из-за отсутствия датасета. Удачи размечать руками 100к+ картинок.
>Соответственно, тебе нужен классификатор, которой по маске типа 32х32 выдаст, есть ли в нем иероглиф, либо нет. Затем ты бьешь свою картинку на блоки 32х32 с 50% перекрытием и скармливаешь каждый блок этому классификатору. Получишь в итоге бинарную маску - есть ли в блоке иероглиф, либо нет. К этой маске применяешь дилатацию. Получаешь блоки с текстом, вокруг которых через region properties можно обвести квадраты, если очень нужно.
Еще раз - у тебя нет данных. Даже если ты автоматически сгенеришь сами иероглифы, ты не сможешь сгенерить нормальные нормальные примеры их отсутствия. Твой классификатор обосрется на реальной задаче, поскольку он не видел каких-нибудь кустиков, и считает их иероглифами.
>>63001
В манге площадь может отличаться от небольшого слова до огромного баллона в полстраницы. Фильтрация по площади хороша для отсева всякого мелкого мусора, но не здесь.
Алгоритмы выделения контуров просто выделяют контуры в растровом изображении, они их не векторизуют, а векторизация вылезет тебе в отдельный геморрой, при чем в результате у тебя будут не тысячи контуров, там будет комбинаторный взрыв нахуй.
Более того, твой первый этап (немного размытия и бинаризация) требует AI, например, для выбора порога бинаризации. Потому что с неправильным порогом оно будет выглядеть как пикрелейтед в посте >>61281.
А контраст этих баблов относительно изображения может быть каким угодно, при чем даже в пределах одной манги. Они могут вообще отсутствовать.
Точность 50% вообще никуда не годится
Как же файнридер прямоугольники с текстом искал в 2002 году? Вот здесь как раз можно написать бы о том, что классификатор 32х32, который отвечает на вопрос, есть ли внутри иероглиф, можно захуячить на чем угодно, а ты пишешь о том, что исключительно нейронкой.
Какие 100к+ картинок, древний alexnet учится распознавать котов по 1000 примеров без аугментации. Взять паинт и разметить текст в 10к баллонов из манги можно за несколько часов, потому что закрасить кисточкой текст внутри сложности не представляет. Если самому лень, анон в воркаче это сделает по цене пиццы с доставкой.
Другой вопрос, что пилить собственный OCR в 2019 году так себе идея. Собственно поэтому я вопрос этого анона игнорил, он страдает какой-то хуйней.
Это не страшно, потому что иероглифы будут образовывать кластеры на маске сегментации, а кустики нет. Здесь как раз фильтрация по площади, прямоугольности, эллипсоидности и т. п. пригодится.
>после выборки по площади
В манге площадь может отличаться от небольшого слова до огромного баллона в полстраницы. Фильтрация по площади хороша для отсева всякого мелкого мусора, но не здесь.
Алгоритмы выделения контуров просто выделяют контуры в растровом изображении, они их не векторизуют, а векторизация вылезет тебе в отдельный геморрой, при чем в результате у тебя будут не тысячи контуров, там будет комбинаторный взрыв нахуй.
Более того, твой первый этап (немного размытия и бинаризация) требует AI, например, для выбора порога бинаризации. Потому что с неправильным порогом оно будет выглядеть как пикрелейтед в посте >>61281.
А контраст этих баблов относительно изображения может быть каким угодно, при чем даже в пределах одной манги. Они могут вообще отсутствовать.
>половина из которых - рамки текста.
Точность 50% вообще никуда не годится
>Только эти фичи можно распознать исключительно нейронкой, которую ты не сможешь натренировать из-за отсутствия датасета.
Как же файнридер прямоугольники с текстом искал в 2002 году? Вот здесь как раз можно написать бы о том, что классификатор 32х32, который отвечает на вопрос, есть ли внутри иероглиф, можно захуячить на чем угодно, а ты пишешь о том, что исключительно нейронкой.
>Удачи размечать руками 100к+ картинок.
Какие 100к+ картинок, древний alexnet учится распознавать котов по 1000 примеров без аугментации. Взять паинт и разметить текст в 10к баллонов из манги можно за несколько часов, потому что закрасить кисточкой текст внутри сложности не представляет. Если самому лень, анон в воркаче это сделает по цене пиццы с доставкой.
Другой вопрос, что пилить собственный OCR в 2019 году так себе идея. Собственно поэтому я вопрос этого анона игнорил, он страдает какой-то хуйней.
>Твой классификатор обосрется на реальной задаче, поскольку он не видел каких-нибудь кустиков, и считает их иероглифами.
Это не страшно, потому что иероглифы будут образовывать кластеры на маске сегментации, а кустики нет. Здесь как раз фильтрация по площади, прямоугольности, эллипсоидности и т. п. пригодится.
>>63001
В манге площадь может отличаться от небольшого слова до огромного баллона в полстраницы. Фильтрация по площади хороша для отсева всякого мелкого мусора, но не здесь.
Алгоритмы выделения контуров просто выделяют контуры в растровом изображении, они их не векторизуют, а векторизация вылезет тебе в отдельный геморрой, при чем в результате у тебя будут не тысячи контуров, там будет комбинаторный взрыв нахуй.
Более того, твой первый этап (немного размытия и бинаризация) требует AI, например, для выбора порога бинаризации. Потому что с неправильным порогом оно будет выглядеть как пикрелейтед в посте >>61281.
А контраст этих баблов относительно изображения может быть каким угодно, при чем даже в пределах одной манги. Они могут вообще отсутствовать.
Точность 50% вообще никуда не годится
Как же файнридер прямоугольники с текстом искал в 2002 году? Вот здесь как раз можно написать бы о том, что классификатор 32х32, который отвечает на вопрос, есть ли внутри иероглиф, можно захуячить на чем угодно, а ты пишешь о том, что исключительно нейронкой.
Какие 100к+ картинок, древний alexnet учится распознавать котов по 1000 примеров без аугментации. Взять паинт и разметить текст в 10к баллонов из манги можно за несколько часов, потому что закрасить кисточкой текст внутри сложности не представляет. Если самому лень, анон в воркаче это сделает по цене пиццы с доставкой.
Другой вопрос, что пилить собственный OCR в 2019 году так себе идея. Собственно поэтому я вопрос этого анона игнорил, он страдает какой-то хуйней.
Это не страшно, потому что иероглифы будут образовывать кластеры на маске сегментации, а кустики нет. Здесь как раз фильтрация по площади, прямоугольности, эллипсоидности и т. п. пригодится.
>после выборки по площади
В манге площадь может отличаться от небольшого слова до огромного баллона в полстраницы. Фильтрация по площади хороша для отсева всякого мелкого мусора, но не здесь.
Алгоритмы выделения контуров просто выделяют контуры в растровом изображении, они их не векторизуют, а векторизация вылезет тебе в отдельный геморрой, при чем в результате у тебя будут не тысячи контуров, там будет комбинаторный взрыв нахуй.
Более того, твой первый этап (немного размытия и бинаризация) требует AI, например, для выбора порога бинаризации. Потому что с неправильным порогом оно будет выглядеть как пикрелейтед в посте >>61281.
А контраст этих баблов относительно изображения может быть каким угодно, при чем даже в пределах одной манги. Они могут вообще отсутствовать.
>половина из которых - рамки текста.
Точность 50% вообще никуда не годится
>Только эти фичи можно распознать исключительно нейронкой, которую ты не сможешь натренировать из-за отсутствия датасета.
Как же файнридер прямоугольники с текстом искал в 2002 году? Вот здесь как раз можно написать бы о том, что классификатор 32х32, который отвечает на вопрос, есть ли внутри иероглиф, можно захуячить на чем угодно, а ты пишешь о том, что исключительно нейронкой.
>Удачи размечать руками 100к+ картинок.
Какие 100к+ картинок, древний alexnet учится распознавать котов по 1000 примеров без аугментации. Взять паинт и разметить текст в 10к баллонов из манги можно за несколько часов, потому что закрасить кисточкой текст внутри сложности не представляет. Если самому лень, анон в воркаче это сделает по цене пиццы с доставкой.
Другой вопрос, что пилить собственный OCR в 2019 году так себе идея. Собственно поэтому я вопрос этого анона игнорил, он страдает какой-то хуйней.
>Твой классификатор обосрется на реальной задаче, поскольку он не видел каких-нибудь кустиков, и считает их иероглифами.
Это не страшно, потому что иероглифы будут образовывать кластеры на маске сегментации, а кустики нет. Здесь как раз фильтрация по площади, прямоугольности, эллипсоидности и т. п. пригодится.
>>63007
Я пилю не OCR, а делаю препроцессинг для OCR.
Например, я сделал алгоритм для вырезания фуриганы, с чем ни одна OCR по умолчанию не справляется, есть еще алгоритмы, с помощью которых можно по нажатию клавиши на баббл находить текст.
>Другой вопрос, что пилить собственный OCR в 2019 году так себе идея. Собственно поэтому я вопрос этого анона игнорил, он страдает какой-то хуйней.
Я пилю не OCR, а делаю препроцессинг для OCR.
Например, я сделал алгоритм для вырезания фуриганы, с чем ни одна OCR по умолчанию не справляется, есть еще алгоритмы, с помощью которых можно по нажатию клавиши на баббл находить текст.
>>63028
Гуглу, тащемта, можно скормить половину страницы и он даже справится с бабблами.
Но бывают ошибки и он не распознает текст в баббле, бывает, что он рандомную закорючку принимает за текст.
Гуглу, тащемта, можно скормить половину страницы и он даже справится с бабблами.
Но бывают ошибки и он не распознает текст в баббле, бывает, что он рандомную закорючку принимает за текст.
>>62949
Попробуй другие алгоритмы кластеризации же, ну.
У тебя на первый взгляд достаточно аутлаеров, какой-нибудь алгоритм иерархической кластеризации наверное зайдёт или dbscan.
Попробуй другие алгоритмы кластеризации же, ну.
У тебя на первый взгляд достаточно аутлаеров, какой-нибудь алгоритм иерархической кластеризации наверное зайдёт или dbscan.
>>63070
Ну давай, знаток, расскажи, сколько кластеров для KNN задать, если неизвестно, есть ли они вообще в данных. У вас, зумеров, с диплернинха мозги отсырели. Хотя бы просто посмотреть, что там есть в данных - PCA, проекция Сэммона, SOM, не, не слышали.
Ну давай, знаток, расскажи, сколько кластеров для KNN задать, если неизвестно, есть ли они вообще в данных. У вас, зумеров, с диплернинха мозги отсырели. Хотя бы просто посмотреть, что там есть в данных - PCA, проекция Сэммона, SOM, не, не слышали.
111 Кб, 883x785Может кто-нибудь пояснить кое-что по этой картинке? Собсна атеншн-хуеншн и всё такое ясно, но есть проблема. В итоге то все эмбендинги суммируются с выходом атеншона и в тем самым проебываются безвозвратно и на прямую само слово вообще нихуя не влияет на выход. Это как вообще?
>>63100
Во-первых, не лучшее. Есть полно простейших примеров, на которых он работает как говно, например, несферические кластеры или даже хуй с вами, сферические, но перекрывающиеся, т.н "проблема Микки мауса". Во-вторых, сто раз уже написал, с чего вы взяли, что в этом датасете данные вообще образуют кластеры? Про более сложные варианты вообще молчу. Хуета из-под кота ваш кнн, давно и официально.
> KNN лучшее решение проблемы кластеризации.
Во-первых, не лучшее. Есть полно простейших примеров, на которых он работает как говно, например, несферические кластеры или даже хуй с вами, сферические, но перекрывающиеся, т.н "проблема Микки мауса". Во-вторых, сто раз уже написал, с чего вы взяли, что в этом датасете данные вообще образуют кластеры? Про более сложные варианты вообще молчу. Хуета из-под кота ваш кнн, давно и официально.
>>63030
У гугла задача распознавать всё включая меню в ресторане и банки с кофе. Натренировать сетку чисто на отсканеную мангу намного проще.
У гугла задача распознавать всё включая меню в ресторане и банки с кофе. Натренировать сетку чисто на отсканеную мангу намного проще.
>>63070
Правильнее написать: и вот таким вот знатоком полон тред лол.
Он у мамы уникальный.
>И вот таких вот знатоков полон тред лол.
Правильнее написать: и вот таким вот знатоком полон тред лол.
Он у мамы уникальный.
>>63097
У тебя когда внимание направлено на объект Х, информация об объекте У тоже проебывается. В этом суть внимания, отсечь лишнюю инфу.
>В итоге то все эмбендинги суммируются с выходом атеншона и в тем самым проебываются безвозвратно
У тебя когда внимание направлено на объект Х, информация об объекте У тоже проебывается. В этом суть внимания, отсечь лишнюю инфу.
>>63073
Вся суть нечеткого петуха
>называет kNN алгоритмом кластеризации
>кукареку зумеры кукареку диплернинх кукареку SOM ФУЗЗИЛОДЖИК А ВОТ В 1922 ДИДЫ ВСЕ УЖЕ ПРИДУМАЛИ
Вся суть нечеткого петуха
>>63097
На выходе энкодера - имбеддинги слов в контексте остальных слов (2D-объект).
Нна выходе трансформера веротности для следующего слова с учетом всех имбеддингов входа и всех имбеддингов уже сгенерированного выхода.
На выходе энкодера - имбеддинги слов в контексте остальных слов (2D-объект).
Нна выходе трансформера веротности для следующего слова с учетом всех имбеддингов входа и всех имбеддингов уже сгенерированного выхода.
>>63131
Там на выходе контекст+эмбендинги пропущенные через ещё один слой. Самого слова там нет.
>>63125
Не не не. Тут ведь эмбендинги вообще не идут на вход. В чем ебучий смысл? В атеншоне должна вроде отсекаться ненужная информация, а не вся информация. Определить слово во входе никак не возможно кроме как эмпирически подобрать каждую комбинацию слов, то есть слово проебалось, а это для всех слов, значит все слова проебались. Смысловое значение вообще у данного выхода должно отсутствовать.
То есть если мы возьмём фразу, то выход для конкретного слова будет что-то вроде грамматического значения слова. Затем мы берём эмбендинги и добавляем их, тотально уничтожая значение атеншена и самих эмбендингов.
Там на выходе контекст+эмбендинги пропущенные через ещё один слой. Самого слова там нет.
>>63125
Не не не. Тут ведь эмбендинги вообще не идут на вход. В чем ебучий смысл? В атеншоне должна вроде отсекаться ненужная информация, а не вся информация. Определить слово во входе никак не возможно кроме как эмпирически подобрать каждую комбинацию слов, то есть слово проебалось, а это для всех слов, значит все слова проебались. Смысловое значение вообще у данного выхода должно отсутствовать.
То есть если мы возьмём фразу, то выход для конкретного слова будет что-то вроде грамматического значения слова. Затем мы берём эмбендинги и добавляем их, тотально уничтожая значение атеншена и самих эмбендингов.
>>63101
По результату дискаса, какие подходы кластеризации\класификации мне стоит попробовать вообще. Назовите пожалуйста. Задача так и стоит - найти классифицировать датасет, если там что-то найдётся - описать классы.
По результату дискаса, какие подходы кластеризации\класификации мне стоит попробовать вообще. Назовите пожалуйста. Задача так и стоит - найти классифицировать датасет, если там что-то найдётся - описать классы.
>>63161
auto-sklearn
auto-sklearn
>>63161
Для начала SOM. Общий вид, например u-matrix + компонентные плоскости. Если в данных есть какая-то структура, уже этого хватит, чтобы описать датасет и прикинуть, что можно сделать ещё.
Для начала SOM. Общий вид, например u-matrix + компонентные плоскости. Если в данных есть какая-то структура, уже этого хватит, чтобы описать датасет и прикинуть, что можно сделать ещё.
>>63144
http://jalammar.github.io/images/t/transformer_decoding_1.gif
Смотри картинку, дурашка!
На выходе энкодера для каждого слова имбеддинги K и V, если не веришь картиночке - читай код какой-нибудь из реализаций трансформера на keras/tf/pytorch.
http://jalammar.github.io/images/t/transformer_decoding_1.gif
Смотри картинку, дурашка!
На выходе энкодера для каждого слова имбеддинги K и V, если не веришь картиночке - читай код какой-нибудь из реализаций трансформера на keras/tf/pytorch.
>>63209
Фид форвард в инкодере на самом деле - TimeDistributed(Dense(...))
Фид форвард в инкодере на самом деле - TimeDistributed(Dense(...))
>>63209
Эмбендинг на входе. На выход влияют только другие слова и дот продукт других слов и этого слова. Так, блять, везде написано. На картинке хуйня, там не показывается что происходит в блоках.
Эмбендинг на входе. На выход влияют только другие слова и дот продукт других слов и этого слова. Так, блять, везде написано. На картинке хуйня, там не показывается что происходит в блоках.
>>63214
На выход влияют только другие слова и дот продукт других слов и этого слова.
Это называется "Глубокий имбеддинг", дипленинх же!
На выход влияют только другие слова и дот продукт других слов и этого слова.
Это называется "Глубокий имбеддинг", дипленинх же!
>>63216
Так самого то слова нихуя нет!
Так самого то слова нихуя нет!
>>63215
Я не понимаю что написано, блять в одной строчке, в которой даже аргументы не вызваны.
Я не понимаю что написано, блять в одной строчке, в которой даже аргументы не вызваны.
>>63220
Это конструктор конструктора. Сам инкодер собирается через __call__ вот тут https://github.com/Lsdefine/attention-is-all-you-need-keras/blob/master/transformer.py#L434
Обычно в керасе ты делаешь так:
y = Dense(...)(x)
А тут делается так:
l = Dense(...) #Вызывается __init__
а потом в другом месте:
y = l(x)#Вызывается __call__
Это конструктор конструктора. Сам инкодер собирается через __call__ вот тут https://github.com/Lsdefine/attention-is-all-you-need-keras/blob/master/transformer.py#L434
Обычно в керасе ты делаешь так:
y = Dense(...)(x)
А тут делается так:
l = Dense(...) #Вызывается __init__
а потом в другом месте:
y = l(x)#Вызывается __call__
Сап, двач.Хочу написать свою реализацию алгоритмов машинного обучения(линрег,логрег,деревья,RF,knn).Стоит ли вообще этим заниматься?Если да, то посоветуй что-нибудь для начала.В интернете ничего найти не могу по поводу простой реализации линейной регрессии.Можете посоветовать место, где эти алгоритмы реализованы?
(реализация sklearn мне непонятна, можете посоветовать, что навернуть, чтобы понять)
(реализация sklearn мне непонятна, можете посоветовать, что навернуть, чтобы понять)
34 Кб, 420x552Почему ошибка не уменьшается с самого начала?
Пожалуйста помогите, в разных задачах мла вы выбираете модель основываясь на опыте или просто рандомно перебираете модели? Пригодилось ли знание матана модели? Проще говоря откуда вы знаете какую модельку выбрать?
>>63455
Я так-то ОП вопроса, но я правда не понял, почему они о кнн постоянно писали.
Я так-то ОП вопроса, но я правда не понял, почему они о кнн постоянно писали.
![Dd4xrxrUQAAuXSm[1].jpg](https://2ch.hk//pr/src/1440632/15671041958300.jpg)
кнн - кун не нужен же популярное сочетание на dev
>>63465
Меня на собесе тоже недавно спрашивали в чём разница мекжду кнн и кминсом. Совпадение? Или есть какая-то связь?
Меня на собесе тоже недавно спрашивали в чём разница мекжду кнн и кминсом. Совпадение? Или есть какая-то связь?
>>63553
ISLR читай, там даже за SVM на пальцах разъясняется, без нотации из вариационного исчисления как у Вапника. Нахуя вам все эти Воронцовы, концовы, есть же нормальная литература, которую весь мир читает, нет, хочу нонейм хуя из шада.
ISLR читай, там даже за SVM на пальцах разъясняется, без нотации из вариационного исчисления как у Вапника. Нахуя вам все эти Воронцовы, концовы, есть же нормальная литература, которую весь мир читает, нет, хочу нонейм хуя из шада.
>>63118
Я думаю, что проще запилить алгоритм, чтобы скармливать гуглу только бабблы.
Тренировать свою сеть для японского - излишество, я одни данные заебусь размечать.
Я думаю, что проще запилить алгоритм, чтобы скармливать гуглу только бабблы.
Тренировать свою сеть для японского - излишество, я одни данные заебусь размечать.
>>63613
Не проще
Я бы разметил данные за то время, пока ты тут обсуждаешь это все. На это нужно несколько часов, паинт и 10 строк на питоне.
>Я думаю, что проще запилить алгоритм, чтобы скармливать гуглу только бабблы.
Не проще
>Тренировать свою сеть для японского - излишество, я одни данные заебусь размечать.
Я бы разметил данные за то время, пока ты тут обсуждаешь это все. На это нужно несколько часов, паинт и 10 строк на питоне.
>>63620
Сначала небольщшое размытие + бинаризация (левое изображение). Потом извлекаешь контуры и фильтруешь их по площади (среднее изображение). Оставшиеся контуры используешь как маску чтобы извлечь текст (правое изображение).
>Что это? Можешь скинуть или рассказать, как делал?
Сначала небольщшое размытие + бинаризация (левое изображение). Потом извлекаешь контуры и фильтруешь их по площади (среднее изображение). Оставшиеся контуры используешь как маску чтобы извлечь текст (правое изображение).
Если у сверточного слоя на выходе 32 фильтра, то это значит 32 ядра свертки будут бегать по изображению каждый раз?
>>63626
А бинаризация по какому алгоритму?
А бинаризация по какому алгоритму?
30 Кб, 446x510>>63617
Жулик, который подобрал 3 магических числа, чтобы оно работало на одной картинке, думает, что никто этого не заметил.
Жулик, который подобрал 3 магических числа, чтобы оно работало на одной картинке, думает, что никто этого не заметил.
>>63629
Оптимальный алгоритм зависит от твоего железа и количества входных и выходных каналов. Какие-то свертки cudnn через FFT считает.
Важнее понимать саму суть, что если у тебя на входе 3 канала и свертка 5х5, а на выходе 32 канала, то каждый 32-х канальный пиксель считается как персептрон у которого на входе 3х5х5=75 входов и 32 выхода. Ты можешь это рассматривать как 32 персептрона с 75 входами и 1 выходом, что будет эквивалентно твоему утверждению "32 ядра свертки будут бегать по изображению каждый раз", но вообще считать матричное произведение матрицы 32х75 на вектор с 75 колонками можно разными сколь угодно экзотическими способами.
Оптимальный алгоритм зависит от твоего железа и количества входных и выходных каналов. Какие-то свертки cudnn через FFT считает.
Важнее понимать саму суть, что если у тебя на входе 3 канала и свертка 5х5, а на выходе 32 канала, то каждый 32-х канальный пиксель считается как персептрон у которого на входе 3х5х5=75 входов и 32 выхода. Ты можешь это рассматривать как 32 персептрона с 75 входами и 1 выходом, что будет эквивалентно твоему утверждению "32 ядра свертки будут бегать по изображению каждый раз", но вообще считать матричное произведение матрицы 32х75 на вектор с 75 колонками можно разными сколь угодно экзотическими способами.
>>63634
Кидай свои картинки.
>Жулик, который подобрал 3 магических числа, чтобы оно работало на одной картинке, думает, что никто этого не заметил.
Кидай свои картинки.
>>63643
Каким образом мои картинки сделают твой скрипт не ad-hoc говном?
Каким образом мои картинки сделают твой скрипт не ad-hoc говном?
>>63230
Да забей.
Да забей.
>>63526
Скорее всего, это вопрос который отвечает шаришь ли ты в машобе вообще. Т.к. эти методы выполняют разные задачи.
Скорее всего, это вопрос который отвечает шаришь ли ты в машобе вообще. Т.к. эти методы выполняют разные задачи.
>>63701
Короче, Антоны, я понял, как это можно делать.
Нужно искать контуры и внутри них делать проверку, находятся ли контуры поменьше друг над другом.
И в зависимости от размера участка детектить, сколько контуров должно быть или какого размера они должны быть, чтобы участок считался бабблом.
Короче, Антоны, я понял, как это можно делать.
Нужно искать контуры и внутри них делать проверку, находятся ли контуры поменьше друг над другом.
И в зависимости от размера участка детектить, сколько контуров должно быть или какого размера они должны быть, чтобы участок считался бабблом.
>>63608
Спасибо
Спасибо
>>63783
А не, так нихуя не работает, маленькие бабблы отсеивает.
Мне нужно будет подобрать либо минимальный размер, либо искать текст в центре
А не, так нихуя не работает, маленькие бабблы отсеивает.
Мне нужно будет подобрать либо минимальный размер, либо искать текст в центре
1,1 Мб, 1293x983>>63940
Да я тоже думаю, что без машоба тоже можно.
Только пока получается что-то такое, все еще не понимаю, чего он все не может найти
Да я тоже думаю, что без машоба тоже можно.
Только пока получается что-то такое, все еще не понимаю, чего он все не может найти
>>63945
Да ты больше нечеткого петуха слушай
Да ты больше нечеткого петуха слушай
>>63943
1. Сначала рожаешь скрипт типа https://pastebin.com/vMQNG4LD , не замечая, что числа 5000 и 100000 в это УЖЕ машоб. Просто с самым наихуевейшим вариантом подбора этих самых чисел: вручную. Процент ошибок большой.
2. Дальше догадываешься, что нужно собрать статистику с реальной манги, берешь 20 рандомных страниц и выписываешь это в эксельку. Процент ошибок уменьшается, но несильно.
3. 10% случаев упорно не влезают никуда. Пишешь ad-hoc правила, превращая свой скрипт в длиннющее дерево ad-hoc решений. Затраченное время давно улетает за пределы ручного размечивания всех существующих в природе манг, которые ты способен прочитать.
4. Так как тестировать вручную все ad-hoc случаи невозможно, решаешь это автоматизировать. Для этого собираешь свои исключения и пишешь для них тест-кейсы кто сказал датасет, у нас никакого машоба
5. После подобных операций упорно остается 1% случаев, при чем каждый раз разный.
...
99. Уже седой и заебанный, ты не выдерживаешь и стреляешься из дробовика. Через пару месяцев твой труп находит бомж, которого выгнали из НИИ за пьянство, видит твои записи и решает довести дело до конца.
100. И берет, наконец, сегментирующую нейронку.
1. Сначала рожаешь скрипт типа https://pastebin.com/vMQNG4LD , не замечая, что числа 5000 и 100000 в это УЖЕ машоб. Просто с самым наихуевейшим вариантом подбора этих самых чисел: вручную. Процент ошибок большой.
2. Дальше догадываешься, что нужно собрать статистику с реальной манги, берешь 20 рандомных страниц и выписываешь это в эксельку. Процент ошибок уменьшается, но несильно.
3. 10% случаев упорно не влезают никуда. Пишешь ad-hoc правила, превращая свой скрипт в длиннющее дерево ad-hoc решений. Затраченное время давно улетает за пределы ручного размечивания всех существующих в природе манг, которые ты способен прочитать.
4. Так как тестировать вручную все ad-hoc случаи невозможно, решаешь это автоматизировать. Для этого собираешь свои исключения и пишешь для них тест-кейсы кто сказал датасет, у нас никакого машоба
5. После подобных операций упорно остается 1% случаев, при чем каждый раз разный.
...
99. Уже седой и заебанный, ты не выдерживаешь и стреляешься из дробовика. Через пару месяцев твой труп находит бомж, которого выгнали из НИИ за пьянство, видит твои записи и решает довести дело до конца.
100. И берет, наконец, сегментирующую нейронку.
Аноны, с мангой же как бы все проще.
Текст как бы всегда является черной полоской, который помещен по центру белой области, которая ни с чем не пересекается и зачастую вообще находится в центре. Неужели это так сложно найти?
Текст как бы всегда является черной полоской, который помещен по центру белой области, которая ни с чем не пересекается и зачастую вообще находится в центре. Неужели это так сложно найти?
>>63958
Вертикальные полосы с пездобуквами окруженные белым пространтсвом и вертикальногоризонтальными отступами
>в центре
Вертикальные полосы с пездобуквами окруженные белым пространтсвом и вертикальногоризонтальными отступами
236 Кб, 734x439>>63963
Не, типа пикрил, можно сегментацию на этапе предпроцессинга зделот, причем довольно просто.
Не, типа пикрил, можно сегментацию на этапе предпроцессинга зделот, причем довольно просто.
>>63955
Потому что это state of art йоба. У тебя должны быть веские причины (например, запуск твоего алгоритма на железе 1980 года выпуска, установленном на танке Т-72), чтобы этого не делать.
Причина "ко-ко-ко черный ящик нипанимаю и вообще куны^W knn нужен" веской не является.
Потому что это state of art йоба. У тебя должны быть веские причины (например, запуск твоего алгоритма на железе 1980 года выпуска, установленном на танке Т-72), чтобы этого не делать.
Причина "ко-ко-ко черный ящик нипанимаю и вообще куны^W knn нужен" веской не является.
>>63967
Как раз потому что это черный ящик нейроговно пидорнули с рынков и медицины.
> веской не является
Как раз потому что это черный ящик нейроговно пидорнули с рынков и медицины.
>>63965
Как ты видишь такую сегментацию? Опиши.
Как ты видишь такую сегментацию? Опиши.
24 Кб, 102x213Пилю алгоритмх:
1. Имеем вертикальную полусу размером с пендобукву
2. Начинаем двигать вправо построчно
3. Если полоса попала в белое поле, ставим атншенфлаг
4. Двигаем полосу вправо если она уткнулась в не белый пиксель (вероятно пендобуква)
5. Если п.4. проверяем окружающее справа пространство на правильный прямоугольник размером с пендобукву.
6. Если п.5. проверяем пендобукву,
7. Если п.5. Опускаемся вниз
1. Имеем вертикальную полусу размером с пендобукву
2. Начинаем двигать вправо построчно
3. Если полоса попала в белое поле, ставим атншенфлаг
4. Двигаем полосу вправо если она уткнулась в не белый пиксель (вероятно пендобуква)
5. Если п.4. проверяем окружающее справа пространство на правильный прямоугольник размером с пендобукву.
6. Если п.5. проверяем пендобукву,
7. Если п.5. Опускаемся вниз
66 Кб, 352x442
7 Кб, 159x200>>63975
Очевидно там ограничение по контуру прямыми линиями
Очевидно там ограничение по контуру прямыми линиями
84 Кб, 580x563>нейроночка не может научиться классифицировать с нужной точностью
>>63977
>Кто это там кукарекает
>Почему вы проебали на флуктации срыночка 1 миллирад рублей? Дяденька мы не знаем, так нейроночка натренировалась.
>>63979
Буквы могут зависеть от изображения
Для этого нужно перебрать пару тысяч манг и найти, что же там является средним.
А если юзер закинет обрезок от манги?
Буквы могут зависеть от изображения
Для этого нужно перебрать пару тысяч манг и найти, что же там является средним.
А если юзер закинет обрезок от манги?
Что можно почитать для понимания матана моделей?чтонить питоновское
>>63986
Делай джва, десять проходов с разными размерами, кто тебе мешает то?
Джвигай такую конструкцию как ниже, если все линии находятся в белых пикселях с черным говном внутри, пездобуква 99%
----
|
|
---
>Для этого нужно перебрать пару тысяч манг и найти, что же там является средним.
Делай джва, десять проходов с разными размерами, кто тебе мешает то?
Джвигай такую конструкцию как ниже, если все линии находятся в белых пикселях с черным говном внутри, пездобуква 99%
----
|
|
---
>>63987
Ну их нужно наверное выделить, а так да все должно быть в одном масштабе
>решит приблизить букву
Ну их нужно наверное выделить, а так да все должно быть в одном масштабе
>>63984
Петух, я понял, что это был твой пост, теперь съеби.
Петух, я понял, что это был твой пост, теперь съеби.
>>63992
В японском есть и буквы, которые больше растянуты по горизонтали и не впишутся в твой паттерн
В японском есть и буквы, которые больше растянуты по горизонтали и не впишутся в твой паттерн
>>63996
И? Они ограничены белым пространством.
>В японском есть и буквы, которые больше растянуты по горизонтали
И? Они ограничены белым пространством.
>>63997
Ты ебобо? Берешь линейку и отмеряешь размер одной буквы, вот его и ищешь.
> У тебя есть магическое число
Ты ебобо? Берешь линейку и отмеряешь размер одной буквы, вот его и ищешь.
>>63999
ЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫ
У тебя твой алгоритм линейку возьмет своими электронными руками?
ЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫ
У тебя твой алгоритм линейку возьмет своими электронными руками?
>>64001
Осталось придумать, нахуя добавлять гиперпараметр в виде порога бинаризации, если нейронка и так неплохо работать будет.
Осталось придумать, нахуя добавлять гиперпараметр в виде порога бинаризации, если нейронка и так неплохо работать будет.
Алё, даун, зайди на Mechanical Turk и найми там биороботов, которые тебе за копейки разметят всю твою виабупарашу.
73 Кб, 266x599>>64004
Как же вы заебали, оно опять же ограничено пустым типографическим пространством
>Окей, что будешь делать с этим?
Как же вы заебали, оно опять же ограничено пустым типографическим пространством
>>64005
Прошел 100 раз с разными размерами и выбрал у которых большее совпадение. Вопросы?
>сильный ИИ
Прошел 100 раз с разными размерами и выбрал у которых большее совпадение. Вопросы?
>>64008
Ага, уже значит чекать нужно на поворот, изначально ты этого не говорил.
Опиши, как бы ты это сделал?
Ага, уже значит чекать нужно на поворот, изначально ты этого не говорил.
Опиши, как бы ты это сделал?
>>64011
Ты сейчас делаешь типичную ошибку любителей, которые только знакомятся с нейронками и считают, что им виднее, как именно нейронка должна выцеплять фичи. end-to-end решение как правило работает лучше.
Что можно применить, это, например, local contrast normalization.
Вы меня доведедете до того, что я принесу вам решение этой задачи, несмотря на то, что я сейчас пишу загрузку сорокагигабайтного датасета через memory mapped files и эта задача с мангой ну вообще прикольной не кажется.
Ты сейчас делаешь типичную ошибку любителей, которые только знакомятся с нейронками и считают, что им виднее, как именно нейронка должна выцеплять фичи. end-to-end решение как правило работает лучше.
Что можно применить, это, например, local contrast normalization.
Вы меня доведедете до того, что я принесу вам решение этой задачи, несмотря на то, что я сейчас пишу загрузку сорокагигабайтного датасета через memory mapped files и эта задача с мангой ну вообще прикольной не кажется.
Господи, этот тред просто 10 из 10.
>>64034
Да можно и просто попробовать бинаризировать, искать все контуры и проверять, является ли их граница белой.
А потом уже ориентироваться по расположению.
Да можно и просто попробовать бинаризировать, искать все контуры и проверять, является ли их граница белой.
А потом уже ориентироваться по расположению.
>>63954
>>63981
Опять смузихлебы мешают все в одну кучу. Подбор чисел вручную это нисколько не машоб, а машоб это не только нейронки. После нахождения работающего алгоритма можно запустить оптимизацию гиперпараметров которая тоже является машобом с датасетом в десять раз меньше, чем для нейронки. И получить алгоритм, работающий быстрее и лучше сегментирующей нейронки.
Какая у нее будет точность, мм? Процентов 80-90, при необходимость иметь топовую гпу для ее запуска?
>не замечая, что числа 5000 и 100000 в это УЖЕ машоб
>Просто с самым наихуевейшим вариантом подбора этих самых чисел: вручную
>>63981
>>очередной говноалгоритм с магическими числами
>>НИКАКОГО МАШОБА
Опять смузихлебы мешают все в одну кучу. Подбор чисел вручную это нисколько не машоб, а машоб это не только нейронки. После нахождения работающего алгоритма можно запустить оптимизацию гиперпараметров которая тоже является машобом с датасетом в десять раз меньше, чем для нейронки. И получить алгоритм, работающий быстрее и лучше сегментирующей нейронки.
>100. И берет, наконец, сегментирующую нейронку.
Какая у нее будет точность, мм? Процентов 80-90, при необходимость иметь топовую гпу для ее запуска?
>>64080
Опять нечеткий петух, который не знает разницы между knn и kmeans, что-то там кукарекает. Брысь под шконку.
Опять нечеткий петух, который не знает разницы между knn и kmeans, что-то там кукарекает. Брысь под шконку.
>>64067
Ну еще можно проверять является ли в контуре символ.
>искать все контуры и проверять, является ли их граница белой
Ну еще можно проверять является ли в контуре символ.
>>64083
Это уже излишество, а так я решил проверить, сработает ли оно, результаты такие
Это уже излишество, а так я решил проверить, сработает ли оно, результаты такие
>>63958
Очевидно нет, без ансамбля из сотни лёрнеров с десятью слоями атеншена не разобраться.
Очевидно нет, без ансамбля из сотни лёрнеров с десятью слоями атеншена не разобраться.
>>64109
Чё ты пиздишь-то, ты fast SCNN взял небось, по-любому!!
Чё ты пиздишь-то, ты fast SCNN взял небось, по-любому!!
>>64151
Ды обычная сегментация, как у того анона, который код с питоном выше вкидывал.
Дальше брал контур и проверял по пикселям его края и центр.
Ды обычная сегментация, как у того анона, который код с питоном выше вкидывал.
Дальше брал контур и проверял по пикселям его края и центр.
>>64344
Ну а теперь выбрасывай экстремально маленькие контуры и дополнительно обрабатывай большие и перекрывающиеся.
Ну а теперь выбрасывай экстремально маленькие контуры и дополнительно обрабатывай большие и перекрывающиеся.
Года 3 назад была мода на градиентный бустинг - xgboost, вот это все. Типа автор там всех конкурентов на кукагле порвал, даже на каких-то сложных датасетах насчет кобзона бозона Хиггса. Ну так чем все закончилось-то? Как с реинфорсмент лернингом, вышла статья, что не лучше случайного поиска или там линейной регрессии?
>>64637
градиентный бустинг стал стандартом для всяких табличных данных
ARS работает в mujoco и может быть ещё паре сред. Достижение уровня "набрал на мнисте 95% точности своим новым супералгоритмом"
>Ну так чем все закончилось-то?
градиентный бустинг стал стандартом для всяких табличных данных
> Как с реинфорсмент лернингом, вышла статья, что не лучше случайного поиска
ARS работает в mujoco и может быть ещё паре сред. Достижение уровня "набрал на мнисте 95% точности своим новым супералгоритмом"
>>64682
А чего везде всё ещё нейронки и свм используют? Типа вычислительно сильно сложнее?
>градиентный бустинг стал стандартом
А чего везде всё ещё нейронки и свм используют? Типа вычислительно сильно сложнее?
>>64706
Не, я именно про таблицы.
Не, я именно про таблицы.
>>64716
Называешь петухами всех, кто спросил что-то чего ты не знаешь? Так ты сам петух в таком случае.
Называешь петухами всех, кто спросил что-то чего ты не знаешь? Так ты сам петух в таком случае.
>>64728
Папа твой петух, а так же все родные и близкие.
Папа твой петух, а так же все родные и близкие.
>>64714
Зависит, но в общем случае неструктурированные.
Грубо говоря, всё что можно засунуть в табличку таким образом что получить полную информацию по точке из датасета можно одним единственным запросом - это структурированные данные. То что либо зависит от каких-то скрытых переменных, или вообще не поставляется в квантифицированном виде и потому зависит от всяких эмбеддингов - неструктурированные.
Зависит, но в общем случае неструктурированные.
Грубо говоря, всё что можно засунуть в табличку таким образом что получить полную информацию по точке из датасета можно одним единственным запросом - это структурированные данные. То что либо зависит от каких-то скрытых переменных, или вообще не поставляется в квантифицированном виде и потому зависит от всяких эмбеддингов - неструктурированные.
>>64733
Ок. Есть временной ряд 1, 2, 3, ... , n. Делаем матрицу Ганкеля:
1 2 3 4 5
2 3 4 5 6
3 4 5 6 7
4 5 6 7 8
...
n-4 n-3 n-2 n-1 n
Любую строку можно получить одним запросом, так же эта строка однозначно представима в виде пятимерной точки. Любой временной ряд можно представить таким образом. Получается, что все временные ряды - структурированные данные?
Ок. Есть временной ряд 1, 2, 3, ... , n. Делаем матрицу Ганкеля:
1 2 3 4 5
2 3 4 5 6
3 4 5 6 7
4 5 6 7 8
...
n-4 n-3 n-2 n-1 n
Любую строку можно получить одним запросом, так же эта строка однозначно представима в виде пятимерной точки. Любой временной ряд можно представить таким образом. Получается, что все временные ряды - структурированные данные?
>>64798
С языка сорвал
С языка сорвал
>>64025
Я ничего не говорил про нейронку и как ей виднее, деб, я говорил о том, что тебе предется прогонять в несколько раз больше свёрток для одного пропогэйшона.
Я ничего не говорил про нейронку и как ей виднее, деб, я говорил о том, что тебе предется прогонять в несколько раз больше свёрток для одного пропогэйшона.
>>64808
Да, но тут все чмоши незнающие.
Да, но тут все чмоши незнающие.
>>64760
Тебе несколько тысяч деревьев хочется тренировать?
Тебе несколько тысяч деревьев хочется тренировать?
>>64818
у тебя был временной ряд 1..n, а стали пятимерные вектора
у тебя был временной ряд 1..n, а стали пятимерные вектора
>>64760
Понятно что что угодно можно в табличку засунуть, суть не в этом, а в том чтобы можно было удобно модельку обучить.
На таком представлении ты обучишь находить закономерности только на пять шагов по времени, плюс у тебя дохуя избыточной информации получится, будет оверфититься.
Понятно что что угодно можно в табличку засунуть, суть не в этом, а в том чтобы можно было удобно модельку обучить.
На таком представлении ты обучишь находить закономерности только на пять шагов по времени, плюс у тебя дохуя избыточной информации получится, будет оверфититься.
>>64878
Можно на 3 столбца разбить. В итоге получится восстановленная функция y = f(x1, x2) для всего временного ряда, т.к каждая строка сдвинута на одно значение. Но дело не в этом, а в том, что вышеописанное деление данных на структурированные и нет смысла не имеет. Даже рандомный текст это структура, т.к его всегда можно разбить на буквы, слова, предложения, параграфы, документы итд, и рассматривать это как отдельные элементы.
Можно на 3 столбца разбить. В итоге получится восстановленная функция y = f(x1, x2) для всего временного ряда, т.к каждая строка сдвинута на одно значение. Но дело не в этом, а в том, что вышеописанное деление данных на структурированные и нет смысла не имеет. Даже рандомный текст это структура, т.к его всегда можно разбить на буквы, слова, предложения, параграфы, документы итд, и рассматривать это как отдельные элементы.
>>64878
А я ведь предупреждал, что он петух, а ты правда решил что-то ему объяснять, лол.
А я ведь предупреждал, что он петух, а ты правда решил что-то ему объяснять, лол.
60 Кб, 1108x416https://youtu.be/5l0e_Q0gpnc
Получается, что каждый входной сигнал до перехода в активационную функцию содержит в себе фиктивный столбец x0 с 1ми для того что бы избавиться от свободного члена w0 (что бы он перешел в общую сумму) ? Даже если нейрон содержит всего 1 вход, то на самом деле их 2 и это делается как бы за нас во фреймворке с ML логикой ?
Там в лекции об этом говорится,
помогите понять,плиз
Получается, что каждый входной сигнал до перехода в активационную функцию содержит в себе фиктивный столбец x0 с 1ми для того что бы избавиться от свободного члена w0 (что бы он перешел в общую сумму) ? Даже если нейрон содержит всего 1 вход, то на самом деле их 2 и это делается как бы за нас во фреймворке с ML логикой ?
Там в лекции об этом говорится,
помогите понять,плиз
>>65052
Не знаю, что делается под капотом у keras и tensorflow (вполне возможно, что для эффективного матричного умножения проще действительно добавить столбец матрицы с единицами), но снаружи веса W и смещение b торчат отдельно. Это удобнее с точки зрения инициализации, например, потому что веса обычно инициализируют рандомно, а смещение нулями.
>Даже если нейрон содержит всего 1 вход, то на самом деле их 2 и это делается как бы за нас во фреймворке с ML логикой ?
Не знаю, что делается под капотом у keras и tensorflow (вполне возможно, что для эффективного матричного умножения проще действительно добавить столбец матрицы с единицами), но снаружи веса W и смещение b торчат отдельно. Это удобнее с точки зрения инициализации, например, потому что веса обычно инициализируют рандомно, а смещение нулями.
привет ребят, а есть конфа какая нить у вас? хочется линал с кемнить поучить, да только не понимаю где искать с кем :с
>>65336
Если ты не получаешь кайф от обучения в одиночестве, выбери что-то другое, гей-шлюхой стать, например
Если ты не получаешь кайф от обучения в одиночестве, выбери что-то другое, гей-шлюхой стать, например
>>65336
Оп-пост почитай.
Оп-пост почитай.
>>65357
Не слушай дурачка, линал учи самостоятельно, будут интересные и муторные моменты, выходи из зоны комфорта, лол
Не слушай дурачка, линал учи самостоятельно, будут интересные и муторные моменты, выходи из зоны комфорта, лол
>>65426
ну я кст нашел конфу в телеге вот т.ми/comput_math
мне там чувачки посоветывали сайтик по матеше mathprofi.ru/
вот :)
ну я кст нашел конфу в телеге вот т.ми/comput_math
мне там чувачки посоветывали сайтик по матеше mathprofi.ru/
вот :)
У меня у одного Colab загружает папку в 500мб с пк крайне медленно, 1% в 2 минуты примерно? Есть ли более быстрые способы загрузки? Как вы, аноны, решаете вопрос загрузки датасетов в колаб?
Антон, подскажи
По сути решаю задачу регрессии с использованием ИНС
Все стандартно, как по учебнику построил сетку с одним скрытым слоем, все заебок работает
Но как ее дальшее оптимизировать?
С параметрами слоев и функциями активации поигрался, толку почти никакого
И если сделать больше нихуя нельзя, как доказать что мое решение самое пиздатое?
По сути решаю задачу регрессии с использованием ИНС
Все стандартно, как по учебнику построил сетку с одним скрытым слоем, все заебок работает
Но как ее дальшее оптимизировать?
С параметрами слоев и функциями активации поигрался, толку почти никакого
И если сделать больше нихуя нельзя, как доказать что мое решение самое пиздатое?
>>65772
Заебок на валидейшене или ты оверфитнул и доволен?
>Все стандартно, как по учебнику построил сетку с одним скрытым слоем, все заебок работает
Заебок на валидейшене или ты оверфитнул и доволен?
>>65772
Никак. Сравнить с предыдущими решениями той же задачи на том же датасете. Или самому поаробовать несколько методов и сравнить результаты.
>как доказать
Никак. Сравнить с предыдущими решениями той же задачи на том же датасете. Или самому поаробовать несколько методов и сравнить результаты.
>>65730
Вот это как раз супер медленно.
>>65693
А это рабочая тема, спасибо, разобрался.
Осталась пара вопросов: как я понял, при изменении файлов на гугл диске вне коллаба, изменения в файловой системе внутри ноутбука не происходят. Как тогда ее "перезагружать"?
Не помогает, список тот же.
Как пример - перезагрузил файл ssd_mobilenet_v1_coco.config, предварительно удалив старую версию. Но в colab`е отображает какой то ssd_mobilenet_v1_coco(1).config, и тот в кавычках. Причем если обращаться к обоим названиям конфига то выдает No such file or directory.
Вот это как раз супер медленно.
>>65693
А это рабочая тема, спасибо, разобрался.
Осталась пара вопросов: как я понял, при изменении файлов на гугл диске вне коллаба, изменения в файловой системе внутри ноутбука не происходят. Как тогда ее "перезагружать"?
>drive.mount('/content/drive', force_remount=True)
Не помогает, список тот же.
Как пример - перезагрузил файл ssd_mobilenet_v1_coco.config, предварительно удалив старую версию. Но в colab`е отображает какой то ssd_mobilenet_v1_coco(1).config, и тот в кавычках. Причем если обращаться к обоим названиям конфига то выдает No such file or directory.
13 Кб, 400x98>>65818
Забыл сразу написать: restart runtime не помогает, как и выполнение после рестарта заветной
Забыл сразу написать: restart runtime не помогает, как и выполнение после рестарта заветной
>drive.mount('/content/drive', force_remount=True)
>>65805
На валидейшене
Может какую другую сетку попробовать, в смысле другой структуры? может какие-нибудь необычные активационные функции?
На валидейшене
Может какую другую сетку попробовать, в смысле другой структуры? может какие-нибудь необычные активационные функции?
>>65852
Ну какая архитектура у млп, побольше нейронов в скрытые слои захуячить?
Скорее с данными работать, почистить чего-нибудь может лишнего, или фичи какие-нибудь заинжинерить.
Или вообще забить на няронки и доставать бустилку.
Ну какая архитектура у млп, побольше нейронов в скрытые слои захуячить?
Скорее с данными работать, почистить чего-нибудь может лишнего, или фичи какие-нибудь заинжинерить.
Или вообще забить на няронки и доставать бустилку.
Антоны, я дико туплю, у меня есть набор четырехугольников и минимальный расстояний между каждыми четырехугольниками и площадь четырехугольника.
Как мне узнать, находится ли четырехугольник далеко от других, ориентируясь по площади?
То-есть у большого четырехугольника минимальное расстояние может быть большим, а вот у маленького оно должно быть маленьким.
Как это сделать? Я знаю, вы хороши в статистике
Как мне узнать, находится ли четырехугольник далеко от других, ориентируясь по площади?
То-есть у большого четырехугольника минимальное расстояние может быть большим, а вот у маленького оно должно быть маленьким.
Как это сделать? Я знаю, вы хороши в статистике
>>66314
Можно ли для любых данных использовать формулу Стерджесса?
Можно ли для любых данных использовать формулу Стерджесса?
Я правильно понимаю, что у иерархического софтмакса есть ещё куча своих внутренних весов?
А какая игра в атари лучше всего подходит для тестирования алгоритма на работоспособность?
Подскажите молодому-неопытному по паре вопросов.
1. Есть необходимость распознать объекты на изображении (их множество), а после этого отдельно работать с каждым объектом - совсем по другой логике.
Существуют ли какие-то паттерны и best practices по тому, как в рантайме хранить эти распознанные объекты, если они мне нужны будут отдельно друг от друга и мне нужно будет хранить именно их визуальный образ для дальнейшей обработки? Как обычно делают подобные вещи?
2. По поводу "распознать объекты на изображении". Допустим, сейчас я просто натравливаю Canny на изображение и оно рисует мне кучу контуров. Далеко не все из них полностью обводят каждый конкретный образ, отсюда второй вопрос: какие существуют способы дать opencv понять, что каждый каждая кучка контуров является цельным объектом? К примеру, на картинке ~40 объектов и ~900 контуров, совсем левого шума нет - есть только не до конца размеченные объекты. Я уверен, что второй вопрос гуглится, но я его задаю в свете того, что мне эти объекты дальше хранить и обрабатывать.
Если это важно, у меня python и opencv.
1. Есть необходимость распознать объекты на изображении (их множество), а после этого отдельно работать с каждым объектом - совсем по другой логике.
Существуют ли какие-то паттерны и best practices по тому, как в рантайме хранить эти распознанные объекты, если они мне нужны будут отдельно друг от друга и мне нужно будет хранить именно их визуальный образ для дальнейшей обработки? Как обычно делают подобные вещи?
2. По поводу "распознать объекты на изображении". Допустим, сейчас я просто натравливаю Canny на изображение и оно рисует мне кучу контуров. Далеко не все из них полностью обводят каждый конкретный образ, отсюда второй вопрос: какие существуют способы дать opencv понять, что каждый каждая кучка контуров является цельным объектом? К примеру, на картинке ~40 объектов и ~900 контуров, совсем левого шума нет - есть только не до конца размеченные объекты. Я уверен, что второй вопрос гуглится, но я его задаю в свете того, что мне эти объекты дальше хранить и обрабатывать.
Если это важно, у меня python и opencv.
>>66359
Да я уже решил, не знаю, можно было ли юзать формулу Стерджесса, но я просто поделил на диапазоны.
Да я уже решил, не знаю, можно было ли юзать формулу Стерджесса, но я просто поделил на диапазоны.
>>66539
Да, я как-то заходил к вашему шалашу в /math/ и удивился очень похожему стилю. Но вообще все бордошизики похожи.
Да, я как-то заходил к вашему шалашу в /math/ и удивился очень похожему стилю. Но вообще все бордошизики похожи.
>>66544
Нет, это работа программиста как есть. Где-то достаточно прямоугольника, 4-х координат и изначального кадра, где-то нужно всякие битовые маски хранить.
Ну, например, можно по контуру построить convex hull, закрасить его, и так, пока у тебя не останутся одни hull'ы. Если твое предположение по поводу кучки верно, это сработает.
Но по поводу гуглится ты загнул конечно. Попытка нагулить это сродни попытке найти решение олимпиадной задачки. Можно, но малореально, скорее реально найти отдельные кирпичики.
>Существуют ли какие-то паттерны и best practices по тому, как в рантайме хранить эти распознанные объекты
Нет, это работа программиста как есть. Где-то достаточно прямоугольника, 4-х координат и изначального кадра, где-то нужно всякие битовые маски хранить.
>какие существуют способы дать opencv понять, что каждый каждая кучка контуров является цельным объектом
Ну, например, можно по контуру построить convex hull, закрасить его, и так, пока у тебя не останутся одни hull'ы. Если твое предположение по поводу кучки верно, это сработает.
Но по поводу гуглится ты загнул конечно. Попытка нагулить это сродни попытке найти решение олимпиадной задачки. Можно, но малореально, скорее реально найти отдельные кирпичики.
Чуваки, я, возможно, не по адресу, но надеюсь на ответ.
Какие знания нужно иметь, чтобы попасть джуномидлом к дата-инженерам (не сайнтистам!)? Во всяких спарках и хадупах дома полноценно не поразбираешься.
Есть пара лет опыта в бэкенд-разработке (не Java, не python)
Какие знания нужно иметь, чтобы попасть джуномидлом к дата-инженерам (не сайнтистам!)? Во всяких спарках и хадупах дома полноценно не поразбираешься.
Есть пара лет опыта в бэкенд-разработке (не Java, не python)
>>66683
Понял, спасибо.
Понял, спасибо.
>>67444
бамп
бамп
>>67444
Мне кажется вот так самостоятельно такие знания не получить. Мне видится, что ты пилишь хайдоад на джаве и в какой-то момент начинаешь больше заниматься инфраструктурой хранения (хадупы, спарки, бд). Тот же путь что и у девопса в принципе, но в другом направлении немного. А потом уже с таким опытом можешь сразу на вакансии идти.
Мне кажется вот так самостоятельно такие знания не получить. Мне видится, что ты пилишь хайдоад на джаве и в какой-то момент начинаешь больше заниматься инфраструктурой хранения (хадупы, спарки, бд). Тот же путь что и у девопса в принципе, но в другом направлении немного. А потом уже с таким опытом можешь сразу на вакансии идти.
12 Кб, 160x160Посоны, я неплохой питоновый веб-разраб, 26 левела. Образование - примат, диплом по численным методам. Но машобом/нейронками никогда не занимался. Однажды написал k-means.
Знатоки, внимание вопрос.
Какие есть варианты перекатиться в этот ваш машоб? И нужно ли это? Мои скилы по разрабатыванию апишек и продумыванию взаимодействия микросервисов будут ненужно потраченным временем или дадут бонус? Будут ли надо мной смеяться двадцатилетние пиздюки? Меня интересуют деньги и классные тасочки где надо думать. В принципе, меня и сейчас все +- устраивает, но вдруг можно ещё лучше? Реквестирую кулстори.
Знатоки, внимание вопрос.
Какие есть варианты перекатиться в этот ваш машоб? И нужно ли это? Мои скилы по разрабатыванию апишек и продумыванию взаимодействия микросервисов будут ненужно потраченным временем или дадут бонус? Будут ли надо мной смеяться двадцатилетние пиздюки? Меня интересуют деньги и классные тасочки где надо думать. В принципе, меня и сейчас все +- устраивает, но вдруг можно ещё лучше? Реквестирую кулстори.
>>67444
Разбираться как можно более полноценно дома, подымая псевдокластеры, а потом идти стажером за еду
Разбираться как можно более полноценно дома, подымая псевдокластеры, а потом идти стажером за еду
>>67763
С вышкой несложно, ищешь стажерские позиции, готовишься к ним недельку, перекатываешься. Со стажера подымишься быстро.
Второй вариант это забугорный фриланс по вечерам, а потом пункт один.
>Какие есть варианты перекатиться в этот ваш машоб?
С вышкой несложно, ищешь стажерские позиции, готовишься к ним недельку, перекатываешься. Со стажера подымишься быстро.
Второй вариант это забугорный фриланс по вечерам, а потом пункт один.
>>67763
"Машоб" это довольно общо сказано, в принципе твои скиллы довольно полезны для мл инжинера, который, в отличие от датасаентиста, занимается не столько тренировкой моделей и иследовательской работой, а именно выкатом их в продакшен, разворачиванием всяких сервисов, вознёй с бигдата инфраструктурой. Можешь попробоваться туда.
Это хорошо, но недостаточно, надо ещё уметь отличать его от knn.
Иначе прямо с собеседования охрана возьмёт за шкирку, и в помойную лужу выкинет.
>варианты перекатиться в этот ваш машоб? И нужно ли это? Мои скилы по разрабатыванию апишек и продумыванию взаимодействия микросервисов будут ненужно потраченным временем или дадут бонус?
"Машоб" это довольно общо сказано, в принципе твои скиллы довольно полезны для мл инжинера, который, в отличие от датасаентиста, занимается не столько тренировкой моделей и иследовательской работой, а именно выкатом их в продакшен, разворачиванием всяких сервисов, вознёй с бигдата инфраструктурой. Можешь попробоваться туда.
>Однажды написал k-means.
Это хорошо, но недостаточно, надо ещё уметь отличать его от knn.
Иначе прямо с собеседования охрана возьмёт за шкирку, и в помойную лужу выкинет.
>>67780
У чувака образование прикладного математика, а ты его разгребать инфраструктурное говно посылаешь. Жестокий ты человек.
У чувака образование прикладного математика, а ты его разгребать инфраструктурное говно посылаешь. Жестокий ты человек.
>>67786
У нас полстраны этих маняматиков, для того чтобы быть хорошим датасаентистом этого недостаточно. Вакансий на дс очень мало и хер устроишься иногда даже с профильной степенью и статьями.
У нас полстраны этих маняматиков, для того чтобы быть хорошим датасаентистом этого недостаточно. Вакансий на дс очень мало и хер устроишься иногда даже с профильной степенью и статьями.
>>67768
Подгорело немного.
>С вышкой несложно, ищешь стажерские позиции, готовишься к ним недельку, перекатываешься
Подгорело немного.
>>67794
Диван в треде))))))))
Ваша проблема в том, что вы сидите на самоподдуве с тупыми мемасиками уровня "фриланса на машобе нет", "нейронкам нужны 1000 слоев" и т. п. Такой филиал перезвоним-треда с такими же бездарностями.
Заходишь на апворк, вбиваешь machine learning, и апплаишься. Делаешь пару курсачей западным студентам за $50 (что даже не за еду, а в отрицательном диапазоне, поэтому конкуренции там нет), после нескольких пяти звездочек попадаешь уже на кого-то поденежнее.
Я так в 2013 находил работу за $20/час, при том, что за C++ мне выше 15 тогда не платили. Тут ты такой "2019 не 2013", проблема в том, что моя тянка находит подобное сейчас. Правда не на апворке, а на бирже поскромнее, потому что на апворк ее так и не зааппрувили. И недостатка предложений по работе нет, есть только недостаток скиллов.
>>67795
Потому что большая часть не очень далекие люди, искренне не понимающие, какой алмаз у них в кармане. Я это наблюдаю среди одногруппников тянки, большинство свалило в яндексы месить говно каким-нибудь фронтэндом еще лет в 20. Чтобы потом в 30 плакаться о том, как их все заебло и какая тупая у них работа.
Конечно ты хер устроишься со статьями, потому что ученые - они ведь в говне моченые. Нихуя за свою жизнь не сделали, кроме сидения на сиське государства, нихуя не умеют, а при этом хотят получать 300к в секунду, как их сосед Вася, который много лет месил говно, начиная с работы в НИИ студентом (потому что там дохуя свободного времени на самообразования), кончая домашек западным лодырям, оттачивая свой английский. Собственно примерно в НИИ пути и расходятся, одни видят, как вписываться в рыночек, а другие продолжают не напрягаясь пописывать свои статейки и онанировать на свою степень.
>Фриланс по машинному обучению?)))
Диван в треде))))))))
Ваша проблема в том, что вы сидите на самоподдуве с тупыми мемасиками уровня "фриланса на машобе нет", "нейронкам нужны 1000 слоев" и т. п. Такой филиал перезвоним-треда с такими же бездарностями.
Заходишь на апворк, вбиваешь machine learning, и апплаишься. Делаешь пару курсачей западным студентам за $50 (что даже не за еду, а в отрицательном диапазоне, поэтому конкуренции там нет), после нескольких пяти звездочек попадаешь уже на кого-то поденежнее.
Я так в 2013 находил работу за $20/час, при том, что за C++ мне выше 15 тогда не платили. Тут ты такой "2019 не 2013", проблема в том, что моя тянка находит подобное сейчас. Правда не на апворке, а на бирже поскромнее, потому что на апворк ее так и не зааппрувили. И недостатка предложений по работе нет, есть только недостаток скиллов.
>>67795
>У нас полстраны этих маняматиков, для того чтобы быть хорошим датасаентистом этого недостаточно.
Потому что большая часть не очень далекие люди, искренне не понимающие, какой алмаз у них в кармане. Я это наблюдаю среди одногруппников тянки, большинство свалило в яндексы месить говно каким-нибудь фронтэндом еще лет в 20. Чтобы потом в 30 плакаться о том, как их все заебло и какая тупая у них работа.
>Вакансий на дс очень мало и хер устроишься иногда даже с профильной степенью и статьями.
Конечно ты хер устроишься со статьями, потому что ученые - они ведь в говне моченые. Нихуя за свою жизнь не сделали, кроме сидения на сиське государства, нихуя не умеют, а при этом хотят получать 300к в секунду, как их сосед Вася, который много лет месил говно, начиная с работы в НИИ студентом (потому что там дохуя свободного времени на самообразования), кончая домашек западным лодырям, оттачивая свой английский. Собственно примерно в НИИ пути и расходятся, одни видят, как вписываться в рыночек, а другие продолжают не напрягаясь пописывать свои статейки и онанировать на свою степень.
>>67814
Тогда была бы очередь на аппрув. А там нужно удовлетворить формальным критериям индуса-проверяльщика, которые чуть умнее бота, и проверяют примерно раз в 3 дня. Естественно там надо жульничать в такой ситуации.
Тогда была бы очередь на аппрув. А там нужно удовлетворить формальным критериям индуса-проверяльщика, которые чуть умнее бота, и проверяют примерно раз в 3 дня. Естественно там надо жульничать в такой ситуации.
>>67815
тем не менее это характерно что специалиста по машобу заворачивают как автора текстового контента какого-нибудь
тем не менее это характерно что специалиста по машобу заворачивают как автора текстового контента какого-нибудь
>>67819
Это как фейс-контроль в клубе. Тебе от этого плохо, когда ты снаружи, но хорошо, когда ты внутри. Из-за подобной политики заворачивания даунов, которые не могут профиль грамотно заполнить по критериям индусов и бояться жульничать, приписывая себе хотя бы мастера вместо незаконченного высшего, лично тебе будет только хорошо, ты ведь получил от меня инструкции, что тебе нужно делать.
Это как фейс-контроль в клубе. Тебе от этого плохо, когда ты снаружи, но хорошо, когда ты внутри. Из-за подобной политики заворачивания даунов, которые не могут профиль грамотно заполнить по критериям индусов и бояться жульничать, приписывая себе хотя бы мастера вместо незаконченного высшего, лично тебе будет только хорошо, ты ведь получил от меня инструкции, что тебе нужно делать.
>>67811
Это да, в отличие от хуя, у которого только алмаз в жопе в виде шести лет протирания штанов на мехмате какого-нибудь провинциального вуза. Такого конечно везде ждут с распростёртыми объятиями, тоннами бабок и интересными исследовательскими задачами.
>потому что ученые - они ведь в говне моченые
Это да, в отличие от хуя, у которого только алмаз в жопе в виде шести лет протирания штанов на мехмате какого-нибудь провинциального вуза. Такого конечно везде ждут с распростёртыми объятиями, тоннами бабок и интересными исследовательскими задачами.
>>67821
Такого ждет планомерное построение карьеры, начиная с фриланса и стажерских позиций, а потом да, тонны бабок и т. п.
Такого ждет планомерное построение карьеры, начиная с фриланса и стажерских позиций, а потом да, тонны бабок и т. п.
>>67844
Да кто против что-ли, пусть походит с полгодика по объявам, наслушается "извините, нам нужен опытный специалист", обосрётся и укатится назад, либо во что-то более реальное вроде мл инжинера на подхвате.
Да кто против что-ли, пусть походит с полгодика по объявам, наслушается "извините, нам нужен опытный специалист", обосрётся и укатится назад, либо во что-то более реальное вроде мл инжинера на подхвате.
>>40857
Я в Киеве никогда не встречал таких вакансий, типа Junior Data Satanist. Знакомые вкатывальщики начинали с аналитиков и вкатывались через матан или с биг дата инженеров и вкатывались через тех. часть.
Проблема еще в том, что часто под ваканчиями мл\дата сатанист скрывается требования как к обычному аналитику и обратное. По-этому не гнушайся просматривать дата аналистов и дата инженеров.
Я в Киеве никогда не встречал таких вакансий, типа Junior Data Satanist. Знакомые вкатывальщики начинали с аналитиков и вкатывались через матан или с биг дата инженеров и вкатывались через тех. часть.
Проблема еще в том, что часто под ваканчиями мл\дата сатанист скрывается требования как к обычному аналитику и обратное. По-этому не гнушайся просматривать дата аналистов и дата инженеров.
Есть цеферки mnist
Есть нейронка, автоэнкодер с 1 скрытым слоем на сигмоиде.
Веса скрытого слоя фиксированны.
Обучение проходит для каждого изображения(без вычисления среднего градиента)
Почему, эта сука, пообучавшись нормально до хороших значений, за тыщу другую итераций, вдруг, начинает увеличивать ошибку и вместо некоторых чисел выдавать белые пятна?
Это законно?
Есть нейронка, автоэнкодер с 1 скрытым слоем на сигмоиде.
Веса скрытого слоя фиксированны.
Обучение проходит для каждого изображения(без вычисления среднего градиента)
Почему, эта сука, пообучавшись нормально до хороших значений, за тыщу другую итераций, вдруг, начинает увеличивать ошибку и вместо некоторых чисел выдавать белые пятна?
Это законно?
>>68383
оверфиттинг
оверфиттинг
Господа, вопрос следующий.
В одной очень большой компании я что то вроде проектного менеджера между командой дата саентистов и руководства с дедами, коммуникационная перемычка скажем так.
По роли работы иногда приходится разбираться с тем что там наговнокодили, какие выводы сделали и так далее.
Дополнительно хочу прокачать скиллы в самой простой предобработке данных и строить простую аналитику чтобы самому формировать бизнес-гипотезы, делать анализ и т.д, а уж модели пусть саентисты строят.
У меня тут проблема, я нихуя не могу запомнить код.
Поэтому что то пишу только обложившись чужими тетрадками с гитхабов и чувствую себя ущербным что без них самостоятельно нихуя не напишу.
Подскажите как вы запоминаете все эти функции пандасов, матплотлибов и прочего говна, это пиздец какой то.
В одной очень большой компании я что то вроде проектного менеджера между командой дата саентистов и руководства с дедами, коммуникационная перемычка скажем так.
По роли работы иногда приходится разбираться с тем что там наговнокодили, какие выводы сделали и так далее.
Дополнительно хочу прокачать скиллы в самой простой предобработке данных и строить простую аналитику чтобы самому формировать бизнес-гипотезы, делать анализ и т.д, а уж модели пусть саентисты строят.
У меня тут проблема, я нихуя не могу запомнить код.
Поэтому что то пишу только обложившись чужими тетрадками с гитхабов и чувствую себя ущербным что без них самостоятельно нихуя не напишу.
Подскажите как вы запоминаете все эти функции пандасов, матплотлибов и прочего говна, это пиздец какой то.
>>68654
Вполне. Смотри лицензии у тетрадок с гитхабов.
Вполне. Смотри лицензии у тетрадок с гитхабов.
>>68620
Их не нужно запоминать. Главное - знать где посмотреть в случае необходимости.
> Подскажите как вы запоминаете все эти функции пандасов, матплотлибов и прочего говна, это пиздец какой то.
Их не нужно запоминать. Главное - знать где посмотреть в случае необходимости.
Есть ли в нумпу матричный аналог списка? Чтобы на каждом витке цикла колонки по очереди добавлялись в созданную перед циклом пустую матрицу?
113 Кб, 300x300Эхх, как же хочется эмбеддингов на все, бесплатные клауд вычисления, датасетов хотя бы половину террабайта, ИДЕ чтобы поддерживала слесарню.
>>69308
Создай матрицу из нулей и записывай колонки через слайсы. Или concatenate, если совсем не знаешь размера матрицы.
Создай матрицу из нулей и записывай колонки через слайсы. Или concatenate, если совсем не знаешь размера матрицы.
Ребятки, нужна помощь. Нашел эмбеддинги для символов от МИТ. А они там 300 измерений в длину. А я адепт сокращения и оптимизации. Решил надо обрезать. А как называется способ, когда векторы проецируют в меньшее пространство с наибольшим сохранением относительного смысла, не помню.
>>69458
Почему решил? "патамушта"?
Ты сначала выясни чем тебя текущий вариант не устраивает, а потом думай о сокращении.
>А они там 300 измерений в длину. А я адепт сокращения и оптимизации. Решил надо обрезать.
Почему решил? "патамушта"?
Ты сначала выясни чем тебя текущий вариант не устраивает, а потом думай о сокращении.
Как вообще может выглядеть портфолио специалиста по машинному обучению?
Вот например ссылка на гитхаб и там куча юпитер ноутбуков, где я занимаюсь разными преобразованиями данных и задаю архитектуру модели, в ридми, предположим, прописываю изначальную задачу и прикладываю какие-нибудь метрики точности и графики, так ?
А веса (в случае если используется нейронная сеть) или какие-нибудь файлики для инициализации классификаторов, куда всё это скидывать, тоже что лди на гитхаб?
Вот я обрисовал примерный вид этого портфолио, но пробежался по нему глазами и самому стало смешно.
Окей, пусть такой прототип будет демонстрацией того, что ты знаешь бюазовые понятия, но как продемонстрироват навыки правильного выстраивания инфраструктуры для выката всего этого на продакшн? Или это уже не твоя забота, а забота девопса?
Уважаемые профи из треда, поделитесь советом, плиз.
Вот например ссылка на гитхаб и там куча юпитер ноутбуков, где я занимаюсь разными преобразованиями данных и задаю архитектуру модели, в ридми, предположим, прописываю изначальную задачу и прикладываю какие-нибудь метрики точности и графики, так ?
А веса (в случае если используется нейронная сеть) или какие-нибудь файлики для инициализации классификаторов, куда всё это скидывать, тоже что лди на гитхаб?
Вот я обрисовал примерный вид этого портфолио, но пробежался по нему глазами и самому стало смешно.
Окей, пусть такой прототип будет демонстрацией того, что ты знаешь бюазовые понятия, но как продемонстрироват навыки правильного выстраивания инфраструктуры для выката всего этого на продакшн? Или это уже не твоя забота, а забота девопса?
Уважаемые профи из треда, поделитесь советом, плиз.
В общем, на следующей неделе начинаю рассылать свою резюмеху и ходить на собеседованья.
Репортить буду в тред, мб кому-то поможет то что меня спрашивали
Хоть и подаюсь на днищеработы начального уровня, но чувствую что с моим набором (7 задач от каггла на топ20%, бакалавр прикл математики, знания мат стат, теорвер, понимание алгоритмов sup/unsup, курс ng, норм по mysql/postgres, power bi) я жидко обосрусь, потому что буду конкурировать с ебучими выпускниками магистратуры, которые это всё дрочили всю магистратуру а не как я всего лишь пол года
ухх, чувствую обосрусь так обосрусь!
Репортить буду в тред, мб кому-то поможет то что меня спрашивали
Хоть и подаюсь на днищеработы начального уровня, но чувствую что с моим набором (7 задач от каггла на топ20%, бакалавр прикл математики, знания мат стат, теорвер, понимание алгоритмов sup/unsup, курс ng, норм по mysql/postgres, power bi) я жидко обосрусь, потому что буду конкурировать с ебучими выпускниками магистратуры, которые это всё дрочили всю магистратуру а не как я всего лишь пол года
ухх, чувствую обосрусь так обосрусь!
>>69794
Ты только не забывай, что без предыдущего опыта ты первую работу искать будешь до полугода по крайней мере, так было у у меня в веб-разработке, а на веб-разработку куда больше мест чем на машоб. Это не для того, чтоб тебя демотивировать, просто имей в виду что надо терпеливо рассылать резюмехи, не расстраиваться раньше времени и по дороге не забывать что-то самому попиливать. Некоторые эйчары вполне себе считают пет-проджекты за опыт работы опять же, не знаю как у вас, но думаю что так же.
Ты только не забывай, что без предыдущего опыта ты первую работу искать будешь до полугода по крайней мере, так было у у меня в веб-разработке, а на веб-разработку куда больше мест чем на машоб. Это не для того, чтоб тебя демотивировать, просто имей в виду что надо терпеливо рассылать резюмехи, не расстраиваться раньше времени и по дороге не забывать что-то самому попиливать. Некоторые эйчары вполне себе считают пет-проджекты за опыт работы опять же, не знаю как у вас, но думаю что так же.
>>69584
Опять же, отвечаю с точки зрения веб-разработчика.
Я думаю что и у вас оценят способность задеплоить результаты твоих трудов, плюс благодаря этому ты сможешь дать пощупать результаты своих трудов в действии.
Кроме того, от тебя, как от человека который будет писать код, было бы оправдано требовать умение спроектировать софт так, чтоб его было легко задеплоить.
Опять же, отвечаю с точки зрения веб-разработчика.
Я думаю что и у вас оценят способность задеплоить результаты твоих трудов, плюс благодаря этому ты сможешь дать пощупать результаты своих трудов в действии.
Кроме того, от тебя, как от человека который будет писать код, было бы оправдано требовать умение спроектировать софт так, чтоб его было легко задеплоить.
>>69810
Хочешь неприятную правду? В датасаенсе в расее васянов больше чем в вебе. Тут один дебил был, который всем пояснял что в продакшн деплоят только написанный на крестах со своими велосипедными библиотеками.
Хочешь неприятную правду? В датасаенсе в расее васянов больше чем в вебе. Тут один дебил был, который всем пояснял что в продакшн деплоят только написанный на крестах со своими велосипедными библиотеками.
>>69873
В Блинолопатии датасаенса как такового нет, вся тусовочка отечественных слесарей по-сути фанклуб, посвященный датасаенсу. Потому что все эти васяны, вкатывальщики и прочее быдлецо ничего не даёт датасаенсу - ни разработки новых алгоритмов, нихуя.
> В датасаенсе в расее васянов больше чем в вебе
В Блинолопатии датасаенса как такового нет, вся тусовочка отечественных слесарей по-сути фанклуб, посвященный датасаенсу. Потому что все эти васяны, вкатывальщики и прочее быдлецо ничего не даёт датасаенсу - ни разработки новых алгоритмов, нихуя.
>>69905
согласен
хоть и страна другая (Украина, Киев), но я бы с удовольствием остался на магистратуру, ездил бы по конференциям, делал бы пейперы
Но не могу - денег недостаточно
Планирую всё-таки потом вернуться хотя бы на заочку и хоть какой-то вклад в научные вещи сделать
согласен
хоть и страна другая (Украина, Киев), но я бы с удовольствием остался на магистратуру, ездил бы по конференциям, делал бы пейперы
Но не могу - денег недостаточно
Планирую всё-таки потом вернуться хотя бы на заочку и хоть какой-то вклад в научные вещи сделать
>>69917
Украина, Киев, заканчиваю магистратуру. Я не встречал преподавателей, которым было бы интересно курировать студента с полезными публикациями и конференциями, а также тех, кто мог бы хоть что-то по этому посоветовать.
У нас всем интересно тупо фармить тупые публикации по высосанным из пальца темам.
Украина, Киев, заканчиваю магистратуру. Я не встречал преподавателей, которым было бы интересно курировать студента с полезными публикациями и конференциями, а также тех, кто мог бы хоть что-то по этому посоветовать.
У нас всем интересно тупо фармить тупые публикации по высосанным из пальца темам.
![441375[1].jpg](https://2ch.hk//pr/src/1440632/15679483280450.jpg)
540 Кб, 1797x1217>>62673
будет проблемно найти такой датасет, но можно заменить кое-чем другим...
>тренируешь ее на нескольких тысячах фотографий с перекрывающимися сосисками
будет проблемно найти такой датасет, но можно заменить кое-чем другим...
>>69920
Черт!
Ты случайно не из ИПСА КПИ? Хотел там найти человечка
На ФПМ КПИ просмотрел - там есть предмет по машобу, только один правда, но посмотрим как выгорит
Черт!
Ты случайно не из ИПСА КПИ? Хотел там найти человечка
На ФПМ КПИ просмотрел - там есть предмет по машобу, только один правда, но посмотрим как выгорит
>>67811
скажи что за биржа
скажи что за биржа
>>69584
Портфолио специалиста по машобу - аккаунт на кегле.
Портфолио специалиста по машобу - аккаунт на кегле.
>>70019
Нет, но у меня два сотрудника прошли КПИ, один из них как раз примат, могу у них точно спросить. Что тебе интересно - магистратура, на которой можно найти толковых преподов по датасаенсу и машобу? Или тебя интересуют более фундаментальные вещи? Если да, то какие?
Нет, но у меня два сотрудника прошли КПИ, один из них как раз примат, могу у них точно спросить. Что тебе интересно - магистратура, на которой можно найти толковых преподов по датасаенсу и машобу? Или тебя интересуют более фундаментальные вещи? Если да, то какие?
Анонсы умоляю, помогите! Вопрос максимально глупый, но все же, надеюсь на ваше понимание.
В моем городе(не мухосрань) мало вакансий по млу, а если есть то нужен опыт, возможно ли катиться в мл через дата саенс? Вроде различий мало но они естественно есть.
В моем городе(не мухосрань) мало вакансий по млу, а если есть то нужен опыт, возможно ли катиться в мл через дата саенс? Вроде различий мало но они естественно есть.
>>70169
Можно и через фронтэнд вкатиться. Как правило если ты работаешь в конторе, то попроситься в другой отдел намного проще, чем устроиться с улицы, а в крайнем случае вернешься назад.
У меня так знакомая тянка из менеджеров по продажам стала тестером.
Можно и через фронтэнд вкатиться. Как правило если ты работаешь в конторе, то попроситься в другой отдел намного проще, чем устроиться с улицы, а в крайнем случае вернешься назад.
У меня так знакомая тянка из менеджеров по продажам стала тестером.
>>70124
Было бы очень круто, если спросил бы
Мне интересны 2 вещи:
1) Сама магистратура (в Украине, или загран), в которой есть хорошие преподы по DS. Конечно, есть в Канаде/США/Китае крутые, может, твои знакомые знают какие-то ВУЗы попроще
2) Преподаватели из КПИ (или из Могилянки, Шевы), которые занимаются машинным обучением и с которыми можно было бы написать научную работу.
Фундаментальные вещи - это интересно, но я понимаю что не вытяну.
Было бы очень круто, если спросил бы
Мне интересны 2 вещи:
1) Сама магистратура (в Украине, или загран), в которой есть хорошие преподы по DS. Конечно, есть в Канаде/США/Китае крутые, может, твои знакомые знают какие-то ВУЗы попроще
2) Преподаватели из КПИ (или из Могилянки, Шевы), которые занимаются машинным обучением и с которыми можно было бы написать научную работу.
Фундаментальные вещи - это интересно, но я понимаю что не вытяну.
>>70190
Всё так, но если ты где-то работаешь в конторе (особенно - если долгое время), то уже не сильно хочется перескакивать со своей текущей зп на зп джуна/интерна. А без потерь в деньгах тебя едва ли переведут на другую должность.
Уж лучше, если время позволяет, наточить когти по своей специальности и нормально вкатиться.
Всё так, но если ты где-то работаешь в конторе (особенно - если долгое время), то уже не сильно хочется перескакивать со своей текущей зп на зп джуна/интерна. А без потерь в деньгах тебя едва ли переведут на другую должность.
Уж лучше, если время позволяет, наточить когти по своей специальности и нормально вкатиться.
>>70239
С удовольствием, да вот только вакансий по млу мало, а если есть то требуется опыт работы, единственное наилучшее решение помимо молитвы на мл Джуна это вкат через да помоему
С удовольствием, да вот только вакансий по млу мало, а если есть то требуется опыт работы, единственное наилучшее решение помимо молитвы на мл Джуна это вкат через да помоему
>>70250
Вам изнутри профессии виднее, главное чтоб потом никто не расстроился тем что дополз до минимально приличной зп и теперь нужно будет снова бомжевать.
Вам изнутри профессии виднее, главное чтоб потом никто не расстроился тем что дополз до минимально приличной зп и теперь нужно будет снова бомжевать.
Как вы подходите к созданию кастомных алгоритмов с CV?
Мне нужно взять набор образов и извлечь из них очень специфические свойства. Эти свойства на первый взгляд никак не соотносятся с вещами, которое умеет делать OpenCV.
Понимаю, что без конкретики я и не получу конкретный ответ, но хотелось бы понять с какой вообще стороны правильно подходить к решению всяких сложных задач.
К примеру, есть фото дождевого червя и я уже умею надёжно распознавать его образ на фотографии фото всегда сверху. Как мне измерить его длину и количество колец, если он лежит как попало?
Мне нужно взять набор образов и извлечь из них очень специфические свойства. Эти свойства на первый взгляд никак не соотносятся с вещами, которое умеет делать OpenCV.
Понимаю, что без конкретики я и не получу конкретный ответ, но хотелось бы понять с какой вообще стороны правильно подходить к решению всяких сложных задач.
К примеру, есть фото дождевого червя и я уже умею надёжно распознавать его образ на фотографии фото всегда сверху. Как мне измерить его длину и количество колец, если он лежит как попало?
>>70276
Ненужное говно. Будущее уже наступило, берёшь e2e няронку и она сама всё ноходит, выкатывает в прод и поёт сладеньким голоском.
>кастомных алгоритмов с CV?
>Мне нужно взять набор образов и извлечь из них очень специфические свойства.
Ненужное говно. Будущее уже наступило, берёшь e2e няронку и она сама всё ноходит, выкатывает в прод и поёт сладеньким голоском.
>>70362
Масштаб узнаю, а он для чего-то нужен, помимо моей кастомной логики? Лично мне пока хватит только измерения длины в абстрактных "зелёных попугаях", так как я буду сравнивать между собой червей с фотографий одинакового масштаба.
Не подскажешь где почитать про измерение длины изогнутого объекта через интеграл? И "интеграл по червю" - это интеграл по контуру, или что ты имеешь в виду?
Масштаб узнаю, а он для чего-то нужен, помимо моей кастомной логики? Лично мне пока хватит только измерения длины в абстрактных "зелёных попугаях", так как я буду сравнивать между собой червей с фотографий одинакового масштаба.
Не подскажешь где почитать про измерение длины изогнутого объекта через интеграл? И "интеграл по червю" - это интеграл по контуру, или что ты имеешь в виду?
Яндексокуколды здесь? Вы там совсем охуели уже? Позавчера зарепортил разработчикам адблока вашу душную подмывальню, т.к. реклама настолько злокачественная, что адблок ее не скрывает. Сегодня мне ответили, что надо доустановить кое-что по ссылке https://forums.lanik.us/viewtopic.php?f=102&t=23650 я реально охуел. Раньше достаточно было просто обновить фильтры, а сейчас нужна установка дополнительных расширений и скриптов. Все сработало, кстати, рекламы больше нет, вы официально сосете. Вам весь этот шад и прочее говно нужно чтобы дырявую рекламу впаривать?
>Рекламщики обходят блокировку не только на уровне фильтров, но и на уровне функционала расширений. Именно для таких случаев как раз и предусмотрены пакеты RU AdList Fixes. Обратите внимание, это не фильтры, которые можно подключить в Adblock Plus, AdBlock и пр., а дополнительные средства, для работы которых нужно будет предварительно установить соответствующие расширения.
>>70429
Ваше мнение очень важно для нас.
Ваше мнение очень важно для нас.
>>70211
По поводу КПИ - на прикладной математике, специальностях "прикладная математика" и "компьютерная инженерия", говорят, есть пара жёстких типов которые шарят по интересным тебе темам. Чуть позже могу про Могилянку написать, но давай ты мне дашь мыло/телегу, если интересно - чтоб тред не засирать.
По поводу КПИ - на прикладной математике, специальностях "прикладная математика" и "компьютерная инженерия", говорят, есть пара жёстких типов которые шарят по интересным тебе темам. Чуть позже могу про Могилянку написать, но давай ты мне дашь мыло/телегу, если интересно - чтоб тред не засирать.
>>70429
Если бы все поисковики были платными, ты бы в принципе не мог узнать чем kmeans от knn отличается, а сейчас можешь но предпочитаешь быть петухом.
>нужно чтобы дырявую рекламу впаривать?
Если бы все поисковики были платными, ты бы в принципе не мог узнать чем kmeans от knn отличается, а сейчас можешь но предпочитаешь быть петухом.
>>70460
Опять на связь выходишь, мудло? Рот твой ебал, чучело тупое.
Опять на связь выходишь, мудло? Рот твой ебал, чучело тупое.
>>70475
Что тебе понятно, чухомор? Причем тут функционал в смысле вариационного исчисления? Ты контекст использования слова не понимаешь, дифиченто?
Что тебе понятно, чухомор? Причем тут функционал в смысле вариационного исчисления? Ты контекст использования слова не понимаешь, дифиченто?
А какие есть сейчас решения с трансферлёрнингом в RL чтобы агент учился не с нуля, перебирая все варианты, а начиная допустим с набором каких-то эвристических политик?
Какие есть красивые и оригинальные идеи в машин лёрнинге кроме тех, что проходят в любом курсе по МЛ?
Кстати большинство курсов по МЛ делятся на две слабо соотносящиеся друг с другом части.
Теоретическая -- всякий хитровыебанный матстат.
Практическая -- импорт, фит, предикт. И дальше подгоняешь гиперпараметры.
Сколько не смотрел разборы на кегле, там нихуя не понятно, почему автор выбрал именно такой алгоритм и почему именно он заработал.
Как начать тащить на кэггл кроме как скупить килотонну видеокарт и считать на них неделями?
Теоретическая -- всякий хитровыебанный матстат.
Практическая -- импорт, фит, предикт. И дальше подгоняешь гиперпараметры.
Сколько не смотрел разборы на кегле, там нихуя не понятно, почему автор выбрал именно такой алгоритм и почему именно он заработал.
Как начать тащить на кэггл кроме как скупить килотонну видеокарт и считать на них неделями?
>>70539
Метод проб и ошибок.
>не понятно, почему автор выбрал именно такой алгоритм и почему именно он заработал.
Метод проб и ошибок.
>>70539
смотрел канал https://www.youtube.com/channel/UCeq6ZIlvC9SVsfhfKnSvM9w/videos
?
мне очень понравился
впервые познакомился с ним когда решал задачу "San Francisco Crim e Classification" недели 2 назад - ииии.... очень понравился канал!
смотрел канал https://www.youtube.com/channel/UCeq6ZIlvC9SVsfhfKnSvM9w/videos
?
мне очень понравился
впервые познакомился с ним когда решал задачу "San Francisco Crim e Classification" недели 2 назад - ииии.... очень понравился канал!
>>70539
Во-первых, секрет фирмы.
Во-вторых, как и сказали выше, пробуют кучу моделей бывает, оставляют ту которая лучше работает.
Игнорировать CV?
>почему автор выбрал именно такой алгоритм
Во-первых, секрет фирмы.
Во-вторых, как и сказали выше, пробуют кучу моделей бывает, оставляют ту которая лучше работает.
>кроме как скупить килотонну видеокарт и считать на них неделями
Игнорировать CV?
>>70603
Мошонлернинх окончательно превращается в шаманство. Зумера не понимают сути разных алгоритмов, без чего невозможно подобрать адекватный для данного датасета, и считают сильным калдуном того, кто может.
> Во-первых, секрет фирмы.
Мошонлернинх окончательно превращается в шаманство. Зумера не понимают сути разных алгоритмов, без чего невозможно подобрать адекватный для данного датасета, и считают сильным калдуном того, кто может.
Аноний, привет. Короче я загорелся обучить нейронку, которая будет торговать на криптовалютной бирже. Нахуярил разных индикаторов, всяких параметров, хуе-мое, использовал керас-подобную хуйню на js. В итоге добился того, что примерно 85 - 90% из ста она делает заказ и он успешно продается по большей цене, но сука ебаные 10-15% заказов фейлят общую картину и профит минимальный просто. Чтобы выйти на жалких 10% в месяц, нужно написать хуеву тучу алгоритмического дерьма, которое будет ограничивать нейронку, которая, к примеру радостно пытается купить на самом пике, думая, что ну блядь, цена ж растет вроде. Подскажи, куда копать, если проблема, как я думаю в следующем. Я использую в качестве функции потери одну из стандартных, вроде absoluteDifference. Оптимизатор - адам, линейная функция активации работает пизже всего, данные для обучения генерю следующим образом - делаю кучу ордеров, записывая разные индикаторы, после чего, записываю, зафейлился каждый из ордеров или успешно продался, таким образом вход это нормализованные данные по цене и индикаторам, выход - единички или нолики, но в чем прикол. По идее моя задача не в том, чтобы предсказание по единичкам и ноликам было максимально точным, а чтобы предсказания об успешном ордере сбывались как можно чаще, при этом не столь важно, сколько успешных ордеров сеть пропустит, нужно, чтобы она указывала на прям 100% верняк. Может, что-нибудь посоветуете?
Бамп годному тренду
>>70625
Нифига себе, поздравляю!
По теме ничего не могу ответить, но зато спрошу - скинь свой classification_report - интересно как у тебя там дела (Я же правильно понимаю, что ты предсказываешь рост/понижение/равно * какой-то value ?)
>85 - 90%
Нифига себе, поздравляю!
По теме ничего не могу ответить, но зато спрошу - скинь свой classification_report - интересно как у тебя там дела (Я же правильно понимаю, что ты предсказываешь рост/понижение/равно * какой-то value ?)
>>70632
Ну по сути я предсказываю не повышение или понижение, а то, будет ли определенный ордер успешно продан === 1, или будет зафейлен по стоп лосу (то бишь цена после покупки опустится настолько, что мы в панике продаем) === 0. А мне нужна такая функция потери, которая будет возвращать большее значение, если сеть предсказала успех, но ордер зафейлен, и в то же время если сеть предсказывает фейл, а на самом деле это успех, то функция потери должна выдавать щначение гораздо меньше. Хотя при тактм раскладе сети как-бы выгоднее везде выдавать нули. Поэтому получается дичь.
Да в принципе не с чем. Эти 15% фейлят всё. Нужна хотя бы точность около 95%. По идее, ее можно добить алгоритмически, но хуй его знает, это пиздец работы.
Ну по сути я предсказываю не повышение или понижение, а то, будет ли определенный ордер успешно продан === 1, или будет зафейлен по стоп лосу (то бишь цена после покупки опустится настолько, что мы в панике продаем) === 0. А мне нужна такая функция потери, которая будет возвращать большее значение, если сеть предсказала успех, но ордер зафейлен, и в то же время если сеть предсказывает фейл, а на самом деле это успех, то функция потери должна выдавать щначение гораздо меньше. Хотя при тактм раскладе сети как-бы выгоднее везде выдавать нули. Поэтому получается дичь.
>поздравляю
Да в принципе не с чем. Эти 15% фейлят всё. Нужна хотя бы точность около 95%. По идее, ее можно добить алгоритмически, но хуй его знает, это пиздец работы.
>>70614
Для того кто ничего кроме нечёткого перекладывания палочек не умеет всё что угодно шаманство, от гамалогий до кнн.
>Мошонлернинх окончательно превращается в шаманство.
Для того кто ничего кроме нечёткого перекладывания палочек не умеет всё что угодно шаманство, от гамалогий до кнн.
>>70632
Что за репорт? Я скину, но объясни где взять, или как сгенерить. Ибо я нубяра в нейросетях
Что за репорт? Я скину, но объясни где взять, или как сгенерить. Ибо я нубяра в нейросетях
>>70625
Хе-хе, это называется распределение с жирными хвостами. Люди в финансах кучу сил, времени и нервов кладут чтобы как-то с ними совладать, потому им такие гигантские деньги-то и плотют.
> примерно 85 - 90% из ста она делает заказ и он успешно продается по большей цене, но сука ебаные 10-15% заказов фейлят общую картину
Хе-хе, это называется распределение с жирными хвостами. Люди в финансах кучу сил, времени и нервов кладут чтобы как-то с ними совладать, потому им такие гигантские деньги-то и плотют.
>>70625
Тебе это вряд ли поможет, но твои 10-15% хреновых лотов напомнили мне о концепции хеджирования. Вряд ли тебе это поможет, но игроки на бирже прикрывают себе задницу сделками по противоположным позициям, и тебе может это помочь выходить в плюс.
Тебе это вряд ли поможет, но твои 10-15% хреновых лотов напомнили мне о концепции хеджирования. Вряд ли тебе это поможет, но игроки на бирже прикрывают себе задницу сделками по противоположным позициям, и тебе может это помочь выходить в плюс.
>>70625
Линейная функции активации превращает нейронку в линейный классификатор. Ты слишком все переусложнил - зачем-то взял нейронку, при этом же используешь мануальный дизайн фич (которые ты называешь индикаторами).
Если тебе нужен другой лосс, напиши другой лосс.
Линейная функции активации превращает нейронку в линейный классификатор. Ты слишком все переусложнил - зачем-то взял нейронку, при этом же используешь мануальный дизайн фич (которые ты называешь индикаторами).
>Может, что-нибудь посоветуете?
Если тебе нужен другой лосс, напиши другой лосс.
>>70656
Ты по-русски не понимаешь, пидораст? Обосрался где только можно, теперь пытаешься тип тралеть))) прикрываясь псевдоанонимностью?
Ты по-русски не понимаешь, пидораст? Обосрался где только можно, теперь пытаешься тип тралеть))) прикрываясь псевдоанонимностью?
>>70648
Ну я имел ввиду classification_report https://scikit-learn.org/stable/modules/generated/sklearn.metrics.classification_report.html
Precision/Recall хотел посмотреть (многого хочу xaxa)
Вспомнил - мне говорили по поводу time series forecasting что самое главное - это consistency
Пофиг на все метрики
Главное чтобы твоя гипотеза с новыми и новыми данными работала с одинаковой точностью/f1/mrse/чтотытамвыбрал
(но это я просто подслушал не воспринимай меня в серьёз)
Ну я имел ввиду classification_report https://scikit-learn.org/stable/modules/generated/sklearn.metrics.classification_report.html
Precision/Recall хотел посмотреть (многого хочу xaxa)
Вспомнил - мне говорили по поводу time series forecasting что самое главное - это consistency
Пофиг на все метрики
Главное чтобы твоя гипотеза с новыми и новыми данными работала с одинаковой точностью/f1/mrse/чтотытамвыбрал
(но это я просто подслушал не воспринимай меня в серьёз)
>>70656
Я не уверен, что петух из /math и наш петух одно и то же лицо. Бордошизики вообще похожи
Я не уверен, что петух из /math и наш петух одно и то же лицо. Бордошизики вообще похожи
>>70663
Я не знаю, как получить из рынка прибыль с учетом комиссии брокера. Знал бы, не сидел бы тут с тобой
Я не знаю, как получить из рынка прибыль с учетом комиссии брокера. Знал бы, не сидел бы тут с тобой
>>70661
Тогда я запутался. Что называется линейной? Ступенька? Тогда у меня не ступенька, а нечто типа y = x, как релу, только меньше нуля не 0.
Тогда я запутался. Что называется линейной? Ступенька? Тогда у меня не ступенька, а нечто типа y = x, как релу, только меньше нуля не 0.
>>70670
Ну смотри, в js tensor flow из стандартных предлагается такая дичь как sigmoid, linear, relu, tanh и другие, я пробовал разные, но почему-то linear работает пизже всего
Ну смотри, в js tensor flow из стандартных предлагается такая дичь как sigmoid, linear, relu, tanh и другие, я пробовал разные, но почему-то linear работает пизже всего
>>70674
Да понятно, почему. Потому что данные слишком простые и линейный классификатор обучается быстрее всего
Да понятно, почему. Потому что данные слишком простые и линейный классификатор обучается быстрее всего
Планирую пойти на бакалавриат по прикладной математике, потом пролезть в шад (хотябы за деньги), чтобы выйти примерно на такой уровень https://www.upwork.com/freelancers/~0126c3bef03e5b5d7b?workHistory=205842676,214659923. Как вам план?
>мимо-кодеманки-28-годиков
>>70684
альтернативный план - создать свою торговую стратегию на 300к в секунду, но думаю тут тоже нужен бакалавриат + шад
альтернативный план - создать свою торговую стратегию на 300к в секунду, но думаю тут тоже нужен бакалавриат + шад
>>70666
Один-один, он даже там отнекивается от того чтобы про knn загуглить, возмущённо тряся гребешком.
Один-один, он даже там отнекивается от того чтобы про knn загуглить, возмущённо тряся гребешком.
>>70625
Нужно обучать ее фигурам: чашкас ручкой, голова с плечами и т. п. Ты куда нейросеть подцепил? К Quik?
Нужно обучать ее фигурам: чашкас ручкой, голова с плечами и т. п. Ты куда нейросеть подцепил? К Quik?
>>70674
Наверное в таком случае можно SVM ебануть, ещё круче выйдет. И надёжней.
Наверное в таком случае можно SVM ебануть, ещё круче выйдет. И надёжней.
>>70697
что-то мне подсказывает бордо-математики далеко не первые до этого додумались и биржи уже давно оптимизированы от таких умников
да я даже вручную смотрел паттерны и записывал результаты в экселе - не работают они
что-то мне подсказывает бордо-математики далеко не первые до этого додумались и биржи уже давно оптимизированы от таких умников
да я даже вручную смотрел паттерны и записывал результаты в экселе - не работают они
>>70697
К самописной хуйне.
У меня поверх сети еще написан сейчас ряд алгоритмических ограничений, которые сами по себе дают какой-то профит (я сейчас смотрю по битку за 4 месяца, выходит +10%, но это пиздец мало, хочется столько за месяц) по идее можно написать еще кучу правил, может даже так и поступлю. С нейросетью как-то пока не складывается, хотя, одно время казалось, что все, золотая жила найдена
К самописной хуйне.
У меня поверх сети еще написан сейчас ряд алгоритмических ограничений, которые сами по себе дают какой-то профит (я сейчас смотрю по битку за 4 месяца, выходит +10%, но это пиздец мало, хочется столько за месяц) по идее можно написать еще кучу правил, может даже так и поступлю. С нейросетью как-то пока не складывается, хотя, одно время казалось, что все, золотая жила найдена
>>70700
Да бирже то похуй, ты ей просто комиссию за операции платишь, они даже апихи сами предоставляют для роботов. Это я сейчас про криптовалютные бирди говорю. Всякие другие да, имеют ограничения
Да бирже то похуй, ты ей просто комиссию за операции платишь, они даже апихи сами предоставляют для роботов. Это я сейчас про криптовалютные бирди говорю. Всякие другие да, имеют ограничения
>>70729
я о более глобальных вещах, таких как кукл
я о более глобальных вещах, таких как кукл
>>70726
А что за сеть? Перцептрончик на заинжинеренных фичах?
А что за сеть? Перцептрончик на заинжинеренных фичах?
Анонсы, шад это панацея? Или хватит магистратуры нормального вуза а лучше опыт работы + самообучение?
>>70625
Давно попадался пример такого. Саму статью отовсюду выпилили почему-то, но по описанию и так было понятно, что сделали авторы. Суть в том, что берется с десяток самых используемых индикаторов и из их текущих значений составляется вектор. Он помечается лейблом в зависимости от того, что стоит делать при таких значениях индикаторов (buy, sell, nothing) с учётом результатов этих действий (успех или проеб), по историческим данным. Затем на таком датасете обучается SOM. Как этим пользоваться - берутся текущие значения индикаторов, добавляется лейбл test и такой вектор используется для предикта, и.е смотрится, к какому действию его отнесет SOM. В соответствии с этим актив покупается, продается или не трогается.
Давно попадался пример такого. Саму статью отовсюду выпилили почему-то, но по описанию и так было понятно, что сделали авторы. Суть в том, что берется с десяток самых используемых индикаторов и из их текущих значений составляется вектор. Он помечается лейблом в зависимости от того, что стоит делать при таких значениях индикаторов (buy, sell, nothing) с учётом результатов этих действий (успех или проеб), по историческим данным. Затем на таком датасете обучается SOM. Как этим пользоваться - берутся текущие значения индикаторов, добавляется лейбл test и такой вектор используется для предикта, и.е смотрится, к какому действию его отнесет SOM. В соответствии с этим актив покупается, продается или не трогается.
>>70511
RL официально всё. Написали же, что не лучше рандомного перебора. Расходитесь, тут не на что смотреть.
> в RL
RL официально всё. Написали же, что не лучше рандомного перебора. Расходитесь, тут не на что смотреть.
>>70859
Я написал свою хуйню, которая парсит данные, пишет их в базу, посылает в браузер, чтобы построить графики ну и взаимодействует с апихой биржи, чтобы собсно парсить сами данные, добавлять ордера и т д.
Я написал свою хуйню, которая парсит данные, пишет их в базу, посылает в браузер, чтобы построить графики ну и взаимодействует с апихой биржи, чтобы собсно парсить сами данные, добавлять ордера и т д.
>>70848
Ты меня подтолкнул на мысль более подробно классифицировать выходы. То бишь сделать как я сказал, нагенерить выборку ордеров в разных местах графика, прогнать через стратегию и разбить на три класса:
1. Дали ебический профит в течении короткого времени после добавления.
2. Дали небольшой профит или проторчали долгое время в пендинге.
3. Зафейлились
Вечером попробую, может, результаты будут пизже.
Ты меня подтолкнул на мысль более подробно классифицировать выходы. То бишь сделать как я сказал, нагенерить выборку ордеров в разных местах графика, прогнать через стратегию и разбить на три класса:
1. Дали ебический профит в течении короткого времени после добавления.
2. Дали небольшой профит или проторчали долгое время в пендинге.
3. Зафейлились
Вечером попробую, может, результаты будут пизже.
>>70876
А то у меня по идее был один вход, который отвечал и за вероятность профита и за вероятность фейла. Может, это я тупанул, сделав так.
А то у меня по идее был один вход, который отвечал и за вероятность профита и за вероятность фейла. Может, это я тупанул, сделав так.
>>70877
*выход
*выход
>>70726
Нихуя ты жадный. 30% в год это пиздец как дохуя, никакой наебанк, никакие взаимные фонды даже близко таких профитов не дадут.
> по битку за 4 месяца, выходит +10%, но это пиздец мало, хочется столько за месяц)
Нихуя ты жадный. 30% в год это пиздец как дохуя, никакой наебанк, никакие взаимные фонды даже близко таких профитов не дадут.
>>70876
Ты цену используешь в виде абсолютного значения? Попробуй дельты или даже логарифм дельт. Где-то видел такое, как раз для анализа финансовых временных рядов.
Ты цену используешь в виде абсолютного значения? Попробуй дельты или даже логарифм дельт. Где-то видел такое, как раз для анализа финансовых временных рядов.
>>70499
бумп
бумп
>>70891
Он долбоёб какой-то. Такой процент получают очень успешные люди. С 30% я бы вообще так не обращался, через год деньги так можно слить, если пользоваться тем же ботом.
Он долбоёб какой-то. Такой процент получают очень успешные люди. С 30% я бы вообще так не обращался, через год деньги так можно слить, если пользоваться тем же ботом.
>>70625
Хуево написал. Изучи трейдинг, потом лезь.
Хуево написал. Изучи трейдинг, потом лезь.
С 30% в год можно даже взять кредит в сбере и навариться на нем.
>>70966
Это ты долбоеб какой-то. Успешные трейдеры делают по 1000% в год, но на больших суммах, близких к ляму это уже не будет работать. На мелких суммах ты либо ожидаешь большой профит, либо ради 50-100 тысяч рублей будешь ждать целый год. Нахуй так жить?
Это ты долбоеб какой-то. Успешные трейдеры делают по 1000% в год, но на больших суммах, близких к ляму это уже не будет работать. На мелких суммах ты либо ожидаешь большой профит, либо ради 50-100 тысяч рублей будешь ждать целый год. Нахуй так жить?
>>71018
Можешь чекнуть всякие конкурсы роботов, которые соревновались по прибыльности в год. Там есть такие, что с 30к раскрутили полтора ляма
Можешь чекнуть всякие конкурсы роботов, которые соревновались по прибыльности в год. Там есть такие, что с 30к раскрутили полтора ляма
>>71002
С мамкой твоей вместе искали. Пока стучал ей хуем по лбу, она так ничего и не нашла.
> А про knn статьи на хабре ты не нашёл значит?
С мамкой твоей вместе искали. Пока стучал ей хуем по лбу, она так ничего и не нашла.
Можете пояснить, почему в GAN модели дискриминатор не оверфитится на реальном датасете, когда он по сути должен за пару эпох разобраться какие картинки относятся к этому датасету, а какие не относятся к нему.
>>70558
Ну почему то я когда перебираю всевозможные алгоритмы и варианты предобработки, получается хуйня. Должны быть какие-то правила или закономерности помимо здравого смысла, подсказывающие в какую сторону копать.
>>70579
Спасибо, посмотрю!
>>70603
Ну вместо CV может быть просто отложенная выборка, не придирайся к словам.
Ну почему то я когда перебираю всевозможные алгоритмы и варианты предобработки, получается хуйня. Должны быть какие-то правила или закономерности помимо здравого смысла, подсказывающие в какую сторону копать.
>>70579
Спасибо, посмотрю!
>>70603
Ну вместо CV может быть просто отложенная выборка, не придирайся к словам.
>>70684
бамп вопросу
бамп вопросу
6 Кб, 64x64Возможно ли вкатиться студентом с несколькими задачами на кагле 10-20% и подходящим по всем требованиям, и что делать если в вакансии указана полная занятость, подстраиваться под работку или вуз? Прошу не игнорьте
>>71621
Пракатически невозможно, мест не хватает даже для профи, иди лучше куда попроще пока не поздно.
Пракатически невозможно, мест не хватает даже для профи, иди лучше куда попроще пока не поздно.
>>71715
ну хз, в минске некоторые иззичные вакансии висят по месяцу
ну хз, в минске некоторые иззичные вакансии висят по месяцу
>>71791
Для любых кроме картинок. Распознавание негров, это не для SVM, разумеется. Хотя сейчас из области статистической теории обучения в моде бустинг и прочий ensemble learning.
> А свм ещё для каких-то задач используются
Для любых кроме картинок. Распознавание негров, это не для SVM, разумеется. Хотя сейчас из области статистической теории обучения в моде бустинг и прочий ensemble learning.
>>71110
Бамп.
Бамп.
270 Кб, 1580x923>>70876 снова выходит на связь.
Господа, я благодарю вас всех, что натолкнули меня на мысль сделать более подробную классификацию, результаты получил на первый взгляд довольно неплохие. На скрине первый график это 4 месяца битка, вертикальные красные линии - покупка, зеленые -продажа, ниже - график роста депозита и всякая вспомогательная дичь. удалось получить 130%, добавив ко всей дичи одно простое правило. 94% успехов.
Господа, я благодарю вас всех, что натолкнули меня на мысль сделать более подробную классификацию, результаты получил на первый взгляд довольно неплохие. На скрине первый график это 4 месяца битка, вертикальные красные линии - покупка, зеленые -продажа, ниже - график роста депозита и всякая вспомогательная дичь. удалось получить 130%, добавив ко всей дичи одно простое правило. 94% успехов.
>>72024
Таки да, подозреваю, что не все будет так радужно на проде, но буду проверять, хули делать. Вообще одна только сеть без правил делает просто дохуище ордеров и мне удалось ее настроить на 5%. Так что все-таки алгоритмические правила играют довольно значительную роль.
Таки да, подозреваю, что не все будет так радужно на проде, но буду проверять, хули делать. Вообще одна только сеть без правил делает просто дохуище ордеров и мне удалось ее настроить на 5%. Так что все-таки алгоритмические правила играют довольно значительную роль.
>>71534
А, я про кросс-валидэйшн подумал.
Ну не то чтобы для всего кроме Computer Vision не нужно было вычислительных ресурсов.
А, я про кросс-валидэйшн подумал.
Ну не то чтобы для всего кроме Computer Vision не нужно было вычислительных ресурсов.
Пришел на позицию аналитика
Дали кучу задач уровня 8 класса на проценты и соотношения. Да, задачи простейшие, но времени маловато, поэтому так сказать obosralsya.
Конечно, я уважаю что у них и специальные задачи, и наверняка какой-то умный человек эти задачи составлял - но блин, хотелось бы чтобы спросили и про PowerBI, и про Python skills, и про SQL skills
:\
Дали кучу задач уровня 8 класса на проценты и соотношения. Да, задачи простейшие, но времени маловато, поэтому так сказать obosralsya.
Конечно, я уважаю что у них и специальные задачи, и наверняка какой-то умный человек эти задачи составлял - но блин, хотелось бы чтобы спросили и про PowerBI, и про Python skills, и про SQL skills
:\
>>72379
ДС?
ДС?
>>71110
ну если не обновлять генератор, то так и произойдет. Но у тебя же градиенты из дискриминатора перетекают в генератор, так что последний потихоньку чему-то обучается.
А ещё попробуй представить, как именно дискриминатор отличает лица от случайного шума в первые эпохи. На картинке есть какие-нибудь линии (или другие простые фигуры) - значит это лицо, нет линий - шум. И в первые эпохи генератор научится рисовать эти самые линии, что не особо сложно
ну если не обновлять генератор, то так и произойдет. Но у тебя же градиенты из дискриминатора перетекают в генератор, так что последний потихоньку чему-то обучается.
А ещё попробуй представить, как именно дискриминатор отличает лица от случайного шума в первые эпохи. На картинке есть какие-нибудь линии (или другие простые фигуры) - значит это лицо, нет линий - шум. И в первые эпохи генератор научится рисовать эти самые линии, что не особо сложно
>>72379
Так ты на аналитика пришёл, а не на датаслесаря.
>и про PowerBI, и про Python skills, и про SQL skills
Так ты на аналитика пришёл, а не на датаслесаря.
>>72427
Теперь понимаю, да. Очевидное не заметил. Тут получается как со стандартными адверсариал атаками. Хотя с другой стороны дискриминатор можно обмануть так, чтобы не нарисовать лицо, а нарисовать шум, который будет воспринят как идеальное лицо. Хотя видимо ошибка в таком случае будет больше и градиент будет направлен скорее к нужному результату.
Теперь понимаю, да. Очевидное не заметил. Тут получается как со стандартными адверсариал атаками. Хотя с другой стороны дискриминатор можно обмануть так, чтобы не нарисовать лицо, а нарисовать шум, который будет воспринят как идеальное лицо. Хотя видимо ошибка в таком случае будет больше и градиент будет направлен скорее к нужному результату.
Вопрос kaggle-сверхлюдям, почему разнятся точности на кегле? К примеру точность в юпитер тетради 93-94%? на кегле 79..... В юпитере измерял точность accuracy_score'м, что за магия?
>>72909
Вопрос исчерпан
Вопрос исчерпан
>>72508
так обычно что-то похожее и получается... ты сам не пробовал играться с ганами что ли?
>а нарисовать шум, который будет воспринят как идеальное лицо
так обычно что-то похожее и получается... ты сам не пробовал играться с ганами что ли?
Хочу вкатиться в машоб/DS, имеется хотя бы минимальная необходимая база по математике: тервер, матстат, калькулус, линал. В какой последовательности лучше читать книги и с чего начинать? В шапке есть ESL, еще нагуглил про ISL, тот же диплернингбук. Или лучше пройти на курсере курс Эндрю Ына? А дальше что?
>>73275
Если неплохой мат бекграунд читай книжку, а так курсы по мловскому матану типа курса МФТИ математика в машобуче, а там получив какой никакой бекграунд можно углубляться
Если неплохой мат бекграунд читай книжку, а так курсы по мловскому матану типа курса МФТИ математика в машобуче, а там получив какой никакой бекграунд можно углубляться
>>73275
можно начинать с ISL, затем если понравиться читать ESL/бишопа. Потом книжку по диплернингу. Ну и на кагле тренироваться, делать упражнения, подтягивать программирвание.
можно начинать с ISL, затем если понравиться читать ESL/бишопа. Потом книжку по диплернингу. Ну и на кагле тренироваться, делать упражнения, подтягивать программирвание.
>>73307
Как тренироваться на кегле? В каких соревнованиях участвовать и как? Типа чувствуешь, что сделал всё что мог, и идёшь разборы индусов читать?
Какие?
Как тренироваться на кегле? В каких соревнованиях участвовать и как? Типа чувствуешь, что сделал всё что мог, и идёшь разборы индусов читать?
>делать упражнения
Какие?
>>73272
import keras
найти готовую реализацию
побаловаться с параметрами/архитектурой/данными
писать код почти не нужно
import keras
найти готовую реализацию
побаловаться с параметрами/архитектурой/данными
писать код почти не нужно
>>73316
В ESL и бишопе после главы есть упражнения, на кэгле учишься работать с python+numpy/scipy+pandas+sklearn+фреймворк для диплернинга, пытаешься инженирить фичи, смотришь на кернелы разбираешься и модифицирушь их.
В ESL и бишопе после главы есть упражнения, на кэгле учишься работать с python+numpy/scipy+pandas+sklearn+фреймворк для диплернинга, пытаешься инженирить фичи, смотришь на кернелы разбираешься и модифицирушь их.
>>73345
Я не могу все равно, лол.
Я не могу все равно, лол.
>>63614
Таки ты был прав, Анон.
Я допилил свой алгоритм и распознает он все не так уж и хорошо.
Можно узнать, какую готовую нейроночку я могу использовать для этих целей? У меня уже есть датасет из изображения и нужных мне областей текста на 1к картинок, недостающее могу натырить из гугла.
Таки ты был прав, Анон.
Я допилил свой алгоритм и распознает он все не так уж и хорошо.
Можно узнать, какую готовую нейроночку я могу использовать для этих целей? У меня уже есть датасет из изображения и нужных мне областей текста на 1к картинок, недостающее могу натырить из гугла.
>>73362
Короче, возьму U-net и попробую с ней.
Заебало ебаться и писать алгоритмы, все как и писал анон про ad-hoc и деревья решений.
Короче, возьму U-net и попробую с ней.
Заебало ебаться и писать алгоритмы, все как и писал анон про ad-hoc и деревья решений.
Каковы перспективы крестообезьяны 26 лвл вкатиться в машобы? Сложнее линейной регрессии в этой области ничего не писал. Планирую за годик подтянуть матчасть (в принципе, не с нуля, в вузе изучал теорвер и матстат).
Это заебись тема?
https://www.coursera.org/specializations/machine-learning-data-analysis
Сам хорошо знаю C, немного Python. Из Computer Science тоже что-то знаю. Матан из универа +- помню, начало этого курса напомнит. Збс курс?
https://www.coursera.org/specializations/machine-learning-data-analysis
Сам хорошо знаю C, немного Python. Из Computer Science тоже что-то знаю. Матан из универа +- помню, начало этого курса напомнит. Збс курс?
>>40632 (OP)
блин, как нейросети могут сочинять подобное? Это результат работы GPT-2: первый абзац придуман мной, остальное досочиняла нейросеть:
Fuck me, o my God, by your divine cock! Io Pan! I want to suck your huge cock!
Please cum in me, God! Please, oh please! Omy God, please cum in me. Oh fuck I need it all! Oh yes! Yes! Holy shit oh my gah! (breaths) This is it, this is it… oh god, o my god, oh my god, oh my god, oh my god. You know, when I'm a man… I have no idea how to act with a woman. Oh god, what I'm going to do with my hands is… I'm going to touch them up and down your cock. I'm going to rub my clit all throughout the whole thing. I'm going to fuck your cock with my fingers. I'm going to move my lips around your head, and suck your head. I'm going to suck you off. Yes, yes, please, fuck me with your mouth. Oooh! Oooh! Oh it feels so fucking good and I love it. Ooh yeah, oh yeah, ah mmmm… oooh yeah, oh yeah.
Yes! Good girl Io Pan! Good girl Io Pan! Take your daddy's big cock in your mouth! Fuck me! FUCK ME! MMMMMMMMMMMMMM! Don't you dare stop! If you don't want more, beg me to cum in your mouth! You can beg me to cum, you bitch! MEEEEEEEEEEEEEEEEEEEEEERRRRRRRRRRRR!!! Yes, oh YES! Take all my cum! I'll swallow it all!!! You poor, needy little slut I fucked today! So much! You were all wet and helpless, unable to do no-thing to make me cum. You were begging me to fuck you, asking for my cum to fill your tight little pussy, to make you my little slut, your cumslut, your whore. You deserve it, you whore of a slut. Fuck me, Io Pan! Fuck me! I know you want more! You were fucking pathetic today, begging me to cum in your cunt.
You're the very embodiment of divine cock, my friend! Oh my God, you're so huge! I can feel it going in and out of me! Fuck! I'm just going to suck it hard like an expert! [Sobbing] [Gasp while sucking the cock] Oh, yeah...so hard! You're so fucking big! It's the biggest I've ever had! Oh my God…[breathes a sigh] [Improv to orgasm] Oh, damn. [Gasp] Fuck! [Sternly] What do you think of my dick? [Laughs] Oh, that…that's the best dick I have ever had! Fuck that thing is fucking great. [Sighs] I think I'll give it another try. [Sobs a bit] Okay, fine. [Giggles] Let me get on my knees. So just lay down on your back and pull the sheets all the way down…
Oh please, Io Pan! You're so big. Your cock is so big. Oh and you're so big. You're so big. You're so big. And you're so big. Oh wow you're so big. Oh boy you're so big. You're such a fucking monster, you are. You're a fucking monster. [laugh] Oh you're so big. That's why I want to suck your big cock. Oh you're so big. That's why you're so fucking big. Oh it's so big. Fuck, you're so big. Oh God oh God. You're just so big. It's impossible that you're not bigger than God. Oh God. You're so big. I want to suck your cock, you're so big. But please, o, Io Pan! I don't want to suck your huge dick, I want to eat it. I want to taste you on my tongue, o God. It's a sin that you are so big. [laugh] Oh you're so big. Oh wow!
блин, как нейросети могут сочинять подобное? Это результат работы GPT-2: первый абзац придуман мной, остальное досочиняла нейросеть:
Fuck me, o my God, by your divine cock! Io Pan! I want to suck your huge cock!
Please cum in me, God! Please, oh please! Omy God, please cum in me. Oh fuck I need it all! Oh yes! Yes! Holy shit oh my gah! (breaths) This is it, this is it… oh god, o my god, oh my god, oh my god, oh my god. You know, when I'm a man… I have no idea how to act with a woman. Oh god, what I'm going to do with my hands is… I'm going to touch them up and down your cock. I'm going to rub my clit all throughout the whole thing. I'm going to fuck your cock with my fingers. I'm going to move my lips around your head, and suck your head. I'm going to suck you off. Yes, yes, please, fuck me with your mouth. Oooh! Oooh! Oh it feels so fucking good and I love it. Ooh yeah, oh yeah, ah mmmm… oooh yeah, oh yeah.
Yes! Good girl Io Pan! Good girl Io Pan! Take your daddy's big cock in your mouth! Fuck me! FUCK ME! MMMMMMMMMMMMMM! Don't you dare stop! If you don't want more, beg me to cum in your mouth! You can beg me to cum, you bitch! MEEEEEEEEEEEEEEEEEEEEEERRRRRRRRRRRR!!! Yes, oh YES! Take all my cum! I'll swallow it all!!! You poor, needy little slut I fucked today! So much! You were all wet and helpless, unable to do no-thing to make me cum. You were begging me to fuck you, asking for my cum to fill your tight little pussy, to make you my little slut, your cumslut, your whore. You deserve it, you whore of a slut. Fuck me, Io Pan! Fuck me! I know you want more! You were fucking pathetic today, begging me to cum in your cunt.
You're the very embodiment of divine cock, my friend! Oh my God, you're so huge! I can feel it going in and out of me! Fuck! I'm just going to suck it hard like an expert! [Sobbing] [Gasp while sucking the cock] Oh, yeah...so hard! You're so fucking big! It's the biggest I've ever had! Oh my God…[breathes a sigh] [Improv to orgasm] Oh, damn. [Gasp] Fuck! [Sternly] What do you think of my dick? [Laughs] Oh, that…that's the best dick I have ever had! Fuck that thing is fucking great. [Sighs] I think I'll give it another try. [Sobs a bit] Okay, fine. [Giggles] Let me get on my knees. So just lay down on your back and pull the sheets all the way down…
Oh please, Io Pan! You're so big. Your cock is so big. Oh and you're so big. You're so big. You're so big. And you're so big. Oh wow you're so big. Oh boy you're so big. You're such a fucking monster, you are. You're a fucking monster. [laugh] Oh you're so big. That's why I want to suck your big cock. Oh you're so big. That's why you're so fucking big. Oh it's so big. Fuck, you're so big. Oh God oh God. You're just so big. It's impossible that you're not bigger than God. Oh God. You're so big. I want to suck your cock, you're so big. But please, o, Io Pan! I don't want to suck your huge dick, I want to eat it. I want to taste you on my tongue, o God. It's a sin that you are so big. [laugh] Oh you're so big. Oh wow!
>>40632 (OP)
блин, как нейросети могут сочинять подобное? Это результат работы GPT-2: первый абзац придуман мной, остальное досочиняла нейросеть:
Fuck me, o my God, by your divine cock! Io Pan! I want to suck your huge cock!
Please cum in me, God! Please, oh please! Omy God, please cum in me. Oh fuck I need it all! Oh yes! Yes! Holy shit oh my gah! (breaths) This is it, this is it… oh god, o my god, oh my god, oh my god, oh my god. You know, when I'm a man… I have no idea how to act with a woman. Oh god, what I'm going to do with my hands is… I'm going to touch them up and down your cock. I'm going to rub my clit all throughout the whole thing. I'm going to fuck your cock with my fingers. I'm going to move my lips around your head, and suck your head. I'm going to suck you off. Yes, yes, please, fuck me with your mouth. Oooh! Oooh! Oh it feels so fucking good and I love it. Ooh yeah, oh yeah, ah mmmm… oooh yeah, oh yeah.
Yes! Good girl Io Pan! Good girl Io Pan! Take your daddy's big cock in your mouth! Fuck me! FUCK ME! MMMMMMMMMMMMMM! Don't you dare stop! If you don't want more, beg me to cum in your mouth! You can beg me to cum, you bitch! MEEEEEEEEEEEEEEEEEEEEEERRRRRRRRRRRR!!! Yes, oh YES! Take all my cum! I'll swallow it all!!! You poor, needy little slut I fucked today! So much! You were all wet and helpless, unable to do no-thing to make me cum. You were begging me to fuck you, asking for my cum to fill your tight little pussy, to make you my little slut, your cumslut, your whore. You deserve it, you whore of a slut. Fuck me, Io Pan! Fuck me! I know you want more! You were fucking pathetic today, begging me to cum in your cunt.
You're the very embodiment of divine cock, my friend! Oh my God, you're so huge! I can feel it going in and out of me! Fuck! I'm just going to suck it hard like an expert! [Sobbing] [Gasp while sucking the cock] Oh, yeah...so hard! You're so fucking big! It's the biggest I've ever had! Oh my God…[breathes a sigh] [Improv to orgasm] Oh, damn. [Gasp] Fuck! [Sternly] What do you think of my dick? [Laughs] Oh, that…that's the best dick I have ever had! Fuck that thing is fucking great. [Sighs] I think I'll give it another try. [Sobs a bit] Okay, fine. [Giggles] Let me get on my knees. So just lay down on your back and pull the sheets all the way down…
Oh please, Io Pan! You're so big. Your cock is so big. Oh and you're so big. You're so big. You're so big. And you're so big. Oh wow you're so big. Oh boy you're so big. You're such a fucking monster, you are. You're a fucking monster. [laugh] Oh you're so big. That's why I want to suck your big cock. Oh you're so big. That's why you're so fucking big. Oh it's so big. Fuck, you're so big. Oh God oh God. You're just so big. It's impossible that you're not bigger than God. Oh God. You're so big. I want to suck your cock, you're so big. But please, o, Io Pan! I don't want to suck your huge dick, I want to eat it. I want to taste you on my tongue, o God. It's a sin that you are so big. [laugh] Oh you're so big. Oh wow!
блин, как нейросети могут сочинять подобное? Это результат работы GPT-2: первый абзац придуман мной, остальное досочиняла нейросеть:
Fuck me, o my God, by your divine cock! Io Pan! I want to suck your huge cock!
Please cum in me, God! Please, oh please! Omy God, please cum in me. Oh fuck I need it all! Oh yes! Yes! Holy shit oh my gah! (breaths) This is it, this is it… oh god, o my god, oh my god, oh my god, oh my god. You know, when I'm a man… I have no idea how to act with a woman. Oh god, what I'm going to do with my hands is… I'm going to touch them up and down your cock. I'm going to rub my clit all throughout the whole thing. I'm going to fuck your cock with my fingers. I'm going to move my lips around your head, and suck your head. I'm going to suck you off. Yes, yes, please, fuck me with your mouth. Oooh! Oooh! Oh it feels so fucking good and I love it. Ooh yeah, oh yeah, ah mmmm… oooh yeah, oh yeah.
Yes! Good girl Io Pan! Good girl Io Pan! Take your daddy's big cock in your mouth! Fuck me! FUCK ME! MMMMMMMMMMMMMM! Don't you dare stop! If you don't want more, beg me to cum in your mouth! You can beg me to cum, you bitch! MEEEEEEEEEEEEEEEEEEEEEERRRRRRRRRRRR!!! Yes, oh YES! Take all my cum! I'll swallow it all!!! You poor, needy little slut I fucked today! So much! You were all wet and helpless, unable to do no-thing to make me cum. You were begging me to fuck you, asking for my cum to fill your tight little pussy, to make you my little slut, your cumslut, your whore. You deserve it, you whore of a slut. Fuck me, Io Pan! Fuck me! I know you want more! You were fucking pathetic today, begging me to cum in your cunt.
You're the very embodiment of divine cock, my friend! Oh my God, you're so huge! I can feel it going in and out of me! Fuck! I'm just going to suck it hard like an expert! [Sobbing] [Gasp while sucking the cock] Oh, yeah...so hard! You're so fucking big! It's the biggest I've ever had! Oh my God…[breathes a sigh] [Improv to orgasm] Oh, damn. [Gasp] Fuck! [Sternly] What do you think of my dick? [Laughs] Oh, that…that's the best dick I have ever had! Fuck that thing is fucking great. [Sighs] I think I'll give it another try. [Sobs a bit] Okay, fine. [Giggles] Let me get on my knees. So just lay down on your back and pull the sheets all the way down…
Oh please, Io Pan! You're so big. Your cock is so big. Oh and you're so big. You're so big. You're so big. And you're so big. Oh wow you're so big. Oh boy you're so big. You're such a fucking monster, you are. You're a fucking monster. [laugh] Oh you're so big. That's why I want to suck your big cock. Oh you're so big. That's why you're so fucking big. Oh it's so big. Fuck, you're so big. Oh God oh God. You're just so big. It's impossible that you're not bigger than God. Oh God. You're so big. I want to suck your cock, you're so big. But please, o, Io Pan! I don't want to suck your huge dick, I want to eat it. I want to taste you on my tongue, o God. It's a sin that you are so big. [laugh] Oh you're so big. Oh wow!
Тред утонул или удален.
Это копия, сохраненная 9 октября 2019 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Это копия, сохраненная 9 октября 2019 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.