>>172057
Тебе моей диванной аналитики или фактов?

Факт:
- GML используется в AlphaFold. Это вполне ценная задача для индустрии.
- У одной крупной российской компании есть заинтересованность в GML. Правда, как сотрудник этой компании и человек, который в теме, я думаю, что у них завышенные ожидания от технологии и они иногда пытаются применить её не по месту Хотя это мои личные ощущения. В конце концов, это просто одно из R&D подразделений. Ну делают то, что вероятно не принесёт результатов, но это копейки по меркам компании, я х.з. как это выглядит в рамках их общей стратегии.

Диванная аналитика:
- Многие данные имеют естественное представление в виде графов. Особенно хорошо графами описываются базы знаний, социальные сети, сети отношения финансового участия (для задач вроде такой: https://naked-science.ru/article/column/algoritm-rossijskih-uchenyh-nashel). ML хорошо зарекомендовал себя в задачах скоринга, классификации и т.п. Но ML-лю на вход подаются векторы фичей. А GML как раз про то, как использовать в ML-е графовые представления. Есть мнение, что GML сможет повысить качество работы моделей.

- Есть сверхзадача ML - automated feature extraction. И если у тебя есть данные, представленные графом (а это очень общее представление), то, скажем, задача эмбеддинга (сопоставления вершинам графа векторов) - это и есть автоматическое извлечение признаков. Задача эмбеддинга никак не привязана к конкретной предметной области. Она формулируется в абстрактных терминах языка теории графов. Т.е. если ты научился адекватно конвертировать вершины графа в векторы, значит ты сделал автоматическую извлекалку признаков. Почти любые данные можно представить в виде графа, это очень легко сделать. Дальше делается эмбеддинг неким общим алгоритмом, и вуаля, у тебя набор фичей для предметной области, в которой ты даже не разбираешься!

- Есть алгоритмы ML, которые неплохо себя зарекомендовали. Скажем, word2vec. Но они выглядят так, как будто работают над некоторыми представлениями, которые являются подмножеством графовых представлений. Т.е. word2vec работает над цепочками объектов, где каждый объект связан с двумя своими соседями (словами перед и после), они со своими соседями и так далее. Возникает естественное желание, а почему бы не обобщить эти цепочки на граф, где связи могут быть произвольными? Это бы позволило применять подобные алгоритмы к куда большему классу задач.

Теперть про подводные камни:
- Заметание мусора под ковёр. Допустим, у тебя есть граф финансовых транзакций и некий человек, который постоянно ездит на такси, и, стало быть, транзачится с таксистами. В таком эмбеддинге его вектор будет лежать рядом с вектором таксиста по метрике random walk. Но если твоя задача - оценить платежеспособность человека, то что он вообще имеет общего с таксистом в плане этого фактора? А ведь при грамотном анализе графа транзакций о платежеспособности человека можно сказать очень многое. А если ты решил продать человеку тачку - то эта близость к таксистам тебе вообще не подходит. Человек может и ездит на такси потому, что у него прав нет, ему может тачка вообще не нужна, а вот самому таксисту тачка может очень даже пригодится. Это и есть заметание мусора под ковёр. Да, у тебя есть алгоритм, который автоматически эмбеддит вершины. Но твоя задача feature engineering-га никуда не делась, она просто перешла на уровень выбора правильного графа и правильных метрик.

- Брать нахрапом. Слепая вера в то, что если мы обучим модель на всех данных, то интеллетк у неё появится сам собой. Нет, не появится. GTP-3 почти на всём курпусе доступных английских текстов обучили. И чему она обучилась? Обучилась строить синтаксически грамотные, но полностью лишенные смысла английские предложения. GTP-3 даже не понимает, почему человек может стоят подняв одну ногу, но не может поднять другую (потому что у человека всего две ноги, и если он поднимет обе, то упадёт на жопу). GTP-3 - это демонстрация полного провала массированного машинного обучения на больших данных. Не учатся, не понимают, даже если все данные скормить, будет хуйня. Кто-то скажет, может параметров было маловато? Так вот, если в GTP-3 увеличить количство параметров, она тупо начнёт запоминать, у нас просто столько текста нет. К GML всё это тоже относится. У нас пытаются загрузить 5 терабайт в мою графовую базу данных, она трещит, я спрашиваю «Нахуя, разве бывают такие большие графы знаний?», они отвечают «Ну мы всё грузим, типа чем больше инфо, тем лучше» Ну нет, это так не работает.

- Вера в магию AI и стабильность решений. AI просто находит похожие решения, AI полагает, что если две молекулы похожи в заданной метрике, то и действовать они будут примерно одинаково. Но это не так. Оторвав OH ты можешь сделать из нейтральной молекулы йад. AI заточены под какие-то уже известные выборки, а если что-то новое, то они там фейлят.

- Стрельба из пушек по воробьям/один молоток для всех шурупов. Сталкивался с тем, что в графовые базы данных грузят любую хуйню. Тут надо понимать, что GML даст профит только если надо извлекать данные из структуры графа. Допустим, ты вегетарианец. Ну и нам надо искать вегетарианцев. Твои ближайшие связи - это магазин, в который ты идешь. Магазин закупает веган-жрачку у некоторой овощебазы. Нам интересно, что ты как-то косвенно связан с этой овощебазой, сорее нет, скорее нам достаточно просто посмотреть твой профиль продуктов. GML может что-то дать, но примнять его бессмысленно в этом кейсе.

>>174218

> Ты поди и про теорему Новикова о перцептроне не слышал

Не, не слышал. Но вот щас загуглил, оказывается, суть теоремы в том, что можно применять SGD. Ну заебись, что доказали. А если бы не доказали, но были бы эмпирические данные, что SGD работает, тогда что, его бы не стали применять? Или эта теорема какие-то особые инсайты даёт о количестве шагов или об оптимальном выборе параметров?

Давай как пример симплекс-метод рассмотрим. Он там к чему-то сходится и что-то оптимальное находит. Но вот его верхняя оценка (копипастю из Википедии):

>However, the simplex algorithm has poor worst-case behavior: Klee and Minty constructed a family of linear programming problems for which the simplex method takes a number of steps exponential in the problem size.[9][12][13] In fact, for some time it was not known whether the linear programming problem was solvable in polynomial time, i.e. of complexity class P.

Сейчас, возможно, аспиранты начнут закидывать меня хуями, если вдруг выяснится, что и для него уже что-то доказали чего я пока не знаю, но суть в том, что когда его придумали, опирались не на теоремы. Метод был чисто эмпирическим и так получилось, что он неплохо работал на реальных задачах, поэтому его и применяли.

Или другой пример. Нам ML преподавал правда тогда это еще не называлось ML-ем доктор наук Владимир Данилович Мазуров. И он что-то дохуя фундаментальное доказал, вроде того, что любая аналитическая функция может быть аппроксимирована нейросеткой с какими-то функциями активации с любой точностью. Боюсь соврать опять же, но общая суть теоремы была в том, что нейросетка с фиксированной функцией активации нейрона может в любые другие функции, т.е. её можно использовать для любых задач разумеется, всё это было описано формальным языком, и тебе еще надо быть дохуя доктором, чтобы понять, как твоя задача описывается предложенными формализмами.

Но что это даёт на практике? Да, мы доказали, что что угодно в теории можно решить нейросеткой. Но как именно, как кодировать входной вектор, какую архитектуру брать, как обучать, имеет ли вообще смысл использовать нейросетку?

ML как было эмпирической наукой, так и осталось. Точнее даже не наукой, а инженерным искусством. Вообще, любая инженерия - это не наука, а искусство (да и само слово ingenium именно так и переводится), пусть даже подкреплённое математикой. Математика в инженерии - лишь инструмент. Она тебе поможет понять, правильно ли ты рассчитал ширину колонн когда строишь дом, и не рухнет ли он, но она тебе не скажет, что дизайн дома должен быть именно таким. Так и ML - ты придумываешь что-то, веришь в свою идею, проверяешь, потом математически подтверждаешь результаты. Причем, последний пункт не такой уж обязательный.