М.Двач / Программирование

648 Кб, 1024x1024
А возможна ли сингулярность? 20 фев, 12:37 3393055 В конец треда | Веб

Аноны-эксперты, слезли с хайп-трейна? Надоело слушать про "скоро сингулярность" от очередного инфоцыгана? Давайте по хардкору, без розовых пони и влажных фантазий про Skynet.

Все эти DNN, трансформеры, вот это вот всё – конечно, впечатляет. Картинки рисуют, тексты генерят, котиков распознают лучше тебя. Но давайте честно: это узкий AI. AGI там и рядом не валялся. И вот вопрос – а валяться ли будет вообще?

Смотрим на железо. На чем вся эта нейросетевая магия крутится? На старом добром фон Неймане. Да, разогнанном на GPU и TPU, но суть та же: процессор, память, шина. И тут начинаются проблемы, которые как-то стыдливо замалчиваются в техно-оптимистическом угаре:

1. Энергоэффективность – в жопе. Модели раздуваются до размеров черной дыры, жрут электричество как майнинговая ферма. Человеческий мозг, блин, 20 ватт потребляет! FLOPS/ватт у нас – смех один. Мы вообще сможем когда-нибудь запитать AGI, не построив персональную АЭС? Или так и будем топить планету ради "разума"?

2. Фон Нейман – это bottleneck. Память и процессор разделены. Memory latency, cache misses, сериализация операций – это всё тормозит параллелизм, который вроде как нужен для настоящего интеллекта. Мозг – это нейроморфная сеть, где память и вычисления интегрированы. А у нас – постоянное перетаскивание данных туда-сюда. Не упремся ли мы в фундаментальный предел архитектуры, даже если кремний станет быстрее в 100 раз?

3. Кремний – всё? Moore's Law уже не торт. Квантовое туннелирование, тепловыделение, атомные масштабы – физика начинает упираться. Может, кремниевые транзисторы – это вообще тупиковая ветвь для AGI? Нужны новые материалы, новые принципы. Мемристоры, фотонные компьютеры, квантовые вычисления – это пока всё на уровне лабораторных экспериментов. Или мы так и будем долбиться в кремниевую стену, ожидая чуда?

4. Data movement is the new compute. В современных архитектурах перемещение данных жрет больше энергии, чем сами вычисления! Это вообще дичь какая-то. Мы гонимся за FLOPS, а на самом деле у нас проблема в пропускной способности памяти и эффективности передачи данных.
А теперь про алгоритмы. Тут тоже не всё так радужно, как в презентациях Google и OpenAI:

1. DNN – это тупо pattern matching. Да, сложное, многослойное, но всё равно – статистические корреляции, а не понимание. Они не понимают смысл, не имеют common sense, не умеют обобщать по-настоящему. Это попугаи, которые научились имитировать разум, но не более.

2. Backpropagation – это костыль. Эффективно для обучения глубоких сетей, но биологически неправдоподобно и, возможно, не масштабируется до AGI. Мозг учится по-другому, более эффективно и гибко. Backprop требует огромных датасетов, точно размеченных данных, и плохо работает в условиях неопределенности и неполной информации, которые характерны для реального мира. Может, мы зациклились на этом методе, и упускаем что-то принципиально другое?

3. Отсутствие настоящего "понимания" и "сознания". Да, это философский холивар, но и практический вопрос. Современный AI – это black box. Мы не понимаем, как он "думает", почему принимает те или иные решения. Нет интроспекции, самосознания, мотивации, целеполагания – всего того, что мы считаем признаками настоящего интеллекта. Может, AGI требует не просто более мощных сетей, а принципиально новой парадигмы в понимании интеллекта и сознания?

И вот, собственно, главный вопрос: Где сейчас реальный капкан для AGI? Мы уперлись в железный потолок – ограничения архитектуры фон Неймана, энергопотребления, кремниевой технологии? Или мы зашли в алгоритмический тупик – исчерпали возможности DNN и backpropagation, и нуждаемся в революционно новых подходах к обучению и моделированию интеллекта?

Или, может, проблема комплексная? Может, для AGI нужен синергетический прорыв – одновременная революция и в железе, и в софте, и в нашем понимании самого интеллекта? Может, мы вообще идем не туда, и AGI – это несбыточная мечта, по крайней мере, в обозримом будущем?

Высказывайтесь, эксперты и сочувствующие. Только без вайтишников и крипто-энтузиастов, пожалуйста. Интересует мнение тех, кто реально понимает, где мы сейчас находимся и куда движемся в этой гонке за AGI. И главное – где нас ждет реальный облом? (и будет ли он?)

Ответы393163399373401896

2 20 фев, 12:38 2 3393056

/pr

3 20 фев, 15:30 3 3393163

>>3393055 (OP)
Замены программистов нейросетями тред
https://2ch.hk/pr/res/2994560.html (М)

4 20 фев, 19:44 4 3393372

Гум, срыгни, ты просто ключевых слов накидал.

5 20 фев, 20:58 5 3393427

Никто толком не знает, что такое аги, и как его получить.
По теме треда могу набросить, что реальный прорыв в компьюте/транспорте данных/энергии произойдет, когда наконец смогут в сверхпроводники при относительно приличной температуре (минус 50 хотя бы). Это еще и часть упомянутых технологий разблокирует, типа квантовых компов, сетапить которые сейчас ты просто ебанешься.

6 28 фев, 18:52 6 3399373

>>3393055 (OP)
Считаю, что АГИ - прогрев гоев на бабло.

Затыки везде:
- прежде всего сам алгортим: там нет сознания, понимания, логики - это не философский вопрос, а объективный факт, там идёт перебор паттернов из датасетов, ИИ не может сам познавать мир, рассуждать, логически отделять правильное от неправильного, там нет чёткой базы знаний и фактов о мире и ИИ не способен её создать и пополнять.
- железо: эффективность вычислений, энергопотребление, тепловыделение. Закон убывающей отдачи никто не отменял, скоро для линейного роста производительности нужен будет экспоненциальный рост мощностей.

ИИ лихорадка уже была в 80е, сейчас всё идёт по тому же сценарию.

Ответы401898

7 5 мар, 02:57 7 3401896

>>3393055 (OP)
> скоро сингулярность
долбоебы которые не могут в законы термодинамики.

> AGI там и рядом не валялся
говно без задач

> И вот вопрос – а валяться ли будет вообще?
в бытовой жизни швейцарский нож - самый бесполезный девайс

> Энергоэффективность – в жопе.
Один гигаватт в час на обучениt Chat GPT-3.

> Не упремся ли мы в фундаментальный предел архитектуры, даже если кремний станет быстрее в 100 раз?
уже уперлись.

> Память и процессор разделены.
Дебилне в курсе что кеш-память очень дорогая. готов вываливать сотни нефти за одну микросхему?

> Memory latency
будет всегда так как ЗАконы физики.

> Кремний – всё? Moore's Law уже не торт.
Давно! начали плодить ядра, плюс современные видеокарты это уже отдельный комп.

> перемещение данных жрет больше энергии, чем сами вычисления! Это вообще дичь какая-то.
чем больше расстоянии тем больше энергии нужно затратить.

> Мозг учится по-другому, более эффективно и гибко.
процессор это сраный калькулятор, детерменированная синхронная машина, которая работает с единичками и нулями, топология даже в случаи с FPGA остается статичной.

Мозг это конгломерат живых клеток, которые сами по себе автономные существа. По сути ты - "толпа амеб". "оперирует" числами с запятой, работает асинхронно. и каждая клетка способная адаптироваться в своих пределах.

> Или, может, проблема комплексная?
Проблема человечества в том что оно придумывает велосипед, когда природа потратила миллиард лет для создания существ у которых идеальная энергеоэффективность. Птичка колибри жрет каких-то сраных насекомых, делает около 3 миллионов взмахов крыльями в день, при весе 20 грамов.
если бы люди сделали аналог птички с ее маневренностью и запасом хода, то она б весила б киллограмм 20.

Люди находяться на примитивном уровне понимании природы.
Природа использует самые распространненые элементы во вселенной - водород, кислород, азот, углерод для построенни сверхсложных миниатюрных наномеханизмов.
А люди просто брутальные неадертальцы-дауны со своим кремнием, нефтью, атомными реакциями. Это просто кал.
В будущем над нами будут смеяться и называть нас "пещерными людьми", точнее "бетонными"

7 5 мар, 02:57 7 3401896

>>3393055 (OP)
> скоро сингулярность
долбоебы которые не могут в законы термодинамики.

> AGI там и рядом не валялся
говно без задач

> И вот вопрос – а валяться ли будет вообще?
в бытовой жизни швейцарский нож - самый бесполезный девайс

> Энергоэффективность – в жопе.
Один гигаватт в час на обучениt Chat GPT-3.

> Не упремся ли мы в фундаментальный предел архитектуры, даже если кремний станет быстрее в 100 раз?
уже уперлись.

> Память и процессор разделены.
Дебилне в курсе что кеш-память очень дорогая. готов вываливать сотни нефти за одну микросхему?

> Memory latency
будет всегда так как ЗАконы физики.

> Кремний – всё? Moore's Law уже не торт.
Давно! начали плодить ядра, плюс современные видеокарты это уже отдельный комп.

> перемещение данных жрет больше энергии, чем сами вычисления! Это вообще дичь какая-то.
чем больше расстоянии тем больше энергии нужно затратить.

> Мозг учится по-другому, более эффективно и гибко.
процессор это сраный калькулятор, детерменированная синхронная машина, которая работает с единичками и нулями, топология даже в случаи с FPGA остается статичной.

Мозг это конгломерат живых клеток, которые сами по себе автономные существа. По сути ты - "толпа амеб". "оперирует" числами с запятой, работает асинхронно. и каждая клетка способная адаптироваться в своих пределах.

> Или, может, проблема комплексная?
Проблема человечества в том что оно придумывает велосипед, когда природа потратила миллиард лет для создания существ у которых идеальная энергеоэффективность. Птичка колибри жрет каких-то сраных насекомых, делает около 3 миллионов взмахов крыльями в день, при весе 20 грамов.
если бы люди сделали аналог птички с ее маневренностью и запасом хода, то она б весила б киллограмм 20.

Люди находяться на примитивном уровне понимании природы.
Природа использует самые распространненые элементы во вселенной - водород, кислород, азот, углерод для построенни сверхсложных миниатюрных наномеханизмов.
А люди просто брутальные неадертальцы-дауны со своим кремнием, нефтью, атомными реакциями. Это просто кал.
В будущем над нами будут смеяться и называть нас "пещерными людьми", точнее "бетонными"

Показать весь текст

8 5 мар, 03:04 8 3401898

>>3399373
> сейчас всё идёт по тому же сценарию.
Я несколько лет назад для себя понял смысл фразы "все новое это хорошо забытое старое"

> ИИ лихорадка уже была в 80е,
игра ПокемнГО, VR шлемы, пиксельная графика
каждые 10 лет новый виток по спирали.

Обновить тред

« /pr/В начало тредаВеб-версияНастройки

/a//b//mu//s//vg/Все доски

Скачать тред только с превьюс превью и прикрепленными файлами

Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах.Подробнее

Пользуетесь скринридером — пишите, что можно улучшить.
Host-Food.ru — надёжный хостинг от 12 руб/мес | Free DNS
Зеркала М.Двача: m2ch.hk, m2ch.gq, m2ch.cf, m2ch.fapp.in, m2ch.lib, m2chfapiswfw2wcakptqp4o6ltgchvjuxfab7urxlduraomtlnhw5xad.onion