М.Двач / Программирование

Двач.hk прислал битые данные.
Вы видите копию треда, сохраненную 26 августа в 04:29.
Можете попробовать обновить страницу, чтобы увидеть актуальную версию.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.

949 Кб, 904x503
ОННХ РАНТАЙМ + DirectML на GPU, как выжимать фпс? Аноним 10 авг, 01:28 3516774 В конец треда | Веб

Аноны, нужна ваша мудрость. Пилю свою игрушку с ИИ на ONNX Runtime с бэкендом DirectML (GPU), не путать с CUDA — речь про универсальный бэкенд от майков, который гоняет и на амуде, и на интелах, и на жабах.

Сейчас использую YOLOv8, параллельно делаю поддержку для YOLO4 Darknet. На старте было ~30 FPS, после оптимизаций (batch, асинхрон, pin memory) вышел на 80 FPS, но хочу в идеале хотя бы 150-200.

Железо норм, упор сейчас не в GPU, а скорее в саму реализацию. Знаю про FP16/INT8, профилирование, минимизацию копирования и графовую оптимизацию, но может есть ещё приёмы, которые работают конкретно для DirectML?

Ещё интересует, как грамотно распараллелить захват экрана, препроцессинг и инференс, чтобы не ждать ИИ и не кормить его устаревшими кадрами (рассинхрон с игрой получается).

Если кто-то уже дрочил ONNX Runtime с DirectML, особенно под real-time задачи, поделитесь схемами, флагами, лайфхаками. В гугле про это почти пусто.

Вопросы по делу:

Как вы оптимизируете пайплайн DirectML?

Какие есть хитрые флаги/опции у onnxruntime для DirectML, про которые мало кто знает?

Как минимизировать latency между кадром и результатом инференса?

Делитесь опытом, пруфы и код приветствуются.

Ответы1784125132

2 11 авг, 17:09 2 3517841

>>3516774 (OP)
> Ещё интересует, как грамотно распараллелить захват экрана, препроцессинг и инференс, чтобы не ждать ИИ и не кормить его устаревшими кадрами (рассинхрон с игрой получается).
И как ты себе представляешь распараллеливание последовательных действий?
Делай пайплайн с задержкой, или пытайся обучать модель чтобы предсказывала следующий кадр (скорее всего не подскажешь)

Тебе прям каждый кадр нужно инференс гнать? Или может есть способ использовать экстраполяцию на каждые N кадров?

3 22 авг, 04:30 3 3525132

>>3516774 (OP)
>проприетарная говна
>которую через 5-7лет объявят легаси
Про OpenCL слышал когда нибудь? Поддерживается во всех GPU, даже мобильных.

Обновить тред
Двач.hk прислал битые данные.

« /pr/В начало тредаВеб-версияНастройки/a//b//mu//s//vg/Все доски

Пользуетесь скринридером — пишите, что можно улучшить.
Host-Food.ru — надёжный хостинг от 12 руб/мес | Free DNS
Зеркала М.Двача: m2ch.hk, m2ch.gq, m2ch.cf, m2ch.fapp.in, m2ch.lib, m2chfapiswfw2wcakptqp4o6ltgchvjuxfab7urxlduraomtlnhw5xad.onion