Генерируем тяночек!
Прошлый >> https://arhivach.top/

схожие тематические треды
- технотред >>
- SD-тред (фотореализм) >>
- тред в /fur/ https://2ch.hk/fur/res/270356.html (М)

F.A.Q. треда: https://rentry.org/ddpg2
Как установить: https://rentry.org/nai_install

Промпты и эмбеддинги: https://rentry.org/nai_prompt
Гайды по апскейлу: https://rentry.org/sd__upscale | https://rentry.org/SD_upscale
Гайды по обучению лор: https://rentry.org/2chAI_easy_LORA_guide | https://rentry.org/2chAI_LoRA_Dreambooth_guide
Гайды по ControlNet: https://stable-diffusion-art.com/controlnet

Каталог популярных моделей: https://rentry.org/nai_models
Каталог лор на стилизацию: https://rentry.org/nai_style_loras
Где искать модели, эмбединги, лоры, вайлдкарды и всё остальное: https://civitai.com | https://huggingface.co/models?other=stable-diffusion

Гайды по оптимизациям: https://rentry.org/nai_optimizations

АИ-галереи: https://aibooru.online | https://majinai.art
Англоязычные каталоги ссылок: https://rentry.org/sdgoldmine | https://rentry.org/sdg-link | https://www.sdcompendium.com

⚠️Перекат оформляется после 1000 поста
Шаблон для переката: https://rentry.org/nwhci

Генерируем тяночек!
Прошлый >> https://arhivach.top/

схожие тематические треды
- технотред >>
- SD-тред (фотореализм) >>
- тред в /fur/ https://2ch.hk/fur/res/270356.html (М)

F.A.Q. треда: https://rentry.org/ddpg2
Как установить: https://rentry.org/nai_install

Промпты и эмбеддинги: https://rentry.org/nai_prompt
Гайды по апскейлу: https://rentry.org/sd__upscale | https://rentry.org/SD_upscale | https://rentry.org/2ch_nai_guide#апскейл
Гайды по обучению лор: https://rentry.org/2chAI_easy_LORA_guide | https://rentry.org/2chAI_LoRA_Dreambooth_guide
Гайды по ControlNet: https://stable-diffusion-art.com/controlnet

Каталог популярных моделей: https://rentry.org/nai_models
Каталог лор на стилизацию: https://rentry.org/nai_style_loras
Где искать модели, эмбединги, лоры, вайлдкарды и всё остальное: https://civitai.com | https://huggingface.co/models?other=stable-diffusion

Гайды по оптимизациям: https://rentry.org/nai_optimizations

АИ-галереи: https://aibooru.online | https://majinai.art
Англоязычные каталоги ссылок: https://rentry.org/sdgoldmine | https://rentry.org/sdg-link | https://www.sdcompendium.com

⚠️Перекат оформляется после 1000 поста
Шаблон для переката: https://rentry.org/nwhci

Генерируем тяночек!
Прошлый >> https://arhivach.top/

схожие тематические треды
- технотред >>
- SD-тред (фотореализм) >>
- тред в /fur/ https://2ch.hk/fur/res/270356.html (М)

F.A.Q. треда: https://rentry.org/ddpg2
Устанавливаем на ПК/Облако: https://rentry.org/nai_install

Гайды по промптам, списки тегов и негативных эмбеддингов: https://rentry.org/nai_prompt
Гайды по апскейлу: https://rentry.org/sd__upscale | https://rentry.org/SD_upscale | https://rentry.org/2ch_nai_guide#апскейл
Гайды по обучению лор: https://rentry.org/2chAI_easy_LORA_guide | https://rentry.org/2chAI_LoRA_Dreambooth_guide
Гайды по ControlNet: https://stable-diffusion-art.com/controlnet

Каталог популярных моделей: https://rentry.org/nai_models
Каталог лор на стилизацию: https://rentry.org/nai_style_loras
Где искать модели, эмбединги, лоры, вайлдкарды и всё остальное: https://civitai.com | https://huggingface.co/models?other=stable-diffusion

Гайды по оптимизациям: https://rentry.org/nai_optimizations

АИ-галереи: https://aibooru.online | https://majinai.art
Англоязычные каталоги ссылок: https://rentry.org/sdgoldmine | https://rentry.org/sdg-link | https://www.sdcompendium.com

⚠️Перекат оформляется после 1000 поста
Шаблон для переката: https://rentry.org/nwhci

ИТТ делимся советами, лайфхаками, наблюдениями, результатами обучения, обсуждаем внутреннее устройство диффузионных моделей, собираем датасеты, решаем проблемы и экспериментируем
Тред общенаправленныей, тренировка дедов, лупоглазых и фуррей приветствуются

Предыдущий тред: >>#############

➤ Гайды по обучению

Существующую модель можно обучить симулировать определенный стиль или рисовать конкретного персонажа.

✱ Текстуальная инверсия (Textual inversion) может подойти, если сеть уже умеет рисовать что-то похожее:
https://rentry.org/textard (англ.)

✱ Гиперсеть (Hypernetwork) может подойти, если она этого делать не умеет; позволяет добавить более существенные изменения в существующую модель, но тренируется медленнее:
https://rentry.org/hypernetwork4dumdums (англ.)

✱ Dreambooth – выбор 24 Гб VRAM-бояр. Выдаёт отличные результаты. Генерирует полноразмерные модели:
https://github.com/nitrosocke/dreambooth-training-guide (англ.)

✱ LoRA – "легковесный Dreambooth" – подойдет для любых задач. Отличается малыми требованиями к VRAM (6 Гб+) и быстрым обучением:
https://rentry.org/2chAI_easy_LORA_guide - гайд по подготовке датасета и обучению LoRA для неофитов
https://rentry.org/2chAI_LoRA_Dreambooth_guide - ещё один гайд по использованию и обучению LoRA
https://rentry.org/59xed3 - более углубленный гайд по лорам, содержит много инфы для уже разбирающихся (англ.)

✱ LyCORIS (Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion) - это проект по созданию алгоритма для более эффективного дообучения SD. Ранее носил название LoCon. В настоящий момент включает в себя алгоритмы LoCon, LoHa, LoKr и DyLoRA:
https://github.com/KohakuBlueleaf/LyCORIS

✱ LoCon (LoRA for Convolution layer) - тренирует дополнительные слои в UNet. Теоретически должен давать лучший результат тренировки по сравнению с LoRA, меньше вероятность перетренировки и большая вариативность при генерации. Тренируется примерно в два раза медленнее чистой LoRA, требует меньший параметр network_dim, поэтому размер выходного файла меньше.

✱ LoHa (LoRA with Hadamard Product representation) - тренировка с использованием алгоритма произведения Адамара. Теоретически должен давать лучший результат при тренировках с датасетом в котором будет и персонаж и стилистика одновременно.

✱ LoKr (LoRA with Kronecker product representation) - тренировка с использованием алгоритма произведения Кронекера. Алгоритм довольно чувствителен к learning_rate, так что требуется его тонкая подгонка. Из плюсов - очень маленький размер выходного файла (auto factor: 900~2500KB), из минусов - слабая переносимость между моделями.

✱ DyLoRA (Dynamic Search-Free LoRA) - по сути та же LoRA, только теперь в выходном файле размер ранга (network_dim) не фиксирован максимальным, а может принимать кратные промежуточные значения. После обучения на выходе будет один многоранговый файл модели, который можно разбить на отдельные одноранговые. Количество рангов указывается параметром --network_args "unit=x", т.е. допустим если network_dim=128, network_args "unit=4", то в выходном файле будут ранги 32,64,96,128. По заявлению разработчиков алгоритма, обучение одного многорангового файла в 4-7 раз быстрее, чем учить их по отдельности.

✱ Text-to-image fine-tuning для Nvidia A100/Tesla V100-бояр:
https://keras.io/examples/generative/finetune_stable_diffusion (англ.)

Бонус. ✱ Text-to-image fine-tuning для 24 Гб VRAM:
https://rentry.org/informal-training-guide (англ.)

Не забываем про золотое правило GIGO ("Garbage in, garbage out"): какой датасет, такой и результат.

➤ Гугл колабы

﹡Текстуальная инверсия: https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/sd_textual_inversion_training.ipynb
﹡Dreambooth: https://colab.research.google.com/github/TheLastBen/fast-stable-diffusion/blob/main/fast-DreamBooth.ipynb
﹡LoRA [1] https://colab.research.google.com/github/Linaqruf/kohya-trainer/blob/main/kohya-trainer.ipynb
﹡LoRA [2] https://colab.research.google.com/drive/1bFX0pZczeApeFadrz1AdOb5TDdet2U0Z

➤ Полезное

Гайд по фиксу сломанных моделей: https://rentry.org/clipfix (англ.)
Расширение WebUI для проверки "сломаных" тензоров модели: https://github.com/iiiytn1k/sd-webui-check-tensors
Гайд по блок мерджингу: https://rentry.org/BlockMergeExplained (англ.)
Гайд по ControlNet: https://stable-diffusion-art.com/controlnet (англ.)

Гайды по апскейлу от анонов:
https://rentry.org/SD_upscale
https://rentry.org/sd__upscale

Оптимизации для современных ПК:
https://rentry.org/sd_performance - мастхев для владельцев 40XX поколения; для 20XX-30XX прирост производительности менее существенен

GUI для тренировки лор от анона: https://github.com/anon-1337/LoRA-train-GUI
Подборка мокрописек от анона: https://rentry.org/te3oh
Группы тегов для бур: https://danbooru.donmai.us/wiki_pages/tag_groups (англ.)
Коллекция лор от анонов: https://rentry.org/2chAI_LoRA

Гайды, эмбеды, хайпернетворки, лоры с форча:
https://rentry.org/sdgoldmine
https://rentry.org/sdg-link
https://rentry.org/hdgfaq
https://rentry.org/hdglorarepo
https://gitgud.io/gayshit/makesomefuckingporn

Шапка: https://rentry.org/catb8

Прошлые треды:
№1 https://arhivach.top/thread/859827/
№2 https://arhivach.top/thread/860317/
№3 https://arhivach.top/thread/861387/
№4 https://arhivach.top/thread/863252/
№5 https://arhivach.top/thread/863834/
№6 https://arhivach.top/thread/864377/
№7 https://arhivach.top/thread/868143/
№8 https://arhivach.top/thread/873010/
№9 https://arhivach.top/thread/878287/

Генерируем тяночек!
Прошлый >> https://arhivach.top/

схожие тематические треды
- технотред >>
- SD-тред (фотореализм) >>
- тред в /fur/ https://2ch.hk/fur/res/277400.html (М)

Использование коллабов является небезопасным с точки зрения конфедициальности. Если вы используете чужой блокнот, исходите из предположения, что автор данного блокнота может собирать о вас такую информацию как: IP-адрес, фингерпринт браузера, ваши промпты и итоговые генерации.

Достоверно известно, что владелец самого популярного коллаба в треде собирает, как минимум, часть данной информации.

F.A.Q. треда: https://rentry.org/nai_faq
Глоссарий: https://rentry.org/ddpg2
Устанавливаем на ПК/Облако: https://rentry.org/nai_faq#как-поставить-на-пкоблако

Гайды по промптам, списки тегов и негативных эмбеддингов: https://rentry.org/nai_prompt
Гайды по апскейлу: https://rentry.org/sd__upscale | https://rentry.org/SD_upscale | https://rentry.org/2ch_nai_guide#апскейл
Гайды по обучению лор: https://rentry.org/2chAI_easy_LORA_guide | https://rentry.org/2chAI_LoRA_Dreambooth_guide
Гайды по ControlNet: https://stable-diffusion-art.com/controlnet

Каталог популярных моделей: https://rentry.org/nai_models
Каталог лор на стилизацию: https://rentry.org/nai_style_loras
Где искать модели, эмбединги, лоры, вайлдкарды и всё остальное: https://civitai.com | https://huggingface.co/models?other=stable-diffusion

Гайды по оптимизациям: https://rentry.org/nai_optimizations

АИ-галереи: https://aibooru.online | https://majinai.art
Англоязычные каталоги ссылок: https://rentry.org/sdgoldmine | https://rentry.org/sdg-link | https://www.sdcompendium.com

⚠️Перекат оформляется после 1000 поста
Шаблон для переката: https://rentry.org/nwhci

Генерируем тяночек!
Прошлый >> https://arhivach.top/

схожие тематические треды
- технотред >>
- SD-тред (фотореализм) >>
- тред в /fur/ https://2ch.hk/fur/res/277400.html (М)

Использование коллабов является небезопасным с точки зрения конфиденциальности. Если вы используете чужой блокнот, исходите из предположения, что автор данного блокнота может собирать о вас такую информацию как: IP-адрес, фингерпринт браузера, ваши промпты и итоговые генерации.

Достоверно известно, что владелец самого популярного коллаба в треде собирает, как минимум, часть данной информации.

https://github.com/vladmandic/automatic/discussions/1285 - драйвера NVidia версии выше 531 (как минимум 532 и 535) используют Shared Memory (фактически, речь идёт про обычную RAM) после исчерпания VRAM, что позволяет избежать ошибок рода Out Of Memory. Цена этого - резкое снижение производительности (вплоть до x10-50 раз) при исчерпании VRAM. При переполнении VRAM, память возвращается в норму только после перезапуска WebUI - простой перезапуск генерации не поможет.

F.A.Q. треда: https://rentry.org/nai_faq
Глоссарий: https://rentry.org/ddpg2
Устанавливаем на ПК/Облако: https://rentry.org/nai_faq#как-поставить-на-пкоблако

Гайды по промптам, списки тегов и негативных эмбеддингов: https://rentry.org/nai_prompt
Гайды по апскейлу: https://rentry.org/sd__upscale | https://rentry.org/SD_upscale | https://rentry.org/2ch_nai_guide#апскейл
Гайды по обучению лор: https://rentry.org/2chAI_easy_LORA_guide | https://rentry.org/2chAI_LoRA_Dreambooth_guide
Гайды по ControlNet: https://stable-diffusion-art.com/controlnet

Каталог популярных моделей: https://rentry.org/nai_models
Каталог лор на стилизацию: https://rentry.org/nai_style_loras
Где искать модели, эмбединги, лоры, вайлдкарды и всё остальное: https://civitai.com | https://huggingface.co/models?other=stable-diffusion

Гайды по оптимизациям: https://rentry.org/nai_optimizations

АИ-галереи: https://aibooru.online | https://majinai.art
Англоязычные каталоги ссылок: https://rentry.org/sdgoldmine | https://rentry.org/sdg-link | https://www.sdcompendium.com

⚠️Перекат оформляется после 1000 поста
Шаблон для переката: https://rentry.org/nwhci

Генерируем тяночек!
Прошлый >> https://arhivach.top/

схожие тематические треды
- технотред >>
- SD-тред (фотореализм) >>
- тред в /fur/ https://2ch.hk/fur/res/277400.html (М)

Использование коллабов является небезопасным с точки зрения конфиденциальности. Если вы используете чужой блокнот, исходите из предположения, что автор данного блокнота может собирать о вас такую информацию как: IP-адрес, фингерпринт браузера, ваши промпты и итоговые генерации.

Достоверно известно, что владелец самого популярного коллаба в треде собирает, как минимум, часть данной информации.

Драйвера NVidia версии выше 531 (как минимум 532 и 535) используют Shared Memory (фактически, речь идёт про обычную RAM) после исчерпания VRAM, что позволяет избежать ошибок рода Out Of Memory. Цена этого - резкое снижение производительности (вплоть до x10-50 раз) при исчерпании VRAM. При переполнении VRAM, память возвращается в норму только после перезапуска WebUI - простой перезапуск генерации не поможет. Подробнее: https://github.com/vladmandic/automatic/discussions/1285

F.A.Q. треда: https://rentry.org/nai_faq
Глоссарий: https://rentry.org/ddpg2
Устанавливаем на ПК/Облако: https://rentry.org/nai_faq#как-поставить-на-пкоблако

Гайды по промптам, списки тегов и негативных эмбеддингов: https://rentry.org/nai_prompt
Гайды по апскейлу: https://rentry.org/sd__upscale | https://rentry.org/SD_upscale | https://rentry.org/2ch_nai_guide#апскейл
Гайды по обучению лор: https://rentry.org/2chAI_easy_LORA_guide | https://rentry.org/2chAI_LoRA_Dreambooth_guide
Гайды по ControlNet: https://stable-diffusion-art.com/controlnet

Каталог популярных моделей: https://rentry.org/nai_models
Каталог лор на стилизацию: https://rentry.org/nai_style_loras
Где искать модели, эмбединги, лоры, вайлдкарды и всё остальное: https://civitai.com | https://huggingface.co/models?other=stable-diffusion

Гайды по оптимизациям: https://rentry.org/nai_optimizations

АИ-галереи: https://aibooru.online | https://majinai.art
Англоязычные каталоги ссылок: https://rentry.org/sdgoldmine | https://rentry.org/sdg-link | https://www.sdcompendium.com

⚠️Перекат оформляется после 1000 поста
Шаблон для переката: https://rentry.org/nwhci

Использование коллабов является небезопасным с точки зрения конфиденциальности. Если вы используете чужой блокнот, исходите из предположения, что автор данного блокнота может собирать о вас такую информацию как: IP-адрес, фингерпринт браузера, ваши промпты и итоговые генерации.

Достоверно известно, что владелец самого популярного коллаба в треде собирает, как минимум, часть данной информации.

Драйвера NVidia версии выше 531 (как минимум 532 и 535) используют Shared Memory (фактически, речь идёт про обычную RAM) после исчерпания VRAM, что позволяет избежать ошибок рода Out Of Memory. Цена этого - резкое снижение производительности (вплоть до x10-50 раз) при исчерпании VRAM. При переполнении VRAM, память возвращается в норму только после перезапуска WebUI - простой перезапуск генерации не поможет. Подробнее: https://github.com/vladmandic/automatic/discussions/1285

F.A.Q. треда: https://rentry.org/nai_faq
Глоссарий: https://rentry.org/ddpg2
Устанавливаем на ПК/Облако: https://rentry.org/nai_faq#как-поставить-на-пкоблако

Гайды по промптам, списки тегов и негативных эмбеддингов: https://rentry.org/nai_prompt
Гайды по ControlNet: https://stable-diffusion-art.com/controlnet
Гайды по апскейлу для начинающих: https://rentry.org/sd__upscale | https://rentry.org/SD_upscale | https://rentry.org/2ch_nai_guide#апскейл
Гайды по апскейлу с помощью ControlNet (для продвинутых): https://rentry.org/UpscaleByControl
Гайды по обучению лор: https://rentry.org/2chAI_easy_LORA_guide | https://rentry.org/2chAI_LoRA_Dreambooth_guide

Каталог популярных моделей: https://rentry.org/nai_models
Каталог лор на стилизацию: https://rentry.org/nai_style_loras
Где искать модели, эмбединги, лоры, вайлдкарды и всё остальное: https://civitai.com | https://huggingface.co/models?other=stable-diffusion

Оптимизации для слабых ПК (6GB VRAM и менее): https://rentry.org/voldy#-running-on-4gb-and-under-
Общие советы по оптимизациям: https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Optimizations

АИ-галереи: https://aibooru.online | https://majinai.art
Англоязычные каталоги ссылок: https://rentry.org/sdgoldmine | https://rentry.org/sdg-link | https://www.sdcompendium.com

⚠️Перекат оформляется после 1000 поста
Шаблон для переката: https://rentry.org/nwhc

ИТТ делимся советами, лайфхаками, наблюдениями, результатами обучения, обсуждаем внутреннее устройство диффузионных моделей, собираем датасеты, решаем проблемы и экспериментируем
Тред общенаправленныей, тренировка дедов, лупоглазых и фуррей приветствуются

Предыдущий тред: >>#############

➤ GUI для обучения

https://github.com/bmaltais/kohya_ss
https://github.com/derrian-distro/LoRA_Easy_Training_Scripts
https://github.com/anon-1337/LoRA-train-GUI

➤ Обучение SDXL

Если вы используете скрипты https://github.com/kohya-ss/sd-scripts напрямую, то, для обучения SDXL, вам необходимо переключиться на ветку "sdxl" и обновить зависимости. Эта операция может привести к проблемам совместимости, так что, желательно, делать отдельную установку для обучения SDXL и используовать отдельную venv-среду. Скрипты для тренировки SDXL имеют в имени файла префикс sdxl_.

Подробнее про обучение SDXL через kohya-ss можно почитать тут: https://github.com/kohya-ss/sd-scripts/tree/sdxl#about-sdxl-training

Для GUI https://github.com/bmaltais/kohya_ss и https://github.com/derrian-distro/LoRA_Easy_Training_Scripts/tree/SDXL так же вышли обновления, позволяющее делать файнтьюны для SDXL. Кроме полноценного файнтьюна и обучения лор, для bmaltais/kohya_ss так же доступны пресеты для обучения LoRA/LoHa/LoKr, в том числе и для SDXL, требующие больше VRAM.

Всё пока сырое и имеет проблемы с совместимостью, только для самых нетерпеливых. Требования к системе для обучения SDXL выше, чем для обучения SD 1.x.

➤ Гайды по обучению

Существующую модель можно обучить симулировать определенный стиль или рисовать конкретного персонажа.

✱ Текстуальная инверсия (Textual inversion) может подойти, если сеть уже умеет рисовать что-то похожее:
https://rentry.org/textard (англ.)

✱ Гиперсеть (Hypernetwork) может подойти, если она этого делать не умеет; позволяет добавить более существенные изменения в существующую модель, но тренируется медленнее:
https://rentry.org/hypernetwork4dumdums (англ.)

✱ Dreambooth – выбор 24 Гб VRAM-бояр. Выдаёт отличные результаты. Генерирует полноразмерные модели:
https://github.com/nitrosocke/dreambooth-training-guide (англ.)

✱ LoRA – "легковесный Dreambooth" – подойдет для любых задач. Отличается малыми требованиями к VRAM (6 Гб+) и быстрым обучением:
https://rentry.org/2chAI_easy_LORA_guide - гайд по подготовке датасета и обучению LoRA для неофитов
https://rentry.org/2chAI_LoRA_Dreambooth_guide - ещё один гайд по использованию и обучению LoRA
https://rentry.org/59xed3 - более углубленный гайд по лорам, содержит много инфы для уже разбирающихся (англ.)

✱ LyCORIS (Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion) - это проект по созданию алгоритма для более эффективного дообучения SD. Ранее носил название LoCon. В настоящий момент включает в себя алгоритмы LoCon, LoHa, LoKr и DyLoRA:
https://github.com/KohakuBlueleaf/LyCORIS

✱ LoCon (LoRA for Convolution layer) - тренирует дополнительные слои в UNet. Теоретически должен давать лучший результат тренировки по сравнению с LoRA, меньше вероятность перетренировки и большая вариативность при генерации. Тренируется примерно в два раза медленнее чистой LoRA, требует меньший параметр network_dim, поэтому размер выходного файла меньше.

✱ LoHa (LoRA with Hadamard Product representation) - тренировка с использованием алгоритма произведения Адамара. Теоретически должен давать лучший результат при тренировках с датасетом в котором будет и персонаж и стилистика одновременно.

✱ LoKr (LoRA with Kronecker product representation) - тренировка с использованием алгоритма произведения Кронекера. Алгоритм довольно чувствителен к learning_rate, так что требуется его тонкая подгонка. Из плюсов - очень маленький размер выходного файла (auto factor: 900~2500KB), из минусов - слабая переносимость между моделями.

✱ DyLoRA (Dynamic Search-Free LoRA) - по сути та же LoRA, только теперь в выходном файле размер ранга (network_dim) не фиксирован максимальным, а может принимать кратные промежуточные значения. После обучения на выходе будет один многоранговый файл модели, который можно разбить на отдельные одноранговые. Количество рангов указывается параметром --network_args "unit=x", т.е. допустим если network_dim=128, network_args "unit=4", то в выходном файле будут ранги 32,64,96,128. По заявлению разработчиков алгоритма, обучение одного многорангового файла в 4-7 раз быстрее, чем учить их по отдельности.

✱ Text-to-image fine-tuning для Nvidia A100/Tesla V100-бояр:
https://keras.io/examples/generative/finetune_stable_diffusion (англ.)

Бонус. ✱ Text-to-image fine-tuning для 24 Гб VRAM:
https://rentry.org/informal-training-guide (англ.)

Не забываем про золотое правило GIGO ("Garbage in, garbage out"): какой датасет, такой и результат.

➤ Гугл колабы

﹡Текстуальная инверсия: https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/sd_textual_inversion_training.ipynb
﹡Dreambooth: https://colab.research.google.com/github/TheLastBen/fast-stable-diffusion/blob/main/fast-DreamBooth.ipynb
﹡LoRA [1] https://colab.research.google.com/github/Linaqruf/kohya-trainer/blob/main/kohya-trainer.ipynb
﹡LoRA [2] https://colab.research.google.com/drive/1bFX0pZczeApeFadrz1AdOb5TDdet2U0Z

➤ Полезное

Гайд по фиксу сломанных моделей: https://rentry.org/clipfix (англ.)
Расширение WebUI для проверки "сломаных" тензоров модели: https://github.com/iiiytn1k/sd-webui-check-tensors
Гайд по блок мерджингу: https://rentry.org/BlockMergeExplained (англ.)
Гайд по ControlNet: https://stable-diffusion-art.com/controlnet (англ.)

Гайды по апскейлу от анонов:
https://rentry.org/SD_upscale
https://rentry.org/sd__upscale
https://rentry.org/2ch_nai_guide#апскейл
https://rentry.org/UpscaleByControl

Ручная сборка и установка последней версии xformers и torch в venv автоматика:
Windows: https://rentry.org/sd_performance
Linux: https://rentry.org/SD_torch2_linux_guide

Подборка мокрописек от анона: https://rentry.org/te3oh
Группы тегов для бур: https://danbooru.donmai.us/wiki_pages/tag_groups (англ.)
Коллекция лор от анонов: https://rentry.org/2chAI_LoRA

Гайды, эмбеды, хайпернетворки, лоры с форча:
https://rentry.org/sdgoldmine
https://rentry.org/sdg-link
https://rentry.org/hdgfaq
https://rentry.org/hdglorarepo
https://gitgud.io/gayshit/makesomefuckingporn

Шапка: https://rentry.org/catb8

ИТТ делимся советами, лайфхаками, наблюдениями, результатами обучения, обсуждаем внутреннее устройство диффузионных моделей, собираем датасеты, решаем проблемы и экспериментируем
Тред общенаправленныей, тренировка дедов, лупоглазых и фуррей приветствуются

Предыдущий тред: >>#############

➤ Софт для обучения

https://github.com/kohya-ss/sd-scripts
Набор скриптов для тренировки, используется под капотом в большей части готовых GUI и прочих скриптах.
Для удобства запуска можно использовать дополнительные скрипты в целях передачи параметров, например: https://rentry.org/simple_kohya_ss

➤ GUI-обёртки для kohya-ss

https://github.com/bmaltais/kohya_ss
https://github.com/derrian-distro/LoRA_Easy_Training_Scripts
https://github.com/anon-1337/LoRA-train-GUI

➤ Обучение SDXL

Если вы используете скрипты https://github.com/kohya-ss/sd-scripts напрямую, то, для обучения SDXL, вам необходимо переключиться на ветку "sdxl" и обновить зависимости. Эта операция может привести к проблемам совместимости, так что, желательно, делать отдельную установку для обучения SDXL и используовать отдельную venv-среду. Скрипты для тренировки SDXL имеют в имени файла префикс sdxl_.

Подробнее про обучение SDXL через kohya-ss можно почитать тут: https://github.com/kohya-ss/sd-scripts/tree/sdxl#about-sdxl-training

Для GUI https://github.com/bmaltais/kohya_ss и https://github.com/derrian-distro/LoRA_Easy_Training_Scripts/tree/SDXL так же вышли обновления, позволяющее делать файнтьюны для SDXL. Кроме полноценного файнтьюна и обучения лор, для bmaltais/kohya_ss так же доступны пресеты для обучения LoRA/LoHa/LoKr, в том числе и для SDXL, требующие больше VRAM.

Всё пока сырое и имеет проблемы с совместимостью, только для самых нетерпеливых. Требования к системе для обучения SDXL выше, чем для обучения SD 1.x.

➤ Гайды по обучению

Существующую модель можно обучить симулировать определенный стиль или рисовать конкретного персонажа.

✱ Текстуальная инверсия (Textual inversion) может подойти, если сеть уже умеет рисовать что-то похожее:
https://rentry.org/textard (англ.)

✱ Гиперсеть (Hypernetwork) может подойти, если она этого делать не умеет; позволяет добавить более существенные изменения в существующую модель, но тренируется медленнее:
https://rentry.org/hypernetwork4dumdums (англ.)

✱ Dreambooth – выбор 24 Гб VRAM-бояр. Выдаёт отличные результаты. Генерирует полноразмерные модели:
https://github.com/nitrosocke/dreambooth-training-guide (англ.)

✱ LoRA – "легковесный Dreambooth" – подойдет для любых задач. Отличается малыми требованиями к VRAM (6 Гб+) и быстрым обучением:
https://rentry.org/2chAI_easy_LORA_guide - гайд по подготовке датасета и обучению LoRA для неофитов
https://rentry.org/2chAI_LoRA_Dreambooth_guide - ещё один гайд по использованию и обучению LoRA
https://rentry.org/59xed3 - более углубленный гайд по лорам, содержит много инфы для уже разбирающихся (англ.)

✱ LyCORIS (Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion) - это проект по созданию алгоритма для более эффективного дообучения SD. Ранее носил название LoCon. В настоящий момент включает в себя алгоритмы LoCon, LoHa, LoKr и DyLoRA:
https://github.com/KohakuBlueleaf/LyCORIS

✱ LoCon (LoRA for Convolution layer) - тренирует дополнительные слои в UNet. Теоретически должен давать лучший результат тренировки по сравнению с LoRA, меньше вероятность перетренировки и большая вариативность при генерации. Тренируется примерно в два раза медленнее чистой LoRA, требует меньший параметр network_dim, поэтому размер выходного файла меньше.

✱ LoHa (LoRA with Hadamard Product representation) - тренировка с использованием алгоритма произведения Адамара. Теоретически должен давать лучший результат при тренировках с датасетом в котором будет и персонаж и стилистика одновременно.

✱ LoKr (LoRA with Kronecker product representation) - тренировка с использованием алгоритма произведения Кронекера. Алгоритм довольно чувствителен к learning_rate, так что требуется его тонкая подгонка. Из плюсов - очень маленький размер выходного файла (auto factor: 900~2500KB), из минусов - слабая переносимость между моделями.

✱ DyLoRA (Dynamic Search-Free LoRA) - по сути та же LoRA, только теперь в выходном файле размер ранга (network_dim) не фиксирован максимальным, а может принимать кратные промежуточные значения. После обучения на выходе будет один многоранговый файл модели, который можно разбить на отдельные одноранговые. Количество рангов указывается параметром --network_args "unit=x", т.е. допустим если network_dim=128, network_args "unit=4", то в выходном файле будут ранги 32,64,96,128. По заявлению разработчиков алгоритма, обучение одного многорангового файла в 4-7 раз быстрее, чем учить их по отдельности.

✱ Text-to-image fine-tuning для Nvidia A100/Tesla V100-бояр:
https://keras.io/examples/generative/finetune_stable_diffusion (англ.)

Не забываем про золотое правило GIGO ("Garbage in, garbage out"): какой датасет, такой и результат.

➤ Гугл колабы

﹡Текстуальная инверсия: https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/sd_textual_inversion_training.ipynb
﹡Dreambooth: https://colab.research.google.com/github/TheLastBen/fast-stable-diffusion/blob/main/fast-DreamBooth.ipynb
﹡LoRA [1] https://colab.research.google.com/github/Linaqruf/kohya-trainer/blob/main/kohya-trainer.ipynb
﹡LoRA [2] https://colab.research.google.com/drive/1bFX0pZczeApeFadrz1AdOb5TDdet2U0Z

➤ Полезное

Гайд по фиксу сломанных моделей: https://rentry.org/clipfix (англ.)
Расширение WebUI для проверки "сломаных" тензоров модели: https://github.com/iiiytn1k/sd-webui-check-tensors
Гайд по блок мерджингу: https://rentry.org/BlockMergeExplained (англ.)
Гайд по ControlNet: https://stable-diffusion-art.com/controlnet (англ.)

Гайды по апскейлу от анонов:
https://rentry.org/SD_upscale
https://rentry.org/sd__upscale
https://rentry.org/2ch_nai_guide#апскейл
https://rentry.org/UpscaleByControl

Ручная сборка и установка последней версии xformers и torch в venv автоматика:
Windows: https://rentry.org/sd_performance
Linux: https://rentry.org/SD_torch2_linux_guide

Подборка мокрописек от анона: https://rentry.org/te3oh
Группы тегов для бур: https://danbooru.donmai.us/wiki_pages/tag_groups (англ.)
Коллекция лор от анонов: https://rentry.org/2chAI_LoRA

Гайды, эмбеды, хайпернетворки, лоры с форча:
https://rentry.org/sdgoldmine
https://rentry.org/sdg-link
https://rentry.org/hdgfaq
https://rentry.org/hdglorarepo
https://gitgud.io/gayshit/makesomefuckingporn

Шапка: https://rentry.org/catb8

Прошлые треды:
№1 https://arhivach.top/thread/859827/
№2 https://arhivach.top/thread/860317/
№3 https://arhivach.top/thread/861387/
№4 https://arhivach.top/thread/863252/
№5 https://arhivach.top/thread/863834/
№6 https://arhivach.top/thread/864377/
№7 https://arhivach.top/thread/868143/
№8 https://arhivach.top/thread/873010/
№9 https://arhivach.top/thread/878287/
№10 https://arhivach.top/thread/893334/