Друзья, здравия вам. Как верно подметил (задетектил) господин Сипуха (>>7784), я в этот тред (да и на Двач в целом) изначально пришёл, чтобы запостить тут пару стишков. Поэзия про пони, на мой взгляд, у меня весьма сомнительная, но я всё равно хотел бы поделиться. Листая General Thread (сказали, что лучше сюда постить подобное), я не нашёл тут никакой поэзии, хотя может это просто я слепой. Так или иначе, изначально хотел просто файл приложить, но выдаёт ошибку, мол файл не поддерживается, так что вставлю прямо сюда (не ругайте, я на Дваче от силы неделю, я ещё не всё тут освоил). Кому не всё равно, оцените пожалуйста.

Культ поклонения Флаттершай

Здоровья вам, я основал
Культ поклоненья Флаттершай,
Наш храм – большой концертный зал,
А что там будет – сам решай.
Мы поклоняемся добру,
Больше не веря ни во что,
Мы – христиане из Перу,
Под кокаином. Всё не то.
Мы – иудеи, и буддизм –
Основа наших книг святых,
Крик «Невозможен альтруизм!»
Бьёт нам тут всем под самый дых,
Ведь, поклоняясь Флаттершай,
Имеем мы: «Не обижай»,
Короче, сложный этот самый
Понячий, добрый noster Рай.


Зекора, или как я сделался зеброй-шаманкой

Я мыслить научусь стихами,
Я перееду жить в леса,
Забуду страх перед Богами,
Начну творить я чудеса!

И научусь варить я зелья,
Я различать начну траву.
Я буду жить в убогой келье,
Зато хотя бы не в хлеву.

Мне будут руки вместо ножек,
Я в полосы раскрашу шерсть,
Ах, да, есть шерсть теперь на коже,
Ну, и на бёдрах солнце есть.

Я стану говорить с акцентом,
Себе поставлю ирокез,
Мои услуги стоят центы,
Мой дом есть Вечнодикий лес.

Страшилкой станет моё имя.
Страшилкой станет и мой вид.
Я ненавидим(-а?) другими.
И нет друзей. Душа болит.


Иуда

Как бы выглядел Иуда
В мире розовых поней?
Как пришёл бы и откуда?
И кого б предал быстрей?

И терзали бы Иуду
Муки совести тогда,
Когда стал бы он подсуден
У Селестии? Ах, да…

И кого б тогда распяли?
И когда? За что? И где?
Как бы знание заклинаний
Помогло тому в беде?

И зачем нужен мессия,
Если мир и так счастлив?
Если жизнь и так красива?
Если виден лоск от грив?

Кто бы был понячьим Богом?
А Андреем? А Петром?
Что бы было там, за гробом?
Кто б хранил небесный трон?

И поверили бы пони
В то, что кто-то лучше них
На кресте от боли стонет
И копьём пронзён до сих?

Так я думаю: Иуда
Не предал б понячий мир,
И остался бы Иисус, да
Средь Мэйнхэттенских квартир.
*

Про Рай

Рай – мир розовых поней.
Рай, который без людей.
Рай, в котором только пони, -
Это счастье, кто не понял.
И одарят нас тем Раем,
Что мы сами пожелаем,
Я желаю мир поняшек,
Где от счастья каждый пляшет,
Где нет боли, где нет смерти,
Это будет! Только верьте.

Я тут придумал новую архитектуру для генеративной нейронной сети. И вообще я говорить об этом здесь не должен, но связей у меня нет, поэтому других мест не остаётся.

Но сперва мне надо рассказать как работают существующие модели. Вкратце. Промпт подаётся на вход модели CLIP, которая разбивает его на токены и кодирует в цифры. Далее, этот набор цифр попадает в Unet, где из шума очищаются 2 латентных изображения, условно называемых conditional, и unconditional. Conditional делается из основного промпта, unconditional из негативного промпта. Потом conditional latent image умножается на коэфициент CFG и складывается с unconditional. Готовая latent image попадает в VAE, где оно превращается в обычную картинку.

Я предлагаю модифицировать только слой с Unet. По моей задумке, будет 2 Unet модели:
1. Unconditional модель, которая удаляет латентный шум, и не принимает никаких промптов.
2. Conditional модель. Она не удаляет шум. Она принимает как позитивный так и негативный промпт. Эта модель анализирует латентное изображение, и сообщает о степени соответствия изображения промпту. Сообщает она это, ну пусть в виде латентной маски, как в инпеинте.

Далее происходит следующее. Семплер анализирует эту маску, и в тех местах где соответствия недостаточно, заменяет латентные пиксели шумом. Далее модель принимая картинку и маску, снова удаляет отмеченный шум. Процесс повторяется до тех пор, пока степень соответствия не опустится ниже некоторого порога. После этого, текущий шаг считается завершенным и происходит переход на следующий шаг.

Сэмплинг в таких моделях будет происходит медленнее, но модель в целом становится гибче. Unconditional model не знает ничего о том какое изображение должно получится на выходе, она просто удаляет шум, ничего более. Conditional model шум не удаляет, но она знает всё, улавливает каждую закономерность, короче сжатая энциклопедия, которая выступает судьёй и корректирует процесс. Таким образом, можно не обучать "божественный Unet", как это происходит сейчас и, эффективнее расходовать весы модели, или снизить количество затрачиваемой памяти.