В общем пока это даже не задача, а просто пока еще плохо сформулированная мысль для обсуждения
Что-то отдаленно похожее УЖЕ существует.



Называется ComfyUI Модульный интерфейс для Stable Diffusion
https://github.com/comfyanonymous/ComfyUI
( Сам я пока сижу на AUTOMATIC1111 Stable Diffusion Web UI но взгляд на скрины ComfyUI вызывает сильнейшее дежавю,
да это чуть больше похоже на Unin3d но и на ХайАсм тоже )

Так что народ, как идея?
Ведь реально напрашивается!
Зы
Кстати я тут "оболочку поверх оболочки" (Проект Shell2Shell) для AUTOMATIC1111 писать начал
( Пока что штука довольно универсальная и подходит для любых проектов имеющих в основе Web UI(веб-интерфейс) и консоль )


Ссылка на свежую стабильную сборку на 4pda
(* читайте Doka.txt и Autmata_1111_Doc.txt в архиве )

Можно будет "по приколу" туда и "HiAsm Online IDE (hion)" загнать.
(Благо "нецелевое использование" Shell2Shell уже опробовано )
Доступ к Web VR на базе программы Shell2Shell
Запускает простейший веб-сервер и крутит в нем "веб-ВиАр страничку".
(Браузерный движок WebView2 может потребовать драйвер с сайта microsoft ( https://developer.microsoft.com/en-us/microsoft-edge/webview2/ ) без него программ просто "молча" закрывается но весьма возможно что он уже установлен))

Редактировалось 10 раз(а), последний 2023-09-16 13:07:29

AlexKir, спасибо большое! Моя мечта сбылась) Модульный синтез звука уже есть - это Flowstone, теперь есть и модульный синтез фото. А ведь фото это уже почти видео, добавив туда необходимую логику.
Ну да, реально написать SD пакет для Hiasm. И вот тут как мне кажется начнется выход к AI видео.

Редактировалось 1 раз(а), последний 2023-09-14 08:33:58

Всегда пожалуйста!
Но вообще-то практически ВСЕ оболочки для Stable Diffusion УЖЕ сейчас умеют создавать видео ролики
(это мало кто использует но просто потому что ресурсов современных "домашних" компьютеров обычно для этого недостаточно, даже несмотря на наличие "супер-компьютерного режима" с использованием GPU для поддержки нейросетей )

Моих железок неплохо справляющихся с ВиАр-на-минималках для генерации Видео недостаточно категорически.

Зы
Еще можно сделать обработку видео (это быстрее)...
https://youtu.be/v3swmwG3qpA

Редактировалось 11 раз(а), последний 2023-09-14 12:42:03

AlexKir, к сожалению, версия оказалась не десктопной, а веб приложением... Но ничего, попробую освоить. Сам я сижу на StableDiffusion Gui. Удобный интерфейс и авто обновление модулей.

--- Добавлено в 2023-09-15 03:47:48

А насчет синтеза видео... Давно есть идея его семплинга и микширования. Ну то есть по аналогии со звуковым сэмплером сделать видеосэмплер, и клипы как семплы быстро грузить с диска. Тогда можно по миди, клавиатурой исполнять "видеопартию", миксуя по разному видеокусочки (избавился от англицизма)) И вот так из кусочков разных видосов создавать более длинный клип или законченный фильм.

Редактировалось 2 раз(а), последний 2023-09-15 03:48:51

NMKD Stable Diffusion GUI использовал но отказался в пользу AUTOMATIC1111 Stable Diffusion Web UI
Несмотря на недостатки веб-интерфейса это по сути стандартная оболочка для Stable Diffusion с чудовищным количеством расширений

А для более удобной работы начал писать проект Shell2Shell (то что по идее может в последствии вырасти в более гибкий аналог NMKD Stable Diffusion GUI)

Кстати ComfyUI может быть запущена из AUTOMATIC1111 качестве расширения.( у меня это пока не заработало но возможно из за слабой видеокарты или конфликта расширений )

Редактировалось 4 раз(а), последний 2023-09-16 13:28:59