Пытался создать цифрового компаньона, окно программы в виде головы девушки, к которой затем прикручивать мимику и нейронку с распознаванием и синтезом речи. Столкнулся с проблемами с мимикой - самое примитивное решение в виде созданных нейросетью Stable Diffusion картинок девушки с разными эмоциями и положением век глаз выглядит топорно и работает также. Необходимо научиться растягивать "виртуальную кожу" лица в самой программе по нужным точкам. Тогда получатся все промежуточные эмоции, в тч неестественные нечеловеческие, что тоже круто)
Как собственно это можно реализовать в HiAsm?

Редактировалось 1 раз(а), последний 2023-09-06 15:43:30

Думаю, можно применить Img_Copy для сдвига части изображения, например губ для улыбки. Нужно разбить фото лица на квадраты и пометить зоны лица для необходимой мимики (губы, глаза, лоб и тд) и эмоций, затем работать с изображениями в этих квадратах, написав универсальный код для их растяжения \ сжимания без потери качества оригинала. Gunta, ты где, вся надежда на тебя))

Редактировалось 2 раз(а), последний 2023-09-11 11:17:42

Aziz, начните с простого, рисуйте линией одно и тоже в крайних положениях и анимация получится по точкам легко.

Aziz, а почему не сделать gif-ку (ки) и просто анимировать в нужной последовательности?

Редактировалось 2 раз(а), последний 2023-09-11 11:00:39

Ура, форум заработал спустя 2-3 дня комы, ошибки сервера. Что это было? В новостях админы не пишут ничего...
Леонид, я не хочу рисованное, хочу со временем дать людям цифровых двойников их ушедших родственников, свою маму так оживить например, ушедшую в 40 лет, мне было 12-13.. Начну с Мерилин Монро, она тоже мало пожила. Поэтому только морфинг фото. Даже наверное надо начинать сразу с 3Д меша, там можно двигать отдельные его вершины прикрепив виртуальные мышцы к ним.
sla8a, потому что гифка это нечто застывшее всеже, в пределах своих кадров, и там не сможешь делать разное сочетание мимики, например полуулыбку и полуприщур глаз и тд. Для этого придется миллион гифок нарезать. А я хочу в тч уметь синтезировать новые эмоции, возможно даже неземные) В общем, сейчас задача меш в OpenGL суметь импортировать и натянуть на него текстуру этой головы. По-моему, если тянуть узлы сетки этого меша, текстура должна сама тянуться вслед и растягиваться как нужно. Наверное так и сделано во всяких FaceApp..

--- Добавлено в 2023-09-11 11:23:08

Пока что вышел вот такой забавный монстр)
https://disk.yandex.ru/d/S8yFSAGRyn23zQ
https://vk.com/azizazizov?w=wall132509906_19640

Редактировалось 2 раз(а), последний 2023-09-11 11:27:08

Это как такое число получилось? Давайте разабьем лицо на части {это не угроза } сам контур лица, один глаз и половинка губ, нос, одна бровь, ухо. И для каждой части думаю наберётся не больше десяти форм, для губ возможно больше. А дальше комбинирую, можно получить нужные эмоции.
Редактировалось 1 раз(а), последний 2023-09-11 11:59:31

sla8a, я гуманитарий поэтому привести в пример комбинаторику не смогу, но думаю это число нечто вроде n подвижных частей лица в степени n степеней их свободы, а учитывая что я хотел бы иметь дело не с цифровым лицом со ступенчатыми апроксимациями эмоций, а с псевдоаналоговым с непрерывным и бесконечным сочетанием их симуляций, то вроде большое число комбинаций должно набраться.
Тут попутно мысль пришла что можно не только умерших оживлять, но в первую очередь своего цифрового вечного двойника создать и воспитать. С постоянным самообучением и самомодификацией кода. Цифровое бессмертие )

Редактировалось 1 раз(а), последний 2023-09-11 12:37:39

Aziz, можно подумать, что у вас сотня киловатт в сарае и нейросеть трёхслойная 1024х1024 на тысяче видеокарт на столе, только и ждёт обучения

Леонид, вы правы, кто я такой, не буду даже пытаться.. Ведь для ИИ нужны сотни тысяч кВт и этого НИКОМУ, никаким дилетантам и гуманитариям не обойти) Как и не купить эти киловатты и видюхи.. Ведь по всему миру трудятся 10ки институтов, а тут какой-то Азиз на коленке дома ИИ собирает)) В то время чел мозг если знаете, потребляет как обычная 100 Вт лампочка.. Но к чему нам это знать, мы же уверены что лишь многослойными и прожорливыми сетями можно что-то стоящее создать.
А простое оно же примитивное не особо вдохновляет..

Редактировалось 3 раз(а), последний 2023-09-11 15:43:16

Леонид, простите, я неправильно вас понял. Вы действительно правы с т.зр. что сначала нужно сделать "конфетку", и лишь затем фантики и обертки красивые для нее разрабатывать. Но тут есть один нюанс - иногда вдохновение работает и наоборот - если будет красивая "упаковка", Форма, иногда она вдохновляет на работу над ее Содержанием..

Редактировалось 1 раз(а), последний 2023-09-11 22:56:20

Но в плане железа думаю тоже у меня не совсем плохо - есть 2 мощных компа, один суперкомп - серверный 18 ядерный 2-процессорный Xeon, с 128 Гб памяти и видеокартой rtx3090 24Gb,1Гб nvme SSD, второй - 4-ядерный Core - i7, 32 Гб, gtx1070 8 Gb. Ну и мощный ноут на Corei7 еще третий.

Aziz,
18 ядер ещё надо заставить работать в параллель. В видеокартах по 400 и более ядер, иначе в приемлемое время картинку не повернёшь. Вот на чём надо нейросеть строить

Леонид, ну да, я как бы в курсе) Я о том, что неужели такого железа мало? Ты же вроде об этом сначала сказал. Или теперь мы уже о моей квалификации?) Ну, тут уж простите, мечтать мне не запретишь))Тем более сейчас все мощности можно купить в облаке и даже на телефоне вести обучение нейросети. Если потребуется, потому что еще не доказано что копирование работы мозга это самый идеальный путь. Но с этого надо начать, а дальше ИИ сам придумает себе оптимальную нечеловеческую структуру. Попутно избавившись от нас)
И кстати, я сбился со счета, там в итоге 36 ядер у меня, 18 ядер на / проц) Плюс еще 36 виртуальных в виде 72 потоков.. Итого 72 процев. И это тоже немаловажно, тк данные с видеокарты тоже надо успеть обработать, а также есть вычисления, которые более сложные и не распараллеливаются.

Редактировалось 2 раз(а), последний 2023-09-14 08:22:47

Aziz, вот шутка, сюда не вставилась, положил не Яндекс-диск:
https://disk.yandex.ru/d/SqaLJfrJXK54Vg
Там и *.ехе, и *.sha, и картинка в *.txt