wan2.1_fun Image-to-Video (Action Transfer) 초안정 버전

wan2.1_fun의 동작 마이그레이션 워크플로우는 공식 워크플로우를 기반으로 구축되었습니다.

wan2.1_fun을 꽤 오랜 시간 동안 만져보았습니다. KJ와 공식 워크플로우 모두 시도해 보았지만, 이미지 깨짐, 얼굴 일그러짐, 일관성 부족 등 여러 문제가 계속 발생했습니다. 광범위한 테스트를 거쳤으나 결과가 mimimotion만큼 좋지 않아 워크플로우를 배포하지 않았습니다. 그러다 오늘 번뜩이는 아이디어가 떠올랐습니다. mimimotion의 openpose를 사용하여 동작을 처리한 후, 블러 처리 후에 depth 처리와 블렌딩하는 것이었습니다. 놀랍게도 제어 효과가 매우 뛰어났고 표정 동기화도 더 자연스러워졌습니다. 여기에 공유할 워크플로우가 있습니다.

전체적인 설명은 다음과 같습니다:

① mimimotion에 비해 이 버전의 wan2.1_fun 워크플로우는 전체 비디오 장면에 대해 더 합리적인 동적 제어를 제공합니다. 예를 들어 배경 사물의 동적 효과가 더 뛰어납니다. 단점은 저해상도 생성 시 흐리게 나타나므로 720*1280 해상도를 권장한다는 점입니다.

② 생성 효율성이 mimimotion만큼 좋지 않습니다.

③ 생성 시간이 길어질수록 얼굴이 원래 참조 이미지에서 점점 더 멀어집니다(mimimotion도 이 문제를 겪습니다). 생성 후 얼굴 스와핑 복구가 여전히 필요합니다.

④ 손과 발 생성 상태가 좋지 않으며(공통적인 AI 문제), 현재로서는 손과 발을 처리하는 더 나은 방법을 찾지 못했습니다. 새로운 기술을 기대합니다.

요약: 전반적으로 wan2.1_fun과 mimimotion은 각각 장단점이 있습니다. 두 워크플로우를 모두 실행해 보고 특정 요구 사항과 시나리오에 가장 잘 맞는 솔루션을 선택해 보세요.

창작은 쉽지 않습니다. 이것이 도움이 되었다면 저장을 더 자주 하고, 온라인에서 애플리케이션이나 워크플로우를 더 자주 실행해 주세요. 여러분의 지지가 저의 창작 동기입니다. 지원해 주셔서 감사합니다! 

질문이 있으시면 댓글을 남겨주세요. 확인하는 대로 신속하게 답변해 드리겠습니다. 의견을 교환하고, 함께 배우며, 함께 발전해 나가기를 환영합니다!