인공지능 이미지에서 영상제작 방법 (모델링, 배경음악)

인공적인 지능 영어로  아티피셜 인텔리전스 Artificial Intelligence를 모른다면 꼭 학습하고 가시기 바랍니다.  어디나 인공지능 대문자로 AI가 대세이지만,  어렵게 생각하지 말고 이용해 보는 것을 권합니다.  [생성형 인공지능의 기능이 영상제작자가 창작에 활용하면 어떻게 해야하는가?]를 지금부터 소개합니다.

콘셉트 | 이미지생성 | 비디오생성

 

 

프롬프트(Prompt)는 사용자의 명령을 받아들일 준비가 되었음을 모니터에 나타내는 표시를 말하며 최근에는 주로 인공지능 모델에게 특정 작업을 수행하도록 지시하는 명령어 또는 질문을 의미합니다.  인공지능을 활용한 생성에서 중요한 것은 제대로 원하는 것을  프롬프트에 명확하게 지시하는 글을 입력해야 한다는 것입니다.  프롬프트는 인공지능 모델, 특히 생성형 AI에게 특정 작업을 수행하도록 지시하는 입력 텍스트 또는 질문을 의미합니다.   구글검색에도 엉성하게 검색하면 엉뚱한 정보만 보여지는 것처럼  인공지능에게 어벙하고 불분명하게 물어보면 답하는 애가 힘들어지니, 똑똑하게 물어보고 요청을 하면  지가 알고 있는 것들을 수집해서 잘 정리해 답변을 해준다는 것을 꼭 숙지하시기 바랍니다. 

DOS의 Prompt 디렉토리를 펼쳐 보여달라는 명령 dir/w

 

Ai 영상제작

 

인공지능을 활용한 영상제작 순서

공모전이나 여러분이 특정한 목적으로 인공지능으로 영상을 제작하려면, 콘셉트를 정하고 키워드, 스토리보드의 기획이 필요합니다.  무작정 인공지능에게 그냥 만들어줘라고 요청을 하면 완성도가 떨어지고 불규칙하게 결과물을 생성합니다.

 

 

---

CONCEPT

 

[공모전소식] 디자인, UCC 영상 분야

콘셉트 Concept : 광고영상/공모전 등 주제가 정해졌다면 콘셉트를 짜야한다.
[이미지 생성]  사진같은 이미지, 2D 지브리스타일, 3D같은 공간
■ 화장품 품목1개(샤넬...) ■브랜드 : 식품(시리얼), 화장품(올영...), 스포츠(나이키) 등 브랜드 선정 자유
■ Ai활용한 공모전(UCC..)도 많이 소개되고 있습니다.

콘셉트(Concept)는 단순히 아이디어를 넘어, 프로젝트의 핵심적인 방향과 목적을 명확히 하는 추상적인 아이디어 또는 기본 틀을 의미합니다. 콘셉트는 디자인 과정 전체를 관통하며, 최종 결과물의 형태와 기능, 메시지에 큰 영향을 미칩니다. 콘셉트는 핵심적인 아이디어/문제해결의시작/목표설정/차별화/통일성 부여 등 세상에 없는 그 무엇인가를 만들기 위한 크리에이팅, 즉 창작의 시발점이 되는 중요한 개념입니다.

제작하려는 의지가 있고, 만들어야 하는 콘셉트가 있다면... 인공지능을 활용한 콘텐츠제작에서 핵심이미지가 별하는 오류를 피하기 위해서 A라는 형상의 이미지가 일관되게 영상으로 다른 씬에서도 움직이는 A를 주인공이 표현되는 결과물을 원할 것 입니다.  인공지능은 같은 프롬프트의 같은 요청내용에도 다른 결과물을 만들어 주기 때문에 이미지를 기반으로한 인공지능활용법에 익숙해야 합니다.

첫번째로 텍스트 즉 글로 명확히 요청하면 텍스트와 이미지를 인공지능이 생성해줍니다. 픽사베이등 인물사진을 활용하는 것도 하나의 이미지 구하는 방법일 수 있습니다.
두번째로 영상제작에 필요한 이미지를 첨부해 원하는 동작과 배경등 원하는 것을 텍스트로 입력을 해주면 이미지를 기반으로 영상생성해줍니다. 물론 원하는 결과가 나오지 않을 경우 몇번의 시도를 할 수 있습니다. 
세번째로는 결과물인 3개정도의 영상을 최종 영상편집을 통해 제작할 수 있습니다. 

 

 

제작콘셉트A   우유+시리얼 브랜드의 스토리텔링

OOO 브랜드의 시리얼 로고등장 / 우유를 시리얼에 붓고 먹는 어린이와 이를 지켜보는 엄마 / 우유가득한 시리얼담긴 그릇+시리얼박스  / 곰돌이 캐릭터와 시리얼 상자

 

 

 

마이크로소트트 디자이너의 [이미지 생성] 제가 원하는 [시리얼광고]목적의 콘셉트으로 프롬프트의 내용을 입력해서 이미지를 생성해보았습니다. 텍스트기반의 이미지를 생성하는과정에서 1크리딧을 사용해서 4장의 이미지를 생성해줍니다.

시리얼에 우유를 붓고, 오른손에 스푼가득 우유가 섞인 시리얼을 먹을 준비를 하는 8세 정도의 한국인 어린아이를 사실적인 사진 이미지 생성

 

사진같은 이미지 생성. 오른손에 스푼 가득 우유가 섞인 시리얼을 먹을 준비를 하는 8세 정도의 한국인 어린아이와 뒤에서 흐뭇하게 웃고있는 엄마를 정면을 보고 있는 이미지

 

위의 마이크로소프트 디자이너와 아래는 제미나이의 인공지능 이미지 생성비교

텍스트기반의 이미지를 생성하는 마이크로소프트 디자이너 제미나이의 인공지능 이미지 생성을 비교해 볼께요. 2000x2000px 이미지를 생생해주는 구글 제미나이에 동일한 프롬프트로 1장의 이미지를 생성 해줍니다.

사진같은 이미지 생성. 오른손에 스푼 가득 우유가 섞인 시리얼을 먹을 준비를 하는 8세 정도의 한국인 어린아이와 뒤에서 흐뭇하게 웃고있는 엄마를 정면을 보고 있는 이미지

◆ 시리얼을 먹고 있는 어린이와 엄마는 4개정도 생성함
◆ 3D 형태의 시리얼 제품 이미지 생성. 배경은 주방으로 뿌엿게 가우시안 블러 처리하고 시리얼 제품박스과 우유가 부어진 그릇
캐릭터를 오론쪽에 배치하려고 위내용을 아래와 같이 수정하다!
◆ 3D 형태의 시리얼 제품 이미지 생성. 배경은 주방으로 뿌엿게 가우시안 블러 처리하고 시리얼 제품박스를 왼쪽에 배치
◆ 3D 형태의 캐릭터 생성. 배경은 흰색. 우유에 부어 먹는 옥수수 시리얼 광고에 어울리는 어린이들에게 친근한 캐릭터 생성

 

아래 iLoveIMG에서 흰색배경을 제거하세요

iLoveIMG | 쉽고 빠른 온라인 무료 이미지 편집 툴

 

 

 

영어로만 프롬프트 작성해서 구글번역과 클링Ai의 프롬프트에 사진이미지와 함께 비디오생성을 해봅니다.
포인트 혹은 크레딧은 다른 구글계정으로 생성해 이용가능하니 참고하세요.

 

처음 장면은 시리얼제품이 왼쪽에서 현재 위치로 미끄러 지듯이 나타난 후 360도 회전하고 멈춘다. 다음 장면에 캐릭터가 등장하고 춤을 추며 마친다.  The first scene shows a cereal product sliding from the left to the current position, then rotating 360 degrees and stopping. The next scene ends with a character appearing and dancing.

 

Kling 1.6 버전으로 이미지로 영상생성

Kling 1.6 버전으로 2장의 이미지를 업로드하고 시작~종료하는 내용의 위 영어 프롬프트를 입력하면 이미지를 기반으로 한 영상을 생성해줍니다. 최신버전인  Ver.2에서는 유료로 시작~종료 이미지로 서비스를 받지 못하고, 3시간~하루 정도의 소요하니 자세한 비디오 생성하는 인공지능 지원 리스트는 아래 더 자세한 내용을 참고하세요.

https://app.klingai.com/global/?gad_source=1&gad_campaignid=21901789338

 

The first scene shows the cereal product sliding from the left into its current position, then rotating 360 degrees and stopping. The next scene ends with the character appearing and dancing.

Kling 1.6 버전으로 2장의 이미지를 업로드하고 시작~종료하는 내용의 위 영어 프롬프트를 입력해 생성한 영상입니다.

https://tv.kakao.com/v/456386960

 

More...

제일 처음 나오는 시리얼 먹는 소년의 촬영분량이 없지만, 시리얼소년의 얼굴을 다시 한번 제미나이에게 아래와 같은 프롬프트로 생성한 아래 이미지 축구장의 소년과 포토샵의 합성으로 자연스러운 이미지생성을 시도하여 같은 얼굴의 소년이 축구하고 피곤한 몸으로 집에와 시리얼을 먹는 장면을 연출하고 싶었다.  이렇게 디테일한 처리는 스토리텔링을 완성도를 높이기 위해 더 세심한 컷 하나하나를 연결하는 부분에 필요할 수 있다.

사실같은 사진이미지 생성. 한국인 13세 어린이. 드리볼 동작. 주위에 아무도 없고 혼자있음. 12시경 밝은 조명. 상의는 오렌지색

 

 

비두를 이용한 비디오생성으로 영상의 품질도 확인하고 인공지능으로 영상생성하는 속도가 빠른점이 장점이라 활용해 보았다. 

이미지 배경 제거 기능

 

명령프롬프트로 이미지생성, 이미지 추출 및 포토샵 등 이미지 편집도구로 재구성한 커스터마이징 작업 이후에는 시작과 끝 2개의 이미지로 영상생성하고 이렇게 인공지능으로 생성한 몇개의 이미지와 영상을 최종 프리미어 프로와 같은 영상편집도구로 최종적인 오디오, 효과 등을 추가한 후 렌더링을 통해서 결과물을 산출했습니다.

 

 

 

---

Ai 이미지 생성

 

 

마이크로소프트 디자이너

AI 이미지 생성기는 텍스트 프롬프트를 통해 제대로된 문장과 핵심 키워드, 묘사방법을 얼마나 구체적으로 선택하느냐에 따라 다양한 예술적 스타일의 이미지를 빠르게 얻을 수 있다. 

 마디는 매번 로그인할때 로그인 절차가 복잡하다. 마디는 1달에 15포인트를 충전해주며, 한번에 1포인트로 4개를 생성해준다.  15포인트를 모두 사용했다면 유료결제 혹은 다음달까지 기다려야 한다.

Microsoft Designer - Stunning designs in a flash

 

마디 [이미지 생성]은 샘플이미지를 클릭해서 일부 내용을 수정하는 것으로 쉽게 프롬프트의 내용을 업데이트해서 이미지를 생성할 수 있는 특징이 있습니다. 크기지정도 가로 세로 정사각 비율을 선택하는 장점이다.  단점은 무료사용이 제한된 월15포인트라는 점이다.

 

 

 

---

크레딧, 포인트가 필요없는 구글의 인공지능  [제미나이]  텍스트, 이미지,  코딩까지

Gemini(Generalized Multimodal Intelligence Network)는 구글과 딥마인드가 개발한 생성형 인공지능 모델이다. 초기 모델인 바드(Bard)에서 이름을 바꾼 Gemini 제미나이는 라틴어로 별자리인 [쌍둥이 자리]를 뜻한다.

마이크로 소프트 디자이너가 포인트 혹은 크레딧이라는 유료결제를 유도하는 것이 있다면, 제미나이는  무료로 구글 로그인 한번으로 텍스트, 이미지,  코딩까지 해결할 수 있다.  영상제작을 못하는 점만 빼고는 추천하는 제미나이!

https://gemini.google.com/app

 

제미나이 '프롬프트'에서 생성하는 지식과 이미지 생성! 물어보세요! 

구글 제미나이에 '생성형 인공지능(AI)에게 원하는 내용을 프롬프트에 입력하면, 지식과 정보는 텍스트로 구글의 검색기능을 총동원해서 글은 텍스트로 보여집니다.  요즘은 HTML CSS JAVASCRIPT를 활용한 반응형홈페이지 소스를 만들어 달라면 만들어주는 막강 구글의 인공지능 제미나이의 활용은  PC와 모바일 환경에서도 많이들 사용하십니다. 하루의 이용횟수는 약간 제한이 있지만,  무료로 이미지도 생성해달라고 입력을하면 원하는 이미지를 사실적인 사진과 같이 생생해 원하는 결과물을 얻을 수 있습니다.

캐릭터의 배경을 흰색으로 요청한 것은 배경 제거를 쉽게 하기 위함이다. 아래 I love IMG에 접속해서 이미지를 업로드하면 무료로 배경제거한 PNG이미지를 다운로드할 수 있다. 다수의 이미지를 업로드해서 한번에 처리할 수 있다.

 

 

---

그래픽과 영상제작의 명가 Adobe의  [Firefly]  텍스트, 이미지

포토샵, 일러스트레이터, 프리이머프로, 애프터이펙트, 믹사모 등 컴퓨터그래픽과 영상제작 분야의 세계적인 기업인어도비의 파이어플라이도 무료로 이미지를 생성해줍니다.  이미지는 일정한 크레딧을 사용하기까지 상당히 많은 이미지 생성을 할 수 있으나, 비디오는 2번의 무료생성의 기회를 주고 유료사용을 권장하는 방식으로 비디오생성을 할 수 있게했습니다.   파이어플라이를 사용하기에 Adobe정품구독을 하는 것에 대한 우려도 있지만, 구독하는 프로그램과 별개의 크롬브라우저에서 Google로 로그인된 상태에서 바로 [로그인]을 한 후 이미지생성을 경험할 수 있습니다.

마이크로소프트라는 윈도우 운영체제를 만드는 회사에서도 하는 생성형AI를 그래픽의 명가인 어도비에서 당연히 하고 있는 것은 그 이전부터 하던 서비스로 퀄리티는 대부분 비슷한 엔진을 사용하는지 비슷합니다. 어도비 정품구독과 무관한 인공지능 기능을 많이 사용해보기 바랍니다.

 

 

---

흑백사진을 컬러로 변환 이것은 뷰티플러스 BeautyPlus

뷰티플러스 BeautyPlus는 오래된 흑백사진의 색상복원할 수 있는 앱으로 회원가입과 로그인 없이 무료로 이용할 수 있다. 전통적인 사진 복원 서비스는 예약이 필요하고 비용이 많이 드는 반면, BeautyPlus는 무료 온라인 사진 복원을 제공합니다. 이를 통해 비용 걱정 없이 누구나 기술의 편리함을 경험하며 오래된 사진을 복원할 수 있습니다.

https://www.beautyplus.com/ko/photo-restoration

AI 사진 복원 - 무료 온라인 오래된 사진 복원 - BeautyPlus

아래 도산 안창호 선생님의 사진을 첨부했으니 활용해보세요.  

 

 

 

---

누끼와 JPG변환은 아이 러브 이미지

이미지 배경 제거 기능

포토샵없이 배경제거, 많이 사용하는 일본말인 누끼작업을 해서 PNG로 내보내기와 이미지 변환, 크기조절, 자르기 등 GTQ시험이 아닌, 작업을 위해서는 아래 아이 러브 이미지 사이트를 이용하는 것을 권합니다.

 

---

 

 

 

---

Ai 비디오 생성

 

 

 

1. 클링 Ai (KLING AI)

https://klingai.com/

KLING AI

 

클링 Kling AI은 1개이상의 구글계정으로 이미지 기반의 여러개의 Ai 동영상을 생성할 수 있어 추천합니다. Video Generation 창에서 우측 버전을 KLING 1.6으로 변경 후 사용할 수 있습니다.

KLING 1.6 텍스트를 이미지로 생성해주고,  관련 시작과 끝의 2장의 이미지를 통해 비디오 파일로 생성해주며 버그를 최소화한 형상의 동영상파일로 구현이 가능하며 크래딧이 첫 로그인시 360정도로 높다. 참고로 클링은 중국의 인공지능 서비스로 개인정보에 대한 우려도 있어서 기피하는 분들도 있습니다.

 

클링 Kling AI는 프롬프트를 영어로 입력해야 하니 구글번역을 이용하고,  프롬프트 입력전에 미리 2장의 이미지로 Start~End를 이미지생성을 우선 준비하고 프롬프트를 입력을 하고 생성버튼인 [Generate]를 눌르고 기다리면 됩니다.

 

---

 

2. 비두 Vidu 한국어 UI 매일 20 크레딧 증정

https://www.vidu.com

AI 비디오 생성기 - 상상하는 것이 바로 Vidu입니다

 

인스턴트 비디오작품 / 단 10초 만에 비디오를 만드세요. 빠르고 손쉽고 효율적입니다.
수페리어 애니메이션생성 / 캐릭터가 자연스럽게 움직이는 고품질 애니메이션 비디오를 만드세요.
무제한 무료생성 / 비피크 모드에서 무제한 무료 비디오 생성을 즐기세요. 크레딧이 필요하지 않습니다.

 

프롬프트에 텍스트 입력만으로도 아래와 같은 사실적인 영상을 제작하는 Vidu 한글로 프롬프트 입력을 아래와 같이 하면...
눈빛을 반짝이며 볼을 연분홍빛으로 물들인 주근깨 소녀가 카메라를 똑바로 응시합니다. 소녀는 천천히, 따뜻하고 진심 어린 미소를 지어 보입니다. 카메라는 소녀의 얼굴을 극단적으로 클로즈업하며 시작합니다. 그 후 천천히 멀어지며 소녀가 두 손으로 작은 흰색 데이지를 다정하게 렌즈 쪽으로 내미는 모습을 나타냅니다. 감동한 소녀는 손가락을 미세하게 떨고 있으며 양 갈래로 묶은 머리카락이 부드럽게 흔들립니다. 바람이 소녀의 셔츠 끄트머리를 스치고 소녀는 장난스럽게 머리를 기울입니다. 배경은 몽환적인 빛으로 부드러워지며 소녀의 눈동자에 빛이 반사됩니다. 슬로우 모션, 시네마틱 렌즈 블러, 선명하게 확장되는 얕은 심도, 애니메이션과 리얼리즘이 융합된 스타일, 감정적인 고양, 4K 울트라 디테일.   

▼

Vidu는 매일 로그인을 하면 20크레딧을 주며, 안정적이고 빠른속도로 참고자료/사진/텍스트 3개로 영상을 생성할 수 있는 장점이 있습니다. 무엇보다 포인트 혹은 크레딧이라는 것을 1일 증정하는 점에서 추천합니다.

 

Image to Video 사진으로 영상생성 

아래는 사진으로 영상생성 바로가기 페이지입니다. 사용방법을 유사하며 한국어로 프롬프트를 입력해도 되며, 이미지라면 업로드후 생성하기를 눌러도 결과물을 얻을 수 있습니다.

https://www.vidu.com/ko/create/img2video

사진으로 영상 생성 | Vidu AI

비두에서 사진이미지만 업로드하고 프롬프트 없이 생성한 동영상

 

시리얼박스속 세상에 없는 브렌드를 추출해 시작-종료 이미지 2장을 업로드 후 프롬프트에 입력한 결과 장면전환을 표현했다. 일러스트 그림이지만, 어린이 캐릭터들도 동작을 한다.

시리얼 그릇과 함께 있는 어린이 캐릭터들이 웃으며 작은 동작을 하고, 그외의  Cereal 로고가 아래에서 위로 올라오며 현재 위치에 등장한다.  위에 떨어지는 시리얼의 색상은 그릇의 색상을 반영해서 표현.

 

 

3. 레오나르도 AI 유사한 인공지능 이미지, 이미지로 영상생성 시작 단, 유료

AI 이미지 생성기로 프로젝트를 혁신. 탁월한 속도와 스타일로 고품질 AI 생성 이미지를 생성하여 창의력을 한층 높일 수 있다고 소개하며 이미지 기반의 영상생성은 초기 단계이다.  미드저니의 이미지 기반 서비스가 모두 유료이고, 보통은 인공지능 관련 서비스를 시작하는 싯점에는 무료, 널리 이용자가 늘어난 싯점에는 업그레이드 유료서비스를 통해 트래픽문제 없이 바로 사용하라는 점에서 인공지능서비스들의 상술을 볼 수 있다. 

한국어 지원은 없고 우클릭 한국어 번역도 지원하지 않아서 불편, 초기 인공지능 이미지 생성으로 국내 유저들이 조금있다. 지금은 이미지 생성은 뛰어난 기능도 아니다.

https://leonardo.ai/

 

 

---

이미지로 3D 모델생성

 

 

이미지로 3D 모델링을 TRELLIS

TRELLIS는 중국의 대학과 연구기관에서 개발한 2D이미지를 3D로 변환시켜 GLB라는 3D포맷의 파일을 다운로드해서 블렌더 등 3D 그래픽작업에 사용할 수 있는 기능을 지원한다.  인공지능 서비스를 하는 업체들의 특성상 소개하는 시점에는 무료나 크레딧을 주다고 순간 일부의 무료서비스 다수의 유료서비스로 바뀌는 점은 고려를 해야 한다.

https://huggingface.co/spaces/trellis-community/TRELLIS

TRELLIS - a Hugging Face Space by trellis-community

 

 

 2D이미지를 3D로 변환속도가 빠르며 Download GLB로 3D포맷의 파일을 다운로드해서 블렌더에서는 Import - GLB확장자를 찾아 다운받은 GLB파일을 열어본 결과로 깔끔한 소스를 볼 수 있습니다.  Face가 사각이 아닌 삼각이라는 점은 공통된 점입니다.

sample.glb

1.42MB

 

 

이미지로 3D 모델링을 Meshy

Meshy는 게임 개발 분야 및 그 외의 분야에서 창작자들을 위한 무료, 고품질 3D 모델과 최첨단 AI 도구를 제공하는 혁신적인 플랫폼입니다. 이 플랫폼의 뛰어난 기능에는 텍스트에서 3D로, 이미지에서 3D로의 변환이 포함되어 있어, 상상 속의 3D 게임 모델을 만들고자 하는 사람들에게 훌륭한 자원이 됩니다.

https://www.meshy.ai/discover

AI를 사용하여 2D 이미지를 3D 모델로 변환하는 방법 - 블로그 - Meshy

 

제미나이로 생성한 이미지를 몇단계 다른 인공지능 서비스를 이용해서 3D작업에도 활용할 수 있습니다.  Face의 수가 많고 변환속도가 느린 점은 중국모델툴이 추천할 만하다. 2D이미지를 3D로 변환시켜 FBX라는 3D포맷의 파일을 다운로드해서 블렌더에서 가져올 수 있고, 믹사모에 바로 업로드해서 자동리깅 구현할 수있습니다.  

 

 

 

자세한 내용은 아래 유튜브강좌를 우선 참고하세요.

 

https://oztv.tistory.com/488

블렌더, 캐릭터 리깅, FBX, 믹사모 리깅(Rigging)

 

 

---

배경음악 생성

 

---

CHROME MUSIC LAB

 

CHROME MUSIC LABD은 화면에 보이는 건반 등의 물리적인 키보드의 터치 등으로 인공지능은 여러분이 필요로하는 단순하고 심플한 음악부터,  K-Pop같은 가사가포함된 멋진 실용음악을 작곡하여 자막있는 영상으로 제공을 하고 있습니다.

https://musiclab.chromeexperiments.com/Experiments

Chrome Music Lab

 

 

건반, 드럼비트 등 음악을 쉽게만들고 바로 음원으로 다운로드 할  수 있습니다.