AI 영상에서 같은 캐릭터의 얼굴이 장면마다 달라지면 어떻게 해야 하나요?
AI 영상 속 인물이 컷마다 달라지면 네 가지를 차례로 해 보세요. 설정을 글로 고정하고, 캐릭터 시트를 만들고, 영상 툴의 레퍼런스·시작 프레임 기능에 넣습니다.
상담 신청 → 담당자가 전화로 과정·조건 안내 → 맞으면 지원서와 화상 인터뷰. 상담 신청만으로 수강이 확정되지는 않아요.
- 개강일
- 1과정 시네마틱 12.10(목) 2과정 3D 콘텐츠 12.30(수)
- 본인 부담
- 0원~최대 60만원 (지원 유형별)
- 수업
- 평일 ZOOM 실시간 약 6개월, 노트북 대여
그래도 흔들리면 블렌더·언리얼 같은 3D로 기준 모델을 만들어 둡니다.
기준일 2026.11.19 · 출처: 과정 운영 기관의 공식 과정 안내(2과정 상세), Kling AI 공식 사용 안내(엘리먼트, 엘리먼트 라이브러리), Runway Gen-4 공식 소개, Google DeepMind Veo 공식 안내(툴 기능은 2026년 10월 기준) · 이 사이트는 과정 운영 기관의 교육상담 담당이 운영합니다.
왜 AI 영상에서는 같은 인물이 컷마다 다르게 나오나요?
생성형 AI가 앞 컷을 기억하지 않고, 문장에 없는 부분을 컷마다 새로 채우기 때문입니다. 한 컷만 볼 때는 몰랐던 차이가 컷을 이어 붙이면 드러납니다.
단발이던 머리가 다음 컷에서 어깨까지 내려오기도 하고, 앞치마 색이 한 톤 밝아지기도 합니다. 가게 문이 왼쪽에서 오른쪽으로 옮겨 가는 일도 있습니다.
보는 사람은 이를 다른 사람, 다른 장소로 받아들이기 쉽습니다. 그러면 장면 하나가 좋아도 영상 전체가 어색해집니다.
AI는 앞 컷을 기억하지 않습니다
이미지·영상 생성 AI는 요청마다 결과를 새로 계산합니다. 같은 문장을 넣어도 매번 조금씩 다르게 나옵니다. 문장에 없는 귀걸이, 신발, 창문 모양은 AI가 그때그때 채웁니다.
영상 툴은 대개 짧은 클립 단위로 만듭니다. 그래서 컷이 늘수록 차이가 쌓입니다.
해결 방향은 두 가지입니다. AI가 채울 빈칸을 줄이고, 매 컷에 같은 기준을 다시 보여 주는 것입니다. 아래 네 단계가 그 방법입니다.

프롬프트에는 무엇을 고정해서 적어야 하나요?
인물과 공간을 설명하는 문장을 한 덩어리로 정해 두세요. 이 덩어리를 모든 컷에 그대로 붙이고, 컷마다 바뀌는 행동과 카메라만 뒤에 더합니다.
고정 덩어리에 넣을 것
- 외형: 나이대, 얼굴형, 머리 길이·색·모양, 점이나 흉터
- 의상: 옷 종류와 색, 소재, 무늬, 단추·지퍼
- 소품: 늘 드는 물건과 색, 몸의 어느 쪽에 두는지
- 공간: 장소, 벽·바닥 재질, 문·창문·가구 위치
- 조명: 시간대, 빛이 드는 방향, 따뜻한 빛인지 차가운 빛인지
- 카메라: 샷 크기(전신·상반신·얼굴), 카메라 높이, 렌즈 느낌
- 화풍: 실사, 3D 애니메이션풍, 일러스트풍
꽃집 배달원 세 컷이라면
세 컷짜리 영상으로 보면 아래 그림과 같습니다. 그림 위쪽 상자는 모든 컷에 그대로 두고, 아래 세 칸만 컷마다 바꿉니다.

같은 대상은 늘 같은 말로 적습니다. 1번 컷의 '올리브색'을 2번 컷에서 '카키색'으로 쓰면 AI에게는 다른 옷입니다.
다만 문장은 어떤 사람인지 설명할 뿐, 바로 그 사람을 가리키지는 못합니다. 얼굴까지 맞추려면 이미지 기준이 필요합니다.
레퍼런스 이미지와 캐릭터 시트는 어떻게 쓰나요?
기준 얼굴과 정면·옆면·뒷면을 모은 캐릭터 시트를 만들고, 영상 툴의 레퍼런스 기능에 넣습니다. 컷마다 첫 장면을 시트에 맞춰 시작 프레임으로 넣으면 더 단단히 묶입니다.
캐릭터 시트부터 만듭니다
고정 문장으로 인물 이미지를 여러 장 뽑고, 그중 한 장을 기준 얼굴로 정합니다. 그 인물의 정면·옆면·뒷면, 전신, 표정 몇 가지를 모읍니다. 이것이 캐릭터 시트입니다.

공간도 기준 이미지를 정해 두면 배경이 덜 흔들립니다. 옆모습이나 뒷모습이 나올 영상이라면 그 각도도 미리 만들어 두세요.
영상 툴의 레퍼런스 기능에 넣습니다
여러 영상 생성 툴이 기준 이미지로 같은 인물을 유지하는 기능을 둡니다. 아래는 각 툴의 공식 안내에서 확인한 내용이고, 2026년 하반기 기준입니다.
- Kling AI: 인물·사물·의상·장면 이미지를 '엘리먼트(Elements)'로 올려 여러 샷에서 같은 모습을 유지할 수 있습니다.
- Kling AI 엘리먼트 라이브러리: 주 이미지에 다른 각도나 세부를 보여 주는 보조 이미지를 더해, 한 엘리먼트에 최대 4장까지 넣습니다. 주 이미지로는 정면 이미지를 권합니다.
- Runway: Gen-4 공식 소개는 레퍼런스 이미지 한 장으로, 조명이나 장소가 바뀌어도 같은 캐릭터를 이어 만들 수 있다고 설명합니다.
- Google Veo: 장면·캐릭터·사물 레퍼런스 이미지로 생성을 이끄는 기능(Ingredients to video)을 소개합니다. 첫 프레임과 끝 프레임 이미지를 주면 그 사이를 이어 주는 기능도 안내합니다.
키프레임으로 한 번 더 묶습니다
레퍼런스 기능과 함께 쓰기 좋은 방법이 키프레임입니다. 컷마다 첫 장면을 캐릭터 시트에 맞춰 이미지 AI로 먼저 만들고, 영상 툴의 시작 프레임으로 넣습니다.
움직임이 끝나는 장면까지 이미지로 정해 두세요. 컷 중간에 인물이 다른 얼굴로 흘러가는 일이 줄어듭니다.
기능 이름과 올릴 수 있는 이미지 수는 모델 버전에 따라 자주 바뀝니다. 쓰기 전에 툴의 최신 안내를 확인하세요. 툴을 바꿀 때 비교할 점은 AI 영상 툴 고르는 법에 있습니다.
언제 3D로 캐릭터와 공간을 미리 만들어 두는 편이 나은가요?
같은 인물이 나오는 컷이 수십 개이거나 각도를 크게 바꿔야 할 때입니다. 레퍼런스를 써도 생성형 AI는 결국 비슷하게 다시 그리는 방식이라 한계가 옵니다.
이때 쓰는 것이 3D 기준 모델입니다. 블렌더로 인물과 공간을 한 번 만들어 두면, 카메라를 어디에 두든 같은 얼굴과 같은 방이 나옵니다.
렌더링한 장면을 그대로 쓰기도 합니다. 렌더링 이미지를 AI의 시작 프레임이나 레퍼런스로 넣어 질감과 분위기만 입히기도 합니다. 대신 모델을 만드는 시간이 먼저 듭니다.
같은 인물이 나오는 컷이 많고 각도를 자주 바꾸는 영상일수록, 3D를 함께 쓰면 다시 뽑는 횟수가 줄어듭니다.
| 상황 | 생성형 AI만 쓸 때 | 3D를 함께 쓸 때 |
|---|---|---|
| 같은 인물이 나오는 컷이 많을 때 | 컷마다 여러 번 뽑아 고르는 시간이 늘어남 | 같은 모델을 장면마다 다시 렌더링 |
| 같은 공간을 여러 각도로 보여 줄 때 | 문·창문·가구 위치가 어긋나기 쉬움 | 공간은 한 번 만들고 카메라만 옮김 |
| 옆모습·뒷모습, 전신 동작이 나올 때 | 기준 이미지에 없는 각도는 AI가 추측 | 어느 각도든 같은 형태 |
| 옷 무늬와 주름이 움직임을 따라갈 때 | 무늬가 바뀌거나 뭉개지기 쉬움 | 의상 툴로 만든 옷을 시뮬레이션 |
| 조명이나 카메라만 바꾸는 수정 | 다시 뽑으면 인물까지 바뀔 수 있음 | 바꿀 것만 고치고 나머지는 그대로 |
인물이 자꾸 달라져 막힌 장면이 있다면, 쓰고 있는 AI 툴과 함께 상담에서 말해 주세요. 3D를 다뤄 본 적이 없어도, 국민내일배움카드가 아직 없어도 상담 신청은 할 수 있습니다.
레퍼런스 이미지에서 3D 기준 모델까지, 2과정에서는 언제 배우나요?
2과정은 1~2개월 차에 생성형 AI로 이미지·영상·캐릭터를 만들고, 4~5개월 차에 메타휴먼·시퀀서를 익힙니다. 생성형 AI로 시작해 3D로 넘어가는 순서입니다.

- 1~2개월: 미드저니, 스테이블 디퓨전(ComfyUI), 클링 AI로 AI 이미지·영상·캐릭터 만들기. 프리미어 프로·애프터이펙트로 편집·자막·타이틀, FOOH 같은 AI 광고 영상, 언리얼 기초
- 3개월: 첫 프로젝트. 주제는 AI 영화·드라마 타이틀 시퀀스와 아이돌 뮤직비디오
- 4~5개월: 언리얼 엔진 5로 VR 몰입형 콘텐츠 완성. 이때 메타휴먼과 시퀀서, 지형·머티리얼, 옷감 시뮬레이션을 익힘
- 6개월: 두 번째 프로젝트. 주제는 제품·애니메이션·3D 캐릭터 광고
3개월 차 프로젝트의 두 주제는 모두 여러 컷이 하나로 이어져야 하는 결과물입니다.
메타휴먼은 실제 사람에 가까운 디지털 인물을 만드는 기능입니다. 시퀀서는 인물과 카메라를 컷 단위로 배치해 연출하는 기능입니다. 둘 다 앞에서 말한 3D 기준 모델과 같은 쪽의 기술입니다.
과정 전체의 중심 툴은 생성형 AI 툴, 언리얼 엔진 5, 블렌더입니다. 마블러스 디자이너(의상)와 서브스턴스(재질)도 씁니다.
수업 방식과 비용
3D와 언리얼까지 이어지는 구성입니다. 생성형 AI 툴만 짧게 익혀 숏폼을 바로 만들려는 분에게는 맞지 않습니다.
| 항목 | 내용 |
|---|---|
| 시간 | 월요일부터 금요일, 09:30~18:20 |
| 방식 | 화상 회의(ZOOM)로 듣는 실시간 수업, 전국 어디서나 참여 |
| 기간 | 약 6개월, 전일제 |
| 필요한 것 | 국민내일배움카드 |
| 본인 부담 | 0원부터 최대 60만원(지원 유형별) |
개인별 본인 부담 금액은 고용24에서 정해집니다.
평일 전일제 수업이 가능한지, 어느 개강반이 맞는지 상담에서 함께 확인해 보세요.
내일배움카드가 없어도 상담은 먼저 신청할 수 있어요.
3D 없이 생성형 AI만으로 충분한 경우는 언제인가요?
인물이 한두 컷에만 나오거나 얼굴이 크게 보이지 않는 짧은 영상이면 충분합니다. 아래 같은 영상은 고정 문장, 캐릭터 시트, 툴의 레퍼런스 기능만으로 맞출 수 있습니다.
- 인물이 한두 컷에만 나오는 짧은 영상
- 분위기를 보여 주는 콘셉트 이미지나 무드보드
- 새 툴을 시험해 보는 짧은 실험
- 얼굴이 크게 보이지 않는 실루엣·뒷모습 위주의 장면
- 컷마다 다른 인물이 나와도 괜찮은 몽타주형 영상
처음에는 생성형 AI만으로 만들어 보세요. 같은 인물을 여러 각도에서 계속 보여 줘야 할 때 3D를 더하면 부담이 적습니다.
- 생성형 AI 툴을 과정에서 배우는 방식: 미드저니·클링 AI 국비 과정 글
- 생성형 AI만 배울 때와 3D까지 배울 때: 생성형 AI와 3D 차이
- 과정이 언제 시작하는지: 개강 일정 안내