원문 링크 - Genie 2: A large-scale foundation world model - Google DeepMind
- 한장의 이미지 생성 프롬프트를 바탕으로 이동/탐사가 가능한 3D 가상월드를 생성
- Generate ‘a playable world'
- WASD를 이용해서 이동
- 이미지 생성모델에서 월드 생성 모델로 발전했으며, 등장 캐릭터, 애니메이션, 물리현상 등등이 구현되게 됨
- 사용자가 키보드나 마우스를 이용해서 액션을 수행하면, Genie 2가 다음 상황을 시뮬레이션 해 주는 방식
- 현재는 최대 1분 정도이며, 위 동영상 예제의 경우 각각 10~20초 분량임.
액션 컨트롤
- 이동하는 캐릭터를 구분하여, 배경과 독립적으로 움직이도록 구현
가상 현실의 실시간 구현
- 동일한 프레임에서 시작하더라도 사용자의 움직임에 따라 다른 환경이 구현될 수 있음.
시야 밖으로 나간 배경의 기억
- 배경의 일관성을 유지하기 위해, 보이지 않게 된 배경 환경도 다시 생성될 때 기억하여 정확하게 다시 구현
생성되는 컨텐츠를 이용한 긴 비디오 생성
- 실시간 생성되는 비디오는 1분까지 가능
다양한 시점 제공
- 1인칭, 쿼터뷰, 3자 뷰 등의 다양한 시점을 제공
복잡한 Mecha 등의 3D 구조물을 생성할 수 있음
오브젝트 인터랙션이 가능
- 풍선 터트리기, 문 열기, 폭발물 터트리기 등의 대물 액션을 제공
다양한 캐릭터 액션을 제공
- 점프, 걷기, 사다리타고 오르기 등등 상황에 맞는 캐릭터 애니메이션 제공
NPC 의 제공
- NPC가 등장할 수 있으며, 그 NPC와 여러 인터렉션을 할 수 있음
물리효과
- 수면 효과를 제공 (바람은?)
- 연기의 구현
- 굴뚝, 화산 등
- 중력 모델
- 관성, 추락 등의 구현
- 빛 효과
- 포인트, 방향성 라이팅을 제공
- 반사광 구현
실제 사진을 사용한 월드 구현도 가능
- 풍경 사진을 통해 그 지역의 탐사등이 가능
기타 중요한 내용
오픈월드 3D 게임의 빠른 프로토타이핑에 사용할 수 있음
SIMA라는 agent를 사용하여 복잡한 인터랙션을 수행할 수 있음
… 상세한 내용은 본 링크 참조.
tags: #AI #3D월드생성모델 #Genie2 #google