728x90
안녕하세요. 인텔리원스튜디오(IntelliOneStudio)입니다.
오늘은 GDC 2024 에 소개된 "AI로 게임플레이 경험 혁신: 센투스 신경 엔진 소개" 내용을 정리해볼께요.
[오늘의 목표] AI로 게임플레이 경험 혁신: 센투스 신경 엔진 소개
*관련 링크 : https://www.youtube.com/watch?v=7uU_TxSyINI
센투스 신경 엔진의 개념과 활용 방법을 쉽게 이해하기
소개 내용의 결론은 다음과 같아요.
센투스 신경 엔진은 Unity 엔진을 사용하는 게임 개발자들에게 강력한 도구로, AI 기술을 통해 게임플레이를 혁신할 수 있는 다양한 가능성을 제공해요. 다양한 사용 사례와 최적화 기술을 통해 개발자들이 AI를 게임에 쉽게 통합할 수 있도록 돕고, 로컬 디바이스에서 높은 성능을 제공하여 더욱 몰입감 있는 게임 경험을 제공해요. 앞으로의 발전과 적용 사례가 기대돼요.
결론 내용을 참고하고 아래 내용들을 천천히 읽어보시는 게 도움이 될 것 같아요.
1. 센투스 신경 엔진 소개
데모 개요:
- 센투스(Centus)는 Unity 엔진 내에서 AI 모델을 실시간으로 실행할 수 있게 해주는 신경 엔진이에요.
- 목표는 게임플레이 경험을 향상시키고, 다양한 AI 기능을 게임에 통합하는 것이에요.
- 2024년 GDC에서 빌 컬린(Bill Cullin)과 알렉스가 처음 소개했어요.
핵심 질문:
- 왜 AI 모델을 게임에 도입하려 하는가요?
- 게임 내에서 실시간으로 AI 모델을 사용하는 이유는 음성 인식, 비정형 NPC 생성, 텍스트 변환, 깊이 추정 등의 기능을 구현하기 위함이에요.
2. 센투스의 주요 기능
주요 기능 개요:
- AI 모델 지원: 음성 인식, 텍스트 변환, 비정형 NPC 생성, 깊이 추정 등 다양한 AI 모델을 지원해요.
- 로컬 실행: 로컬 디바이스에서 AI 모델을 실행하여 인터넷 연결 없이도 높은 성능을 제공해요.
실시간 통합:
- 유니티 에디터가 아닌, 게임 실행 중에 AI 모델을 적용하여 플레이어와의 상호작용을 더욱 동적이고 자연스럽게 만들어요.
- AI 모델의 통합으로 새로운 게임플레이 기능을 구현할 수 있어요.
모델 최적화:
- 양자화(quantization) 기술을 사용하여 모델의 크기를 줄이고 성능을 향상시켜요.
- 최적화를 통해 빠른 프레임 속도를 유지하고, 게임 성능을 극대화해요.
3. 데모 및 사용 사례
손 동작 인식 데모 개요:
- Google MediaPipe의 Blaze Palm 및 Blaze Hand 모델을 사용하여 손과 손가락 관절을 인식해요.
- 손 동작을 감지하여 컨트롤러 없이도 게임을 플레이할 수 있어요.
스토리 생성 프로세스:
- 손 동작을 통해 슬라임 캐릭터를 이동시키고, 장애물을 제거하는 게임플레이를 구현해요.
- 예를 들어, 플레이어가 손으로 특정 제스처를 하면 게임 내에서 해당 제스처에 맞는 상호작용이 발생해요.
텍스트 생성 및 음성 변환:
- 손의 위치와 동작을 인식하여 게임 내 캐릭터의 움직임을 제어해요.
- 센투스로 전환한 후 성능이 5배 향상되고, 데스크탑 외에도 모바일 등 다양한 플랫폼에서 실행할 수 있어요.
최적화 작업:
- Google MediaPipe의 모델을 사용하여 손과 손가락 관절을 인식하는 데 필요한 계산을 최적화했어요.
- 비최대 억제 계산(non-max suppression)을 최적화하여 성능을 향상시켰어요.
시간 분할 기술(Time Slicing):
- 모델 추론을 여러 프레임에 걸쳐 분할하여 실행함으로써 실시간 프레임 속도를 유지해요.
- 손 동작 인식 모델의 경우, 여러 프레임에 걸쳐 계산을 분할하여 실시간 성능을 유지해요.
실시간 성능 유지:
- 손 동작 인식을 실시간으로 수행하면서도 게임의 프레임 속도를 유지해요.
- 플레이어가 게임을 플레이할 때 프레임 속도가 떨어지지 않도록 보장해요.
모바일 지원 가능성:
- 현재는 고성능 데스크탑 환경에서 원활히 실행되지만, 향후 더 최적화된 모델이 출시되면 고사양 모바일 디바이스에서도 실행할 수 있을 것으로 기대돼요.
보드 게임 상대 AI 데모 개요:
- AI 모델을 사용하여 보드 게임에서 상대방의 움직임을 예측해요.
- 모델은 게임 상태를 이해하고 각 움직임의 승리 확률을 계산해요.
스토리 생성 프로세스:
- 플레이어와 AI가 교대로 움직이며 보드 게임을 진행해요.
- 예를 들어, 플레이어가 특정 위치에 말을 놓으면 AI는 해당 움직임을 바탕으로 다음 움직임을 계산해요.
텍스트 생성 및 음성 변환:
- AI 모델은 게임 상태를 분석하고 최적의 움직임을 선택해요.
- 게임 진행 상황에 따라 AI의 난이도를 조절할 수 있어요.
최적화 작업:
- AI 모델의 추론 과정을 최적화하여 실시간 성능을 향상시켰어요.
- 메모리 할당 최적화를 통해 게임 성능을 극대화했어요.
시간 분할 기술(Time Slicing):
- AI 모델의 추론을 여러 프레임에 걸쳐 분할하여 실행함으로써 실시간 성능을 유지해요.
- 보드 게임 AI 모델의 경우, 여러 프레임에 걸쳐 계산을 분할하여 실시간 성능을 유지해요.
실시간 성능 유지:
- AI 모델의 추론을 실시간으로 수행하면서도 게임의 프레임 속도를 유지해요.
- 플레이어가 게임을 플레이할 때 프레임 속도가 떨어지지 않도록 보장해요.
모바일 지원 가능성:
- 현재는 고성능 데스크탑 환경에서 원활히 실행되지만, 향후 더 최적화된 모델이 출시되면 고사양 모바일 디바이스에서도 실행할 수 있을 것으로 기대돼요.
스토리 생성 데모 개요:
- 플레이어가 게임 내에서 여러 오브젝트와 상호작용하여 스토리를 생성하는 데 사용돼요.
- 예를 들어, 플레이어는 게임 내에서 특정 아이템을 선택하고, 그 아이템과 상호작용함으로써 스토리의 일부를 생성할 수 있어요.
스토리 생성 프로세스:
- 플레이어가 게임 내에서 오브젝트와 상호작용할 때, LLM은 해당 상호작용을 바탕으로 스토리의 다음 부분을 생성해요.
- 예를 들어, 플레이어가 우유를 주는 소와 상호작용하면, 그 상호작용을 바탕으로 스토리가 생성돼요.
텍스트 생성 및 음성 변환:
- 생성된 스토리는 텍스트 형태로 제공되며, 이 텍스트를 음성으로 변환하여 플레이어에게 전달해요.
- 텍스트 생성에는 'Tiny Stories' 모델이 사용됐고, 음성 변환에는 'Monotonic Jet' 모델이 사용됐어요.
최적화 작업:
- 언어 모델과 음성 변환 모델을 최적화하여 성능을 향상시켰어요.
- 예를 들어, 모델의 마지막 레이어에서 전체 입력에 대한 확률 맵을 계산하는 대신, 필요한 부분만 계산하여 효율성을 높였어요.
시간 분할 기술(Time Slicing):
- 모델 추론을 여러 프레임에 걸쳐 분할하여 실행함으로써 실시간 프레임 속도를 유지하면서도 높은 성능을 제공해요.
- 텍스트 생성 모델의 경우, 2초 동안 추론을 분할하여 프레임 속도를 30FPS로 유지해요.
- 음성 변환 모델도 비슷하게 시간 분할 기술을 사용하여 효율적으로 실행돼요.
실시간 성능 유지:
- 텍스트 생성과 음성 변환을 실시간으로 수행하면서도 게임의 프레임 속도를 유지해요.
- 이는 플레이어가 스토리를 들을 때 프레임 속도가 떨어지지 않도록 보장해요.
모바일 지원 가능성:
- 현재는 고성능 데스크탑 환경에서 원활히 실행되지만, 향후 더 최적화된 모델이 출시되면 고사양 모바일 디바이스에서도 실행할 수 있을 것으로 기대돼요.
4. 모델 최적화 및 성능 향상
모델 최적화 작업:
- 양자화(quantization) 기술을 사용하여 모델의 크기를 줄이고 성능을 향상시켜요.
- 모델의 메모리 할당을 최적화하여 높은 프레임 속도를 유지해요.
- 비최대 억제 계산(non-max suppression)을 최적화하여 이미지 탐지 모델의 성능을 향상시켰어요.
실시간 성능 유지:
- 모델 추론을 실시간으로 수행하면서도 게임의 프레임 속도를 유지해요.
- 이는 플레이어가 게임을 플레이할 때 프레임 속도가 떨어지지 않도록 보장해요.
시간 분할 기술(Time Slicing):
- 모델 추론을 여러 프레임에 걸쳐 분할하여 실행함으로써 실시간 프레임 속도를 유지해요.
- 이를 통해 게임 내에서 높은 성능을 유지하면서도 실시간으로 AI 기능을 활용할 수 있어요.
모바일 지원 가능성:
- 현재는 고성능 데스크탑 환경에서 주로 실행되지만, 향후 더 최적화된 모델이 출시되면 고사양 모바일 디바이스에서도 실행할 수 있을 것으로 기대돼요.
5. 배포 및 사용 편의성
쉬운 통합과 배포:
- 센투스는 유니티 에디터와 쉽게 통합할 수 있어요.
- 단일 API로 모든 유니티 런타임 플랫폼과 통합되어 한 번의 통합으로 다양한 플랫폼에 쉽게 배포할 수 있어요.
사용자 교육 및 지원:
- Hugging Face와 협력하여 모델을 쉽게 찾고 유니티에 통합할 수 있도록 태그를 추가했어요.
- Hugging Face 교육 코스를 통해 AI 모델 사용법을 학습할 수 있어요.
- Hugging Face에서 유니티와 호환되는 모델을 제공하여 쉽게 다운로드하고 사용할 수 있어요.
오늘은 GDC 2024 에 소개된 "AI로 게임플레이 경험 혁신: 센투스 신경 엔진 소개" 내용을 정리해봤어요.
지금까지,
언제나 성장하는 인텔리원스튜디오(IntelliOneStudio)입니다.
감사합니다.
728x90
