전시 공간에서 대중들이 다양한 전시 체험이 가능하도록 AI 기반 양방향 인터랙션 실감형 스마트 미디어월 플랫폼 시스템 개발을 하며, 인텔리전트 에이전트 기반을 지원하기 위해 새로운 AI ART 모듈 개발 및 다중 제스처와 비대면 XR 메타버스를 지원하는 소프트웨어 모듈 개발하여 새로운 전시 공연 문화체험에 새로운 패러다임을 제시하는 것을 목표로 함.
○ AI 기반 데이터 증강 및 시각화 기술 개발
○ 딥 러닝 기반 사용자 제스처 및 행위 인식 기반 기술 개발
○ 참여자의 제스처와 행위인식기반 스마트 미디어월 운용 모델 개발
○ 실감형 스마트 미디어월 플랫폼 모듈 및 저작도구 개발
○ 비대면 메타버스 XR 홀로그램 모듈 개발
○ 지능형 콘텐츠 추천 시스템 개발
○ 광주문화재단 아트스페이스센터 미디어338 전시공간 플랫폼 실증
○ 딥 러닝 기반 사용자 제스처 및 행위 인식 기반 기술 개발
- 다수의 Azure Kinect를 동기화하는 기술을 통한 신체 추적 기술 고도화
- TCP 기반의 실시간 신체 추적 및 제스처 인식 클라이언트-서버 시스템 개발
- 다중 사용자의 반응에 따른 인터랙션을 위한 핸드 제스처 인식 기술 개발
○ 딥러닝 기반 데이터 증강 및 시각화 기술 개발
- AI 기반 데이터 증강 및 시각화 기술 및 전시 콘텐츠 개발
○ 인터랙티브 프로젝션 맵핑 기술 개발
- 다수 프로젝터에 대한 법선 벡터 정보를 고려한 영상 보정 알고리즘 개발
○ 스마트 미디어월 플랫폼 모듈 및 저작도구 개발
- 전체적인 시스템의 데이터 관리를 위한 제어 서버 개발
- 전시 콘텐츠의 미디어월 표출 시스템 설계 및 개발
○ 비대면 메타버스 XR 홀로그램 모듈 개발
- 홀로그램 가상 햅틱 UI/UX 조작을 위한 확장 컴포넌트 모듈 개발
- 비대면 전시/공연용 메타버스 XR 홀로그램 콘텐츠 프로그램 개발
○ 참여자의 제스처 및 행위 인식 기반 스마트 미디어월 운용 모델 개발
- 미디어월과 AR환경에서의 콘텐츠 연계를 위한 제스처 인터랙션 설계
- 제스처 인터랙션의 시각적 피드백 및 활용 시나리오 프로토타입 제작
- 제스처 인터랙션 적용 콘텐츠 및 미디어 퍼포먼스 콘텐츠 제작
○ 지능형 콘텐츠 추천 시스템 개발
- 얼굴인식 알고리즘을 활용한 개인화 ID 추출 방식 개발
- 실시간 얼굴 검출 및 인식으로 감정 상태 추출 - 얼굴 영역의 bounding box 취득을 위한 얼굴 검출 모델 개발
- 얼굴인식에서 추출된 특징을 기반으로 참여자의 특성을 추정하는 모델 구현 - 추출된 특징으로부터 성별과 나이를 추정하는 분류 모델 구현
- 참여자의 특성 기반 콘텐츠 추천 알고리즘 설계 및 개발 - Tag-aware recommendation 알고리즘 분석
- 참여자의 안면 인식에 기반한 감정 인식 알고리즘 프로토 타입 개발
○ 국내 석탑 이미지들을 담은 DB로 학습된 Style GAN을 통해서 가상의 석탑 이미지들을 대량으로 얻을 수 있음. 또한, 생성된 이미지들도 1K 수준의 해상도를 갖고 있어, 추가적인 국내 석탑 이미지가 필요한 다른 연구에 데이터 증강 기법으로 활용될 수 있음.
○ 메타버스용 XR 홀로그램 모듈 개발로 비대면의 전시, 공연용 몰입형 프로그램으로 확장 시켜 ㈜혼합현실그룹에서 운용하는 지자체 7곳 (내년 후반기 전체 17곳)에 활용할 예정임.
○ 안면인식용 콘텐츠 추천 모듈은 2단계에서 개발된 모듈로 이미 ㈜혼합현실그룹에서 서초 방배 센터 및 송도 평생 교육 센터에 설치 및 운용 시작하였으며 내년 하반기 3단계 단계에서 전국 17개 지자체 운용센터에서 활용할 예정임.
○ 전시기관 보유 데이터 활용도를 극대화할 수 있는 그래픽모듈을 추가 개발을 통해 전시기관의 콘텐츠 이용을 증대하고 관람객 유인을 높이는 방향으로 활용할 예정임.
○ 스마트 무대 전시 동적 공간 인지형 미디어월 플랫폼 기술 개발로 전시 사업모델 발굴에 대한 새로운 방향성으로 제시할 예정임.
