사회적 소통약자들이 다양한 콘텐츠 정보에 접근이 용이하도록 도와주는 지능형 도구 기반 콘텐츠 제작 및 향유 지원 저작도구 연구를 목표로 한다. 특히 감정전달이 힘든 발달 장애인들이 표현하고 싶은 자기만의 감정을 장면마다 더 자세하게 제작, 표현할 수 있도록 도와주는 스마트 웹툰 저작/공유(향유) 도구를 제공하고 작품 전시 및 감상을 위한 사용자의 사용/체험을 풍부하게 해주는 대화형 도우미가 작품을 설명해주고 사용자와 소통하는 소셜네트워크 대화형 도우미 플랫폼을 구축한다.
|
|
- 사회적 소통 약자 대상 대화형 도우미 인터페이스 설계 및 구축
∘ 발달 장애인의 행동데이터 및 센서데이터 수집을 위한 인터페이스 설계
∘ 각 사회적 소통 약자에 대한 데이터 셋 구축 및 인터페이스 설계
∘ 대화형 도우미 SW 프로토타입 설계 / 구현( 3종 이상)
- 발달 장애인이 표현하고 싶은 감정 표현 기능 설계 및 구축
∘ AI 스피커 및 다양한 센서 기반 텍스트, 음성 말풍선, 음성 대화 등의 기능 설계 및 구축
∘ 이미지 스타일 및 채색 등 (반) 자동 보정기술 제안
- 사용자 사용/체험을 풍부하게 해주는 제작 콘텐츠의 메타 정보 자동 추출 기술 개발
∘ 제작 콘텐츠에 대한 사회적 소통 약자의 생각을 잘 표현하고 전달할 수 있도록 설명을 유도하고 자동으로 기술하는 도구 제공
∘ 사회적 소통 약자가 작품을 보고 이해하는데 도움을 주는 메타 정보 기반 방식제공
- 지능형 대화 도우미가 작품을 설명해주고 사용자와 소통하는 대화형 도우미 플랫폼 구축
∘ AI 스피커 기반 사회적 소통 약자들을 위한 음성향상 기술 개발
∘ 도우미와 APP 간 통신 프로토콜 구축
∘ 도우미의 피드백을 위한 콘텐츠/작품 메타 정보 구축
- 제작 콘텐츠 공유를 위한 소셜네트워크 플랫폼 구축
∘ 상용 소프트웨어 연동 개발
∘ 상용 플랫폼과의 연동기술 개발
∘ 작품 전시 및 감상을 위한 클라이언트/서버 기술(효과 툰, 인터랙션 툰 등)
- 지능형 대화 도우미가 작품을 설명해주고 사용자와 소통하는 대화형 도우미 플랫폼 구축
∘ 사회적 소통 약자의 장애 음성 분석을 바탕으로 하는 장애 정도 자동구분 기법 개발
∘ 사회적 소통 약자를 위한 개인맞춤형 장애 발화 음성인식 솔루션 개발
- 사회적 소통 약자 대상 대화형 도우미 인터페이스 설계 및 구축
∘ 대화형 도우미 SW 프로토타입 설계 / 구현(3종 이상)
- 지능형 대화 도우미가 작품을 설명해주고 사용자와 소통하는 대화형 도우미 플랫폼 구축
∘ 사회적 소통 약자를 위한 음성 기반 대화 상황 인지를 위한 학습 데이터 수집 및 적용
∘ 대화 상황 모델 정의 및 대화 상황 인지 기술 개발
∘ 일상 및 특수 (상황에 대한 변화 가능성에 대한 컨트롤이 정의된 환경) 환경에서 실험군의
언어 활동 데이터 수집
○ 사회적 소통 약자들의 창작물을 활용한 소셜네트워크 플랫폼 상 상호소통 및 사회적 참여 증진에 도움
- 우선 사회적 소통 약자의 감정표현과 창작의도 전달을 보다 용이하게 도와줄 수 있는 방법을 제시한다는 점에서 본 기술개발에 의의가 있다. 나아가 적극적인 사회적 참여를 원하는 사회적 소통 약자들을 대상으로, 스스로 제작한 창작물을 상호 교감의 도구로 삼아 소셜네트워크에 참여할 수 있도록 도움을 제공한다는데 큰 의의가 있다.
○ NLU 기술 기반 발달장애인의 음성인식·분석을 통한 기술적·산업적 경쟁우위 선점
- 사회적 소통 약자의 음성과 감정표현을 저작해 주는 것뿐만 아니라, NLU(Natural Language Understanding, 자연어이해) 기술의 적용을 통해 현 기술 수준상 난제에 있는 발달장애인의 발화 음성인식·분석 결과를 표현해줄 수 있다는 점에서 기술적, 산업적 경쟁우위를 선점할 수 있을 것으로 예측된다.
○ 사회적 소통 약자의 적극적 소통 및 사회적 참여를 돕는 소셜네트워크 기반 신규 사업모델 발굴
- 사회적 소통 약자의 감정 및 창작의도 표현 및 물리적 제약을 벗어난 적극적인 사회활동 참여 증진을 목표로, 상용화된 소셜네트워크 플랫폼에 기반하여 경증 사회적 소통 약자 주도 MCN과 같은 신규 사업모델을 발굴 및 수익원 창출을 기대할 수 있다.
각종 도우미를 개발할 때 사용한 기술들을 이용하여 발달장애인이 특정 컨텐츠를 이용할 때 사람과 직접 상호작용하는 입력단에서 도움을 주는 것이 가능하다. 예를 들어, 신체 데이터를 이용한 도우미를 개발할 때 사용한 기술을 이용하여 콘텐츠를 사용하는 동안 발달장애인의 참여, 몰입 정도(engagement)를 판별할 수 있는 센서 기반 인터랙티브 콘텐츠를 개발하고 센서 플랫폼 및 인터랙티브 콘텐츠 공유하여 발달장애인의 많은 행동, 센서 데이터셋 구축을 위해 사용 가능할 것이다. 이외에도 음성 도우미 모델에서 일반인과 장애와의 인식이 잘 되지 않은 단어에 대한 분석결과를 이용하여 특정 단어에 대해 선택적으로 대화모델을 적용함으로 기존에 성능이 높은 일반인 대상 모델을 사용하게 하는 것이 가능할 것이다. 마지막으로 스케치에 스타일을 입히거나 그린 그림에 대한 설명을 추가하는 기술을 이용하여 일반인도 그림을 이용한 소통에 흥미를 유도하고 같은 플랫폼을 사용하여 서로 소통함으로 일반인과 발달장애인의 소통을 원활하게 하는데 도움을 줄 수 있을 것이다.
