A Design and Implementation CODA Service Application Based on Generative AI
- 주제(키워드) Shared Album , Graph Convolution Network , Natural Language Processing , Generative AI
- 발행기관 한국컴퓨터정보학회
- 발행년도 2025
- 총서유형 Journal
- DOI http://dx.doi.org/10.9708/jksci.2025.30.03.021
- KCI ID ART003187452
- 본문언어 한국어
초록/요약
본 논문에서는 생성형 AI 기반의 수어 번역 기능을 탑재한 CODA service 애플리케이션을 제안한다. 이 애플리케이션은 수어 번역 기술과 텍스트를 최소화한 사용자 인터페이스(UI)를 주요 특징으로 한다. 수어 번역 기술은 Image2Pose, Pose2Gloss, Gloss2Text, Image Generation 모듈로 구성한다. Image2Pose 모듈은 수어 영상을 입력받아 내용을 분석하고 이를 이미지로 변환하는 기능을제공한다. Pose2Gloss 모듈은 연속적인 Pose 키 포인트를 입력받아 어떤 의미의 Gloss인지 번역하는 기능을 제공한다. Gloss2Text 모듈은 글로스를 텍스트로 변환하는 기능을 제공한다. Image Generation 모듈을 통해 텍스트를 이미지로 변환한다. 이 애플리케이션은 실제 사용자인 CODA를대상으로 필드 테스트를 실시하고, 그 피드백을 바탕으로 수정 보완한다. 또한, 수어 추가 기능의필요성을 확인하고, 이를 대조 학습(Contrastive Learning)을 활용하여 구현한다. 본 연구에서 제안하는 애플리케이션은 CODA 가족 간 원활한 소통을 지원할 뿐만 아니라, 수어 번역 기술 발전에도 기여할 수 있을 것으로 기대한다.
more