자신만만 스피치 비타민, 자스민  

우리는 살면서 수많은 발표의 순간을 맞이합니다.

팀 프로젝트에서 의견을 어필할 때, 강당 안 관중들 앞에 올라 이야기를 전달할 때,

하다못해 어린 시절 반장 선거에서 친구들의 시선을 받기 위해서라도 살면서 발표를 해본 경험은 꼭 있을 것입니다.

이처럼 발표할 때 상대의 마음을 움직이려면 발표자의 태도, 목소리, 내용이 적합한지 판단하는 것에서부터 출발합니다.

본인의 어린 시절을 떠올려볼 때 대개 서투른 솜씨로 발표를 준비해본 경험이 있지는 않으신가요?

발표를 진행한다는 자체로 불안하고 떨리는 감정을 느끼는 사람들도 많으며, 이로 인해 발표에 온전히 집중하지 못하는 사람도 적지 않습니다.

이렇듯 스피치를 통해 ‘잘’ 말하는 방법은, 어린 시절에 터득할수록 그 효과가 커집니다.

스피치를 꾸준히 연습하면 말하기 능력 및 자신감이 향상되며, 어릴 때의 말하기 경험은 곧 평생의 자신감으로 연결된다는 연구 결과가 있습니다.

그렇지만 요즘 아이들은 인터넷의 영향으로 혼자 있는 시간이 늘어나고, 비대면 상황이 늘어남에 따라 자연스럽게 타인과 의사소통하는 시간이 줄어들고 있습니다.

그에 따라 어린 시절에 의사소통 경험을 기르고 그 능력을 배양할 중요성이 더욱 커졌습니다.

우리아이 자신만만 스피치 비타민, 자스민 서비스는 아이가 비디오를 켜고 본인의 스피치를 시뮬레이션하는 서비스입니다.

온라인에서 실제 발표 상황처럼 연습하고, 맞춤형 피드백을 제공함으로써 어린이들의 스피치 실력이 향상되기를 기대합니다.

  차별점  

자스민 서비스는 기존의 스피치 서비스들과는 확실한 차별점을 갖습니다.

스피치 코칭을 기반으로 어린이를 대상으로 하는지, 한국어를 지원하는지, 실시간 피드백을 제공하는지,

태도/목소리/내용 평가 여부가 포함되는지를 비교한 항목 분석표에서 자스민 서비스는 모든 항목이 갖춰져 있음을 확인할 수 있습니다.

  발표 기준 근거  

발표를 ‘잘’ 한다의 기준이 사람마다 주관적으로 달라질 수 있는 부분이기에, 누구에게나 객관적으로 받아들여질 수 있는 기준을 선정하고자 했습니다.

스피치 능력 향상 관련 논문인 ‘대학생의 스피치 능력 향상을 위한 교육요구도 분석’을 읽어봄으로써

청중에게 발표할 때 중요하게 여겨지는 다양한 언어적/비언어적 요소에 대해 찾아보았습니다.

아래 사진은 스피치 능력 향상 논문에서 다룬 발표에서 중요한 시각적, 음성적, 프레젠테이션, 스피치 불안, 습관 요인 표입니다.

그 결과 (1) 내용의 일관성, (2) 내용의 표현성, (3) 청중과의 아이컨택, (4) 편안하고 바른 자세 유지, (5) 스피치에 적절한 말의 속도 및 크기 등을 골랐습니다.

이들은 추후 태도 분석, 목소리 분석, 내용 분석에서 측정되는 지표로 활용되어 발표 중 아이가 자신감을 가지고 말하는지 판단해주는 근거가 됩니다.

 

  어린이 맞춤형 피드백  

아이의 발표력을 다룬 전문 칼럼을 참고하여 아이가 발표할 때 요구되는 분석 항목으로 무엇을 골라야 할지 고민했습니다.

아래 사진은 웅진씽크빅에서 제공한 아이 발표력 체크리스트 사진입니다.

이렇듯 발표를 잘하는 기준을 세우고자 객관적인 자료들을 활용하였습니다.

발표를 잘하지 못하는 데는 대개 자신감 부족에서 비롯된다는 점에 착안하여 어린이 맞춤형 피드백을 따로 구상했습니다.

아이에게 발표가 어땠는지 통계 자료와 디테일한 피드백을 제공해주는 것보다는,

발표 자체에 대해 칭찬해주며 간략한 코멘트를 제공하는 것이 더욱 유의미하리라 판단했기 때문입니다.

  발표 분석 기술  

자스민 서비스는 실제 상황을 가정해 발표를 진행해주고,

그 사이에 영상 처리로 발표 태도 분석, 음성 처리로 발표 중 목소리 분석, 자연어 처리로 발표 내용 분석을 진행합니다.

태도 분석에서는 Tensorflow js가 제공하는 Blazeface 모듈을 사용하여 얼굴을 인식하고, 좌표값을 계산하여 고개의 방향을 판단합니다.

Gaze-Detection 오픈소스를 활용해 직접 커스텀한 모듈로 시선의 방향도 판단하여, 아이가 실시간으로 발표 중 고개와 시선 처리를 제대로 하고 있는지 판단합니다.

목소리 분석에서는 Webrtcvad를 이용해 음성 파일을 처리함으로써 아이가 잠깐이라도 말했던 발화 구간과, 말을 쉬었던 묵음 구간을 판단해냅니다.

Librosa와 FFmpeg 라이브러리를 활용해 발화 속도 및 크기도 판단하여, 아이의 발표에서 목소리가 어떠한 흐름으로 유지되었는지를 종합적으로 판단합니다.

내용 분석에서는 TextRank를 통해 키워드를 찾아냄으로써 발표 내용에 있던 핵심적인 단어가 무엇인지 골라냅니다.

Kss와 Konlpy 라이브러리를 이용해 speech-to-text로 인식한 문장 뭉텅이를 분리해내고

어휘 다양도 측정, 문장 길이 통계, 불용어 및 자주 사용된 단어를 선정함으로써 아이의 발표 내용을 객관적으로 분석합니다.

데이터베이스에는 회원 정보를 저장하는 User 테이블, 사용자의 발표 태도를 저장하는 Vision 테이블,

사용자의 발표 음성을 녹음해 url로 저장하는 Audio 테이블,이 녹음을 분석해 결과를 저장하는 Voice 테이블,

사용자의 발표 대본을 저장하는 Speechtext 테이블, 이 대본을 분석해 결과를 저장하는 Word 테이블가 있습니다.

아이의 실시간 발표에 따라 MongoDB를 연동해 발표 분석 자료가 저장하였습니다.

개발한 API는 상위 URI에 따라 라우터를 users, run, report 모듈로 나누어 관리하였습니다.

  프로젝트 진행  

팀원 각자가 맡은 역할은 다음과 같습니다.

유승욱: 목소리 음성 처리, 내용 자연어 처리, 기술 연동

이보림: UI/UX 개발, 태도 영상 처리, 목소리 음성 처리, 클라이언트 개발

이상화: 태도 영상 처리, 클라이언트 및 서버 개발, 디비 관리

프로젝트를 효율적으로 수행하고자 notion을 통해 교수님과의 면담 자료와 산업체 멘토님과의 피드백 자료를 기록해왔습니다.

그동안 진행된 회의 자료들과 팀원 개별적으로 찾은 자료가 있다면 관련 링크 및 내용을 정리했습니다.

  어린이 스피치 역량 격차 해소  

계속되는 언택트 상황에 따라 초등 저학년을 포함한 어린 친구들이 비대면으로 학교 수업에 참여하고 있습니다.

그에 따라 말을 하며 수업에 참여할 기회가 줄어들었고, 다른 친구들과 자연스럽게 대화하는 자체가 어려워진 상황입니다.

자스민 서비스는 아이들이 비대면으로도 실제 발표처럼 연습을 가능하게 하고,

맞춤형 피드백을 제공함으로써 누구나 스피치 역량을 키워갈 수 있도록 제공해주는 유일무이한 서비스로 자리매김할 것입니다.

  리워드 요소 제공  

자스민 서비스에서는 아이의 발표 결과에 따라 ‘꽃’으로 리워드를 제공합니다.

태도/목소리/내용 모든 측면에서 발표를 잘 해냈다면 5개를 제공하며, 결과에 따라 4개, 3개까지 차등으로 지급합니다.

이렇게 매번의 발표를 통해 얻은 꽃으로 자스민 홈 화면을 치장할 수 있는 기능을 추가할 예정입니다.

아이가 단순히 발표를 진행하고 결과를 제공받는 것이 아니라, 발표가 진행될 때마다 성취감을 느끼도록 재미 요소를 고려한 부분입니다.

  사업화 추진 계획  

유저당 하루 발표 및 분석 결과 확인 횟수를 제한할 계획인데, 정기 요금제를 결제하도록 하여 발표 및 분석 결과 확인 횟수의 제한을 해제할 생각입니다.

또한, 프로 회원을 위한 기능을 추가하여 태도/목소리/내용에서 더 많은 지표로 발표를 분석,

한 발표 안에서가 아닌 기존 발표와의 비교 분석, 아쉬웠던 부분의 영상 비디오나 음성 오디오를 들려주는 기능을 고민하고 있습니다.

자스민 서비스의 사용자 유치를 위해 여러 학교 혹은 교육기관과 협력하여,

비대면 상황에 어려움을 겪는 아이들에게 프로 계정을 무료로 지원해주는 방안도 가능할 것입니다.

  전체 UI 로직 및 시나리오  

1) 랜딩페이지 메인 화면입니다. 자스민 서비스가 무엇인지 간략하게 소개하며 회원가입, 로그인, 시작하기 버튼이 보여집니다.

2) 회원가입 화면입니다. 신규 유저의 이름, 이메일, 비밀번호를 입력받아 DB에 저장합니다.

3) 로그인 화면입니다. DB에 등록된 사용자가 이메일과 비밀번호를 입력하면 로그인됩니다.

4) 발표 메인 화면입니다. 사용자가 동굴 버튼을 눌러 새로운 발표를 시작할 수 있으며, 수풀 버튼을 눌러 기존의 발표 내용을 확인할 수도 있습니다.

5) 발표 시작 화면입니다. 어떤 주제로 발표를 진행할지 직접 입력하거나, 추천 주제를 받아서 발표를 시작할 수 있습니다.

6) 발표 진행중 화면입니다. 웹캠을 통해 태도를, 마이크를 통해 목소리를, speech-to-text를 통해 발표 내용을 입력받습니다.

실시간으로 고개 방향을 탐지하여 잘하고 있는 경우 코알라가 등장해 ‘잘하고 있어요’,

고개 방향이 측면을 향한 경우 나무늘보가 등장하여 ‘얼굴을 정면으로 향해주세요’,

얼굴이 아예 보이지 않는 경우 마찬가지로 나무늘보가 ‘얼굴을 보여주세요’라고 말해줍니다.

7) 아이용 분석 결과 화면입니다. 발표 결과에 대해 몇 개의 꽃을 리워드로 획득했는지 보여주며, 하단에는 발표에 대한 간략한 코멘트가 표시됩니다.

8) 아이 발표 목록 화면입니다. 여태까지 아이가 진행한 발표를 날짜별, 시간별로 확인할 수 있습니다.

9) 부모용 분석 결과 화면입니다. 아이용 분석과는 달리 각 측정 항목에 대해 통계 자료로 발표 분석 결과를 확인할 수 있으며,

작성되는 피드백 코멘트 역시 더욱 상세하게 작성되어 있습니다. 그에 따라서 어떠한 방향으로 아이를 지도해야 할지 확인 가능합니다.

(더 자세한 발표 분석 내용 및 작동 과정은 상단의 유튜브 영상에서 확인하실 수 있습니다.)