기존의 글과 그림으로만 영어를 공부하는 영유아, 어린이 학습 패턴에 새로운 방향을 제시합니다.

AR기술과 realtime text recognition 기술을 활용하여 영문 텍스트를 읽는 어린이가 카메라로 해당 단어를 비추었을때 영단어가 의미하는 삼차원 모델을 증강현실 기술로 제공함으로써 학습의 재미와 그 효과를 극대화합니다. 저희는 휴대폰, 패드 외의 별도 장비 없이 제한 없는 환경에서 영어를 학습할 수 있는 모바일 어플리케이션 서비스를 구상 하였습니다.

- 제작목적

언어를 재미있게 배울수 있도록 하는 게임, 오디오북, 학습영상을 포함하는 eBook 등의 서비스들은 많이 존재합니다. 이러한 서비스들의 공통된 목표는 아이들에게 자유로운 상황에서 즐겁고 편하게 공부할 수 있는 환경을 제공하고, 주도적인 학습을 유도하는 것입니다. 

하지만 이를 위해 지루한 텍스트 읽기(독서)를 최대한 배제하는 방법으로 문제를 해결하려는 생각은 지양해야 합니다. 텍스트를 읽고 흡수하는 훈련은 어린이들이  추후에 더 복잡하고 어려운 내용을 이해할 수 있도록 돕기 위한 중요한 훈련입니다. 

따라서 저희는 구식이라고 경시되고 있는 종이책의 단점을 극복하여, 아이들이 직접 읽으면서 AR을 통해 모르는 단어를 보다 효율적으로 관찰하며 학습할 수 있는 새로운 영어 교육 플랫폼을 제시합니다. 

- 사회/기술적 필요성  

오늘날 보편적인 어린이 영어 교육은 태블릿 등의 전자 학습 기기의 컨텐츠를 이용하고, 오프라인 교육의 경우 강사가 시각적 자극을 위해 인형, 모형등을 준비하여 수업을 진행합니다. 전자 학습기기의 경우, 학습기기 별도 구매가 필요하며 전문 제작자에 의존하여 콘텐츠가 생산되어야 소비가 가능합니다. 콘텐츠 내용은 2D 이미지와 애니메이션 영역 내에서 개발이 가능하다는 한계가 있습니다. 오프라인 교육은 선별된 교재에 한하여 강사의 교육자료 제작이 필요합니다. 

영어교육은 국가적 과업으로 고려될정도로 그 중요성과 수요가 꾸준히 커지고 있습니다. 이에 따라 효과적인 언어 학습을 위한 방식에 관련된 연구와 보조 contents 또한 많이 개발되고 있습니다. 그 중 컴퓨터 게임, 빔프로젝터, IT기기를 활용한 멀티미디어 수업이 지배적으로 수행되고 있는데, 이는 언어 학습에 있어서 시각을 통한 정보 습득의 효과가 매우 크기 때문입니다. 

2005년에 발표된 Exploring the role of visuals in EFL coursebooks: A Korean High School English textbook case 논문에 따르면 삽화와 이미지 등의 시각자료의 효과를 살펴볼 수 있습니다. 삽화와 이미지는 학습자의 학습 의욕을 향상 시키고 이해가 부족한 부분을 직관적으로 쉽게 이해할 수 있는 역할을 수행합니다. 

기존 영어 교육 방식의 부족한 자유도, 영어 교육에 관한 사회적 관심, 시각자료가 정보 습득에 끼치는 긍정적 영향을 모두 고려하여, jjump를 기획하였습니다. 

- 장점, 차별성

기존 서비스들은 종이책 대신 전자책을 여러 재미 요소를 넣어 읽도록 유도합니다. 전문 제작자를 거처 완성된 콘텐츠만 제공될 수 있습니다. 즉, 미리 책의 단어들을 수집하고 그에 따른 삽화, 이미지를 교육의도에 맞게 제공하기 위한 후처리가 필요합니다.  반면 jjump는 도서의 후처리를 통한 2차 컨텐츠 제작 작업이 필요하지 않습니다. 사용자가 뜻이 궁금한 단어를 클릭하면 실시간으로 텍스트를 인식하여 알맞은 시각자료를 증강현실로 사용자 눈 앞에 보여줍니다. 내 눈앞에 사자, 호랑이가 카메라를 통해 제공되면 학습자의 시각적인 자극을 극대화 할 수 있습니다. 그와 동시에 모델에 맞는 음성을 제공합니다. 우리는 게임을 통한 단편적인 영어학습이 아니라 독서의 중요성을 강조합니다.

- 경쟁력 분석

아이가 카메라에 영어책을 비추면 Real time text recognition을 이용하여 실시간으로 단어를 인식합니다. 모르는 단어, 궁금한 단어를 선택하면 해당 단어의 3D 모델과 소리가 등장합니다. Google Sceneform을 이용하여 공간을 인식하고 모델을 띄우는 작업을 수행하였습니다. 

- jjump가 제공하는 기능

1. 실시간 텍스트 인식 : 사용자가 카메라에 단어를 보이면 해당 단어를 인식
2. AR : 사용자가 선택한 단어의 AR 모델 제공
3. 단어장 : 사용자가 학습했던 단어들을 모두 볼 수 있고, 폴더 별 정리가 가능하여 편리하게 복습 가능
4. 퀴즈 : 사용자가 그룹화한 단어들을 이용하여 다양한 종류의 퀴즈를 풀며 재미있게 학습 가능
5. 나만의 ar 공간 꾸미기 : 여러 모델을 동시에 띄워 사용자가 공간을 꾸미며 ar의 즐거움을 느낌
6. 학습 리포트 : 이번주의 학습한 단어 수, 퀴즈 성취율 제공
7. 나무 키우기 : 퀴즈 성취율에 따라 홈 탭의 나무를 성장시킬 수 있음
8. 회원 관리 : 회원가입, 로그인, 로그아웃, 사용자의 자녀 이름 등록, 프로필 뱃지 모으기 

박민기 : AR모듈 제작, 프론트앤드 아키텍쳐 설계 및 기능 구현

박지수 : 프론트엔드 아키텍쳐 설계 및 기능 구현, API 호출, UX/UI 분석,디자인

윤석원 : 실시간 텍스트 인식 모듈 제작, 데이터베이스/ 백앤드 서버 설계, 제작

- 프로젝트 아키텍쳐 및 사용 프레임워크

- 데이터베이스 스키마

- 서버 제공 API

1. 사용자 등록, 제거(회원가입/회원 탈퇴) 
2. 단어 추가/제거
3. (이름으로 구분되는)  단어장 생성/제거
4. 단어를 검색한 횟수, 최근 검색 기간 조회 (검색했던 모든 단어 조회)
5. 닉네임 설정
6. 북마크 기능으로 단어 저장/삭제

- 실시간 text recognition module 구조

 

영유아 학습은 단순히 단어 학습을 목적으로 두어서는 안됩니다. 학습과정에서 얻은 즐거움이 성인이 되었을때도 지속적인 독서 습관을 만들어줄 수 있기 때문에 많은 교육자, 부모들은 끊임없이 좋은 학습 교보재를 찾습니다. 저희가 제공하는 교육 서비스, jjump는 다음과 같은 효과를 기대합니다. 

1. 영유아는 시청각에 민감하기 때문에 기존 2차원 교육물보다 AR 입체 자료와 소리는 더 큰 재미를 제공합니다. 이를 통해 단어 뜻을 더 자유롭게 표현합니다. 이는 곧 아이들의 이해 수준 향상과 연결됩니다. 

2. 부모들은 아이들의 디지털 기기 중독 우려 때문에 여전히 책으로 학습하는 환경을 더 선호합니다. 이에 착안하여 종이로 책을 읽지만 실세계의 독서 환경을 디지털 세계로 전환시켜주는 서비스를 구상 하였습니다. 

3. 전문가에 의한 교육물 제작에 의존하지 않더라도 jjump와 함께라면 아이들은 더 많은 컨텐츠를 통해 일관된 품질의 학습을 경험할 수 있습니다. 글자만 써 있다면 어떠한 소재도 학습으로 이어질 수 있습니다.

또한, 책이 아니더라도 주변환경에서 글자를 찾고 3D 모델을 띄우는 것이 일종의 보물찾기 놀이처럼 아이들에게 즐거움을 선사할 수 있길 기대합니다.