​KnoT, 스마트워치 사용자를 위한 IoT용 노크 인터페이스​

  KnoT는 스마트워치 사용자의 편의를 위한 스마트 환경에서의 새로운 트리거입니다. 물체를 두드리는 "노크" 액션을 통해 노크한 물체를 판별, 그에 따른 액션을 트리거 합니다, 음성인식이나 스마트폰에 대한 물리적인 상호작용 없이 주변 물체와의 소리를 내는 단순한 동작으로 스마트 환경에서 주변과 상호작용 하는것이 KnoT의 가장 큰 특징 입니다.

개발 동기 

  최근 음성 AI 시장은 딥러닝을 필두로 높은 정확성을 보유하여, 스마트폰과 인공지능 스피커에 탑재되며 대부분의 사람이 인공지능 개인 비서를 두고있습니다. ‘빅스비’, ’시리’, ‘알렉사’ 등 이름은 달라도 스마트기기가 제공하는 인공지능 비서라는 점에서는 일맥상통합니다. 스마트 홈 시스템 등 IoT 시스템과도 인공지능 스피커를 통한 밀접한 연관이 있는 이 서비스는 사용자의 일상으로 자연스레 스며들기 위해 오랜 기간 발전을 거듭해왔습니다. 이런 발전에도 불구하고 인공지능 비서는 스마트폰에 한정해서는 사용율은 저조합니다. 터치스크린을 통해 물리적으로 조작하는 것이 음성으로 접근하여 시간을 기다리는것 보다 접근성이 좋은 것입니다.

  따라서 저희는 오히려 말 한 마디 없이 척하면 착 사용자가 원하는 것을 알아내는 인공지능 비서를 생각하게 되었습니다. 음성과 물리적인 터치 외의 접근법을 생각하던 중 ‘노커(Knocker)’라는 사물인식기술을을 찾았습니다. 노커는 스마트폰의 모서리로 물체를 타격, 노크해서 얻은 소리와 IMU(관성 측정) 데이터를 분석하여 대상 물체를 알아내는 기술입니다. 여기에서 영감을 얻어 저희는 스마트폰이 아닌 손에 조금 더 가까운 스마트 워치에서의 데이터를 분석하여 대상 물체를 알아내는 KnoT에 이르게 되었습니다.

  KnoT는 스마트워치 착용자가 정해진 물체를 노크하여 IoT시스템 속 제품에 명령을 내릴 수 있는 새로운 IoT인터페이스입니다. 이는 직관적이며 자연스러운 동시에 음성명령에서의 소요시간을 단축할 수 있는 노크라는 새로운 트리거를 가능케하고 이를 통해 사용자 친화적인 경험을 제공합니다.

기술 스택

상호작용 

워치-서버 통신

  소리 데이터를 상호작용을 위한 서버와 통신하기 위해 저희는 HTTPS 프로토콜을 사용했습니다, 워치에서 서버로 보낸 소리 데이터는 최종적으로 미리 학습한 물체 중 하나로 나오게 됩니다. 학습된 물체는 해당 물체에 해당하는 루틴으로 설정되어 워치로 루틴을 확인합니다.

서버-IoT 통신

  ​서버는 이후 KnoT와 상호작용이 가능한 디바이스로 루틴을 실행합니다. 현재 가능한 상호작용은 두가지로 IoT 전등 스위치와 스마트 태그입니다. 아두이노 와이파이 모듈을 이용한 TCP 소켓 통신과 아두이노 블루투스 통신을 활용해특정 물체와의 상호작용시, 해당 루틴들이 트리거 되도록 연결해놓았습니다.

기술개발