1. 각자 자기소개 부탁드립니다.

다호(PM) | 링글에서 PM(Product Manager) 및 SW(Software) 엔지니어로 일하고 있는 정다호입니다. 링글 초창기에는 Tech팀 소속으로 링글 닥스 등을 직접 개발했었는데 기획부터 더 고민해보고자 현재는 PM으로 프로젝트를 진행하고 있습니다.

지빈(UX) | 링글에서 프로덕트 디자이너로 일하고 있는 임지빈이라고 합니다. 대학원을 다니며 HCI를 연구한 뒤 이를 활용해 유저가 최고의 경험을 할 수 있도록 프로덕트를 디자인하고자 노력중입니다.

현호(ENGR.) | 안녕하세요, 링글 ML(Machine Learning) 파트에서 Researcher / Engineer 로 근무하고 있는 노현호라고 합니다. 자연어 처리라는 NLP팀 소속으로 머신러닝을 사용하여 텍스트와 데이터를 처리하고 해석하여 링글의 언어 기반 기술을 고도화하고자 합니다.

2. CAF 진단 서비스의 개발 과정에서는 어떤 역할을 맡으셨나요?

다호(PM) | CAF 진단 엔진의 결과물을 유저들에게 전달하고, 피드백을 반영하는 역할 및 머신러닝 엔진 운용을 돕는 역할을 맡았습니다.

지빈(UX) | CAF 진단 기능 기획에 참여하고, UX와 UI 디자인을 맡았습니다.

현호(ENGR.) | CAF 엔진 모델들을 연구하고 개발하는데 참여했습니다.

3. 모두 다른 파트를 맡고 계신데 CAF 진단 서비스 개발을 시작할 때 각 포지션에 따라 어떤 부분을 주로 참고하고, 고민하셨나요?

다호(PM) | PM인만큼 유저분들과 소통하며 실제 피드백을 많이 들었던 것 같아요. 유저분들이 주관적인 튜터 피드백 점수로는 객관적인 실력을 파악하는데 어려움을 많이 느낀다고 하셔서 매번 다른 튜터와의 수업이어도 객관적이고 일관된 진단을 받을 수 있도록 개선해야겠다고 생각했습니다. 이를 통해 '근본적으로 영어 실력이 늘고 있는가?', '실력이 늘지 않는다면 어떤 부분을 개선해야하는가?'에 대한 답을 제공하고자 했어요.

지빈(UX) | 화상영어에 CAF와 같은 영어 진단 엔진을 적용한 사례가 거의 없었어요. 그래서 공인 언어 시험 결과지(토플, 오픽, IELTS)부터, Health 관련 프로덕트, 다양한 언어 학습 플랫폼의 레벨 테스트 결과를 참고하여 CAF 진단 UX를 설계했습니다. 사용자가 어떤 정보를 어떤 플로우로 확인하는게 좋을지 고민하며 고객 경험 측면에서 다호님, 현호님과도 논의를 정말 많이 했던 것 같아요.

현호(ENGR.) | 다양한 NLP 테스트 분야의 논문과 교육학/언어학 논문들을 참고하였고, 논문의 잘 설계된 실험 상황 및 결과가 링글 환경에서 잘 적용되는지 확인하고자 했어요.

4. 링글팀은 Problem-solving 기반으로 프로덕트를 개발하고자 한다고 알고 있는데요. 개발 과정에서 각 파트별로 느꼈던 문제는 무엇이었으며, 문제 해결 방식이 어떻게 달랐나요?

다호(PM) | 가장 첫 순서인 기획을 할 때, 진단에 가치관과 철학을 담고 확신을 가지는것이 가장 어려웠습니다. 예를 들어 Complexity의 평가 요소인 "문장 구조"만 해도 '문장을 복잡하게 말하는 것이 무조건 좋은것일까?' '상황에 따라 다르게 쓸수있지 않을까? ' 등의 고민들이 있었기에 팀원들과 가설 설정하는 과정이 정말 중요했고, 이에 대해 답을 구할땐 논문과 언어학 교수님들의 조언을 많이 참고했어요.

또, 어떻게 해야 유저들이 느끼는 진단에 대한 이해와 해석을 높일 수 있을까 고민했어요. '7레벨이라고 진단되면 왜 7레벨인지? 어떤 사람들이 7레벨정도 되는지?' 이에 대해 레퍼런스 자료와 함께 레벨의 분포를 보여주며 직간접적으로 위치를 파악할 수 있도록 했고, 실력을 더 성장시키는 방법도 공유드리고 있습니다. 추후에는 학습 목표에 맞춰 맞춤 활동을 제공드리는 것까지 목표로 하고있어요.

지빈(UX) | 다호님이 기획 초반에 진단의 정의에 대해 고민을 많이 하셨다면 UX측면에서는 ‘어떻게하면 사용자에게 진단의 결과를 정확하고 이해하기 쉽게, 신뢰감을 주면서 전달 할 수 있을까?’를 가장 많이 고민했던 것 같아요. 정확한 진단을 제공해야 신뢰감을 줄 수 있을 것 같지만 정보가 너무 많거나, 용어가 어려워도 전달력이 떨어질 것 같아 그 사이의 균형을 잡는게 어려웠는데 혼자 생각하고 결정하는게 아니라 팀원들과 함께 토론하며 의견을 조율해 나갔기에 가능했던 것 같아요.

또, AI 진단을 거창하게 포장하는 것이 아니라, 기술의 한계가 있음을 인정하고 사용자에게 이슈를 리포팅할 수 있도록 설계했습니다.

현호(ENGR.) | 저는 이 모든것을 실제로 구현할 때, 일반적인 서비스들보다 더욱 어려울 수 밖에 없던 것 같아요. 기존에도 AI 영어 진단 테스트는 많았지만, 자유 대화 상황이나 튜터링 상황에서 실력을 진단해주는 서비스는 없었기에 기존 연구들에서의 결과를 직접적인 피드백의 형태로 풀어내는 과정이 어려워서 팀과 많은 가설을 논의하고 하나씩 실험해봤던 것 같아요.

5. 그렇다면 사용자의 학습 효과를 최대화하기 위해 어떤 부분을 가장 중요하게 고려하셨나요?

다호(PM) | 진단기준에 대한 이해와 해석을 높이기 위해 최대한 디테일하게 정보를 제공드리고 있습니다. 텍스트 인식 - 녹음된 진단 - 잘못한 부분 표시 - AI 교정 등을 한 세트로 보여주면서요. 또한, 상대적으로 약점이라고 판단되는 영역을 추천 학습 영역으로 제공드리고 있습니다.

지빈(UX) | 진단의 결과를 정확하고 이해하기 쉽게 알려주기 위해 CAF 레벨만 표시하는 것이 아니라 각 C / A / F 영역과 연관이 있는 18가지의 ‘학습 영역’을 진단하고 그 중에 집중하면 좋을 학습 영역을 추천해주는 기능을 제공하고 있습니다. 이를 통해 나의 지난 수업에서의 개선점, 비슷한 CAF 레벨 대비 나의 약점/강점이 무엇인지 확인할 수 있도록 했습니다.

현호(ENGR.) | 단순 기술의 구현에서 멈추면 서비스가 아니라 연구이기 때문에, 실제로 유저분들이 여러가지 학습 개념들을 쉽고 객관적으로 이해할 수 있게 서비스를 개발하고자 했습니다.

6. CAF 개발도 한번에 이루어지진 않았을 것 같아요. 사용자 경험을 계속 개선해 나가기 위해 어떤 방법을 사용하셨나요?

다호(PM) / 지빈(UX) | 베타 테스트를 통해 진단에 따른 레벨 예측이 정상적으로 되고 있는지에 대한 평가를 진행했습니다. Ground Truth (수동 평가) 데이터를 수백/수천개 가량 수집하여 레벨 예측 정확도 및 C/A/F 평가에 반영되어야하는 지표들을 구체화 할 수 있었어요.

물론 사람마다 실력 및 학습의 편차가 컸기 때문에 학습 목표, 학습 주기에 따라 유저군을 구분했고, 신뢰도, 이해도, 활용도 등 정성적인 피드백을 인터뷰와 설문을 통해 받으면서 진단을 개선해나갔습니다.

현호(ENGR.) | 전반적인 베타테스트 방식은 위에서 다호님, 지빈님이 잘 말씀해 주신 것 같아요. 단순히 실수한 부분을 캐치하여 “이게 문제야!” 라고 조언해주고 끝나는 것이 아닌 해결책을 함께 제공해주기 위해서 GPT 를 이용해 sentence structure를 바꿔주기도 했고, run on sentence 에 대한 교정문을 함께 드리는 형태로 사용자분들의 학습 경험을 긍정적으로 만들고자 하였습니다.

7. CAF 진단 서비스가 실제 사용자들에게 어떤 가치를 제공하고 있고, 앞으로 어떤 기대효과가 있을 것 같나요?

다호(PM) | 아무리 뛰어난 튜터의 피드백이어도 제한된 시간동안 교정해줄 수 있는 양에는 한계가 있습니다. 따라서 기본적인 영역(문법, 단어 등)은 CAF 진단을 통해 보완하고, 더 수려하고 임팩트 있게 말하는 방법을 튜터와 집중적으로 진행할 수 있는 환경이 마련될 것이라 기대됩니다.

지빈(UX) | 영어를 공부하다보면, 내가 지금 어느정도의 영어를 구사하고 있는지, 어떤 부분이 부족하고 어떻게 개선할지 막막할때가 많은데 CAF 진단을 통해 공부의 방향을 잡고 계속 공부할 동기부여가 될 수 있으면 좋겠습니다.

현호(ENGR.) | 영어 실력을 알기 위해서 형식적인 시험을 보는 것 자체가 부담이 되는데요. 링글의 기존 학습 과정 안에 진단-학습 방법 추천의 요소가 함께 가미된다면 그 자체로 색다른 학습 경험을 선사할 수 있을 것이고 다른 영어 실력 진단 서비스들과 차별점을 확실하게 가질 수 있을 것이라고 생각합니다.

8. 앞으로 CAF진단 서비스를 지속적으로 개선하기 위해 계획하고 있는 사항이 있나요?

다호(PM) | 지금보다 더 개인화된 피드백 제공, 의미론적 요소보다 화용적인 요소까지 분석하기, 맞춤 학습 영역을 통해 혼자서 연습하고 수업에 적용하는 것 등 더 많은 기술적 / 언어학적 개선 기획을 위해 계속 고민중입니다.

지빈(UX) | 지금까지는 안정성있는 진단을 만들고 그 진단의 결과를 사용자에게 전달하는 것에 초점을 맞춰서 만들어왔다면, 이제부터는 진단을 활용하여 어떻게 링글에서 영어 공부를 해야하는지, 그 다음 액션을 만들어가려 합니다. PC버전도 만들구요 ㅎㅎ

현호(ENGR.) | 다양한 관점에서의 평가 지표들을 늘려서 저희만의 독보적인 자유발화 상황에서의 평가 시스템을 만들고자 합니다. 더불어 링글의 다양한 콘텐츠를 활용해 학습을 할 수 있는 기회로까지 이를 연결시키고 싶습니다.