개발자들이 앱을 테스트하며 발견한 문제점을 말로 설명하면, 인공지능(AI) 코딩 에이전트가 이를 이해하고 즉시 코드를 수정하는 새로운 도구 'Talkthru'가 공개되어 주목받고 있습니다. 이 도구는 사용자가 앱을 조작하며 화면을 녹화하고 동시에 음성으로 피드백을 말하면, 해당 발언이 어떤 화면에서 이루어졌는지 정확히 파악하여 개발 에이전트에게 전달합니다. 예를 들어, 사용자가 "이 버튼이 너무 작아서 계속 놓쳐요"라고 말하면, 에이전트는 해당 화면의 버튼을 찾아 크기를 수정하는 식입니다.
Talkthru는 맥(Mac)의 화면 녹화 기능(⌘⇧5)이나 아이폰(iPhone)의 에어드롭(AirDrop)을 통해 녹화된 영상을 활용합니다. 사용자가 녹화 중 말하는 내용은 로컬에서 음성 인식(Whisper.cpp)을 통해 텍스트로 변환되고, 화면 변경 시점과 동기화됩니다. 이렇게 생성된 피드백은 MCP(Multi-Client Protocol) 서버를 통해 Cursor, Windsurf, Claude Code 등 다양한 코딩 에이전트 클라이언트에 전달됩니다. 모든 과정은 사용자 기기 내에서만 이루어지며, 계정 생성, 파일 업로드, API 키 입력 등이 전혀 필요 없어 개인 정보 보호 측면에서도 강점을 가집니다.
이 도구는 개발 워크플로우에 혁신적인 변화를 가져올 잠재력을 지니고 있습니다. 기존에는 개발자가 앱 테스트 중 문제점을 발견하면 스크린샷을 찍고, 메모를 남기고, 다시 편집기로 돌아와 코드를 수정하는 번거로운 과정을 거쳐야 했습니다. Talkthru는 이러한 과정을 단축시켜 피드백 루프를 자동화하고, 개발자가 아이디어를 떠올리는 순간 바로 코드로 연결될 수 있도록 돕습니다. 이는 개발 생산성을 크게 향상시키고, 더 빠르고 효율적인 앱 개선을 가능하게 할 것입니다. 특히 1인 개발자나 소규모 팀에게는 시간과 노력을 절약해주는 강력한 도구가 될 수 있습니다.