TalkBeam

개요

TalkBeam은 발표자의 말을 실시간으로 받아 적고, 다른 언어로 번역해 보여주는 서비스입니다. 청중은 휴대폰이나 행사장 화면으로 자막을 보고, 놓친 내용은 요약으로 확인할 수 있습니다.

기획부터 웹과 서버 개발, 배포와 현장 운영까지 직접 맡았습니다. 2026 BHST와 말레이시아·한국 회사 합동 워크숍에서 사용했고, 이후에도 자막을 읽기 편하게 만드는 데 집중하고 있습니다.

주요 기능

• 휴대폰 자막: 링크나 QR로 접속해 원하는 언어로 발표 내용 읽기
• 행사장 자막: 대형 화면이나 방송 프로그램인 OBS에 자막 띄우기
• 발표 요약: 중간에 입장하거나 내용을 놓쳤을 때, 지금까지의 핵심 내용 확인하기

구현과 개선

음성을 AI로 인식하고 번역하는 것만으로는 읽기 좋은 자막이 만들어지지 않았습니다. 문장이 중간에 끊기거나, 읽던 번역이 사라지고 새 번역을 기다려야 하는 문제가 있었습니다. 이를 다음과 같이 바꿨습니다.

1. 짧게 끊기는 말을 한 문장으로 묶었습니다

   음성 인식 결과를 그대로 내보내면 네. 같은 짧은 말이 혼자 나타났다 사라지거나, 아직 끝나지 않은 문장이 따로 번역됐습니다.

   서버에서 어디까지를 한 자막으로 묶을지 판단하는 규칙을 만들었습니다. 짧은 응답은 최대 1.5초 동안 뒤의 말과 묶고, 끝나지 않은 영어 표현은 다음 말을 기다립니다. 기다리는 동안에도 임시 자막은 보여주되, 번역과 기록에 남길 문장은 별도로 확정합니다.

2. 새 번역을 기다리는 동안 읽던 자막을 유지했습니다

   처음에는 인식된 말이 바뀔 때마다 기존 번역을 지워, 청중이 읽다가 빈 화면을 보게 됐습니다. 이전 번역을 남겨두고 새 번역이 도착하면 교체하도록 바꿨습니다. 늦게 도착한 오래된 응답은 버리고, 완성된 문장은 발표 순서대로 보여줍니다.

   번역 요청도 정리했습니다. 말하는 도중의 요청은 대기열에 쌓아두지 않고 최신 내용으로 교체하며, 완성된 문장의 번역을 처리할 자리는 따로 남겨두었습니다.

3. 번역에 실패해도 발표 원문은 남겼습니다

   번역 응답이 늦어져 한 문장이 누락된 적이 있었습니다. 완성된 문장의 번역이 시간 초과 등 일시적인 오류로 실패하면, 요청을 관리하는 단계에서 한 번 더 시도하도록 했습니다.

   그래도 실패하면 해당 문장에 실패 상태를 남기고 다음 자막을 처리합니다. 번역 성공 여부와 관계없이 발표 원문은 저장해, 번역 오류 때문에 기록까지 사라지지 않도록 했습니다.

4. 놓친 내용은 주제별 요약으로 확인할 수 있게 했습니다

   중간에 입장한 청중이 지난 자막을 전부 읽기는 어렵습니다. 기존 요약과 새로 들어온 발표 내용을 AI에 함께 전달해, 같은 주제는 보충하고 새 주제는 추가하도록 만들었습니다.

   요약은 자막과 별도로 처리해, 요약을 만드는 동안에도 자막은 계속 전달합니다. 같은 언어를 선택한 청중끼리는 요약 번역 결과를 공유해 중복 요청을 줄였습니다.

사용 기술

결과와 현재 상태

실제 행사 적용

2026년 6월 BHST에서는 초기 버전으로 한국어 발표를 중국어와 일본어 자막으로 송출했습니다. 이후 웹 서비스로 확장했고, 9월 말레이시아와 한국 회사의 합동 워크숍에서도 실시간 번역을 제공했습니다.

확인한 동작과 다음 개선

번역 응답을 일부러 늦추거나 순서를 뒤바꿔, 다시 요청하는 동작과 자막 순서 유지를 확인했습니다. 번역이 끝내 실패해도 원문이 저장되는지도 테스트했습니다.

마이크 연결이 끊겼을 때 자동으로 다시 연결하는 기능은 운영에 반영했습니다. 현재는 운영자가 잘못 인식된 말을 고치면 번역도 바뀌는 기능과, 행사에 맞게 자막 표시 방식을 선택하는 프리셋을 개발 서버에서 검증하고 있습니다.

TalkBeam 서비스 보기