TalkBeam
발표를 실시간 자막과 번역으로 전달하고, 놓친 내용은 요약으로 보여줍니다. 직접 개발해 2026 BHST와 기업 워크숍에 적용했습니다.
역할
기획부터 운영자·청중 화면, 서버, 배포, 행사 현장 송출까지 1인 개발·운영
문제
소규모 행사는 비싼 통역사나 불안정한 자체 도구에 의존. 개발 중에는 동시 번역 요청의 응답 순서가 뒤바뀌고, DB 저장 실패 시 기록이 유실되거나 저장 순서가 섞이는 정합성 문제 발생
해결
- 음성 인식여러 ASR 모델을 비교해 인식 품질이 가장 좋은 Deepgram 채택
- 순서 보장문장 확정 시 sequence를 발급해 번역 완료 순서와 무관하게 sequence 순으로만 송출·저장하고, 번역이 끝내 실패하면 원문만 기록하고 다음 문장으로 진행
- 유실 방지확정 기록을 로컬 spool에 먼저 쓰고 DB 커밋 성공분만 삭제하며, 실패·재시작 시 남은 기록을 다시 커밋하고 room·run·segment ID로 중복 저장 방지
결과
2026 BHST에서 중국어·일본어 자막을 송출하고, 말레이시아·한국 기업 합동 워크숍에서는 하루 8시간씩 4일간 장애 없이 실시간 한국어 번역 제공
개요
TalkBeam은 발표자의 말을 실시간 자막과 번역으로 전달하고, 놓친 내용은 요약으로 보여주는 서비스입니다. 청중은 QR 코드로 접속해 원하는 언어로 발표를 읽고, 운영자는 같은 자막을 행사장 화면이나 방송 화면에 송출할 수 있습니다.
기획부터 운영자와 청중의 웹 화면, 서버 개발, 배포와 행사 현장 송출까지 1인으로 개발하고 운영했습니다. 2026 BHST와 말레이시아와 한국 회사의 합동 워크숍에 적용했고, 현장에서 확인한 자막의 읽기 흐름과 운영 문제를 개선하고 있습니다.
주요 기능
- 휴대폰 자막: 링크나 QR로 접속해 원하는 언어로 발표 내용 읽기
- 행사장 자막: 대형 화면이나 방송 프로그램인 OBS에 자막 띄우기
- 발표 요약: 중간에 입장하거나 내용을 놓쳤을 때, 지금까지의 핵심 내용 확인하기
- 자막 기록: 발표 원문과 번역을 시간순으로 확인하고, 원문이나 번역 내용으로 검색하기
구현과 개선
소규모 행사는 비싼 통역사나 불안정한 자체 도구에 의존하기 쉽습니다. 개발 중에는 동시 번역 요청의 응답 순서가 뒤바뀌고, 저장에 실패하면 기록이 유실되거나 저장 순서가 섞이는 정합성 문제가 있었습니다. 음성 인식 결과는 말을 하는 동안 계속 바뀌고, 번역은 요청한 순서와 다르게 도착할 수 있습니다. 이 결과를 그대로 화면에 반영하면 문장이 짧게 끊기거나, 청중이 읽던 번역이 사라지는 문제가 있었습니다. 지금 보여줄 자막, 번역할 문장, 기록에 남길 원문을 구분하는 것을 중심으로 처리 흐름을 설계했습니다.
-
여러 음성 인식 모델을 비교해 Deepgram을 채택했습니다
여러 ASR 모델을 비교해 인식 품질이 가장 좋은 Deepgram을 음성 인식에 사용했습니다.
-
짧게 끊기는 말을 한 문장으로 묶었습니다
음성 인식 결과를 그대로 내보내면
네.같은 짧은 말이 혼자 나타났다 사라지거나, 아직 끝나지 않은 문장이 따로 번역됐습니다.서버에서 어디까지를 한 자막으로 묶을지 판단하는 규칙을 만들었습니다. 짧은 응답은 최대 1.5초 동안 뒤의 말과 묶고, 끝나지 않은 영어 표현은 다음 말을 기다립니다. 기다리는 동안에도 임시 자막은 보여주되, 번역과 기록에 남길 문장은 별도로 확정합니다.
모든 결과를 바로 번역하면 문맥이 부족하고, 문장이 완성될 때까지 화면도 기다리면 청중이 반응을 확인하기 어렵습니다. 임시 자막은 빠르게 보여주고, 확정한 문장은 번역과 기록에 사용하는 방식으로 두 요구를 나눴습니다.
-
새 번역을 기다리는 동안 읽던 자막을 유지했습니다
처음에는 인식된 말이 바뀔 때마다 기존 번역을 지워, 청중이 읽다가 빈 화면을 보게 됐습니다. 이전 번역을 남겨두고 새 번역이 도착하면 교체하도록 바꿨습니다. 늦게 도착한 오래된 응답은 버리고, 완성된 문장은 발표 순서대로 보여줍니다. 문장이 확정될 때 sequence를 발급해, 번역이 끝난 순서와 상관없이 sequence 순으로만 송출하고 저장합니다.
번역 요청도 정리했습니다. 계속 바뀌는 임시 자막의 요청은 최신 내용으로 교체하고, 확정된 문장의 번역은 별도로 처리할 수 있도록 했습니다. 아직 바뀔 내용의 요청이 쌓여, 기록할 문장의 번역까지 밀리는 상황을 줄이기 위한 선택입니다.
-
번역에 실패해도 발표 원문은 남겼습니다
번역 응답이 늦어져 한 문장이 누락된 적이 있었습니다. 완성된 문장의 번역이 시간 초과 등 일시적인 오류로 실패하면, 요청을 관리하는 단계에서 한 번 더 시도하도록 했습니다.
그래도 실패하면 해당 문장에 실패 상태를 남기고 다음 자막을 처리합니다. 번역 성공 여부와 관계없이 발표 원문은 저장해, 한 문장의 번역 오류 때문에 이후 자막이나 발표 기록까지 영향을 받지 않도록 했습니다.
확정된 기록은 로컬 spool에 먼저 쓰고, DB 커밋에 성공한 기록만 지웁니다. 저장에 실패하거나 서버가 재시작되면 남은 기록을 다시 커밋하고, room·run·segment ID로 중복 저장을 막습니다.
-
놓친 내용은 주제별 요약으로 확인할 수 있게 했습니다
중간에 입장한 청중이 지난 자막을 전부 읽기는 어렵습니다. 기존 요약과 새로 들어온 발표 내용을 AI에 함께 전달해, 같은 주제는 보충하고 새 주제는 추가하도록 만들었습니다.
요약은 자막과 별도로 처리해, 요약을 만드는 동안에도 자막은 계속 전달합니다. 같은 언어를 선택한 청중끼리는 요약 번역 결과를 공유해 중복 요청을 줄였습니다. 자막은 지금 하는 말을 따라가는 데, 요약은 지금까지의 흐름을 확인하는 데 사용하도록 역할을 나눴습니다.
사용 기술
Next.js · TypeScript
Fastify · PostgreSQL · Deepgram
결과와 현재 상태
실제 행사 적용
2026년 6월 BHST에서는 초기 버전으로 한국어 발표를 중국어와 일본어 자막으로 송출했습니다. 이후 웹 서비스로 확장했고, 말레이시아·한국 기업 합동 워크숍에서는 하루 8시간씩 4일간 장애 없이 실시간 한국어 번역을 제공했습니다.
검증과 현재 개선
번역 응답을 일부러 늦추거나 순서를 뒤바꿔, 다시 요청하는 동작과 자막 순서 유지를 확인했습니다. 번역이 끝내 실패해도 원문이 저장되는지도 테스트했습니다.
현장 피드백을 바탕으로 마이크 연결이 끊겼을 때 자동으로 다시 연결하는 기능은 운영에 반영했습니다. 현재는 운영자가 잘못 인식된 자막을 수정하면 번역도 바뀌는 기능과 행사에 맞게 자막 표시 방식을 선택하는 프리셋을 개발 서버에서 검증하고 있습니다.