한눈에 보기
로컬이라서 빠릅니다. 파이프라인이 꼼꼼해서 정확합니다.
받아쓰기 마케팅은 대부분 파이프라인을 대충 넘어갑니다. 그건 말이 안 됩니다. 파이프라인이 곧 제품입니다. 신호가 나쁘거나, 배치 처리가 허술하거나, 실행 환경이 들쭉날쭉하면 사용자는 바로 느낍니다.
핵심
- 받아쓰기 파이프라인 전체를 기기 안에서 실행합니다.
- 인식 후에 텍스트를 다듬는 데 그치지 않고, 인식 전에 신호부터 정리합니다.
- 배치 단위로 스트리밍하므로 긴 받아쓰기도 끝에서 멈추지 않습니다.
- 네트워크 호출은 최소한으로, 그것도 선택 사항으로 유지합니다.
파이프라인
온디바이스 파이프라인을 단계별로 살펴봅니다.
음성 활동 감지
스트리밍 방식의 Silero 음성 게이트가 오디오가 들어오는 대로 발화 구간을 표시합니다. 인식은 음성이 있는 부분에서만 실행됩니다.
구간 나누기
구문 경계에는 패딩과 병합을 사용하므로 짧은 쉼 때문에 발화 사이의 맥락이 끊기지 않습니다.
오디오 조정
먼저 50 Hz 하이패스 필터를 적용한 다음 K 가중 음량 정규화를 수행합니다. 목표 음량은 처리 경로에 따라 다릅니다. 파일 받아쓰기는 −14 LUFS, 실시간 받아쓰기는 기본 −16 LUFS, 대체 토폴로지에서는 −18 LUFS가 목표입니다.
리샘플링
48 kHz 오디오를 16 kHz로 변환해 Whisper 기반 모델이 기대하는 형식에 깔끔하고 일관되게 맞춥니다.
컨텍스트 배치 처리
받아쓰기는 29초를 목표로 한 블록 단위로 스트리밍되며 15초에서 29초 범위로 제한됩니다. 그래서 긴 발화도 몇 초마다 초기화되지 않고 일관성을 유지합니다. 이 목표는 엄격한 상한이 아닙니다. 목표보다 긴 발화 구간 하나는 나누지 않고 그대로 유지합니다.
Metal 추론
Whisper는 Metal GPU 백엔드로 실행됩니다. 이전 실행에서 모델 초기화 중에 충돌이 났다면 앱은 CPU 전용 안전 모드로 고정됩니다. Core ML 인코더 경로는 고정 형태 입력으로는 길이가 달라지는 오디오를 처리할 수 없어서 빌드에서 강제로 비활성화했습니다.
속도
실제로 더 빠르게 느껴지는 이유.
업로드 없음
오디오가 Mac 밖으로 나가지 않으므로 네트워크 지연, 압축으로 인한 품질 저하, 클라우드 대기열을 피할 수 있습니다.
제한된 마무리 처리
단축키에서 손을 떼면 전체 녹음이 아니라 현재 블록만 마무리합니다. 따라서 멈춘 뒤 텍스트가 나올 때까지의 시간은 받아쓰기가 길어져도 늘어나지 않습니다. 측정한 밀리초 수치는 공개하지 않았으며, 벤치마크가 스크립트와 함께 공개되기 전에는 공개하지 않을 것입니다.
연속이 아닌 간헐적 실행
추론은 블록을 마무리하는 동안에만 실행되며, 앱이 열려 있는 내내 실행되지는 않습니다. 유휴 상태의 네트워크 연결도, 무선 통신을 계속 깨워 두는 백그라운드 업로드 대기열도 없습니다.
정확도
평범하게 어수선한 환경에서도 정확도가 유지되는 이유.
신호 우선 개선
인식하기 전에 오디오를 개선합니다. 엉망인 결과를 나중에 무리한 프롬프트 꼼수로 살려 내려 하지 않습니다.
잡음에 강함
Silero 게이트는 선풍기 소리를 인식기에 받아쓰게 하는 대신, 음성이 아닌 소리를 디코딩에서 걸러 냅니다. 음성을 기준으로 거르기 때문에 광대역 잡음 제거처럼 자음과 치찰음을 뭉개지 않습니다.
전문 분야 어휘
사용자 단어 목록이 인식기에 직접 전달됩니다. 기술 용어와 제품명이 처음부터 제대로 인식되는 데 도움이 됩니다.
신뢰
개인정보 보호와 검증 가능성도 엔지니어링의 일부입니다.
Mac App Store 배포
Voice Type은 Apple 공증과 샌드박스를 켠 상태로 배포됩니다.
솔직한 투명성
App Store 리뷰는 비판적인 의견까지 포함해 걸러 내지 않고 그대로 보여 드립니다.
최소한의 네트워크 호출
영수증 확인을 위해 Apple에 연결하는 경우와, 사용자가 켠 경우의 선택형 다시 쓰기 제공업체에 연결하는 경우에만 통신합니다.
선택형 다시 쓰기
받아쓰기는 로컬에서 처리됩니다. 다시 쓰기는 선택입니다.
자신의 키를 사용하는 다시 쓰기를 켜면 받아쓴 텍스트를 빠른 LLM에 넘겨 서식 정리, 요약, 초안 작성을 할 수 있습니다. 중요한 점은 받아쓰기 자체는 그 경로 없이도 즉각적으로 느껴진다는 것입니다.
이렇게 나누는 데는 이유가 있습니다. 음성 입력이 먼저 믿을 만해야 하고, 문장 다듬기는 그다음의 선택 사항이어야 합니다.