작업물을 불러오는 중…
오프노트
녹음 파일을 인터넷에 한 번도 올리지 않고 PC 안에서만 받아쓰고 요약하는 회의록 앱. 녹음·재생과 화면은 동작하고 인식 엔진은 아직 목(mock)이다. 지금까지의 성과는 앱보다 그 앞의 선택에 있다. 어떤 모델을 어떤 설정으로 쓸지 실측으로 정했다.
개요
회의 녹음을 밖으로 내보내지 않고 받아쓰는 데스크톱 앱입니다. 클라우드 받아쓰기 서비스는 녹음이 남의 서버를 지나갑니다. 그게 곤란한 자리가 있습니다. 인사, 계약, 의료, 법무. 그런 자리를 위해 처음부터 로컬 실행만 가정했습니다.
런타임 네트워크 사용 금지, 원본 무손실 보존, 모델 순차 적재를 설정과 정책에 못박았습니다.
지금 되는 것
마이크와 시스템 소리를 각각의 네이티브 표본율로 따로 저장합니다. 화상회의는 상대 목소리가 시스템 출력으로만 나오기 때문입니다.
WASAPI 는 출력 엔진이 놀면 루프백이 멎어 상대 발언이 통째로 비는데, 무음 렌더 스트림을 함께 돌려 막았습니다.
녹음과 일시정지, 재개, 트랙별 재생이 되고, 큐·전문·요약·할 일 4탭 화면이 있습니다.
아직 안 되는 것
인식 파이프라인이 목(mock)입니다. 5단계 흐름은 샘플 JSON 을 돌려주고, Whisper 와 화자분리, 요약 래퍼는 붙어 있지 않습니다. 내보내기도 없습니다. 화면과 녹음이 먼저 선 프로토타입 단계입니다.
실제로 한 일, 모델을 실측으로 골랐다
제품보다 앞선 것이 선택의 근거였습니다. 사람 음성 4명·24발화·343.7초 표본을 만들어 재 봤습니다.
Whisper large-v3 는 문맥 참조를 켜면 CER 65.29%에 반복 11회·환각 9회로 무너졌지만, 문맥을 끄면 CER 3.74%에 반복 0·환각 0 이었습니다. 같은 모델의 같은 표본입니다.
turbo 는 문맥을 끈 상태로 CER 8.15%(속도는 4배)였습니다. small 은 기본 설정 9.49% 인데 문맥을 끄면 21.38% 로 거꾸로 나빠졌습니다. 그래서 설정을 모델마다 분리했습니다.
요약용 LLM 은 컨텍스트 8,192 에서 6.2GB·전량 GPU·64.8 tok/s 였는데 32,768 로 올리면 CPU 로 38% 흘러 7.0 tok/s 로 떨어졌습니다. 상한을 8,192 로 고정한 근거입니다.
모델 선정에는 정확도 앞에 라이선스 게이트를 뒀습니다. 상업 이용, 재배포, 표기 의무, AUP, 파생 산출물 권리 5개를 통과하지 못하면 정확도와 무관하게 후보에서 뺍니다. 유료로 팔 물건이라 그렇습니다.
상태
파이썬 17개 파일 약 2,000줄, 기획서 9개 챕터. UI 문자열은 locale JSON 으로 분리했지만 채워진 건 한국어뿐이라, 다국어는 아직 구조이지 기능이 아닙니다.