웹 앱에 온디바이스 AI 붙이는 방법: Phonon TTS와 AnyLanguageModel 활용

모델 라이선스 비교, Web Worker 분리, 지연 다운로드, 로컬·클라우드 전환 구조

온디바이스 TTS 붙이기 썸네일

핵심 요약

  1. Phonon TTS는 65MB(영어, Apache 2.0)와 75MB(5개 국어, CC BY-NC 4.0) 크기로 브라우저와 기기에서 서버 없이 동작하며, 100개 이상의 보이스와 Open TTS 리더보드 상위권 품질을 제공한다.
  2. AnyLanguageModel 1.0을 활용하면 Swift 클라이언트에서 단일 LanguageModelSession API로 CoreML/MLX/llama.cpp 온디바이스 모델과 OpenAI/Anthropic/Hugging Face 클라우드 엔드포인트를 손쉽게 전환할 수 있다.
  3. 웹 프론트엔드에 온디바이스 모델을 붙일 때는 초기 65MB~75MB 다운로드 시점 지연(On-demand 로딩)과 Web Worker 스레드 격리가 UX를 결정한다.

클라우드 기반 음성 합성(TTS)이나 LLM API는 품질이 뛰어나지만, 프론트엔드 UI의 사소한 버튼 피드백이나 접근성 안내, 오프라인 데모에까지 매번 서버 API를 호출하면 네트워크 지연(Latency)과 토큰·오디오 생성 비용이 급격히 늘어난다. 이 글은 프론트엔드 및 클라이언트 개발자가 Hugging Face 생태계에서 공개된 초경량 온디바이스 음성 모델인 **Phonon TTS(65MB / 75MB)**와 로컬·클라우드 모델을 단일 세션 API로 묶어주는 AnyLanguageModel 1.0을 활용해 서버 비용과 외부 전송 부담을 줄인 온디바이스 AI 인터페이스를 구축하는 절차를 다룬다.

Phonon TTS란 무엇인가: 서버 없이 브라우저·기기에서 도는 고품질 음성 합성

Phonon TTS 분석 리포트에 따르면, Gradium이 개발해 Hugging Face를 통해 공개한 Phonon은 외부 서버나 네트워크 연결 없이 사용자의 브라우저(WebGPU / WASM)나 모바일·데스크톱 기기에서 직접 실행되는 온디바이스 TTS 모델이다.

기존의 가벼운 로컬 TTS 모델들은 기계음이 심해 상용 UI에 쓰기 어려웠던 반면, Phonon은 Hugging Face Open TTS 리더보드에서 클라우드 기반 상용 모델들과 견주어 생성 속도(RTF)와 발음 명료도(WER) 모두 상위권을 기록한 것으로 소개됐다.

Phonon 65MB vs 75MB 두 가지 모델 스펙 비교

프로젝트의 대상 언어와 상용 라이선스 요건에 맞춰 아래 두 가지 모델 크기 중 하나를 선택해야 한다.

구분Phonon 31M (약 65MB)Phonon 40M (약 75MB)
모델 용량약 65 MB (초기 브라우저 캐싱에 유리)약 75 MB
지원 언어영어(English) 단일 특화5개 국어 (영어, 프랑스어, 독일어, 스페인어, 포르투갈어)
내장 보이스100개 이상 프리셋 보이스 내장100개 이상 다국어 프리셋 보이스 내장
라이선스Apache 2.0 (상용 서비스 포함 자유로운 활용)CC BY-NC 4.0 (비상용·연구 및 프로토타입 용도, 상용 시 별도 확인 필요)
적합한 용도글로벌 영문 SaaS UI 피드백, 상용 웹 앱 내장다국어 학습 앱 프로토타입, 오프라인 키오스크·데모

프론트엔드 UI 적용 시나리오와 클라우드 대비 트레이드오프

온디바이스 TTS를 Next.js나 React 웹 앱에 붙일 때 가장 효과적인 영역은 다음과 같다.

  1. 즉각적인 인터랙션 피드백 및 알림 읽기: 대시보드에서 긴 백그라운드 작업이 완료되었을 때나 송금·결제 확인 요약을 네트워크 왕복 지연 없이 즉시 음성으로 읽어준다.
  2. 접근성(Accessibility) 보강: 기본 스크린 리더의 단조로운 음성 대신 아티클 본문이나 튜토리얼 가이드를 자연스러운 억양(100+ 보이스 중 선택)으로 낭독하는 '본문 듣기' 플레이어를 제공한다. 웹 접근성 전반의 자동·수동 점검 기준은 AI로 접근성 점검하고 고치기: WCAG 2.2 기준 자동 검사와 수동 확인 나누기를 함께 참고할 수 있다.
  3. 프라이버시 민감 데이터 및 오프라인 데모: 의료·금융 메모나 사내 기밀 문서를 외부 TTS API 서버로 전송하지 않고 브라우저 메모리 안에서만 오디오 버퍼(Float32Array)로 변환해 재생한다.

비용과 UX 트레이드오프: 클라우드 TTS는 첫 바이트부터 바로 스트리밍되지만 호출할 때마다 글자 수 과금이 발생한다. 반면 Phonon은 첫 실행 시 65MB~75MB 가중치 파일을 한 번 내려받아 브라우저 Cache API(또는 IndexedDB)에 저장하는 초기 로딩 비용이 있는 대신, 이후 재생에는 TTS API 호출 비용이 들지 않고 오프라인에서도 동작한다.

AnyLanguageModel 1.0: 하나의 세션 API로 온디바이스와 클라우드 모델 라우팅하기

프론트엔드와 클라이언트(iOS/macOS Swift 앱 및 하이브리드 클라이언트)에서 온디바이스 모델을 쓰다 보면, 간단한 요약은 기기 내 로컬 모델로 처리하고 복잡한 추론은 클라우드 API로 넘기는 하이브리드 구조가 필요해진다.

AnyLanguageModel 1.0 정리에서 소개된 Hugging Face의 AnyLanguageModel 1.0은 Apple의 기본 FoundationModels 프레임워크와 호환되는 **단일 Swift 세션 API(LanguageModelSession)**를 제공한다. 비즈니스 로직 코드를 한 줄도 바꾸지 않고 아래 백엔드들을 자유롭게 갈아끼울 수 있다.

  • 온디바이스 로컬 백엔드: Apple 시스템 내장 모델, CoreML, MLX, llama.cpp
  • 호스팅 및 로컬 서버 엔드포인트: OpenAI, Anthropic, Google Gemini, Ollama, 그리고 Hugging Face Inference Providers
// AnyLanguageModel 1.0: 동일한 LanguageModelSession 인터페이스로 로컬 MLX와 클라우드 전환
import AnyLanguageModel

// 1. 오프라인 또는 민감 데이터 처리 시: 온디바이스 CoreML / MLX 모델 선택
let localModel = MLXLanguageModel(modelId: "mlx-community/Llama-3.2-3B-Instruct-4bit")
let session = LanguageModelSession(model: localModel)

let response = try await session.respond(
  to: "사용자가 작성한 메모를 한 문장 알림 텍스트로 요약해줘: \(userPrivateNote)"
)
// 이후 요약된 텍스트를 온디바이스 Phonon TTS로 전달해 음성 출력

네트워크 상태나 작업 난이도에 따라 로컬 서버(Ollama, llama.cpp, vLLM)와 클라우드를 나누는 백엔드 관점의 비교가 필요하다면 로컬 LLM 서빙 도구 비교: Ollama, llama.cpp, vLLM 선택 기준을 함께 볼 수 있다.

실습: Hugging Face Spaces로 빠르게 프로토타입 공유하고 Next.js 앱으로 옮기기

처음부터 무거운 모델 가중치 로딩 로직을 프로덕션 Next.js 앱에 바로 넣기보다, 3단계 순서로 검증 후 이식하는 것이 안전하다.

단계별 이식 절차

  1. Hugging Face Spaces에서 보이스 및 지연 시간 검증: Hugging Face Hub의 Phonon 공식 Space에서 100개 이상의 보이스 프리셋 중 서비스 톤앤매너에 맞는 보이스를 고르고 문장 길이에 따른 합성 품질을 먼저 테스트한다.
  2. Web Worker 분리 구조 설계: Next.js 앱에서 65MB 모델을 메인 스레드에서 로드하고 추론하면 UI 스크롤과 버튼 클릭이 멈춘다. 반드시 전용 **Web Worker(tts.worker.ts)**를 만들어 모델 로딩과 오디오 생성을 백그라운드 스레드로 격리한다.
  3. 사용자 동의 기반 지연 다운로드(Lazy Download) 및 Web Audio API 연결: 페이지 접속 즉시 65MB를 강제로 받지 말고, 사용자가 '음성 안내 켜기' 버튼을 처음 눌렀을 때 진행률 바(Progress Bar)와 함께 모델을 캐싱한 뒤 AudioContext로 재생한다.

아래 훅의 메시지 형식(INIT, SPEAK)과 variant 값은 이 글에서 정한 앱 내부 규약이다. 실제 모델 로드 코드와 샘플레이트는 tts.worker.ts에서 모델 카드의 사용법을 따라 맞춘다.

// hooks/usePhononTts.ts: Web Worker를 통해 메인 스레드 블로킹 없이 온디바이스 TTS 호출
"use client";
import { useEffect, useRef, useState } from "react";

export function usePhononTts() {
  const workerRef = useRef<Worker | null>(null);
  const [ready, setReady] = useState(false);

  useEffect(() => {
    workerRef.current = new Worker(new URL("../workers/tts.worker.ts", import.meta.url));
    workerRef.current.onmessage = async (e) => {
      if (e.data.type === "MODEL_READY") setReady(true);
      if (e.data.type === "AUDIO_BUFFER") {
        const ctx = new AudioContext({ sampleRate: 24000 });
        const buffer = ctx.createBuffer(1, e.data.samples.length, 24000);
        buffer.getChannelData(0).set(e.data.samples);
        const source = ctx.createBufferSource();
        source.buffer = buffer;
        source.connect(ctx.destination);
        source.start();
      }
    };
    return () => workerRef.current?.terminate();
  }, []);

  const initModel = () => workerRef.current?.postMessage({ type: "INIT", variant: "65mb-en" });
  const speak = (text: string, voice = "en_default") =>
    workerRef.current?.postMessage({ type: "SPEAK", text, voice });

  return { ready, initModel, speak };
}

초보자가 자주 실수하는 포인트

  • 75MB 다국어 모델(CC BY-NC 4.0)의 라이선스를 확인하지 않고 영리 상용 서비스에 그대로 배포하는 실수: 65MB 영어 모델은 Apache 2.0이라 상용 제약이 없지만, 75MB 5개 국어 모델은 비상업적(Non-Commercial) 라이선스가 기본이므로 상용 프로덕션에 넣기 전 반드시 모델 카드의 라이선스 조항을 확인해야 한다.
  • 한국어 텍스트를 Phonon 65MB/75MB 모델에 그대로 입력하는 실수: 현재 공개된 Phonon의 공식 지원 언어는 영어 및 유럽 4개 언어(프랑스어, 독일어, 스페인어, 포르투갈어)다. 한국어 문장은 발음이 깨지므로 영문 UI 피드백이나 다국어 서비스에만 적용해야 한다.
  • 페이지 초기 로드(useEffect)에서 묻지도 않고 65MB 모델 가중치를 자동 다운로드하는 실수: 모바일 데이터 환경의 사용자에게 큰 부담을 주고 초기 네트워크 대역폭을 잠식한다. 반드시 음성 기능을 실제로 켤 때만 다운로드하도록 구성해야 한다.

체크리스트

  • 선택한 모델 변형(65MB Apache 2.0 vs 75MB CC BY-NC 4.0)이 프로젝트의 상용 서비스 여부 및 지원 언어(영/불/독/서/포)와 일치하는가?
  • 모델 가중치 다운로드와 추론 연산이 메인 UI 스레드가 아닌 Web Worker에서 실행되도록 분리했는가?
  • 브라우저 Cache Storage 또는 IndexedDB가 활성화되어 재방문 시 65MB~75MB 가중치를 다시 내려받지 않는지 Network 탭에서 확인했는가?
  • 구형 기기나 WebGPU/WASM 미지원 브라우저에서 에러 없이 기본 Web Speech API(window.speechSynthesis)나 클라우드 엔드포인트로 폴백(Fallback)되는가?

자주 묻는 질문

모바일 사파리(iOS Safari)에서 온디바이스 TTS 오디오가 소리가 안 나는데 왜 그런가요?

모바일 브라우저는 사용자의 명시적인 터치/클릭 제스처 없이 백그라운드 Web Worker가 비동기로 생성한 오디오를 자동 재생(Autoplay)하는 것을 차단한다. 사용자가 '듣기' 버튼을 클릭한 이벤트 핸들러 안에서 먼저 new AudioContext()를 생성해 audioCtx.resume()으로 잠금을 해제해 두어야 워커가 보낸 오디오 버퍼가 정상 재생된다.

AnyLanguageModel 1.0은 웹 브라우저(JavaScript/TypeScript)에서도 직접 쓸 수 있나요?

AnyLanguageModel 1.0은 Swift 패키지(Package.swift) 기반이므로 iOS, macOS, visionOS 네이티브 앱이나 Tauri/Capacitor의 Swift 네이티브 브리지 계층에서 사용한다. 순수 Next.js 웹 프론트엔드에서 동일한 다중 모델 라우팅 구조가 필요하다면 Vercel AI SDK나 Hugging Face transformers.js + Inference Providers 조합으로 매핑해 구현할 수 있다.

참고 자료 · 검증 기준

위 자료와 내용을 대조한 날짜: . 도구·서비스 정책은 이후 바뀔 수 있으므로 적용 전 공식 문서를 다시 확인하세요.

이 글은 실제 실무 환경 테스트 및 검증된 기술 자료를 바탕으로 작성되었으며, 환경 변화에 따라 지속적으로 갱신됩니다.