Microsoft VibeVoiceで60分音声を一発文字起こし＋話者分離｜Transformers対応のオープンソース音声AI

Microsoftが公式で公開しているオープンソース音声AIファミリー「VibeVoice」をご存知でしょうか？

GitHubで44,000超のスターを集め、ICLR 2026のOralにも採択されたこのモデルは、60分の長時間音声を一度の推論で処理し、話者識別・タイムスタンプ・文字起こしをまとめて出力できるという、これまでにない実用性を持っています。

しかもHugging Face Transformers対応なので、Pythonの数行で即使い始められます。会議録・ポッドキャスト・インタビュー音声の自動化を考えているエンジニアにとっては、見逃せないツールです。

VibeVoiceとは？Microsoftが公開した音声AIの全貌
60分音声を一発処理──VibeVoice-ASR-7Bの実力
PythonとTransformersで即使えるASRコード例
リアルタイムTTSも搭載──VibeVoice-Realtime-0.5Bの可能性
副業・業務効率化での具体的なユースケース
まとめ
よくある質問（FAQ）

VibeVoiceとは？Microsoftが公開した音声AIの全貌

VibeVoiceは、Microsoft公式が開発したオープンソースの音声AIモデルファミリーです。大きく以下の2つのモデルで構成されています。

モデル	役割	パラメータ
VibeVoice-ASR-7B	音声認識（文字起こし）	7B
VibeVoice-Realtime-0.5B	テキスト読み上げ（TTS）	0.5B

ASRモデルは50言語以上（日本語含む）に対応し、単なる文字起こしを超えた構造化出力を実現します。具体的には次の3つを同時に処理します。

Who（誰が話しているか）: 話者識別（Speaker Diarization）
When（いつ話したか）: タイムスタンプ付き出力
What（何を言ったか）: テキスト文字起こし

WhisperやWav2Vecなど既存のASRツールは、これらを別々のモデルで処理する必要がありましたが、VibeVoiceはワンパスですべてを完結させます。

技術面では、7.5Hzという超低フレームレートの連続音声トークナイザー（Acoustic + Semanticの2段構造）を採用。LLMがテキストコンテキストを理解し、diffusion headで高品質な音声を生成するアーキテクチャになっています。

60分音声を一発処理──VibeVoice-ASR-7Bの実力

従来の音声認識モデルの多くは、長時間音声を処理する際にチャンク分割が必要で、その境界でミスや話者の取り違えが発生しがちでした。

VibeVoice-ASR-7Bは、60分の音声を分割なしで一度に処理できます。これは単なる精度の話ではなく、運用上の大きなメリットです。

チャンク境界での文脈切れがない
話者識別の精度が長時間にわたって維持される
前処理・後処理のコードが不要になりパイプラインがシンプルになる

また、ユーザー定義コンテキストを渡せる機能も搭載されています。業界用語や固有名詞をあらかじめ指定することで、認識精度をさらに高められます。たとえば「このミーティングは医療系スタートアップの会話」といったコンテキストを付与するだけで、専門用語の誤認識を大幅に削減できます。

vLLM推論にも対応しているので、高速化が必要なバッチ処理環境でも選択肢が広がります。

MarkItDownでPDFやOfficeドキュメントをMarkdown化する処理と組み合わせれば、音声→テキスト→構造化ドキュメントという全自動ワークフローも現実的です。

PythonとTransformersで即使えるASRコード例

VibeVoiceの大きな強みは、Hugging Face Transformersのpipelineで直接呼び出せる点です。PyTorchとTransformersさえあればすぐ試せます。

インストール

pip install transformers torch

vLLMで高速化したい場合は追加でインストールします。

pip install vllm

基本的な文字起こし

from transformers import pipeline

pipe = pipeline(
    "automatic-speech-recognition",
    model="microsoft/VibeVoice-ASR"
)

result = pipe("audio.mp3")
print(result["text"])

話者分離＋タイムスタンプ付き出力

from transformers import pipeline

pipe = pipeline(
    "automatic-speech-recognition",
    model="microsoft/VibeVoice-ASR",
    return_timestamps=True
)

result = pipe("meeting_60min.mp3")

for chunk in result["chunks"]:
    speaker = chunk.get("speaker", "Unknown")
    start = chunk["timestamp"][0]
    end = chunk["timestamp"][1]
    text = chunk["text"]
    print(f"[{speaker}] {start:.1f}s - {end:.1f}s: {text}")

ユーザー定義コンテキストを渡す例

from transformers import pipeline

pipe = pipeline(
    "automatic-speech-recognition",
    model="microsoft/VibeVoice-ASR"
)

context = "このミーティングはSaaSプロダクトのスプリントレビューです。参加者: 田中、鈴木、Smith。"

result = pipe(
    "sprint_review.mp3",
    generate_kwargs={"context": context}
)

print(result["text"])

GPUがなくてもCPUで動作しますが、60分音声の処理には相応の時間がかかります。本番運用を考えるなら、GPU搭載のサーバー環境が現実的です。個人開発やAPIサーバーとして常駐させたい場合は、ConoHa VPS（月額最安クラスのVPS）などのクラウドVPSを使うとコストを抑えながら柔軟に動かせます。

ローカルでLLMを動かす環境を整えたい方にはOpen WebUIをセルフホストする方法も参考になります。音声AIとLLMを組み合わせた自前AIスタックの構築に役立ちます。

リアルタイムTTSも搭載──VibeVoice-Realtime-0.5Bの可能性

VibeVoiceはASRだけでなく、リアルタイムTTS（テキスト読み上げ）モデルも提供しています。

VibeVoice-Realtime-0.5Bの特徴は以下のとおりです。

ストリーミングテキスト入力対応: LLMの出力をリアルタイムで読み上げ可能
9言語の多言語スピーカー: 日本語・ドイツ語・フランス語・イタリア語・韓国語・オランダ語・ポーランド語・ポルトガル語・スペイン語
11種類の英語スタイルボイス: ナレーター、カジュアル、プロフェッショナルなど
長時間音声生成: 短いフレーズだけでなく、長尺コンテンツの生成にも対応

ASRモデルで文字起こしした議事録をLLMで要約し、そのまま読み上げる──というワークフローも、このTTSモデルで実現できます。日本語ポッドキャストの自動生成や、多言語コンテンツの音声化にも応用できます。

0.5Bという軽量なパラメータサイズにより、ローカルや低スペックサーバーでも動かしやすいのも魅力です。

副業・業務効率化での具体的なユースケース

VibeVoiceが実際の仕事にどう使えるか、具体的なシナリオを紹介します。

1. 会議録の自動生成

週次・月次のミーティングを録音しておき、VibeVoice-ASR-7Bで処理するだけで話者別・タイムスタンプ付きの議事録が自動生成されます。60分の会議でも一発処理なので、エンジニアが手を動かす時間はほぼゼロです。

LLMと組み合わせれば、「誰がどんな決定をしたか」の要約まで自動化できます。

2. ポッドキャスト・YouTube動画の文字起こし

副業でコンテンツ制作をしているエンジニアにとって、文字起こしは地味に時間を取られる作業です。VibeVoiceを使えば50言語以上の動画・音声コンテンツを一括処理できます。

字幕ファイル（SRT形式）への変換やブログ記事化も、タイムスタンプ付き出力があれば容易に実装できます。

3. インタビュー・ヒアリング音声の解析

ユーザーインタビューや営業ヒアリングを録音して、話者ごとに分けたテキストを自動抽出。「誰がどんな課題を話したか」を素早く把握できます。定性調査のスピードが大幅に上がります。

4. 多言語コンテンツの自動化

日本語・英語・韓国語など複数言語の音声を扱うプロジェクトでも、モデルを切り替えることなく処理できます。グローバルなSaaSプロダクトの顧客サポート音声解析などにも応用可能です。

副業に使えるOSSツールの記事では、VibeVoiceと組み合わせやすい周辺ツールも紹介しています。自動化パイプラインを組む際の参考にしてみてください。

なお、Microsoftはこうした音声AIだけでなく、AIエージェント全般の学習コンテンツも公式で充実させています。MicrosoftのAIエージェント入門コースも合わせて読むと、音声AIをエージェントワークフローに組み込む発想が広がります。

まとめ

Microsoft VibeVoiceは、以下の点で既存の音声AIツールと一線を画しています。

60分音声を分割なし・一発処理で文字起こし＋話者分離＋タイムスタンプを同時出力
Hugging Face Transformers対応で数行のPythonコードから即使える
50言語以上対応でグローバル用途にも使える
ASR＋TTS両対応のファミリーモデルで音声の入出力をまとめて扱える
MITライセンス（Microsoftの公式OSSとして）なので商用利用も検討しやすい

副業や個人開発で「会議録を自動化したい」「ポッドキャストのSEOテキスト化を効率化したい」といった需要を持つエンジニアには、今すぐ試す価値のあるツールです。

pip install transformers torch だけで動くので、まずはローカルの短い音声ファイルで試してみることをおすすめします。本番運用に移行する際は、GPU環境やVPSの整備も視野に入れてみてください。

よくある質問（FAQ）

Q. VibeVoiceは無料で使えますか？

A. はい、MicrosoftがGitHubとHugging Faceで公開しているオープンソースモデルです。商用利用については、リポジトリのライセンスファイルを確認することをおすすめします。

Q. GPUがない環境でも動きますか？

A. CPUのみでも動作しますが、7Bモデルの処理は時間がかかります。60分音声をCPUで処理する場合は数十分〜それ以上かかる可能性があります。開発・検証ならCPUで問題ありませんが、本番運用はGPU環境を推奨します。

Q. 日本語の認識精度はどのくらいですか？

A. 公式に50言語以上（日本語含む）に対応しており、ユーザー定義コンテキスト機能で業界用語や固有名詞を補完できます。ただし実際の精度は音声品質や話速によって変わるため、まず手持ちの音声で検証することをおすすめします。

Q. WhisperやWav2Vecと何が違いますか？

A. 最大の差分は「ワンパスで話者識別＋タイムスタンプ＋文字起こしを同時出力できる」点です。WhisperはASR専用で話者分離には別途ツールが必要です。また60分音声をチャンク分割なしで処理できる点も大きな違いです。

Q. vLLMでの推論はどのくらい速くなりますか？

A. vLLMはLLMのバッチ推論に最適化されたエンジンで、スループットが大幅に向上します。特に複数音声ファイルを並列処理するバッチジョブでの効果が大きいです。単一ファイルの処理では体感差は小さい場合もあります。

Q. TTSモデル（VibeVoice-Realtime-0.5B）はどうやって使いますか？

A. ASRと同様にHugging Face Transformersから利用できます。ストリーミング出力に対応しているため、LLMの出力をリアルタイムで音声化するユースケースに特に向いています。公式リポジトリのREADMEにサンプルコードが掲載されています。

Microsoft VibeVoiceで60分音声を一発文字起こし＋話者分離｜Transformers対応オープンソース音声AI