ボーカロイドはなぜ人の声のように歌えるのか｜歌声合成の仕組みと初音ミクが生まれた経緯

ボーカロイドは、人の歌声を録音して並べ替えているだけだと、私は長いあいだ思っていました。ヤマハでVOCALOIDの開発に携わった剣持秀紀氏が日本オーディオ協会の会誌に書いた解説を読むと、半分は合っていて、半分は違いました。歌声から「断片」を切り出してつなぐところまでは合っています。違っていたのは、つないだだけでは歌にならず、音の高さ、つなぎ目の音色、発音のタイミングをそれぞれ別の処理で直している点です。

この記事では、ボーカロイド（歌声合成）の仕組みを、2026年10月時点で確認できる公式の解説と発表資料の範囲で整理します。初音ミクが生まれるまでの経緯、2022年にAIの合成エンジンが入って何が変わったのかも、確かめられた数字だけで書いています。

• 歌声ライブラリは、歌手の声を録音して切り出した音声素片の集まり
• 素片は「音素から次の音素へ移る部分」と「母音の伸ばし音」で、素片をつなぐだけでは歌にならない
• 音の高さと音色の調整は、周波数領域の信号処理で行われている
• 2022年のVOCALOID6は、AIが歌い方を推定する新しい合成エンジンを搭載した

ボーカロイドは人の歌声の断片をつないで作る

歌声ライブラリと合成エンジンの2つでできている

VOCALOIDは、ヤマハが開発した歌声合成の技術と、その技術を使ったソフトウェアの名前です。歌詞と音符を入力すると歌声ができあがります。入力する画面（エディタ）と、歌声を作る合成エンジンと、人の歌声の断片を集めた歌声ライブラリの3つで動いています。剣持氏は、何もないところから歌声を作れればよいのだが、まだそこまで進んでいないので、実際の人間の歌声から断片を集めたものから必要な断片を取り出し、加工してつなげていると説明しています。

歌声ライブラリの技術と権利はヤマハがパートナー企業にライセンスしていて、各社がさまざまな歌声ライブラリを製品として出しています。初音ミクは、クリプトン・フューチャー・メディアが歌声ライブラリを開発して製品にしたものです。ヤマハのソフトと各社の声がセットで一人のキャラクターになる、という構図です。

素片は「音素から音素へ移る部分」

ここが、私の最初の思い込みと違っていた部分でした。素片は「あ」「さ」のような一音ずつの録音ではありません。歌声ライブラリに入っているのは、ある音素から次の音素へ移り変わる部分と、母音の伸ばし音だと、剣持氏は書いています。

例として挙げられているのが、「あさーー」（「あ」は短く「さ」は長い）という歌詞です。必要な素片は、無音から「あ」へ移る部分、「あ」から「s」へ、「s」から「あ」へ、母音「あ」の伸ばし音、そして「あ」から無音へ、の5つです。2文字の歌詞に5つの素片が要ります。

音と音の境目には、前の音の口の形が次の音の出だしに混ざります。切り出す単位を「境目をまたぐ部分」にしておけば、つないだときに境目の自然さが保たれやすい、というのが私の理解です。この点は原典に理由まで書かれていないので、私の推測として読んでください。

素片をつなぐだけでは歌にならない

音の高さが楽譜と合わない

録音した素片をそのまま貼り付けても、歌声にはなりません。剣持氏は理由を2つ挙げています。1つ目は、素片の音の高さが、楽譜が求める音の高さと違うことです。録音のときの高さのまま並べると、メロディになりません。

VOCALOIDでは、音の高さの調整を周波数領域の信号処理で行っています。波形をいったんFFT（高速フーリエ変換）にかけ、周波数軸の上でスケーリングすると、音の高さを変えられます。音を周波数ごとの成分に分けてから、ずらしている、ということです。

つなぎ目の音色の違いがノイズに聞こえる

2つ目の理由は、音の高さを合わせても、素片と素片の間に音色の違いが残ることです。この小さな違いがノイズとして聞こえてしまいます。

対策は2通りあります。時間があまりない場合は、音色をクロスフェードで合わせていきます。母音の伸ばし音のように時間が十分にあるときは、直前の音色を引き伸ばしたうえで、最後のところで次の音色へ徐々に変化させます。「あさーー」なら、「s-a」の最後の音色を伸ばして、「a-#」の最初の音色へなだらかに近づけていきます。この音色の調整は、各倍音のレベルを上げ下げして行います。

倍音は、楽器の音色を決める要素でもあります。ピアノでの倍音の働きは、ピアノの音が出る仕組みの記事で扱っています。VOCALOIDは、その倍音のレベルを動かすことで、つなぎ目の音色をなめらかにしています。

音符より先に歌い始めないと遅れて聞こえる

人は母音の位置で拍に合わせている

歌声合成でいちばん苦労したのはタイミングだった、と剣持氏は書いています。「さ」という歌詞が4分音符で続く場面を考えてみます。「さ」の発音を4分音符の頭に合わせると、どうしても遅れて聞こえます。人が歌うときは、音節の中の母音の位置で拍に合わせているからです。

子音の「s」は母音より前に始まります。合成するときは、母音「あ」が拍の頭に来るように、素片の位置を前にずらす必要があります。

因果律に反する処理をどう解決したか

ここで問題が起きます。エディタから「この音符を鳴らして」と指示を受けた合成エンジンは、その音符が始まるより前に発音を始めなければなりません。剣持氏はこれを「因果律に反することを行わなければならない」と表現しています。

現実的な解決策は、音符開始の指示を前もって送ることでした。たとえば「今から500ミリ秒後に『さ』という音節を持つ音符を発音しなさい」と送ります。受け取った合成エンジンは、500ミリ秒後に「さ」の中の「あ」が始まるように、素片の位置を調整します。

500ミリ秒という長さの感覚をつかむために計算します。テンポが1分間に120拍（BPM120）の曲では、4分音符1拍は 60÷120＝0.5秒（500ミリ秒）です。この場合、音符の1拍分だけ先に指示を送る形になります。実際の先読み時間は、原典に示された例の数字です。

ピアノは鍵盤を押せば鳴りますが、歌声は「前もって準備しておく」処理が必要です。この違いは、歌声が音声と楽器の両方の性質を持つことから来ています。

歌声ライブラリはどう作られるのか

どんな歌詞にも対応するための特別な歌詞

歌声ライブラリを作るには、歌手や声優の声を録音し、その中から音声素片を取り出します。難しいのは、どんな歌詞が来ても合成できるようにすることです。対象となる言語で起こりうる音素の組み合わせを、すべて効率よく収録しなければなりません。そのために、特別な歌詞が考案されていると剣持氏は書いています。

録音のあとは、波形を見ながら必要な素片をひたすら切り出していく作業になります。剣持氏は、この部分は合成品質を左右する大事な作業なので、おろそかにできないと述べています。

声は誰のものか

録音した声は、歌手や声優の声そのものです。それを素片にして別の人が入力した歌詞で歌わせるので、権利の整理が欠かせません。音楽に関わる権利の一般的な仕組みは、音楽著作権の仕組みの記事にまとめています。ここでの要点は、歌声ライブラリの技術と権利をヤマハがパートナー企業にライセンスしている、という原典の記述までです。

2007年に初音ミクが生まれて何が変わったのか

開発開始から大ヒットまで

剣持氏によると、開発は2000年に始まり、2003年に新技術のプレス発表、2004年に最初のバージョンがリリースされました。2007年にVOCALOID2へ進み、これを使ったクリプトン・フューチャー・メディアの「初音ミク」が大ヒットします。2011年にはVOCALOID3になりました。

2000年の開発開始から初音ミクの2007年まで、2007－2000＝7年かかっています。最初のリリースの2004年から数えても、2007－2004＝3年です。

最初のバージョンから3まで合わせると50種類以上が発売され、言語も日本語、英語、中国語、韓国語、スペイン語に広がりました。人気曲は大手レコード会社からCDとして発売され、オリコン1位になったものも複数あります。アスキー総合研究所が2012年に行った調査では、女子中学生・高校生の54％がボーカロイドの曲を好きと答えています。

歌声合成そのものは1960年代からあった

コンピュータによる最初の歌声は、1960年代にベル研究所のKellyらが作った「Daisy Bell」だと剣持氏は書いています。この歌声は映画「2001年宇宙の旅」にも影響を与えました。人工知能HAL 9000がシャットダウンしていく場面で、「昔こんな歌を歌った」と言ってこの歌を歌う場面があります。

歌声合成の研究は、VOCALOIDより何十年も前に始まっていました。剣持氏たちが2000年に目指したのは、研究の成果を「音楽制作の現場で使っていただくこと」だったと書かれています。

なぜ「生身の歌手がいない」ことが魅力になったのか

剣持氏は、若い人に人気が出た理由を、生身の人間の歌手が歌っていないこと自体にあると考えています（本人が「主観的な分析」と断っています）。音符と歌詞を入力する作業は演奏行為そのもので、できあがった歌声の「演奏者」は入力した人です。ところがキャラクターが与えられると、そのキャラクターに歌ってもらっている錯覚も生まれます。

名前の由来にも、同じ考えが表れています。VOCALOIDは Vocal に「〜のような」を意味する接尾辞 -oid をつけた名前で、「いつかは人間の声と区別がつかないくらい品質を高めたい」という願いと、「人間の声と同じではないことによる新しい表現を追求」という2つの意味が込められているそうです。

2022年のAI版で何が変わったのか

歌い方を推定する新しい合成エンジン

2022年10月、ヤマハはVOCALOID6を発売しました。前のバージョンから4年ぶりの新バージョンで、AI技術を使った新しい合成エンジン「VOCALOID:AI」を搭載しています。AV Watchの報道によると、実在の歌手の音色や歌いまわしの特徴を学習したデータをもとに、入力されたメロディーと歌詞に合った歌い方を推定して歌声を合成する仕組みです。従来と同じ基本操作のまま、音程や音色の変化、発音がなめらかになったと説明されています。

ここまで見てきた素片連結の方式との違いを、確認できた範囲で表にしました。

自分の歌を別の声に置き換える機能

VOCALOID6には、クリエイターが歌った音声データ（WAV）を取り込み、歌詞と歌い方をそのまま専用のボイスバンクで再現する「VOCALO CHANGER」という機能も入りました。楽譜や歌詞を入力せず、歌った音声からボーカルパートを作れます。ヤマハは2024年7月の発表でも、クリエイター自身の歌唱データをもとに歌い方や歌詞を再現する機能として紹介しています。

付属のボイスバンクは4つで、日本語女性のHARUKA、日本語男性のAKITO、英語女性のSARAH、英語男性のALLENです。HARUKAという名前を見つけたときは、同じ名前なのでつい反応してしまいました。もちろん私が歌っているわけではありません。

歌声合成の苦手なところと注意点

音声と楽器、2つの性質を同時に満たす難しさ

剣持氏は、歌声合成の難しさを、歌声が持つ2つの性質に分けて説明しています。音声としての性質は、他の楽器より音色の幅が圧倒的に広いこと、人によって音色が違うこと、そして話し声と発音の仕組みを共有しているので音の高さが急には変えられず、常にポルタメント（高さがなめらかにつながる動き）がかかることです。楽器としての性質は、音の高さの変化とタイミングが楽譜に支配されることと、ビブラートのような表現があることです。

この両方を同時に満たさなければならない点が、歌声合成を難しくしていると書かれています。楽器のピアノなら、音の高さは鍵盤で決まります。歌声は、高さが急に変えられない声のまま、楽譜どおりのタイミングで動かさなければなりません。

録音の質と切り出しで品質が決まる

歌声ライブラリの品質は、素片の切り出しの丁寧さに左右されます。原典に「合成品質のクオリティを左右する大事な作業」とあるとおりです。ソフトが同じでも、ボイスバンクごとに声の個性と得意な歌い方が違うのは、元になる歌声と作り込みが違うからです。

声を「聞き取る」技術とは別物

歌声合成は、文字と音符から声を作る技術です。反対に、人の声を聞き取って文字にする音声認識は別の技術で、スマートスピーカーが声を理解する仕組みの記事で扱っています。同じ「声のコンピュータ処理」でも、向きが逆です。

ボーカロイドについてよくある誤解

録音した声をただ並べ替えているだけですか

半分は正しい見方です。人の歌声から切り出した素片を使うのは事実です。ただし、音の高さの調整、音色のつなぎ、発音タイミングの調整という3つの処理が間に入っています。素片を貼り付けただけでは、高さが合わず、つなぎ目がノイズのように聞こえると、剣持氏は説明しています。

初音ミクはヤマハが作った歌声ですか

歌声のソフトウェアはヤマハのVOCALOIDで、初音ミクの歌声ライブラリはクリプトン・フューチャー・メディアが開発して製品にしたものです。技術と権利はヤマハからパートナー企業にライセンスされ、各社が歌声ライブラリを出しています。

ボーカロイドの曲は誰も歌っていないのですか

元になった歌声は、歌手や声優が録音した声です。完成した曲の演奏者は、音符と歌詞を入力した人だと剣持氏は述べています（本人の見方です）。誰も歌っていないわけではなく、歌い手の役割が「録音する人」と「入力して演奏する人」に分かれている、と見るのが近いと思います。

自分で試すときの選び方

何をしたいかで選ぶ

歌声合成を触ってみたいときは、次の軸で選べます。2022年10月の発売時点の情報なので、価格や仕様は公式サイトで確認してください。

• 歌詞と音符を打ち込んで一から作りたい：VOCALOID6の基本機能で足ります
• 自分の歌を別の声に置き換えたい：VOCALO CHANGER機能が使えます
• 日本語と英語を混ぜた曲を作りたい：VOCALOID6専用のボイスバンクなら、1つで両方歌わせられます
• まずは試してみたい：全機能を31日間無料で使える体験版が用意されています

VOCALOID6は、ダウンロード専用で27,500円（2022年10月発売時）、VOCALOID3以降の購入者向けのアップグレード版は16,500円です。

アップグレード版との差額は 27,500－16,500＝11,000円です。

VOCALOID3以降のボイスバンクとの互換性も保たれていると報じられています。昔買ったボイスバンクをそのまま使えるのは、長く使われてきた技術ならではの実用面だと思います。

まとめ：ボーカロイドの歌声合成の仕組みを整理する

ボーカロイドの歌声は、歌手の声から切り出した音声素片をつなぎ、音の高さ、音色、タイミングを調整して作られています。素片は「音素から次の音素へ移る部分」と「母音の伸ばし音」で、調整は周波数領域の信号処理で行われます。2022年のVOCALOID6では、AIが歌い方を推定する新しい合成エンジンが加わりました。

最初の思い込みだった「録音の並べ替え」は、素片という材料の説明としては合っていました。足りなかったのは、材料を歌にするための処理でした。500ミリ秒前に指示を送る工夫など、歌声には楽器にない難しさがあります。内部のAIの詳しい作りは公開資料から確認できなかったので、この記事では書いていません。最新の情報は、ヤマハの公式発表で確認してください。