【943日目】赤い世界:ムービーシーンの試作

名前と見た目が一致しない料理ナンバー1は「プルコギ」だと思っているゲーム作家のkuroです。
北国の伝統的な鍋料理かお菓子のような語感ですよね。
さて。（さて？）

赤い世界

ムービーシーンの試作

ゲーム制作に利用できそうなAIサービスを試していました。

①Text to Sound Effects
https://elevenlabs.io/

テキストから効果音や音声を生成するAI。

②Pixverse
https://app.pixverse.ai/home

テキスト、画像から動画を生成するAI。

③Gen-2
https://research.runwayml.com/gen2

テキスト、画像から動画を生成するAI。

おそらく①+②または①+③を組み合わせれば台詞を喋らせることができる。
そしてカットを動画編集ソフトで組み合わせれば10～20秒くらいのイベントシーンはできそうです。

まずは4秒のシーンで実験。
結果は成功。

これでムービーシーンを作る方法が確立しました。

効果音の試作

Text to Sound Effectsを利用した例です。
先ほどは台詞に使いましたが、たとえば「ファンタジー世界のクリスタルに触れたときの光輝く効果音」のように想像を言語化することで生成できます。

イメージボードの作成

ChatGPTを活用した例です。
GPToから画像参照しての応答ができるようになったので、会話を重ねて色々と試します。

・マップ画像からマップの続きを提案
・マップ画像からイメージボードを提案
・マップ画像から背景画像を生成
・MidJourney用にプロンプトを提案

このようなことを試しました。

1回で上手くいかないこともありますが、経験と会話という学習を重ねていけば思いもよらない結果が得られそうです。

さて、それでは素敵な1日をお過ごしください。

【942日目】赤い世界:SunoAI×Ozone11×RX11、マスタリング研究2

ジョギングしたり、料理をしたり、AI生成の組み合わせを調べたりしていますゲーム作家のkuroです。
SunoAIを活用した試行錯誤が一区切りつきました。
所見を整理する回です。

赤い世界

SunoAI×Ozone11×RX11、マスタリング研究2

■生成した曲
Twilight Vibes
https://youtu.be/K3LLCWIIQ5w

プロンプト
electoric piano, shibuya-kei, jrpg,stylish,DnB, emotional, jazz, funk, jpop, lo-fi, clear sond

After School Chat
https://youtu.be/ywRW7djtm2Y

プロンプト
Jazz, Funk, Pop, jrpg, lofi-hiphop, Shibuya-kei rap, cutecore, female voice, DnB

■使用環境
StudioOne6
Ozone11
RX11

■サービス比較
2024/6/4現在、「SunoAI」か「Udio」です。
この2サービスは現状、ユーザー数が多く、学習データ、資金が潤沢であり、開発への投資が見込めるためです。

AI開発において性能を決定づけるのは「学習データ」と「サーバー」の量。
ChatGPT(openAI)、Bing(MicroSoft)のように資金力とユーザー数とスタートダッシュで決まるように思えます。

機能でいえば「AIVA」が素晴らしく、STEM単位のMIDI出力（楽器パートごとの編集可能なデータ）が出来るのですが、生成される曲の質はどうしてもSunoAIやUdioに軍配が上がります。
多くのユーザーはDAWで編集するよりも、そのまま使えた方が良いですからね。

「SunoAI」か「Udio」どちらを選ぶかは、開発競争で大きな差が生まれるまでは、好みで判断すれば良さそうです。
「Windows」と「Mac」みたいなもの。

■どこまでマスタリングで音が良くなるか
SunoAIの課題は音質の向上と、編集できるようになること。
ここ数日はSunoAIで生成したWAV形式の音をどこまで作曲に活かせるかの検証をしていました。

・STEM単位で分離し、RX11でノイズ除去し、Ozone11でマスタリングと最短工程で進めても、元の音源の音質を大きく上げることはできない

・STEMをMIDI変換し、ノイズ除去を試すも、MIDI変換の精度が足りない

結論としては、SunoAIやUdioのバージョンアップを待つのが最適。
SunoAIはv4.5かv5で、ループ編集以外の要素を解決できそうな気がします。
プロンプトをつくるスキルは磨いておいても無駄にならないと思います。
SunoAI v3.5の検証はここまでとし、次回からは制作の話題に戻ります。

それでは素敵な1日をお過ごしください。

【941日目】赤い世界:SunoAIのプロンプト、マスタリング研究

2日間通しでAIとDAW弄りに費やしていましたゲーム作家のkuroです。
ついに米粉とベーキングパウダーを常備し、お菓子をDIYしはじめました。

さて。

Sunset Reverie
https://youtu.be/fZSvL1K3sK4

Dusk Detective
https://youtu.be/1ddqoHBctug

赤い世界

SunoAI v3.5

v3.5から、音質の向上と4分以内の曲が生成できるようになりました。
さっそくゲーム制作に活用できるものか、140曲ほど生成し、検証。

結論、まだ充分な音質ではありませんが、あと2回メジャーバージョンアップする頃には実用に耐えられるようになるでしょう。
今でもlofi hiphopならば、Vynal（ノイズ音）との組み合わせで軽いストリーミングに使えます。

プロンプトの傾向:
・同じプロンプトでも曲調のバラつきが多い
　＝Search機能はあまり参考にならない
・トラック数の多いジャンルは音質が下がる（Kawaii Futuer Bassとか音の厚みが必要なジャンルは弱い）
・楽器名を絞るほど、音質が上がる（ピアノソロなど）
・Instumentalにした方が、音質が上がる

AIの裏処理はトークンを消費して行われるもの。
トラック数が少なくなるような指示を出し、負荷処理が低いほど、音質にリソースが回せる印象を受けました。

・バトルBGMならば「Battle」ではなく「DnB（ドラムンベース）」「Upbeat and danceable」とした方が欲しいテイストが手に入りました

DAWとの組み合わせ

・Acon Digital社の「Remix」で楽器別に音を分離し、音量調整
・「Ozone」、「Gate」で音を整える

ループタグは早いと数分以内で作ることができるようになりました。

SunoAIのバージョンアップ速度を考えると、今後は音質向上、STEM（楽器単位）の音量調整などができるようになりそうです。
つまり、今回の調整作業は未来では不要になるでしょう。
Spliceとあわせて作曲ツールとして重宝しそうです。

それでは素敵な1週間になりますように。