【特別取材】音楽ライブ・ビジネスに革命を起こす自動撮影システムについてソニーミュージックに聞いてみた(前編)「未来は音楽が連れてくる」連載第76回

コラム 未来は音楽が連れてくる

ソニーミュージックは今年3月、「自動ライブ撮影配信システム」の実用化に成功した。これまで音楽ライブ配信は、ライブ番組とほとんど変わらない高額な撮影費が課題だったが、先端技術やAIを駆使してこれを1/10にコストダウン。コロナ収束後もアーティストがリアルなライブと配信を併用できる可能性を切り拓いた。コロナの蔓延前から始まっていたという開発についてソニーミュージックにインタビューできたので、本連載で3回に分けてお届けする。

【特別取材】AIがカメラマンになると世界はどう変わる?自動撮影システムについてソニーミュージックに聞いてみた(中編)

【特別取材】「ライブの模倣」ではないライブ配信の新しい使い方。自動撮影システムについてソニーミュージックに聞いてみた(後編)

<取材>

福田正俊氏:ソニー・ミュージックエンタテインメント EdgeTechプロジェクト本部 LSチーム チーフプロデューサー
原口竜也氏:ソニー・ミュージックエンタテインメント EdgeTechプロジェクト本部 本部長
戸井田隆男氏:ソニー・ミュージックソリューションズ ホールネットワークカンパニー ホール事業企画室 部長

(取材:Musicman 屋代卓也・畑道纓・榎本幹朗 収録日:2023年4月25日)

ライブ配信の弱点を解決する画期的なシステム

屋代:今回の取材は私たちから申し込みました。以前から「ライブ配信は費用がかかりすぎて全然採算が合わない」という話は聞いておりました。「よっぽど売れてるアーティストじゃないと、なかなか難しい」と。その中でこのニュースが出て「あ、これは凄いな。画期的なんじゃないか」と。

榎本:これは20年に一度ぐらいの画期的なイノベーションだと思うんですよ。僕、2000年から数年間、メジャーアーティストさんたちのライブ配信を何十本もやってましたが当時からあった課題が、ライブ中継の人件費です。

ライブ配信って要は音楽ライブ番組なので、カメラマン4~5人に、映像を切り替えるスイッチャーさん、音声さん、そしてディレクター、立会するマネージャーさん、その人たちのアゴ足ホテル代…。めちゃめちゃ人件費がかかるじゃないですか。お客を入れなくても、ちゃんとした映像にしたいならステージの制作費もかかる。

それで20年前も「ITの力でライブ撮影自体を自動化できないか?」と会社に僕は言われてました。確かに、ネットなら衛星中継車を使うよりずっと通信費の部分は抑えられたんですが、当時、AIもクラウドも発達してなかったのでカメラの自動化までは無理でした。

そしてコロナ禍が来て、みんながライブ配信を始めてこの問題を、身をもって痛感することになった。

「コロナでライブできないから配信でライブ中継をやってみたけど、中継チームやステージ制作にお金がかかって大物じゃなきゃとてもペイしないね。」と。これは世界的にもそうでした。

20年経ってもライブ配信は、ITを構成する「通信、クラウド、AI」のなかでも通信とクラウドしか使えてなかったんですね。そこにテクノロジーの力で真正面から挑むところがコロナ禍のとき、出てこなかった。

僕は「どこがAIを使うんだろう?GAFAとかアメリカのベンチャーなのかな?」と待っていたら、なんと日本のソニーミュージックから出てきたわけです。通信タグ、アルゴリズム、AIを活用してカメラが演者を自動で追尾できるシステムをつくっただけでなく、Zeppに設置することでステージの制作費も抑えられるようになりました。

コロナ前から始まっていたソニー、ソニー・ミュージックエンタテインメント(SME)の共同開発

榎本:このプロジェクトっていつ頃から走っていたんでしょうか?

戸井田隆男氏

戸井田: 2019年ですね。

榎本:コロナが始まる前だったんですね!

原口:「ライブ撮影を省力化、自動化できないか?」というアイデアを、ソニー株式会社(当時 ソニーイメージングプロダクツ&ソリューションズ株式会社)でカメラを作っている部門と共同で実験してみたのがきっかけです。

戸井田: そもそもの動機はZeppのビジネスモデルを広げることでした。ライブハウスというのは箱の容量が決まってて、どれだけ人気が出ても満席になればビジネス的にも上限がある。箱のキャパを超えて、エンタメをもっとたくさんの人に届けるには配信しか無いだろう、と。

原口:じゃあライブ配信が普及していないのはなぜなのか、と考えると、やはり配信を実施するための手間・コストがネック、となったわけです。そこで撮影の省力化技術を2019年にトライして「形になりそうだな」と分かった。じゃあやろう、ということで、SMEの中でテクノロジーとエンタテインメントの融合を目指す部門である「EdgeTechプロジェクト本部」の中に、2020年2月に新チームを立ち上げました。初期メンバーが集まってキックオフしたのは、コロナ禍に突入する直前でしたね。

チーム立ち上げにおいては、技術開発メンバー、Zeppの運営管理メンバー、ライブを主催する側であるマネジメント会社「ソニー・ミュージックアーティスツ(SMA)」のスタッフなど、ソニーミュージックグループならではの様々な知見を持つメンバーが集まりました。Zeppの現場を統括する立場にいた戸井田にも当初から参加してもらっています。

榎本:大賀典雄さん(元ソニー名誉会長)の「ハードとソフトの融合」ですね。

戸井田:2020年4月から開発が本格的にスタートして、まず首都圏のZeppを中心にいろいろと実証実験を始めました。開始時点ではオープン直前だったZepp Haneda(TOKYO)にまずはこの自動化のシステムを入れよう、となって。

榎本:このプロジェクトはソニー側から「こういう技術を活用できないか」と来たテクノロジー・ドリヴンだったのか、それともSME側から「こういうことをやりたいんだけど」と相談に行ったコンテンツ・ドリヴンだったのか、どちらだったんでしょう?

戸井田:Zepp側からソニーへアイデアを打診したのが始まりでした。

福田:そうしたらソニーから「こういう技術があるからトライしてみましょうか」と。

屋代:そのタイミングで偶々、コロナも始まったわけですね。

原口竜也氏

原口:プロジェクトが始まってすぐに行動が規制されることになって、開発初期は苦労しました。そんな厳しい状況の中でも開発側にとっては「怪我の功名」のようなこともあって。コロナ禍以前はほぼ毎日100%埋まっていたZeppに空き日がいきなりできたので、「Zeppを実験に使える!」と。

畑:あと2020年の4月から6月にかけて配信のアクセス数も大きく上がりましたよね。

戸井田:ライブ配信を体験するお客さんが一気に増えました。ライブ自体が中止にもなったものも多かったんですが、会場を予約していたアーティストさんたちから「ライブの用意もできてるし、ライブ配信をやってみたいんですけど?」ということもありましたね。

福田:ただ当時はみなさん「エンコードって何?」という時代でしたし、有料でライブ配信しようにも確立したプラットフォームがほぼなかった。当時はそういう状況だったと思います。

榎本:音楽業界はコロナになって仕方なしにライブ配信をやってみた。それで「これは採算が取れない」となった一方で、SMEさんはコロナが始まる前から「ライブ配信をビジネスとして成立させるには、中継チームを自動化して採算が取れるようにしないといけない」という課題を認識して取りかかっていた。この差は大きかったなあ、と感じます。

畑:開発費はかなりかかったんじゃないですか?

原口:今回のプロジェクトでは、自動撮影システム以外にも自律移動するカメラロボットとかARとか、いろいろな技術の開発を、ソニーグループ内から複数の事業会社、部門が集まって、ソニーグループ横断プロジェクトとして実施しました。

例えば、グループ横断活動に関わる主要メンバーの人件費は基本的に各社で持ち出しだったりして、どちらかというとお金というよりはモチベーションを意識して各組織が動いてきた印象です。我々SMEとしては「ライブエンタテインメントをどうやったらより多くの人に届けられるか」というモチベーションですね。

屋代:このシステム、音楽だけじゃなくてスポーツ中継とか、あらゆるものに活用できちゃいますよね。

原口:可能だと思います。

屋代:画期的だと思います。

AIがカメラマンをする時代に

福田正俊氏

福田:今回のプロジェクトで作ったシステムは主に自動追尾システム、カメラロボット、ARで構成されています。

開発目標は「音楽ライブ撮影及び配信のコスト、及び技術ハードルを下げる」ことでした。このシステムを利用する演者さんやマネージャーさんが技術のことを全く気にせず、ライブ制作、演奏に集中できるようにすることです。

コストに一番響いてくる項目が人件費ですので「まずは全てのカメラを無人にしよう」と。そのためにまずライブ中継のプロたちにたくさんヒアリングして、Zepp規模のライブ収録に最適なカメラ台数を決めました。

ちなみに収録に使うカメラのうち1台は4Kカメラを採用しました。こちらは4Kカメラとして使うのではなく、4Kの高解像度映像から3つのHD映像をトリミングして三台分の働きをこなせるようにしてあります。

次にどうやったらその無人のカメラを制御し、演者を自動で追跡できるようにするか、頭を悩ませました。今回は演者の衣装に「コンパクトタグ」を付けていただき、その位置情報を追跡する方法を採用しました。このタグの位置を追跡する「UWBセンサー」をKT Zepp YokohamaとZepp Haneda(TOKYO)に仕込んであります。

そして全ての無人カメラをタッチパネルで制御するインターフェースを開発しました。その結果、カメラをコントロールするディレクター1名と、映像を選択するスイッチャー1名の合計2名だけでライブ収録が可能になります。これで大幅に人件費を削減できました。

タッチパネルを採用したUIで、カメラごとに8つのアングルをプリセットすることが可能です。一度決めてしまえばバストアップ、引きのアングル、手元のアングルなど、タッチひとつで各カメラに指示することができます。

それと「自然な手ブレ」にもこだわりました。これは僕らSME側の要望だったんですが、カメラを無人にすることにより機械的な無機質な映像にならないよう、敢えて自然な形の手ブレをソフトウェアで作り出す機能の開発をお願いしました。

榎本:ニュースを読んだとき「ロボットで動きがピタッと決まるとつまらない映像にならないか」と危惧したんですけど、そこも対策済みということですね。

原口:監視カメラみたいな映像にならないよう、いかに「自然な手ブレ」を出すかにこだわっています。

屋代:カメラを担いだカメラマンが走り回っているみたいな。

畑:これは専属のオペレーターが操作しているんですか?

福田:今はそうなんですけど、いろいろな監督のアルゴリズムを用意して、例えば映像機材に詳しくないマネージャーさんでも「あの監督っぽい映像」をつくれるように開発中です。

他にも例えばライブ中継って1カメがボーカルを狙いにいったら、2カメ、3カメはギターとベースにいくというディレクターごとのセオリーがあるのですが、こういう動きも自動で実現できるよう開発しているところです。ここまで行くとスイッチャーひとりで全部できるようになります。

榎本:むかしスイッチャーとディレクションを一人でやることもあったんですが、それってカム付けて喋ってたんですけど「1カメにボーカルのバストアップの指示を出しているから2カメの俺はギター行こう」みたいなチームの阿吽の呼吸があったから出来たと思うんですよね。こういう阿吽の呼吸を自動で担うってことでしょうか?

福田:そうです。我々は多くの音楽ライブ収録のノウハウを持っているのである程度パターン化することは可能だと考えています。また、カメラ制御とスイッチャーを連動させることによって、例えばスイッチングした瞬間に自動でズームを始めるとか、ミスを減らすことにも繋がります。

屋代:ここまですごいとカメラマンはAIに仕事を取られてしまうかも…。

福田:僕らはカメラマンの仕事を奪うつもりは全くありません。我々は主に予算面で収録することができないたくさんの素晴らしいライブを映像にしていただきたいと考えています。

屋代:実際の映像を見るともう人間がやってるのと見分けがつかないですね。

榎本:厳密にいうと「これは人間はやらないかな」というのもあったんですが、それは僕が昔、撮影現場にいたから気づく話で、ふつうの人は分からないんじゃないかなあ。

福田:ありがとうございます。先ほどの4K映像のトリミングも実は課題がまだあって、切り取った分、解像度が落ちるというのがあります。

榎本:しかしエンコードして配信してしまえば?

福田:スマホで見るとわからないレベルだと思います。

榎本:なるほど。すごいですけど、まだまだやれることはある、ということですね。

福田:おっしゃるとおりと思います。

スポーツ等、音楽ライブを超えて利用可能に

屋代:いずれはすべてのZeppにこのシステムを?

福田:はい。人物の位置捕捉の為にたくさんのセンサーを会場に設置する必要があるのですが、現状このセンサーを設置しているのはKT Zepp YokohamaとZepp Haneda(TOKYO)の2館のみになります。ただしこのセンサーはセッティングも難しく、チューニング、メンテナンスにも多くのコストがかかってしまうことが判ってきました。

その為、これらの問題をクリアすべく、別のセンサーを使った新システムを開発中です。このシステムが完成すれば、Zepp以外のあらゆるライブ会場で無人カメラによる撮影、ライブ配信ができるようになります。こうして使用機材をより安価にダウンサイズすることにより、導入コストやメンテナンスコストを下げて世界中のライブハウスに使ってもらいたいなと思っています。

榎本:別のセンサーというのは?

原口:我々は今、持ち運び可能な小型なセンサーだけで人物を追跡できる仕組みを狙っています。

榎本:なるほど。新方式は持ち運び可能と…。

原口:そうです。今夏を目標に開発中です。

屋代:新方式なら下北沢にあるような小さなライブハウスでも…。

原口:機材を運び込むだけで、できるようになります。汎用性が高いので。

榎本:いずれはスマホを複数並べておくだけでもあとはAIがまとめてくれて、誰でも本格的なライブ中継を配信できる時代が来るかもしれませんね。

福田:そうですね。人物補足のシステムは今後もアップデートしていきます。また、カメラロボットも初期からずいぶん改良が進んでいます。さらにカメラ側のアップデートも続けていけばいずれ、スマホでも利用可能になるかもしれませんね。

屋代:いずれ音楽だけでなくスポーツやドラマもカメラマンなしで撮影できてしまう?

福田:裏話をすると、ダンスなど動きが激しいパフォーマンスの自動ライブ撮影配信はまだ開発途中です。とにかく演者の動きが早い。スポーツは音楽ライブと違ってフィールドが広いので、スポーツに合った方式を開発する必要が出てくると思います。

屋代:たとえばボクシングとか狭い場合は?

福田:移動スピードが速すぎるとなかなか追いきれないとか、新しい課題が出てくると思います。カメラの性能も違ったスペックが必要になるでしょうし、、、。

原口:音楽ライブでも演者の動きが速い、照明の変化が激しいなどの厳しい条件があるので、まず音楽ライブでシステムを鍛えておけば他のジャンルにも横展開しやすいというメリットもあります。

戸井田:あと今の仕組みだと演者の衣装にコンパクトタグをつけなければいけないのですが、新しい方式ならそういうことも不要になり、その部分でもハードルを下げられます。

ライブ配信コストを300万円から10分の1に削減

福田:コストダウンの効果ですが、通常、Zeppクラスで音楽ライブ収録をする場合、平均的に200~300万円の予算が必要だと思いますが、我々のシステムでは30万円でサービスを開始します。

Musicman一同:10分の1かあ。すごい!

榎本:そこまで下げられたら大物じゃなくても中堅アーティストならライブ配信で黒字化できますね。

屋代:それこそ学園祭レベルのライブであっても、しっかりとした映像を残せる時代になりますね。

戸井田:はい。予算が十分でないアーティストさんたちのために開発したものではありますが、ビッグアーティストさんのライブ配信をサポートするのにも使えると思います。例えば有人のカメラと我々の無人カメラを組み合わせて、スイッチャーさんが選べる映像を増やすことも出来ます。

基本の目標はライブ配信のコストを下げて、制作予算が限られているアーティストさんにも、気軽にライブ配信をしてもらえる事を目指しています。

新システムは宅配便で送れるほど手軽に

榎本:他社さんから「使ってみたい」というお話は来ているのですか?

福田:Zeppでの開発が一段落したので、今後は別のベニューにも導入いただけるように開発を進めています。都内をメインに、様々なライブハウスさんに協力いただいて、実験をさせていただいております。

榎本:もう持っていってるんですね!

福田:はい。他にも野外フェスとか、ほんとうはライブ配信したいけど予算の関係で収録や配信を断念しているイベントはたくさんあると思います。開発中の新システムであれば、宅配便で機材をフェス会場に送って、あとは2~3名程度のオペレーターが乗り込めば収録、配信できるようになります。これが僕らの次の目標のひとつです。

榎本:音声に関してはどうですか?

福田:基本的にはPAさんからいただいていますが、それもクライアントさんのご要望次第で対応します。音声収録の分野でも、空間オーディオなど新しい技術がいろいろと出てきていますので最終的には市場を見ながら対応していければという感じです。ただ、現状ではまずコストダウンによって収録、配信のハードルを下げていくことに専念している最中です。

屋代:30万円というのはスイッチャーさんとかの人件費込みで?

戸井田:はい。正直、30万円はほんとうに安くて、エンコーダーなどの相場を見ていて最初は100万円で始めようかと話していたんですよ。ただ、コロナ禍が終わってライブ配信だけしか出来ない時期が過ぎ去って、100万円だと予算の少ないアーティストさんには使ってもらえない。それだと意味がないので、プロダクションなどにいろいろヒアリングなどもして検討した結果、30万円から始めてみようか、となったのが正直なところです。

畑:安いですね。私がすぐ使いたいです。ライブ配信って機材だけの人件費抜きでも下手したら数十万円かかりますよ。

戸井田:五年ぐらいでの利用予測と償却費から逆算してあるので、それほど無謀な値段ではないのですが。

無料ライブ配信で使ってほしい

屋代:無人カメラで配信したライブイベントはいま何本ぐらいになっているんですか?

福田:実証実験の段階ではすでに多数のイベントで撮影収録していますが、実ビジネスとしては先日発表したばかりなので、新規の申込みはまだこれからという感じです。コロナが落ち着いて有料ライブ配信はダウン・トレンドに入っていると言われていますが、実感としては売れるものと売れないものがはっきりと分かれてきたと感じています。我々のシステムも、有料配信だけでなく、YouTube向けなど、ライブの魅力を伝える為の映像素材収録などでも活用してもらえれば、と思います。

実際、開発中に僕らがとてもうれしかったのが、デビュー前の新人バンドの皆さんからのコメントです。「これからデビューするんですけど、スマートフォンを固定して撮った映像しかなくて…」というアーティストさんのライブ映像をこのシステムで撮ったら、とても喜んでいただけました。「このクオリティすごいですね」と言って下さって、僕らも本当にうれしかったです。

屋代:これはプロモーションでも使ってほしい、と。

福田:これからそういうトレンドになるんじゃないかなという気がしてます。そもそもこれはZeppの魅力を高めるシステムと思っていますし。映像の世界は1年で目まぐるしく変わるので、僕らもマーケティングを続けながらこのシステムのあり方をアップデートしていきたいと思っています。

畑:エンタメとハードの両方を持っていて、動きが速くて、太っ腹。ソニーグループさんならではの開発ですね。

著者プロフィール

榎本幹朗(えのもと・みきろう)

1974年東京生。作家・音楽産業を専門とするコンサルタント。上智大学に在学中から仕事を始め、草創期のライヴ・ストリーミング番組のディレクターとなる。ぴあに転職後、音楽配信の専門家として独立。2017年まで京都精華大学講師。寄稿先はWIRED、文藝春秋、週刊ダイヤモンド、プレジデントなど。朝日新聞、ブルームバーグに取材協力。NHK、テレビ朝日、日本テレビにゲスト出演。

関連タグ

関連タグはありません