本文翻譯自CGWORLD網(wǎng)站2020年12月28日報道。
原文地址:https://cgworld.jp/feature/202012-banadive1.html
ASOBINOTES ONLINE FEST 2nd(以下簡稱AOF2)已于2020年12月18日(周五)官宣舉行。與第一屆ASOBINOTES ONLINE FES(以下簡稱AOF,于2020年6月28日(周日)舉行)相同,本屆也是完全在線上舉辦的活動,活動將于2020年12月31日(周四)~2021年1月1日(周五)跨年舉行。另外,活動預(yù)定于12月28日(周一)19:00開場、12月31日(周四)21:00開演。
(相關(guān)資料圖)
TEXT_田端秀輝 / Hideki Tabata(@hitabataba)
EDIT_尾形美幸 / Miyuki Ogata(CGWORLD)
PHOTO_弘田 充 / Mitsuru Hirota
ASOBINOTES ONLINE FES(AOF)回顧
以“變化的世界 不變的狂熱”為主題的AOF,共設(shè)置了“CHARACTER”、“GAME”、“VIRTUAL”、“AKIBA”四種風(fēng)格為名的四個DJ舞臺,邀請了30名以上的藝人參加DJ表演。活動全程直播,各位藝人帶來的樂曲標(biāo)題在SNS趨勢上不斷地實時傳播,在網(wǎng)絡(luò)上收獲成千上萬的評論,帶來壓倒性的體驗。
▲ASOBINOTES PV
AOF2還公布了多位藝人的競演環(huán)節(jié),其中就包含了“未來小町?× 大久保博”和“電音部企劃”兩項,這也是筆者在AOF中特別關(guān)注的話題。非常期待他們在AOF2中呈現(xiàn)的效果將會有怎樣的進(jìn)步。為了深入挖掘這個話題,我們采訪了大久保博先生(BanaDIVE? AX開發(fā)者)和子川拓哉先生(《電音部》總制作人)(※)。本次訪談將會分為前后篇。非常榮幸能為大家?guī)鞟OF2舉辦前的預(yù)告。
※ 本次訪談采訪于2020年7月10日,并結(jié)合2020年12月28日前公開的信息制作而成。
接下來的前篇,將會介紹除了DJ表演外,還可以使用音樂控制整個DJ舞臺體驗(即一切由音樂驅(qū)動)的BanaDIVE? AX(利用游戲AI與xR技術(shù)的互動式虛擬角色表演系統(tǒng))其設(shè)計思想,以及作為創(chuàng)造它的土壤的大久保先生的開發(fā)者生涯。
BanaDIVE? AX開發(fā)的契機(jī) 為何未來小町成為了DJ
田端秀輝(以下簡稱田端):是怎樣的契機(jī),讓您開發(fā)出了BanaDIVE? AX呢?另外也想請教一下讓未來小町進(jìn)行DJ活動的緣由。
大久保博先生(以下簡稱大久保):未來小町的DJ表演,最早是作為Bandai Namco Entertainment Festival(2019年10月19日~20日舉辦,以下簡稱萬南Fes)的場外演出進(jìn)行的。
子川拓哉先生(以下簡稱子川):在東京巨蛋舉辦萬南Fes的同時,我們也在東蛋旁邊的LaQua舉辦場外演出。我們覺得普通的舞臺不夠有趣,因此就想出了一個“讓未來小町當(dāng)DJ”這樣的企劃。
▲左起分別為子川拓哉先生(萬代南夢宮娛樂)、大久保博先生(萬代南夢宮研究所)
大久保:萬南Fes的演出有《偶像大師》系列、《LoveLive!》系列等等萬代南夢宮集團(tuán)各種各樣的偶像和藝人出演,但是游戲音樂的元素并沒有多少。
田端:確實是這樣!明明是(開發(fā)很多游戲的)萬代南夢宮集團(tuán),不知道為什么游戲音樂的身影確實不多見。
大久保:在與ASOBINOTES(※)團(tuán)隊討論的時候,提出了“制作一個可以‘玩’音樂的舞臺會很有趣”、“強(qiáng)調(diào)游戲音樂這一元素”這種想法,并延申出“以DJ形式展現(xiàn)游戲音樂”這樣的企劃。在活動期間,未來小町以擔(dān)任Asobi Store的期間限定店長的形式,為大家?guī)鞤J表演。
※ASOBINOTES:萬代南夢宮娛樂公司所屬的生產(chǎn)音樂娛樂事業(yè)相關(guān)內(nèi)容的廠牌。旗下藝人除了萬代南夢宮工作室(以下簡稱BNS)的音樂團(tuán)隊成員(バナスタサウンズ,萬南工作室Sounds)以外,還有大久保先生和未來小町等人。
田端:Vocaloid、表情交流機(jī)、DJ等等,未來小町的工作范圍真是廣得驚人呢。
▲于CEATEC 2019發(fā)表的基于未來小町的表情交流機(jī)。
子川:至于為什么是DJ,這是源于我之前擔(dān)當(dāng)負(fù)責(zé)的名為ANI ON STATION的角色聯(lián)動咖啡店,在店內(nèi)舉辦過多次DJ活動。
大久保:萬南Fes是使用BanaCAST(※)將未來小町的各種各種動作模式事先錄制好,然后我負(fù)責(zé)用After Effects把背景合成進(jìn)來,然后用Premiere里編輯對上音樂的音軌,制作了30分鐘的DJ視頻。
※BanaCAST:由BNS開發(fā)的,利用最新的動作捕捉技術(shù)與高品質(zhì)的實時CG角色的互動型演出內(nèi)容制作服務(wù)。
▲在萬南Fes(2019年10月19日~20日?舉辦)的場外活動披露的未來小町的DJ表演
田端:大久保先生是BNKEN(萬南研,萬代南夢宮研究所)的創(chuàng)新戰(zhàn)略本部的本部長吧?視頻的合成和編輯這種工作沒想到還要自己來做呢(笑)。
子川:這種事情好像還挺多的。為什么大久保要這么做呢。(笑)
大久保:大概是因為喜歡吧(笑)。我的上司堤先生(堤康一郎先生/BNKEN執(zhí)行役員·創(chuàng)新戰(zhàn)略擔(dān)當(dāng))看了未來小町的DJ表演之后,提出了“我們把它AI化,并參展SXSW(西南偏南)”的想法。雖然這個企劃開始全面落實已經(jīng)是2019年11月中旬了,距離SXSW只剩大約3個月的時間,但是BanaDIVE? AX的開發(fā)突然啟動之后,已經(jīng)進(jìn)展到了可以在線下現(xiàn)場表演的階段了。然而之后由于新冠疫情的蔓延,SXSW于3月初宣布取消活動,我們放棄了參展的想法,轉(zhuǎn)而尋找新的舉辦展示會的機(jī)會。
※西南偏南(SXSW,South by Southwest):每年3月在美國得克薩斯州奧斯汀舉辦的全世界最大規(guī)模的電影、音樂、互動娛樂相關(guān)會展。2020年,原定于3月13日~22日舉辦的、BNKEN作為贊助商參加的SXSW Gaming Expo展會,因新冠疫情影響取消。
子川:最初我們的計劃是,在SXSW上進(jìn)行BanaDIVE? AX的演示實驗,并在2020年6月的ASOBINOTES FES上進(jìn)行日本國內(nèi)的首次亮相。不過ASOBINOTES FES在此之后也放棄了線下舉行,轉(zhuǎn)為完全線上直播的舉辦方式。由此我們決定使用BanaDIVE? AX的未來小町的DJ首演也這樣(線上)進(jìn)行。
▲AOF(2020年6月28日 舉辦)上首次披露的未來小町DJ表演。未來小町加入了BNS音頻團(tuán)隊(BanaStu?Sounds),并在GAME舞臺進(jìn)行了表演。演出中加入了觀眾投票決定下一首歌曲、將手機(jī)對準(zhǔn)電腦屏幕就會有AR畫面效果等等近未來的演出體驗,為觀眾帶來令人興奮的演出表現(xiàn)。(原文鏈接為精選剪輯,這里的視頻鏈接是完整版)
未來小町的DJ表演 想了解用這種歌單的緣由
田端:未來小町的DJ表演是從她自己的歌曲《Future Melody - 心から未來へ -》開始,緊接《山脊賽車》系列歌曲,然后是《偶像大師》系列,最后以《太鼓之達(dá)人》系列的《埼玉2000》結(jié)尾。想要了解使用這種Set List(歌單)的緣由。
※當(dāng)天的歌單可參考此圖。
子川:歌單中包含了我自己的需求,由大久保來制作完成。
大久保:第一首歌,因為是未來小町的DJ表演,當(dāng)然要選一首她自己的歌。在此之后的《山脊賽車》系列歌曲,是因為我自己對這個系列的歌曲非常熟悉,選擇起來比較簡單。在此之前舉辦的多場《山脊賽車》系列的DJ活動,都受到了觀眾的歡迎,因此我想GAME舞臺的各位觀眾也會比較歡迎?!杜枷翊髱煛废盗幸彩穷愃圃颍瑧?yīng)該會比較符合GAME舞臺觀眾的相性。
田端:真是超出預(yù)期的回答。但是到了觀眾通過投票選擇下首歌的環(huán)節(jié),無論是哪個選項都讓我想說“這很難選??!”(笑)
大久保:第一次投票的選項是《EUPHORIA(RR 20th Anniv. Mix)》和《Drive U 2 dancing (AJURIKA Remix)》,最終觀眾選擇了后者。這兩首都是佐宗綾子女士作曲的《山脊賽車》系列的人氣歌曲的Remix版,我也覺得“這沒法做選擇吧”。
田端:第二次是《偶像大師》系列的《スタ→トスタ→ -AJURIKA Remix-》(作曲:大久保博)和《キラメキラリ -おおくぼひろし Remix-》(作曲:神前曉,Remix:大久保博)。最終觀眾投票結(jié)果是后者,而我在選項面前糾結(jié)了好久,等到注意到的時候投票時間已經(jīng)結(jié)束了。
子川:兩首都是和大久保有關(guān)的曲子呢(笑)
大久保:因為想讓大家在選擇的時候猶豫“選哪個呢……”,最后和我預(yù)想的一樣呢(笑)。投票的總數(shù)達(dá)到了上萬票。直播平臺Twitch上只可以投一票,但是在手機(jī)AR那里可以連續(xù)多次投票,應(yīng)該有一部分的觀眾連續(xù)點擊手機(jī)畫面投了很多票吧。
▲用手機(jī)拍攝PC屏幕,會出現(xiàn)AR特效飛躍而出的效果。在線投票也可以通過這臺手機(jī)完成。
田端:像在DJ舞池里跟著節(jié)奏搖擺的感覺,很有趣呢。最后的樂曲選擇了《埼玉2000》,是出于什么樣的理由呢?
子川:因為這首歌是我最喜歡的游戲音樂,因此提出了“請加進(jìn)歌單”的請求。有把氣氛炒熱真的很開心。
大久保:和萬南Fes的未來小町DJ表演一樣,那一次歌單也是我做的,《太鼓之達(dá)人》系列的曲子很受大家歡迎。AOF里《埼玉2000》和之前的那首《Rotterdam Nation Remix》(作曲:細(xì)江慎治/《山脊賽車》系列)之間銜接的很漂亮,收了個不錯的尾。
田端:真的接的很漂亮,曲子一開始變化的時候我都沒察覺到。
大久保:未來小町自身角色的可愛和歌單的風(fēng)格形成了鮮明的落差,收到了很多觀眾們“可愛但是壞壞的DJ”這樣的反饋(笑)。其實這是因為雖然有過“把動漫歌曲(Anisong)加入進(jìn)來”的想法,但最后還是遵從了“既然是GAME舞臺的DJ表演那當(dāng)然要用游戲音樂”。我認(rèn)為選曲風(fēng)格更近似于游戲音樂的活動上DJ會放的歌。
子川:雖然這次的主要目的還是對BanaDIVE? AX的演示實驗,但是我們收到了對DJ表演本身的贊賞,非常感謝大家。也收到了“未來小町的DJ表演太棒了”這樣的評論。
田端:未來小町的DJ表演結(jié)束后,就是大久保先生自己的DJ表演了。兩邊的表演現(xiàn)場都看過之后,我有股“DJ未來小町像大久保先生的女兒一樣”的感覺。不僅僅是選曲的因素,(對小町)充滿情感也是讓我有像女兒這種感覺的原因。
▲大久保先生在AOF的GAME舞臺進(jìn)行DJ表演。2020年12月31日~2021年1月1日舉辦的AOF2當(dāng)中,未來小町將會和大久保先生共同出演。這次除了可以體驗在線投票、AR特效之外,還可以欣賞到未來小町和大久保先生輪流播放歌曲的Back to Back(B2B)的DJ表演。
子川:可以說是融入了大久保先生的人格,很有趣呢。
大久保:未來小町動作捕捉演員也是我來負(fù)責(zé)指導(dǎo)的,所以說我的影子還可以在其他各種地方看到(笑)。
因為會的多 所以開發(fā)了BanaDIVE? AX
田端:BanaDIVE? AX這個名稱,有著怎樣的含義呢?
大久保:在BNKEN,我們進(jìn)行各種將數(shù)字化與現(xiàn)實結(jié)合起來的研究,這些研究統(tǒng)稱為BanaDIVE?(BandaiNamco Deep Immersive Visual Enhancement)。例如在CEATEC2019當(dāng)中,我們與Sunrise合作,展示了將《機(jī)動戰(zhàn)士高達(dá) THE ORIGIN -RISING-》的CG鋼坦克,與實拍的丸之內(nèi)商務(wù)區(qū)合成出的VR影像。由AI驅(qū)動的DJ系統(tǒng),將來應(yīng)該也會和xR的研究結(jié)合起來,因此取了AI的“A”和xR的“X”,將其命名為BanaDIVE? AX。
田端:在BanaDIVE? AX的新聞公告中有“開發(fā):萬代南夢宮研究所;開發(fā)協(xié)力:SmileBoom”這樣的版權(quán)信息。想請教一下開發(fā)體制是怎樣的。
大久保:本系統(tǒng)的實現(xiàn)過程中使用到了許多組件,其中包括樂曲的分析、DJ表演的動畫程序等。有關(guān)樂曲的節(jié)奏(BPM)、Beat(拍子)、副歌(高潮段落)等等的解析,我們使用了CRIWARE的BEATWIZ中間件來完成。而程序整體的軟件開發(fā),則是由SmileBoom來協(xié)力進(jìn)行。根據(jù)我方的設(shè)計框架,他們完成了基于樂曲的分析結(jié)果生成動畫和舞美效果的程序。
企劃剛開始的時候,我的腦海中就已經(jīng)把組成BanaDIVE? AX的全部組件都列出來了。我個人除了音頻環(huán)節(jié)之外,還負(fù)責(zé)管理動作捕捉和動畫團(tuán)隊,所以為了讓各個團(tuán)隊之間的技術(shù)組合起來完成目標(biāo),在很早的階段就已經(jīng)規(guī)劃好了。
田端:我一直只把您當(dāng)做音樂方面的專家,沒想到動畫也精通?。?/p>
大久保:是的。雖然我是以音樂創(chuàng)作者的身份入職南夢宮的,一直在音頻團(tuán)隊里擔(dān)任音頻開發(fā)的角色,但是因為對CG和影像感興趣,所以偶爾去幫個忙。因為這樣一層背景,在后來的組織變更的過程中,逐漸擔(dān)當(dāng)起了動作捕捉團(tuán)隊、動畫團(tuán)隊、影像團(tuán)隊的管理角色。
田端:能力很多元啊。
大久保:在像素畫流行的年代開始,我就對音頻和繪畫很感興趣,積累了很多的經(jīng)驗。以一次在NIFTY-Serve(日本早期網(wǎng)絡(luò)通信服務(wù)商)的Mac相關(guān)論壇投稿原創(chuàng)圖標(biāo)的經(jīng)歷為契機(jī),我開始在各種媒體上發(fā)布免費(fèi)軟件。由此,雖然我是音頻團(tuán)隊的,但在《山脊賽車》系列、《皇牌空戰(zhàn)》系列、《爆鉆小英雄》系列當(dāng)中協(xié)助了圖標(biāo)和像素畫的制作。所以有些作品上面在視覺藝術(shù)擔(dān)當(dāng)一欄寫的是我的名字。3DCG方面也是類似情況,我從Toyo Links(現(xiàn)IMAGICA,日本大型影視動畫公司)用Metaball(一種早期CG渲染技術(shù))來制作電視廣告的時候(1984年前后)就開始關(guān)注了,所以當(dāng)我工作范圍擴(kuò)大的時候并沒有感受到什么違和感。
現(xiàn)在BNS負(fù)責(zé)管理動作捕捉團(tuán)隊的大曾根淳,和我是同期進(jìn)入公司的,在新入社員研修班是同班。我對CG很有興趣,而他是CG開發(fā)部的,所以和他討論了各種各樣的相關(guān)話題。他統(tǒng)管動作捕捉團(tuán)隊之后,也和他交流了很多動作捕捉相關(guān)知識,這些知識也就自然而然的為我所用了。
田端:因為有這些經(jīng)歷,所以有了開發(fā)BanaDIVE? AX的想法嗎?
大久保:與其說是因為經(jīng)歷,不如說是因為迄今為止的經(jīng)驗和知識塑造出了這樣的想法。因為擁有DJ經(jīng)驗,所以能構(gòu)思出讓角色出色進(jìn)行DJ的AI邏輯;因為有游戲音樂相關(guān)知識,所以能夠使用這種以編程的方式制作互動式音樂的手法;因為有CG動畫相關(guān)知識,所以能夠?qū)赢嫚顟B(tài)(Animation Tree,也譯作動畫樹)機(jī)構(gòu)建起來,并且自然的想象出為了構(gòu)建這樣的狀態(tài)機(jī)需要怎樣進(jìn)行動作捕捉動畫的收錄。
當(dāng)我把自己的知識和經(jīng)驗匯總起來時,就整合出了項目完成所需的全部組件。另外,BNKEN和BNS在各個領(lǐng)域有很多的專家,所以我可以向他們展示我的想法,確認(rèn)“這樣有沒有問題?”,并得到他們的建議。如果是一個由DJ、AI、音頻、CG動畫等領(lǐng)域的專家分別組成的項目,反而可能不會這么容易成型。
不僅只是DJ表演?舞臺體驗的其他部分也由音樂驅(qū)動
田端:在AOF中,未來小町的DJ表演時間大概是20分鐘。需要怎樣的提前準(zhǔn)備可以達(dá)到這種表演效果呢?
▲AOF中未來小町進(jìn)行DJ表演所用的現(xiàn)場系統(tǒng),分為主機(jī)和備份機(jī)兩臺。本圖出自CEDEC2020《游戲開發(fā)技術(shù)創(chuàng)造演唱會新體驗(DJ未來小町開發(fā)案例)》分享會的演示材料。
大久保:BanaDIVE? AX這套系統(tǒng),是以事先分析完成的樂曲數(shù)據(jù)為基礎(chǔ)進(jìn)行DJ表演的。另外角色動作、舞臺照明、VJ視頻、AR影像等等,均由同一套數(shù)據(jù)來驅(qū)動。也就是說不僅是DJ表演,一切的舞臺體驗都由樂曲數(shù)據(jù)來驅(qū)動。當(dāng)今的大多數(shù)DJ都使用DJ軟件提前分析歌曲數(shù)據(jù),并帶著保存這些數(shù)據(jù)的U盤來到舞臺上。比較有代表性的DJ軟件有rekordbox(Pioneer DJ)、TRAKTOR(Native Instruments)等等。在iPhone上也有WeDJ for iPhone(Pioneer DJ)這樣的App,在iTunes里購買的歌曲可以由這個App來進(jìn)行分析。
例如在WeDJ for iPhone中,播放兩首想要接的歌曲時按下SYNC按鈕,兩首歌的節(jié)奏就可以進(jìn)行匹配(自動對拍),然后就可以在恰當(dāng)?shù)臅r機(jī)操作交叉推子過渡了。有經(jīng)驗的DJ往往就不用SYNC按鈕,靠自己的耳朵就可以把兩首歌的節(jié)奏匹配上。不依賴外部技術(shù),靠聽兩首歌就能調(diào)整真的很帥(笑)。但是在AI驅(qū)動的情況下,還是使用自動對拍比較好。
田端:就是說,和當(dāng)今的DJ一樣,BanaDIVE? AX也是預(yù)先對樂曲進(jìn)行分析,而這一步是在DJ軟件或者BEATWIZ這種中間件來自動化完成的。
大久保:是的。但是究竟能否完全的自動化,我認(rèn)為還有繼續(xù)研究的余地。例如俱樂部音樂這種類型大多構(gòu)成簡單,相對來說分析會更容易。與之相對,動畫歌曲(Anisong)和游戲音樂的音樂風(fēng)格更加多樣,樂曲構(gòu)成更加復(fù)雜,很難完美的進(jìn)行分析。在實際操作中,雖然正在用DJ軟件的DJ很多,但是不能只依賴自動分析出來的歌曲數(shù)據(jù),而是要事先進(jìn)行歌曲銜接部分的確認(rèn),手動設(shè)定標(biāo)記點。未來小町的DJ表演也是在樂曲分析的基礎(chǔ)上,由我來設(shè)定標(biāo)記點的。
田端:未來小町的DJ表演不僅包含了機(jī)械式的自動分析,也融合進(jìn)了大久保先生的個性呢。那也就是說,如果由子川先生來打標(biāo)記點的話,就會變成不一樣的DJ表演了?
大久保:確實是這樣。越細(xì)致的去設(shè)置這些標(biāo)記點,未來小町的DJ表演就會變得越完美。人類進(jìn)行DJ表演時也是這樣,越是不那么厲害的DJ,預(yù)先準(zhǔn)備時越要細(xì)致。
田端:可以請您介紹一下兩首歌進(jìn)行銜接的AI邏輯嗎?
大久保:我們使用的AI不是以深度學(xué)習(xí)為代表的那種級別的AI,而是被稱為狀態(tài)機(jī)(State Machine)的游戲AI技術(shù)。比如《吃豆人》當(dāng)中的游戲AI,就是監(jiān)視吃豆人的狀態(tài),設(shè)置“在吃豆人到達(dá)某坐標(biāo)時,粉色怪物就會以該坐標(biāo)向前3像素為目標(biāo),進(jìn)行前進(jìn)動作”這樣的if判斷代碼,來驅(qū)動怪物的運(yùn)動。在BanaDIVE??AX中,是基于分析好的數(shù)據(jù)和標(biāo)記點,對歌曲的狀態(tài)進(jìn)行判斷,從而控制角色的DJ表演、動作、舞臺照明等等。
田端:如果在場觀眾的氛圍非常高漲時,BanaDIVE??AX的游戲AI可能作出“比最初預(yù)定的時間延長一些”的判斷嗎?
大久保:AOF上是不行的。雖然可以遵循“接的短一點”、“接的長一點”這些人給出來的指示,但是還不能基于觀眾的反應(yīng)進(jìn)行AI的判斷。目前我們還是只能通過觀眾在線投票來間接反映觀眾的反應(yīng)情況。不過,慶應(yīng)義塾大學(xué)湘南藤澤校區(qū)(SFC)的德井直生先生等人基于觀眾的人數(shù)和動作來選擇下首播放的歌曲的研究(※),就使用了機(jī)器學(xué)習(xí)。正在考慮哪天能夠和這種選曲研究進(jìn)行合作??傮w來說,“表演成什么樣”相關(guān)的研究是我們下一步工作的重點。
※Multi-Motion Crossfader: Human Tracking DJ Mix System by Crowd Reading(Yuga Kobayashi, Ryo Nishikado)。
我們畢竟是所屬于娛樂公司,所以在活動現(xiàn)場使用游戲AI的邏輯,營造了一個角色可以自己進(jìn)行DJ表演這種感覺的舞臺,觀眾可以通過在線投票的方式加入進(jìn)來,體驗“由AI舞動出的未來”。從技術(shù)人員的角度來看的話,只要專精于技術(shù)就好了,但是當(dāng)技術(shù)與未來小町這一角色形象結(jié)合起來,還是希望可以為了創(chuàng)造娛樂體驗而進(jìn)行實驗。
田端:前面您提到“不僅是DJ表演,一切的舞臺體驗都由樂曲數(shù)據(jù)來驅(qū)動”,以未來小町雙手舉起拍手這一動畫為例,AI是以分析出的樂曲數(shù)據(jù)和標(biāo)記點為基礎(chǔ),判斷出什么地方需要拍手的嗎?
大久保:是這樣的。舉例來說,如果分析的結(jié)果是“UP”的話,就會在“UP”的目錄當(dāng)中隨機(jī)選用一種動畫樣式。在此基礎(chǔ)上,我們再給出“這個地方想要跟隨節(jié)奏做動作”的指示。DJ器材的操作動畫與DJ表演的驅(qū)動進(jìn)行同步,在推子應(yīng)該上下移動時,未來小町也會進(jìn)行用手推上推下推子的動畫。在接下一曲時,也會準(zhǔn)確的觸碰選歌旋鈕。推子和旋鈕的操作動作,是將各自的坐標(biāo)信息與之間的坐標(biāo)信息進(jìn)行匹配后,使用IK自動計算各個關(guān)節(jié)的角度,而非動作捕捉生成。這一系列動畫的混合,是SmileBoom的視覺擔(dān)當(dāng),與BNS的動畫師一同討論調(diào)整的。雖然還有很多改進(jìn)的余地,但是已經(jīng)和人的真實動作接近了。
田端:然后,舞臺照明、VJ視頻、AR影像等等,也是完全由音頻驅(qū)動的吧?
大久保:是的。另外揚(yáng)聲器的律動、攝像機(jī)的切換時機(jī),也是根據(jù)4小節(jié)、8小節(jié)的節(jié)拍這樣計算控制。
田端:AOF活動中鏡頭也跟著歌曲節(jié)奏進(jìn)行切換,這是現(xiàn)實的Livehouse無法見到的畫面呢。因為是平時無法見到的畫面,所以有著不可思議的體驗。
大久保:SXSW的舞臺原本設(shè)計有正面、右側(cè)、左側(cè)的三個不同畫面。AOF時只有一個畫面,因此需要切換為面向直播使用的鏡頭設(shè)計。AR影像也是在SXSW的階段就計劃添加,將手機(jī)攝像頭對準(zhǔn)正面的畫面,就可以展現(xiàn)在會場中飛舞特效的演出效果。VJ視頻則是使用Resolume這個VJ軟件通過程序控制的。我自己也做過VJ,我自己習(xí)慣使用,所以在BanaDIVE? AX中采用了這樣一個通用的VJ軟件。
田端:真是多才多藝啊(笑)。
大久保:在BanaDIVE? AX中,DJ和VJ使用的是大家通常使用的數(shù)據(jù)和素材格式。我認(rèn)為音樂的編成應(yīng)當(dāng)由DJ來進(jìn)行,視頻的制作也應(yīng)當(dāng)由VJ來進(jìn)行,而非由軟件工程師全部負(fù)責(zé)。把專業(yè)的部分交給專業(yè)的人,絕對可以塑造高質(zhì)量的舞臺。因此,我們開始的目標(biāo)就是打造一個DJ和VJ可以像平常一樣使用的系統(tǒng)。
田端:BanaDIVE? AX可以應(yīng)用于未來小町以外的角色模型嗎?
大久保:目前,因為模型的不同,IK效果還有些不匹配的情況,希望將來可以實現(xiàn)簡單的模型導(dǎo)入替換。目前項目還在開發(fā)過程中,相關(guān)的規(guī)范還在和ASOBINOTES團(tuán)隊探討。我和子川每次見面,也都會談到“這里我想這樣”、“那里我想改進(jìn)一下”這樣的構(gòu)想。
子川:就在這次訪談前我們剛討論了這個話題。在我的角度上,我非常希望可以借助BNKEN的技術(shù)驅(qū)動角色進(jìn)行DJ表演,打造能夠和觀眾共同營造熱烈氛圍的活動。
大久保:我很期待。
(翻譯注:后續(xù)在電音部企劃已實裝該系統(tǒng),并應(yīng)用在GAME在線直播及namco TOKYO線下店。)
訪談前篇完。
本文允許轉(zhuǎn)載,如需轉(zhuǎn)載請私信聯(lián)系UP主,并標(biāo)明UP主名稱,謝謝!
標(biāo)簽:
- 有關(guān)驅(qū)動未來小町DJ活動的BanaDIVE AX,和開發(fā)者大久保和電音部子川P聊了聊(前篇)
- 人類的榮光并不能永存,夜之城也沒有活著的傳奇
- 劇情謎之走向,主角太拉跨
- 監(jiān)督故事丨守護(hù)"生態(tài)島"水清岸綠
- 性能不俗雄心大,印度“月船3號”成功落月
- 輕信是熟人隨即“入套”!北京一專搭訕老人騙金首飾團(tuán)伙落網(wǎng)
- 北京地鐵:延長明日早高峰時段最大運(yùn)力投放時長,視情加開臨客
- 大連普蘭店4.6級地震:未造成房屋倒塌及人員傷亡,有列車晚點
- 深圳龍華區(qū)總工會、司法局聯(lián)合發(fā)布助企惠工十大行動舉措
- 黑海緊張局勢加??!保險公司提高俄羅斯油輪的保費(fèi)
- 裝修 靈感 | 這間中古小家,推開墻壁竟另有一番天地!
- 我們?yōu)槭裁聪矚gJOJO
- AMADA潤滑脂資料
- NANYANG HOLD(00212)公布中期業(yè)績,股東應(yīng)占溢利1.26億港元 同比虧轉(zhuǎn)盈
- 桂林可以異地辦港澳通行證嗎
- 探秘元宇宙虛擬體驗 ——廣安華鎣市融媒體中心走進(jìn)中國網(wǎng)四川元宇宙基地
- 花唄逾期100天了多久能恢復(fù)-花唄逾期100天了多久能恢復(fù)正常使用
- 中國男籃抵達(dá)菲律賓備戰(zhàn)世界杯
- 我國最大!面積相當(dāng)于1個足球場的天然氣罐建成完工!
- 警惕!日媒:岸田政府稱只要滿足條件日本可以出口殺傷性武器
- 第26屆京臺科技論壇京臺金融合作論壇在京舉辦
- 下一站法甲 女足國腳吳澄舒加盟第戎隊
- 今日份好圖
- 我們不認(rèn)識沒關(guān)系,這天非常熱,一小會兒我們就熟了
- 寒武紀(jì):董事長提議3000萬至6000萬元回購股份
- 小學(xué)生搶劫犯法嗎(小學(xué)生搶槍你又什么看法)
- 北京西部等地可能發(fā)生山洪災(zāi)害!兩部門發(fā)布黃色山洪災(zāi)害預(yù)警
- 遼寧大連先后發(fā)生4.6和2.8級地震
- 香港禁止網(wǎng)上代購日本10個都縣水產(chǎn)品,違反可判罰款及監(jiān)禁
- 為解決旅客出行需求,青藏鐵路加開臨時旅客列車
- 1 有關(guān)驅(qū)動未來小町DJ活動的BanaDIVE AX,和開發(fā)者大久保和電音部子川P聊了聊(前篇)
- 2 人類的榮光并不能永存,夜之城也沒有活著的傳奇
- 3 劇情謎之走向,主角太拉跨
- 4 監(jiān)督故事丨守護(hù)"生態(tài)島"水清岸綠
- 5 性能不俗雄心大,印度“月船3號”成功落月
- 6 輕信是熟人隨即“入套”!北京一專搭訕老人騙金首飾團(tuán)伙落網(wǎng)
- 7 北京地鐵:延長明日早高峰時段最大運(yùn)力投放時長,視情加開臨客
- 8 大連普蘭店4.6級地震:未造成房屋倒塌及人員傷亡,有列車晚點
- 9 我們?yōu)槭裁聪矚gJOJO
- 10 AMADA潤滑脂資料