研究人員招募了 5 名志愿者,先讓其聽藍(lán)調(diào),古典,鄉(xiāng)村,迪斯科,嘻哈,爵士樂,金屬,流行,雷鬼和搖滾等不同音樂類型的 15 秒音樂片段,然后記錄志愿者的 fMRI 數(shù)據(jù)。
谷歌使用這些數(shù)據(jù)訓(xùn)練出一個深度神經(jīng)網(wǎng)絡(luò),以了解大腦活動模式與音樂節(jié)奏和情感等不同元素之間的關(guān)系。
Brain2Music 基于谷歌此前推出的 MusicLM 模型(基于文本生成音樂片段),基于 fMRI 生成 15 秒音樂片段。
研究結(jié)果顯示 Brain2Music 生成的 15 秒音樂片段,其中一段內(nèi)容“Oops!...I Did It Again”和測試聽到的原版音樂基本相同。