一个名叫「Music To Image」应用程序在Hugging Face社区横空出世后,直接热度飙升,冲上了本周热搜榜,让人们看到了「音生图」的潜在可能性。
简而言之,只要上传一段音乐,它就能根据音乐旋律和歌词,生成一张对应意境的图片。
玩法也十分简单,只需在页面上拖拽或者上传一段音频文件,支持MP3/WAV等常见音频格式,AI会直接调用AI绘画工具Stable Diffusion的API接口,进行下一步的「文生图」动作。
将音频发送到LP-Music-Caps以生成音频字幕,然后使用Llama2大模型将其转换为说明性图像描述,最后运行Stable Diffusion XL以从音频生成图像!
注意:音频仅能推理前30秒。