
1月28日,智源多模态大模型成果“Multimodal learning with next-token prediction for large multimodal models(通过预测下一个词元进行多模态学习的多模态大模型)”上线国际顶级学术期刊Nature,预计2月12日纸质版正式刊发,这是我国科研机构主导的大模型成果首次在Nature正刊发表。

(记者 李烨)1月28日,智源多模态大模型成果“Multimodal learning with next-token prediction for large multimodal models(通过预测下一个词元进行多模态学习的多模态大模型)”上线国际顶级学术期刊Nature,预计2月12日纸质版正式刊发,这是我国科研机构主导的大模型成果首次在Nature正刊发表。
2018年以来,GPT采用“预测下一个词元(Next-token prediction,NTP)”的自回归路线,实现了语言大模型重大突破,开启了生成式人工智能浪潮。
而多模态模型主要依赖对比学习、扩散模型等专门路线,自回归路线是否可以作为通用路线统一多模态?一直是未解之谜。智源这项成果表明,只采用自回归路线,就可以统一多模态学习,训练出优秀的原生多模态大模型,对于确立自回归成为生成式人工智能统一路线具有重大意义。(责编 邓力)