外界期待已久的谷歌大语言模型Gemini在美国时间12月6日早间正式对外发布,谷歌首席执行官皮查伊表示:
Gemini 1.0是目前为止谷歌能力最强的通用人工智能模型。
“Gemini是原生多模态打造,是(谷歌)通往Gmeini模型时代的第一步。”皮查伊在当天的声明中说。
谷歌当天发布的Gemini 1.0共分为Ultra, Pro和Nano三个版本,其中Ultra的能力最强,复杂度最高,能够处理最为困难的任务,Pro能力稍弱,可以用来处理多任务,Nano则更注重于端侧的处理能力。
目前谷歌旗下的基于大语言模型对标ChatGPT的人工智能语言对话机器人Bard已经启用Gemini Pro作为底层大模型驱动,能够实现比过去由Palm大模型驱动的更为高级的推理、规划、理解等能力,同时继续保持免费。谷歌预计在明年初将推出“Bard Advanced” ,计划使用 Gemini 最强版本 Ultra。
01
主打三大“杀手锏” 能力超越GPT-4
在当天的发布博客文章中,谷歌表示,对Gemini 模型进行了严格的测试,并评估了它们在各种任务中的表现。
从自然图像、音频和视频理解,到数学推理等任务,Gemini Ultra 在大型语言模型研发被广泛使用的 32 个学术基准测试集中,在其中 30 个测试集的性能超过当前 SOTA 结果。
另外,Gemini Ultra 在 MMLU(大规模多任务语言理解数据集)中的得分率高达 90.0%,首次超越了人类专家。MMLU 数据集包含数学、物理、历史、法律、医学和伦理等 57 个科目,用于测试大模型的知识储备和解决问题能力。
针对 MMLU 测试集的新方法使得 Gemini 能够在回答难题之前利用其推理能力进行更仔细的思考,相比仅仅根据问题的第一印象作答,Gemini 的表现有显著改进。
谷歌还专门公布了在各方面能力上与OnpeAI目前最强的大语言模型GPT-4进行的对比,结果显示,在文本处理方面,除了在MMLU 得分90%超过GPT-4的86.4%以外,Gemini Ultra在推理、数学、代码等方面能力的得分均高过GPT-4。