Google DeepMind 发布了一份长达150页的技术报告，详细介绍了 Gemini1.5Pro 和 Gemini1.5Flash 两个模型的性能特点和架构以及这个多模态大型模型的最新进展。
Gemini1.5于今年2月上线，通过工程优化、MoE架构等策略显著提升了性能和速度。该模型具有更长的上下文理解能力、更强的推理能力，能够处理跨模态内容。
报告中提到了两个新型号:
Gemini1.5Pro:在多个功能和基准测试中超越了2月份的版本。
Gemini1.5Flash:轻量级变体，旨在提高效率，性能损失极小。
Gemini1.5Flash是一个Transformer解码器模型，拥有超过2M的上下文和多模态功能，优化了张量处理单元(TPU)的使用，并减少了模型服务延迟。它能够并行计算注意力和前馈分量，使用高阶预处理方法提高训练质量。
报告还评估了Gemini1.5在处理英语、中文、日语和法语查询时，每个输出字符的平均时间。结果显示，Gemini1.5Flash在所有测试语言中实现了最快的生成速度。
此外，Gemini1.5在跨模态长上下文检索任务上实现了近乎完美的召回，提高了长文档问答、长视频问答和长上下文自动语音识别的最佳水平，并在一系列广泛的基准测试中匹配或超越了Gemini1.0Ultra的性能。
Gemini1.5Pro在5月份的版本在多个推理、编码、视觉和视频基准测试中进行了改进，而音频和翻译性能保持不变。
报告还介绍了Gemini1.5Pro数学增强版本的性能，它在Hendryck的MATH基准测试中取得了91.1%的突破性性能，解决了此前模型无法解决的亚太数学奥林匹克题目。
最后，报告强调了Gemini1.5在现实世界的应用潜力，展示了它与专业人士合作完成任务的能力，在10个不同的工作类别中可节省26-75%的时间。此外，该模型还能学会将英语翻译成Kalamang，一种只有不到200人使用的语言，与人类学习者的水平相当。
Gemini1.5的技术报告展示了谷歌在大型多模态模型领域的最新进展，其性能的提升和应用潜力为未来的AI技术发展提供了新的方向。