谷歌Gemini大模型比GPT-4强，但强的不多？

本文来自:华尔街见闻，作者常，标题图来自:视觉中国。

谷歌憋了几个月，人类最强大的AI模型——双子星座终于发布了。按照谷歌的说法，它可以像人类一样理解我们周围的世界，处理代码、文本、音频、图像、视频都不成问题。根据谷歌DeepMind团队的数据，在32项基准性能测试中，Gemini在30项测试中超过了GPT-4。

然而，许多科技分析师认为，尽管双子座的性能确实优于现有的多模态模型，但双子座与GPT-4的差距并没有那么夸张。从谷歌发布的演示视频来看，在过去一年的AI炒作中，很少有我们没有看到的东西。

更大的问题是，如果谷歌的计算能力资源、研发能力和丰富的数据只能勉强击败GPT-4，双子座可能是以人类目前的技术可以建造的大模型的上限。

比GPT-4好，但也好不了多少。

从谷歌发布的演示视频来看，双子座是玩“你画你猜”的好手，不仅能准确描述测试者在纸上画出的图形，还能根据测试者画出的轮廓猜出她画的是什么。索尼最好的音乐手机

在另一个例子中，测试者向Gemini展示了一张在锅里煮的煎蛋卷的图片，并通过语音询问煎蛋卷是否煮熟。双子座也语音回复:“还没熟，因为鸡蛋还是液体。”摩托罗拉xt301工程菜单

看起来很新鲜，但是双子座真的像谷歌说的那样全方位超越GPT 4号吗？

不完全是。

基准MMLU测试用于衡量AI模型在文本和图像任务中的表现，包括阅读理解、大学数学和物理、经济和社会科学的选择题测试。谷歌CEO皮柴表示，在MMLU测试中，双子全面击败了GPT4。纯文本问题，双子座90分，人类专家89分。GPT-4得分86；对于多模态问题，双子座得分为59，而GPT-4得分为57。

圣达菲研究所的AI研究员梅勒妮·米切尔(Melanie Mitchell)对媒体表示，双子座基准测试的表现令人印象深刻，这确实表明双子座是一个非常复杂的人工智能系统，但她指出，她并没有明显感觉到双子座和GPT-4在实际能力上的差距。

米切尔还指出，Gemini在语言和代码基准测试中的表现优于图像和视频:

斯坦福大学基础模型研究中心主任珀西·梁(Percy Liang)也对媒体表示，虽然Gemini有很好的基准分数，但很难知道如何解释这些数字，因为训练数据中的内容是保密的。

谷歌DeepMind还表示，在人类测试人员的帮助下，双子座降低了产生幻觉的频率，在回答问题时变得更加准确，在被问及时能够给出来源，遇到难题时也不会胡编乱造。

不过这也需要谷歌披露更多的数据，否则目前很难核实。

匆忙投入战斗

深度学习的教父杰弗里·辛顿(Geoffrey Hinton)在4月份离开谷歌时对媒体说:

或许正是因为这种意识，谷歌在推双子星上线时显得十分焦虑。

双子座最强大的全血版Gemini Ultra还要等几个月才能和大众见面。谷歌表示，Ultra版本将只面向部分客户、开发者、合作伙伴以及安全和责任专家。

一些分析师指出，谷歌甚至不知道Gemini Ultra的所有新功能，也没有为Gemini制定出货币化战略。考虑到人工智能模型训练和推理的高成本，谷歌可能需要很长时间才能拿出盈利策略。

会不会是谷歌的营销策略导致了今天产品发布的失败？也许是吧。或者说，构建最先进的生成式人工智能模型真的很难——即使你重组整个人工智能部门来加快进程，效果也未必尽如人意。

本文来自:华尔街，作者常贾帅

极米MOVIN与new z6x区别 对比

未经允许不得转载：科技让生活更美好 » 谷歌Gemini大模型比GPT-4强，但强的不多？