科技让生活更美好
志东西CF战队名称霸气正能量
作者彭云
编辑的心
6个月，我拿出3410亿个参数开发了一个大型模型，马斯克说对了！
3月18日，习之消息，就在刚刚，马斯克的人工智能初创公司xAI正式发布了此前备受期待的大型模型Grok-1，其参数达到了3140亿，远超open AI GPT 3.5的1750亿。
这是迄今为止参数数量最多的开源语言模型，模型权重和架构都是按照Apache 2.0协议开放的。
中望cad2014破解版
Grok-1是一个混合专家（MOE）模型。这种MOE架构专注于提高大模型的训练和推理效率。形象地理解，MOE就像聚集了来自各个领域的“专家”，在遇到任务时将它们调度给不同领域的专家，最后汇总结论以提高效率。决定每个专家做什么的是一种叫做“门控网络”的机制。
XAI在GitHub上开源了Grok-1的重量和架构。
GitHub地址:
https://github.com/xai-org/grok-1?选项卡=文件上的自述
目前，Grok-1的源权重数据大小约为300GB。
截至北京时间3月18日上午7时，Grok-1项目已收获3400颗恒星。
Grok-1是马斯克xAI自2023年7月12日成立以来发布的首款自研大型车型。XAI特别强调，这是一个从零开始培养自己的大模型。Grok-1没有针对特定应用进行微调。
XAI是马斯克去年刚刚创立的明星人工智能初创公司。其目的之一是在大模型领域与OpenAI、谷歌和微软等对手竞争。其团队来自OpenAI、谷歌DeepMind、谷歌研究院、微软研究院等众多知名企业和研究机构。
此前，马斯克刚刚“怒怼”OpenAI不“开放”，后脚又开放了自家顶级的3410亿参数自研大模型Grok-1。虽然马斯克在预热到发布的过程中“放了好几次鸽子”，但他最终并没有食言。
今天，xAI还公布了Grok-1的更多细节:
基本模型基于大量文本数据进行训练，尚未针对特定任务进行微调。
拥有3140亿个参数的专家混合模型的每个令牌的活跃权重比为25%。
2023年10月，XAI使用定制的训练堆栈在JAX和Rust上从头开始训练。
然而，xAI尚未公布Grok-1的具体测试结果，它与OpenAI即将发布的GPT-5大型模型之王的较量肯定会成为业界关注的焦点。
当然，马斯克做大模型的时候，大差距空怎么可能是“相互的”呢？
xAI的官方消息一经发布，ChatGPT的官方账号立即在X平台上与马斯克互动，并在Grok官方账号的评论下回复:“偷了我的笑话。”
马斯克自然不会示弱，当即表示，请告诉我OpenAI的“开放”在哪里。
马斯克的高仿号也立马跑过来添油加醋，说我们都知道Sam在运营ChatGPT的账号。
值得一提的是，xAI发布的Grok-1消息的封面图片是由Midjourney生成的，Grok给出了提示文本:具有透明节点和发光连接的神经网络的3D插图，显示了不同粗细和颜色的连接线的不同权重（a 3D神经网络插图，具有透明节点和发光连接，显示了不同粗细和颜色的连接线的不同权重）。手机前十名排行榜
原图:
未经允许不得转载：科技让生活更美好 » 突发：马斯克Grok开源！
