科技让生活更美好
只需几秒钟，开源模型检索 4500 万篇论文，比 GPT-4o 还靠谱！
这就是由华盛顿大学和艾伦人工智能研究所（Ai2）打造的最新模型 OpenScholar。它还是首个从论文到数据集、模型检查点都完全开源的科研助手模型。
在由 20 位专家进行的 500 次对比实验中，72% 的情况下他们都觉得 OpenScholar 的输出结果超越了人类。
而且 OpenScholar 还会附上参考文献列表，非常贴心：
它的功能也非常丰富。
你可以询问 OpenScholar 某个研究课题的现状：“有没有人尝试过将检索增强型 LM 的检索库扩大到万亿级 tokens？”
寻找最新的数据集：
针对某篇论文询问技术细节：
或者询问算法的细节，比如机器人算法 / ReLU 算法等等：防骗数据库是干嘛的
有多位网友使用过后表示：做复杂课题也能快速搜集有用的资料，真是科研神器！
仅调用 8B 模型
一句话总结：它存储了 4500 万篇论文的大规模数据，并使用自定义训练的检索器、重排器和 8B 参数语言模型进行检索，并根据最新的科学文献内容回答问题。
具体来说，OpenScholar-8B（OS-8B）系统包括以下组件：罗永浩带货iphone12
为了评估 OpenScholar，团队还开发了 ScholarQABench—— 一个专门用于评估从多篇论文中综合信息以解决开放式科学问题的基准。
ScholarQABench 包含七个数据集：三个专注于单篇论文评估的现有数据集，以及四个需要跨多篇论文综合的新收集数据集。
最终在实验自动评估以及人工评估中，OpenScholar 模型的表现优于很多主流模型，包括 GPT-4o 和 Llama 3.1 70B。
搜索的可靠性方面，OpenScholar 更是远超 GPT-4o。
GPT-4o 在 90% 以上的情况下都引用了不存在的论文，而 OpenScholar 的结果都是来自确定来源。
以及在信息覆盖率、实用性、相关性等多个维度方面，OpenScholar 撰写的结果都优于 GPT-4o。
运营成本便宜 100 倍
对比基于 OpenAI 的 GPT-4o 和 Anthropic 的 Claude 的科研模型可以发现，它们虽然性能很强，但价格昂贵、而且工作原理也不透明。而 OpenScholar 正是为了挑战这些现有的大模型玩家入局的！
据开发人员称，OpenScholar 是首个完全开源的科学助手语言模型 —— 从数据到训练食谱再到模型检查点，全部公开！
研究人员可以非常清除地看到模型的训练过程和数据集的内容等，也可以根据自己的工作进行调整。
这样一来，规模较小、架构简单的 OpenScholar-8B 的运营成本比基于 GPT-4o 构建的同期系统 PaperQA2 便宜 100 倍。
对于小型机构、资金不足的实验室以及发展中国家的研究人员来说，这样的运营成本非常有吸引力。
不过，目前 OpenScholar 也有很多局限，比如：
例如，在描述特定方法时，它可能未能引用提出该方法的原始论文，而是引用了提及该方法的另一篇论文。
例如：当被问及机器人学中的大型基础模型时，此响应引用了一篇具有 3.07 亿参数模型的论文，而截至 2024 年 11 月，机器人学中当前最大的基础模型（RT-2）具有 550 亿参数。
目前出于对版权的尊重，OpenScholar 数据存储库仅包含公开的论文。这可能会降低模型在较封闭领域回答问题的能力。
团队表示，未来他们会纳入更多论文、升级检索增强算法，也会对各个领域的经典研究问题和论文进行深入整合，增强 OpenScholar 的专业程度。
不过，从实验结果来看，OpenScholar 已经是目前表现最好的 AI 学术研究助理之一啦，感兴趣的小伙伴可以直接戳下面的公开资料进行尝试！
Demo：
https://openscholar.allen.ai/
论文：
https://openscholar.allen.ai/paper
OpenScholar 代码：
https://github.com/AkariAsai/OpenScholar
ScholarQABench 数据集代码：
https://github.com/AkariAsai/ScholarQABench
更多测试 code：
https://github.com/AkariAsai/OpenScholar_ExpertEval
参考链接华硕d451v拆机教程
本文来自微信公众号：量子位（ID：QbitAI），作者：奇月，原标题《超越 GPT-4o！开源科研神器登场，4500 万篇论文检索增强生成靠谱回答》
未经允许不得转载：科技让生活更美好 » 超越 GPT-4o：开源科研模型 OpenScholar 登场，4500 万篇论文检索增强生成回答
