斯坦福团队大模型Octopus v2火了:手机就能运行 准确性超越GPT-4

站长之家 2024-04-07 16:01:31新闻资讯
25

近日,斯坦福大学研究人员发布的 Octopus v2模型引起了开发者社区的极大关注,其20亿参数的模型一夜下载量超过2k。

Octopus v2.png

这一模型可以在智能手机、汽车、个人电脑等端侧设备上运行,并在准确性和延迟方面表现超越了 GPT-4,同时将上下文长度减少了95%。Octopus v2还比 Llama7B + RAG 方案快了整整36倍,展示了端侧 AI 智能体的崛起。

Octopus v2的设计独特之处在于其函数性 token 策略,使其能够实现与 GPT-4相当的性能水平,同时大幅提高推理速度,超越基于 RAG 的方法,对边缘计算设备特别有利。模型在生成单独的、嵌套的和并行的函数调用时表现优异。为了训练该模型,研究团队采用了高质量数据集,并使用 Google Gemma-2B 作为预训练模型框架。训练过程中采用了完整模型训练和 LoRA 模型训练两种方法,展现了 Octopus v2在推理速度和准确性方面的优异表现。

在基准测试中,Octopus v2表现出卓越的推理速度,比 Llama7B + RAG 解决方案快36倍,在准确率上也超越了其他方案。这种效率和性能的提升归功于 Octopus v2的函数性 token 设计,使其成为端侧设备上极具竞争力的 AI 智能体。设备端 AI 智能体时代即将到来,Octopus v2的发布为这一趋势注入了新的活力。

论文:https://arxiv.org/abs/2404.01744

产品入口:https://huggingface.co/NexaAIDev/Octopus-v2

ai
THE END
tom
不图事事圆满 但图事事甘心。

相关推荐

百度文心智能体平台免费开放文心大模型4.0,引领AI新浪潮
百度今日宣布,其文心智能体平台(AgentBuilder)正式向广大开发者免费开放文心大模型4.0版本。文心大模型4.0自2023年10月发布以来,以其卓越的理解、生成、逻辑和记忆能力,被...
2024-07-05 新闻资讯
97

大模型是什么意思?大模型基本概念、特点及分类详解
大模型是指具有大规模参数和复杂计算结构的机器学习模型。本文从大模型的基本概念出发,对大模型领域容易混淆的相关概念进行区分,并就大模型的发展历程、特点和分类、泛化与...
2024-06-07 电脑知识
90

快手推出“可灵”大模型,开创国产视频生成技术新篇章
6月6日,快手公司宣布其自主研发的“可灵”视频生成大模型官网正式上线。这一创新模型由快手AI团队倾力打造,汇聚了公司在视频技术领域的深厚积累,并采用了与OpenAI的Sora相...
2024-06-07 新闻资讯
110

OpenAI启动新一代AI模型训练,迈向通用人工智能新征程
全球领先的人工智能研究和部署公司Open AI近日宣布,已正式启动新一代旗舰人工智能模型的训练工作。这一举措旨在超越现有的GPT-4大模型,进一步拓展人工智能技术的能力边界,...
2024-05-29 新闻资讯
52

百度智能云宣布文心大模型ENIRE Speed与ENIRE Lite全面免费
百度智能云今日宣布,其文心大模型系列中的两款主力模型ENIRE Speed与ENIRE Lite即日起全面免费开放给用户使用。这两款大模型自今年3月发布以来,以其卓越的性能和支持8K及12...
2024-05-21 新闻资讯
55

OpenAI推出免费旗舰AI模型GPT-4o,全面提升交互体验
在人工智能领域不断突破的OpenAI近日宣布,其最新研发的生成式AI模型GPT-4o即将与公众见面,并在未来数周内逐步整合到OpenAI的系列产品之中。这一消息在科技界引起了广泛关注...
2024-05-14 新闻资讯
35