斯坦福团队大模型Octopus v2火了:手机就能运行 准确性超越GPT-4

站长之家 2024-04-07 16:01:31新闻资讯
130

近日,斯坦福大学研究人员发布的 Octopus v2模型引起了开发者社区的极大关注,其20亿参数的模型一夜下载量超过2k。

Octopus v2.png

这一模型可以在智能手机、汽车、个人电脑等端侧设备上运行,并在准确性和延迟方面表现超越了 GPT-4,同时将上下文长度减少了95%。Octopus v2还比 Llama7B + RAG 方案快了整整36倍,展示了端侧 AI 智能体的崛起。

Octopus v2的设计独特之处在于其函数性 token 策略,使其能够实现与 GPT-4相当的性能水平,同时大幅提高推理速度,超越基于 RAG 的方法,对边缘计算设备特别有利。模型在生成单独的、嵌套的和并行的函数调用时表现优异。为了训练该模型,研究团队采用了高质量数据集,并使用 Google Gemma-2B 作为预训练模型框架。训练过程中采用了完整模型训练和 LoRA 模型训练两种方法,展现了 Octopus v2在推理速度和准确性方面的优异表现。

在基准测试中,Octopus v2表现出卓越的推理速度,比 Llama7B + RAG 解决方案快36倍,在准确率上也超越了其他方案。这种效率和性能的提升归功于 Octopus v2的函数性 token 设计,使其成为端侧设备上极具竞争力的 AI 智能体。设备端 AI 智能体时代即将到来,Octopus v2的发布为这一趋势注入了新的活力。

论文:https://arxiv.org/abs/2404.01744

产品入口:https://huggingface.co/NexaAIDev/Octopus-v2

ai
THE END
tom
不图事事圆满 但图事事甘心。

相关推荐

全面掌握AI大模型:DeepSeek 高级提示词技巧使用详解
DeepSeek 的横空出世让更多的人打开了对AI大模型的认知,但是同时也带来了更多甜蜜的烦恼,AI大模型究竟该如何解锁其正确的使用姿势?如何向AI大模型提问才能得到我想要的回答...
2025-02-19 编程技术
172

SkyReels-V1:昆仑万维开源的AI短视频生成模型
SkyReels-V1是昆仑万维开发的一款面向AI短剧创作的视频生成模型。它利用先进的深度学习技术,通过结合口型生成、表情生成和肢体生成等多个生成模块,实现了对人物表演细节的精...
2025-02-19 新闻资讯
157

深圳福田、广州上线“AI公务员” :部署 DeepSeek 大模型覆盖 240 个场景
近日,深圳市福田区和广州市相继宣布上线基于 DeepSeek 大模型的“AI 公务员”(数智员工),标志着两地在智慧政务建设方面迈出了重要一步。据“幸福福田”公众号消息,福田区推...
2025-02-18 新闻资讯
148

Step-Audio:阶跃星辰与吉利汽车集团联合开源的语音交互大模型
Step-Audio是阶跃星辰与吉利汽车集团联合开源的阶跃Step系列多模态大模型中的一个重要组成部分,专注于语音交互领域。作为行业内首款产品级开源语音交互大模型,Step-Audio的...
2025-02-18 新闻资讯
145

将DeepSeek-R1大模型接入WPS,轻松实现AI文档编辑与处理
DeepSeek-R1大模型,作为新一代人工智能技术的杰出代表,以其强大的自然语言处理能力和深度学习能力,为文档编辑与处理带来了全新的可能性。本文将详细介绍如何将DeepSeek-R1...
2025-02-17 电脑知识
170

百度搜索:全面接入文心深度搜索与DeepSeek,引领AI搜索新时代
百近日,中国领先的搜索引擎平台——百度,宣布了一项具有里程碑意义的举措:其搜索引擎将全面接入文心深度搜索功能与DeepSeek技术。这一重大创新不仅标志着百度在人工智能领...
2025-02-17 新闻资讯
153