斯坦福大学研究团队近日推出了一款全新的开源端侧大模型 Octopusv2。
Octopusv2 是一款拥有 20 亿参数的开源语言模型，专为在 Android 设备上运行而设计，同时也适用于汽车、个人电脑等其他端侧设备，并将实用性扩展到从 Android 系统管理到多个设备的编排等各种应用程序。
该模型在准确性和延迟方面的表现超越了 GPT-4，并且在上下文长度上减少了 95%，显示出了显著的性能优势。此外，Octopus v2 比 Llama7B + RAG 方案快 36 倍。
Octopus-V2-2B 模型的开发过程中，研究团队采用了创新的函数 token 策略，这使得模型在训练和推理阶段能够高效地生成复杂的函数调用。
