春节前后，全球科技创新的顶流当属DeepSeek，它以低成本、高性能的特性引领了第二个“ChatGPT时刻”，甚至在普及大众对AGI认知的影响力上更胜一筹。外媒也感慨，这是人工智能领域的“一场地震”“一座里程碑”。从技术原理上来说，Deepseek的成功，尤其是最新一代DeepSeek R1的成功，除了来自于它所采用的RL强化学习策略外，还采用了追一科技提出的旋转位置编码（RoPE）技术，以达到极低成本却可以实现和GPT-4o差不多效果的目的。
DeepSeek对RoPE的引用
传统的位置编码方法（如绝对位置编码或相对位置编码）在处理长文本时存在局限性，例如难以有效捕捉远距离依赖关系或计算复杂度较高。而RoPE通过引入“旋转矩阵”对向量进行位置变换，在保持相对位置关系的同时，也成为了目前长文本能力建模多个方案的基础，并降低了计算开销，比如PI、NTK、Yarn等。 该技术由追一科技在2021年提出，知名的技术极客组织EleutherAI认为RoPE是“革命性”的，具有开创式意义。
![]()
Google PaLM的论文中表明RoPE的有效性值得一提的是，RoPE这一技术除了被DeepSeek引用外，诸多国内外对标ChatGPT的大模型也采用了RoPE，如Meta的LLaMA，Google的PaLM、阿里的Qwen、智谱的GLM等。RoPE技术相继被大型语言模型所采用，证明了它的优秀效果。正如DeepSeek通过算法创新突破算力限制一样，中国的AI企业向世界证明：中国AI企业不仅能实现技术自主，更能定义技术标准。作为一家以技术驱动的AI企业，从深度学习到大模型时代，追一科技始终坚信，底层技术的突破是AI发展的核心驱动力，未来，追一科技将持续不断的引领创新突破，为智能时代的加速到来贡献力量。 