在人工智能（AI）领域，过去两年里，关于云端与端侧模型的讨论热度不减。一个理想化的愿景是，随着轻量化模型能力的增强，AI将不再依赖云端，实现每台设备的永不离线智能。然而，现实却呈现出另一番景象：尽管AI玩具和眼镜等新产品层出不穷，其核心智能功能仍高度依赖云端。
然而，在今年的世界人工智能大会（WAIC）上，一家名为RockAI的公司展示了其在端侧智能领域的突破性进展。RockAI致力于推动真正的离线智能，他们选择了一条少有人走的路，通过大胆舍弃主流的Transformer架构，成功在端侧部署了高性能的AI模型。
RockAI的联合创始人邹佳思在接受采访时表示，实现离线智能面临两大挑战：算力和功耗。大模型在设备上运行需要高算力配置，而大多数智能设备并不具备这样的条件。功耗问题也是一大障碍，尤其是在手机上部署大模型时，设备发热严重，影响用户体验。
邹佳思进一步解释，Transformer架构之所以在云端表现出色，是因为其革命性的注意力机制。但这种机制在端侧设备上却显得水土不服，因为它需要全局计算，导致算力需求极高。为了解决这个问题，RockAI重新设计了一种更适合端侧设备的架构，称为Yan架构。
Yan架构的核心创新在于抛弃了Transformer的高耗能注意力机制，转而采用更轻的特征提取和分区激活机制。这种架构不仅降低了算力需求，还显著降低了功耗。Yan架构还实现了多模态能力，能够在本地实现真正的“记忆”，动态调整权重，长期保留并更新用户偏好。
邹佳思指出，离线智能的必要性体现在多个方面。首先，它提供了绝对的隐私安全，用户的敏感数据无需上传云端。其次，离线智能能够实现极致的实时交互，满足毫秒级延迟需求。从成本角度来看，云端API的价格虽然不断下降，但海量设备部署的成本依然高昂。而离线智能则能够显著降低后续使用成本。
对于AI眼镜和玩具等热门领域，邹佳思表示，虽然市场对这些设备充满了想象力，但硬件的物理现实却极为残酷。目前市面上的主流方案在算力上无法满足AI模型的需求。因此，他们正在探索两条路径：一是通过手机算力辅助眼镜实现AI功能；二是与有魄力的合作伙伴一起，尝试在下一代眼镜上采用更强大的芯片。
邹佳思还提到，海外市场对离线智能的需求更为迫切。这主要源于文化上的隐私执念、客观存在的网络鸿沟以及更高的人力成本催生的效率需求。因此，RockAI选择通过赋能中国出海企业，将技术带给全球用户。
面对未来硬件性能的提升，邹佳思表示，他们并不担心“小而美”的优势会消失。相反，他们相信随着硬件底座的增强，Yan架构大模型同样能够发挥出更大的潜力。而他们的护城河则在于对端侧智能的深刻理解和持续创新。
RockAI的故事告诉我们，尽管端侧智能面临诸多挑战，但只要有足够的创新和坚持，就能够找到破局之道。随着技术的不断进步和市场的逐步成熟，离线智能的未来值得期待。
