近期，专注于AI芯片与解决方案的SambaNova公司宣布了一项重大进展，在其基于自主研发的SN40L RDU处理器的云平台上，推出了DeepSeek-R1 671B模型推理云服务。据称，这一服务在业界内以极快的token输出速度脱颖而出，每秒可处理198个prompts。
SN40L RDU芯片是SambaNova的技术核心，它采用了台积电先进的5nm制程工艺，BF16算力高达638 TFLOPS。更令人瞩目的是其独特的三层存储结构设计：片内配备了520MB的SRAM缓存，通过2.5D封装集成了64GB的HBM内存，外加片外的1.5TB超大容量DDR DRAM内存。这一设计使得SN40L RDU芯片能够容纳远超同类竞品的模型参数。
除了强大的硬件配置，SN40L RDU芯片在结构上还具备高度的灵活性。它能够根据实际需求动态重新配置硬件资源和数据流，从而显著提升计算效率和内存访问速度。这种灵活性使得SambaNova的云平台在处理复杂AI任务时，能够展现出卓越的性能。
SambaNova公司进一步强调，他们仅需一个配备16个SN40L RDU芯片的机架，即可成功部署DeepSeek-R1 671B模型推理服务。这一部署方案不仅高效，而且大大降低了运营成本，为AI应用的广泛推广奠定了坚实基础。
