在AI芯片领域，一场颠覆性的变革正在悄然发生。一家名为Taalas的初创公司，以一种近乎“激进”的方式，将专用化芯片设计推向了新的高度。该公司推出的首款推理芯片HC1，将meta的Llama 3.1 8B大语言模型几乎完整地“刻入”了硅片，实现了单用户场景下高达17,000 tokens/s的输出速度，这一性能是当前市场上最快竞品Cerebras的近9倍，更是Nvidia Blackwell架构GPU的近50倍。与此同时，HC1的构建成本仅为同等GPU方案的二十分之一，功耗更是低了一个数量级。
HC1的突破性设计，源于其对传统GPU架构的彻底颠覆。在GPU中，计算单元与存储单元是分离的，模型参数存储在HBM中，计算核心每次运算都需要从HBM搬运数据，这一过程不仅消耗大量能量，还增加了时间成本。而Taalas则采用了全面专用化、存算合一的设计思路，通过Mask ROM工艺将模型权重直接编码在芯片的金属互连层中，与计算逻辑共存于同一块硅片上，从而彻底消除了数据搬运的瓶颈。
这种设计虽然带来了极高的性能提升，但也意味着芯片的灵活性几乎为零。HC1只能运行Llama 3.1 8B模型，若要更换模型，则需重新设计并制造芯片。这种极端专用化的策略，无疑是对AI芯片行业传统设计思路的一次大胆挑战。然而，Taalas的CEO Ljubisa Bajic却对此充满信心。他认为，随着AI模型的成熟和稳定，总有一些模型会在实际业务中被长期使用，对于这些模型，专用化芯片将具有无可比拟的优势。
Bajic的信心并非空穴来风。HC1基于台积电N6工艺制造，芯片面积815 mm²，单颗芯片即可容纳完整的8B参数模型。其功耗约250W，10块HC1板卡装进一台服务器总功耗约2.5 kW，可在标准风冷机架中运行，这与动辄数十千瓦、必须依赖液冷的GPU服务器形成了鲜明对比。Taalas还借鉴了结构化ASIC的设计思路，通过固化门阵列和硬化IP模块，只修改互连层来适配不同模型，从而大大缩短了芯片定制周期。据Bajic透露，从拿到一个新模型到生成RTL，大约只需要一周的工程工作量，整个从模型到芯片的周期目标为两个月。
这种快速周转的能力，使得Taalas能够在模型被验证有效且用户粘性足够高时，迅速为其制造专用硅片，以远低于GPU的成本和功耗提供推理服务。然而，这种模式也要求客户对某个特定模型做出至少一年的承诺。对于这一要求，Bajic认为，虽然会有很多人不愿意，但总会有一些人愿意为了性能和成本的优势而接受。
除了Llama 3.1 8B模型外，Taalas还展示了其对更大模型的支持能力。据模拟数据显示，671B参数的DeepSeek R1模型需要大约30颗HC1芯片协同工作，每颗芯片承载约20B参数。这套30芯片系统在DeepSeek R1上可以达到约12,000 tokens/s/user的输出速度，而当前GPU的最优水平大约在200 tokens/s/user。同时，推理成本约7.6美分/百万token，不到GPU吞吐优化方案的一半。
然而，这些数字目前还停留在模拟阶段。实际多芯片系统面临的互联、同步、良率等工程挑战不容小觑。HC1使用了自定义的3-bit基础数据类型进行激进量化，这可能会带来相对于标准量化模型的质量损失。对此，Taalas并未回避，并表示其第二代硅平台HC2将采用标准4-bit浮点格式以改善这一问题。
在商业模式上，Taalas仍在摸索之中。公司副总裁Paresh Kharya透露了几种可能的方向：自建基础设施运行开源模型并提供API推理服务；直接向客户出售芯片；或者与模型开发者合作，为他们的模型定制专用芯片供其自有推理基础设施使用。哪种模式最终能跑通，将取决于市场对这种极端专用化方案的接受程度。
尽管面临诸多挑战和不确定性，但Taalas的方案无疑触及了一个被主流路线忽略的设计空间。通过将权重以Mask ROM形式与计算逻辑同层集成，Taalas从根本上消除了存算分离带来的带宽墙问题。虽然这种设计以灵活性的彻底丧失为代价，但在允许这种刚性的应用场景中，其换来的性能和成本优势却是实打实的。硬接线芯片还带来了软件栈的极度简化，进一步降低了系统的复杂性和成本。
