快速摘要： 加拿大初创公司Taalas发布了一款名为HC1的专用推理芯片，将Llama 3.1 8B大模型的权重直接以物理方式固化在晶体管中，实现了每用户17000 tokens/秒的推理速度——这一数字是当前业界最快方案Cerebras的近10倍，是英伟达H200的约73倍。该芯片不需要HBM显存、不需要液冷、不需要先进封装，十张卡仅需2.5千瓦空气冷却，制造成本仅为传统GPU方案的1/20。代价是：每块芯片只能运行一个固定模型，无法更换。 这篇文章将从底层原理、芯片架构、制造流程、团队背景、性能对比、应用场景以及争议与局限等多个维度，为你详细拆解这项可能改写AI硬件格局的技术。往下看有更详细的分析。
文 / 莫潇羽@无忆研习社（www.wuyi.wiki）
转载请注明出处：无忆研习社 www.wuyi.wiki
一、一块「只会做一件事」的芯片，凭什么震动整个行业？
2026年2月，一家成立仅两年半、员工不到30人的多伦多芯片公司Taalas，悄然发布了他们的第一款产品——HC1芯片。这块芯片做了一件在行业看来近乎疯狂的事情：它把Meta的开源大语言模型Llama 3.1 8B，以物理电路的形式永久刻写在了硅片上。
这不是软件层面的优化，不是通过更快的显存或更聪明的调度算法来提速。Taalas的工程师们走了一条完全不同的路——他们把模型的每一个权重参数，都变成了芯片上实实在在的晶体管。当你向这块芯片发送一个问题时，数据不需要从外部存储中被「搬运」到计算单元，而是直接以电流的形式流过那些承载着模型权重的物理电路，在硅片上完成所有矩阵乘法运算。
结果是什么？每个用户每秒可以获得约17000个token的输出速度。为了让大家对这个数字有一个直观的感受，莫潇羽在这里做一个简单的换算：17000 tokens/秒大约相当于每秒输出6000到8000个汉字，换算成A4纸的话，差不多是一秒钟打印出十几页纸的内容。 你在键盘上按下回车的那一刻，答案几乎是瞬间完整呈现的——不是一个字一个字地蹦出来，而是「啪」地一下全部出现在屏幕上。
Taalas还上线了一个公开的体验网站 chatjimmy.ai，任何人都可以去感受一下这种「亚毫秒级」的推理速度。根据多家媒体的实测，在回答常见问题时，该系统的实际输出速度稳定在15000到16000 tokens/秒左右，简短问答甚至接近20000 tokens/秒。
二、为什么传统GPU推理这么慢？先搞懂「内存墙」
要理解Taalas为什么能做到这种速度，我们必须先理解一个AI硬件领域最核心的瓶颈问题——「内存墙」（Memory Wall）。
2.1 什么是内存墙？
在传统的AI推理过程中，无论你使用英伟达的H100、H200还是最新的B200 GPU，运行一个大模型的基本流程都是相似的：模型的权重参数（weights）存储在GPU的显存（HBM，即高带宽内存）中，当需要进行一次推理计算时，这些参数必须从显存搬运到GPU内部的计算单元（如Tensor Core），完成矩阵乘法后再把结果写回去。
问题就出在「搬运」这个环节。过去二十年，处理器的计算能力一直在飞速增长——大约每两年翻一倍。但DRAM内存的带宽增长速度却远远跟不上，大约每两年只提升1.6倍。这就意味着，处理器大部分时间并不是在「算」，而是在「等」——等数据从显存搬运到计算单元。
用一个生活中的比喻来说：想象你是一个运算速度极快的会计师，但你的助手每次只能从档案室给你搬一小摞文件。你算完手头这摞文件后，就只能呆坐着等下一摞被搬过来。你再快也没用，瓶颈卡在了「搬文件」的速度上。
这就是「内存墙」——处理器的计算能力和内存数据传输速度之间那道越来越宽的鸿沟。
2.2 大模型推理为什么尤其受内存墙制约？
大语言模型的推理过程有一个特殊之处：它是自回归（autoregressive）的，也就是说，模型每次只生成一个token，然后把这个token加入到上下文中，再生成下一个token。每生成一个token，模型的所有权重参数都需要被重新从显存加载一遍。
我们来算一笔简单的账。以Llama 3.1 8B为例，这个模型有大约80亿个参数。如果使用FP16（16位浮点数）格式存储，每个参数占2字节，那么整个模型的权重大约是16GB。每生成一个token，这16GB的数据都需要从HBM搬运到计算单元。
以英伟达H200为例，其HBM带宽约为4.8TB/秒。理论上，它每秒最多能搬运约300次这16GB的权重数据——对应大约300 tokens/秒的推理速度。这只是理论上限，实际由于各种开销和效率损失，H200运行Llama 3.1 8B的实际速度大约在230 tokens/秒左右。
注意，这里的瓶颈完全不是计算能力不够。H200的算力可以轻松处理这些矩阵乘法，但它大部分时间都在等待数据从HBM搬过来。GPU内部庞大的Tensor Core阵列，在单用户推理场景下的利用率往往低得可怜。
2.3 业界目前的应对思路
面对内存墙，业界已经探索了多种优化路径：
- 提升HBM带宽：从HBM2到HBM2e再到HBM3/HBM3E，每一代都在提升带宽。英伟达的B200搭载的HBM3E带宽已经达到了约8TB/秒。但这属于渐进式改进，远远赶不上模型规模膨胀的速度。
- 使用大容量SRAM方案：Cerebras的Wafer Scale Engine（晶圆级引擎）把44GB的SRAM集成在一整片晶圆上，消除了HBM的带宽限制。Groq的LPU也采用了大量SRAM。但SRAM的密度远低于DRAM，成本极高，功耗巨大——Cerebras的WSE单卡功耗高达15kW，必须使用液冷。
- 模型压缩与量化：通过INT8、INT4等低精度格式减小模型体积，降低数据搬运量。但量化会带来模型质量下降，且收益有天花板。
- 批处理（Batching）：同时处理多个用户请求，让权重数据搬运一次就被多个请求复用。这能提升吞吐量，但会增加单个请求的延迟。
这些方案都在「内存-计算分离」的基本框架内打转，都没有从根本上解决问题。
2.4 一个更直觉的理解方式
为了让完全没有硬件背景的读者也能理解这个问题的本质，莫潇羽@无忆研习社再用一个更贴近日常生活的比喻来解释。
想象你开了一家餐厅，厨师（计算单元）的切菜、炒菜速度极快，两秒就能完成一道菜。但问题是，你的食材仓库（显存）在隔壁楼里，每次做一道菜都要派人跑到隔壁楼把食材搬过来。搬一趟要30秒。于是，厨师大部分时间都在等食材。
业界目前的做法是什么呢？
有人把仓库搬近一点（提升HBM带宽），搬一趟从30秒变成15秒——但厨师依然在等。有人在厨房里建了个小冰柜（SRAM缓存），能存一些常用食材——但小冰柜太贵了，而且放不下多少东西。有人让厨师一次做十道菜，这样食材搬一趟可以用十次（批处理）——但前面九个客人要等最后一道菜做完才能一起上桌。
而Taalas的思路是：既然每天都做同一道菜，干脆把这道菜的所有食材直接砌进灶台里，永远不用搬。 灶台就是食材，食材就是灶台。厨师伸手就能碰到所有需要的东西。
听起来很疯狂？确实。但代价是，这个灶台从此只能做这一道菜。想吃别的？得重新砌一个灶台。
这就是Taalas的核心逻辑：既然搬运数据是瓶颈，那就根本不搬运。
三、Taalas的核心原理：把模型「铸入」硅片
这里是本文最核心的技术部分。莫潇羽@无忆研习社将尽可能用通俗的语言把它讲清楚。
3.1 从软件到硬件：一次根本性的范式转换
传统的AI推理是这样的：
用户输入 → CPU/GPU 从显存加载权重 → 在计算单元中执行矩阵乘法 → 输出结果Taalas的AI推理是这样的：
用户输入 → 电信号直接流过承载权重的物理电路 → 矩阵乘法在电流通过电路的过程中自动完成 → 输出结果关键区别在于：传统方案中，模型权重是「数据」，存储在内存中，需要被读取和传输；而在Taalas的方案中，模型权重是「电路」，已经被物理地嵌入到芯片的晶体管结构中。
打个比方帮助理解：
- 传统GPU推理就像一个交响乐团现场演奏——每次演出，乐手要看乐谱、听指挥、协调配合，虽然很灵活（想换曲目随时可以换），但速度受限于乐手翻谱和相互协调的速度。
- Taalas的做法更像是把一首曲子直接压制成黑胶唱片——唱片上的沟槽就是音乐本身，唱针划过就出声，不需要乐手、不需要乐谱、不需要指挥。速度取决于唱片转速，快到多少都行。但代价是，这张唱片只能播这一首曲子。
3.2 Mask ROM Recall Fabric：权重如何变成电路？
Taalas使用了一种被称为Mask ROM Recall Fabric（掩膜ROM回调结构）的技术来存储模型权重。
要理解这个概念，我们需要简单了解芯片的制造过程。一颗现代芯片由大约100层以上的材料层堆叠而成，每一层都通过「光刻掩膜」来定义其电路图案。在制造过程中，不同的掩膜决定了晶体管的位置、连接方式和功能。
Taalas的做法是：
- 底部约98层是标准化的「基底芯片」，包含了通用的逻辑门阵列、计算单元和SRAM缓存。这部分对所有模型都是相同的，可以批量预制。
- 最顶部的2层金属层是可定制的，Taalas通过修改这两层掩膜，将特定模型的权重参数「写入」芯片。
具体来说，权重参数被编码到Mask ROM结构中。ROM（Read-Only Memory，只读存储器）的特点是数据在制造时就被写死，之后只能读取不能修改。Taalas将模型的每个权重值，通过晶体管的物理连接方式来表达——比如，一个晶体管连接到高电平代表1，连接到低电平代表0。
更厉害的是，Taalas的创始人Ljubisa Bajic透露了一个关键创新：他们发明了一种方法，能够用一个晶体管同时存储4比特的权重参数，并且在这个晶体管上直接完成与该权重相关的乘法运算。 也就是说，存储和计算在同一个晶体管上同时完成了。
对于芯片设计领域来说，这是一个非常巧妙的技巧。传统的数字乘法器需要大量晶体管来实现（一个8位乘法器可能需要几百个晶体管），而Taalas把「存储一个权重+执行一次乘法」的功能压缩到了单个晶体管上。Bajic表示这完全是数字电路，不涉及模拟计算，是一种利用硬连线特性才能实现的「巧妙技巧」。
3.3 数据如何在芯片中流动？
当用户输入一个问题时，文本首先被转换成token序列，然后被编码成向量。这个向量进入HC1芯片后，会依次流过芯片上物理排列的各个Transformer层。
在传统GPU上，模型的32个Transformer层是用同一组计算单元反复执行的——每执行一层，就要从显存加载那一层的权重。而在HC1上，32个Transformer层是物理上串行排列的独立电路。数据像水流过管道一样，从第1层流到第2层，再到第3层……一路流到第32层，每经过一层就完成那一层的全部计算。
这个过程中，数据不需要在任何时候被写回外部存储。中间结果通过物理线路和流水线寄存器直接传递到下一层。整个推理过程就是一次电信号从芯片一端流到另一端的过程。
芯片上确实保留了少量SRAM，但这些SRAM不是用来存模型权重的（权重已经被硬编码在ROM中），而是用于存储：
- KV Cache（键值缓存）：Transformer模型在推理时需要维护的上下文信息
- LoRA权重：用于支持模型微调的低秩适配器参数
这意味着，虽然基础模型是固化的，但用户仍然可以通过LoRA对模型的行为进行一定程度的调整，比如让它适应特定的对话风格或专业领域。上下文窗口的大小也是可配置的。
3.4 计算密度的本质变革
这里有一个非常值得深入理解的技术要点。在传统GPU架构中，一颗芯片上的晶体管大致可以分为三类：用于计算的（如Tensor Core中的乘法器和累加器）、用于存储的（各级缓存、寄存器文件等）、以及用于控制和调度的（指令解码、线程调度、内存控制器等）。
在英伟达H100的814mm²芯片面积中，真正用于矩阵乘法计算的晶体管可能只占总面积的一小部分。大量的芯片面积被分配给了缓存层级、互连网络、PCIe/NVLink接口、视频解码器以及各种控制逻辑——这些都是为了支持GPU的「通用性」而必须存在的。
而在HC1上，情况完全不同。由于不需要外部存储接口（没有HBM控制器）、不需要复杂的指令调度（没有可编程性）、不需要通用的互连网络（数据流是固定的），绝大部分芯片面积都可以用来放置「存储+计算一体化」的Mask ROM结构。530亿个晶体管中，可能有超过90%都在直接执行模型推理任务。
这就是Bajic所说的「密度极高」（insane density）的含义——不是说他们用了更先进的制造工艺（实际上6nm并不是当前最先进的节点），而是说他们把芯片上的几乎每一个晶体管都利用到了极致。通过消除「通用性」带来的所有额外开销，每个晶体管都在为模型推理做贡献。
3.5 软件栈的极度简化
硬连线方案还有一个容易被忽略的附带优势：软件栈变得极其简单。
在传统的GPU推理系统中，从用户请求到最终输出，中间要经过多层软件栈的处理：推理框架（如vLLM、TensorRT-LLM）、CUDA运行时、GPU驱动程序、内存管理器、批处理调度器等等。每一层都会引入一定的延迟和开销。调试和优化一个GPU推理系统是一项复杂的系统工程。
而在HC1上，由于所有的计算路径都已经在硬件层面固定好了，软件栈只需要做很简单的事情：把用户的token序列喂给芯片的输入接口，然后从输出接口接收结果。不需要内存管理（权重已经在芯片里了），不需要计算调度（数据流是物理固定的），不需要批处理优化（单用户推理已经足够快，根本不需要凑批）。
Bajic在采访中表示，他们的软件栈相比大型GPU集群的软件栈「简单得不可思议」，这不仅降低了部署复杂度，也减少了潜在的故障点。
3.6 类比总结：一张图看懂两种范式
为了让读者更直观地理解区别，莫潇羽在这里用一张对比表来总结：
|
维度 |
传统GPU推理 |
Taalas HC1推理 |
|
权重存储位置 |
HBM显存（片外） |
Mask ROM（片内晶体管） |
|
计算方式 |
从显存加载权重到计算单元，执行乘法 |
电流直接流过承载权重的晶体管，乘法自动完成 |
|
数据搬运 |
每个token都要搬运全部权重 |
零搬运，权重就是电路本身 |
|
灵活性 |
可运行任何模型 |
只能运行出厂时固化的模型 |
|
功耗 |
H200单卡约700W |
HC1单卡约250W |
|
冷却方式 |
高端方案需液冷 |
标准风冷即可 |
|
速度（Llama 3.1 8B） |
H200约230 tokens/秒 |
HC1约17000 tokens/秒 |
四、HC1芯片的硬件参数与性能数据
现在我们来看一下HC1芯片的具体规格和性能表现。
4.1 芯片规格
根据Taalas官方披露和多家技术媒体的报道，HC1的主要参数如下：
- 制造工艺：台积电（TSMC）6nm工艺（N6）
- 芯片面积：815mm²（接近光刻掩膜的极限尺寸）
- 晶体管数量：约530亿个
- 单卡功耗：约250W
- 固化模型：Llama 3.1 8B
- 量化方案：混合使用3-bit和6-bit参数（第一代采用自定义3-bit基础数据类型）
- 片内缓存：包含SRAM，用于KV Cache和LoRA微调权重
- 冷却方式：标准风冷
- 服务器配置：双路x86服务器可搭载10张HC1卡，整机功耗约2.5kW
815mm²的芯片面积已经非常接近光刻机的物理极限了（目前的Reticle Limit大约在830mm²左右）。作为参照，英伟达H100的芯片面积也是814mm²。这意味着HC1把几乎所有的芯片面积都塞满了Mask ROM和相关的计算逻辑。530亿个晶体管中的绝大部分，都在承担着「存储权重+执行乘法」的双重职能。
4.2 性能对比
以下是Taalas官方给出的Llama 3.1 8B推理速度对比数据（输入序列长度1k/1k）：
|
推理平台 |
每用户速度（tokens/秒） |
|
英伟达 H200 |
~230 |
|
英伟达 B200 |
~350 |
|
Groq LPU |
~1,200 |
|
SambaNova |
~1,000 |
|
Cerebras WSE |
~2,000 |
|
Taalas HC1 |
~17,000 |
也就是说，HC1的单用户推理速度是英伟达最新一代B200的约50倍，是目前公认速度最快的Cerebras方案的近10倍。
在使用成本方面，Taalas表示HC1每处理100万个token的成本约为0.75美分。作为对比，Cerebras目前对Llama 3.1 8B的API定价是每100万个token 0.10美元。如果这个数据属实，那么HC1的推理成本仅为Cerebras的约1/13。
4.3 关于量化带来的质量损失
这里需要诚实地指出一个问题：HC1使用的是非常激进的量化方案。3-bit和6-bit的混合精度量化，相比GPU上常用的FP16或INT8格式，会带来明显的模型质量下降。
在实际测试中，多位用户反馈HC1上运行的Llama 3.1 8B在数学计算、逻辑推理等任务上表现不如标准精度版本。甚至有用户发现它无法正确完成简单的四则运算。这并不意外——3-bit量化对模型精度的损伤是相当大的，尤其是对于8B这种本身就不大的模型来说，精度损失会更加明显。
Taalas对此也持坦诚态度，他们将HC1定位为技术演示器（Technology Demonstrator）和beta服务。公司表示，第二代硅平台HC2将采用标准的4-bit浮点格式，可以显著改善量化质量。改善量化精度在他们看来其实是相对「容易」的部分——难的是证明整个端到端的硬连线推理流程可以跑通，而HC1已经做到了这一点。
五、制造流程：两个月从模型到芯片
Taalas最令业界瞩目的另一个亮点，是他们声称能够在约两个月的时间内，将一个此前未见过的AI模型转化为可部署的PCIe推理卡。
5.1 Structured ASIC的思路
要理解这个速度为什么了不起，我们需要对比一下常规的芯片设计周期。一颗像英伟达Blackwell这样的复杂GPU，从设计到流片到量产，通常需要两到三年时间，仅流片环节就需要约六个月。
Taalas之所以能大幅缩短这个周期，是因为他们借鉴了2000年代初「结构化ASIC」（Structured ASIC）的理念。传统的全定制ASIC需要从头设计所有层级的掩膜，成本高、周期长。而结构化ASIC的做法是：预先制造好芯片的大部分层（包含标准化的逻辑门阵列和IP模块），只通过修改最顶部的少数互连层来实现定制功能。
Taalas把这个思路推到了极致：
标准化基底（约98层，所有模型共用）
+
定制掩膜（仅2层金属层，编码特定模型权重和数据流）
=
模型专用推理芯片因为只需要修改2层掩膜，而不是全部100多层，所以：
- 掩膜制造成本大幅降低
- TSMC只需要在预制好的晶圆基底上加工最后两层，流片时间从常规的六个月缩短到约两个月
- 如果要为另一个模型制造新芯片，只需要重新设计这两层掩膜
5.2 自动化设计流程
Taalas还开发了一套自动化的设计流程（他们称之为「foundry-optimal workflow」，即「晶圆代工优化工作流」），可以将模型权重自动映射到芯片的物理布局上。这套流程与台积电紧密合作开发，能够直接对接TSMC的生产线。
这套自动化流程的意义不可小觑。在传统的芯片设计中，从RTL设计到版图验证到流片，通常需要大量的手工工作和反复迭代。而Taalas的目标是将「模型到芯片」的过程尽可能自动化，使得为不同模型定制芯片的边际成本和时间大幅降低。
Bajic在接受Next Platform采访时透露了一个有趣的细节：虽然他们使用了EDA（电子设计自动化）工具来辅助设计，但芯片的核心结构——包括那个能够用单个晶体管完成4-bit存储和乘法的关键单元——是从零开始设计的，包含了大量的晶体管级设计和手工布局。用他的话说，他们的整个设计工作「简直是回到了1970年代」。
这种结合了「底层手工精雕」和「顶层自动化映射」的设计哲学，让Taalas既能实现极致的单元密度（手工优化的核心单元），又能快速地将不同模型映射到同一个基底上（自动化工作流）。
从外部视角来看，这个流程大致可以理解为：
- 输入一个训练好的AI模型（包括其权重参数和网络结构）
- 自动化工具将模型的每一层、每一个权重映射到芯片基底的物理位置上
- 生成最后两层掩膜的设计文件
- 交给TSMC进行流片和封装
- 大约两个月后，拿到可以插入服务器的PCIe推理卡
对于需要为多个不同模型制造专用芯片的场景，这种「只改两层」的方式在经济性上也是可行的。即使是像DeepSeek R1这样的6710亿参数大模型，也只需要约30颗定制芯片（每颗芯片可以容纳约200亿参数），对应30次增量流片。虽然30次流片听起来不少，但由于每次只改两层掩膜，成本远低于30次全定制芯片设计。
六、创始团队：芯片行业的「老炮儿」
一家只有不到30名员工的初创公司，能够设计出一款530亿晶体管的复杂芯片，这在很大程度上得益于其创始团队的深厚积累。
Taalas的三位联合创始人都是芯片行业的资深从业者：
- Ljubisa Bajic（CEO）：毕业后先后在视频编码器公司Teralogic和Oak Technology工作，之后加入AMD，逐步成长为公司混合CPU-GPU芯片设计的架构师和高级管理者。后来在英伟达担任高级架构师，再次回到AMD担任集成电路设计总监。2016年，他创办了知名AI芯片公司Tenstorrent，并担任CEO和CTO。2022年底，传奇芯片设计师Jim Keller（业界人称「硅仙人」）加入Tenstorrent，两人交换了CEO和CTO的职位。2023年3月，Bajic正式离开Tenstorrent，同年8月创办Taalas。
- Lejla Bajic（COO）：Ljubisa的妻子。早年在FPGA厂商Altera担任软件工程师，后加入加拿大GPU公司ATI（后被AMD于2006年收购），在AMD长期从事系统工程管理工作。2017年加入Tenstorrent，随Ljubisa一同离开后共同创办Taalas。
- Drago Ignjatovic（CTO）：AMD资深设计工程师，曾参与AMD APU和GPU的设计工作。在Ljubisa离开AMD去创办Tenstorrent后，Ignjatovic接替了他在AMD的ASIC设计总监职位。九个月后，Ignjatovic也加入了Tenstorrent担任硬件工程副总裁，后与两位Bajic共同创办Taalas。
这三位创始人在AMD、英伟达、ATI、Altera和Tenstorrent等公司共事了数十年，在CPU、GPU和AI处理器设计方面有着极为丰富的经验。Taalas的投资人之一、半导体行业传奇人物Pierre Lamond曾评价说，这支团队在行业中的技术履历堪称顶级。
在资金方面，Taalas目前已经完成了三轮融资，累计筹集超过2.19亿美元。投资方包括Quiet Capital、富达投资（Fidelity）以及半导体行业知名投资人Pierre Lamond等。对于一家不到30人的初创公司来说，这个融资规模体现了投资者对这条技术路线的信心。
七、扩展到更大模型：多芯片方案与路线图
HC1目前只固化了一个80亿参数的模型，这显然远不够应对生产级的需求。那么，Taalas如何扩展到更大的模型？
7.1 多芯片互联方案
对于参数量超出单芯片容量的大模型，Taalas的解决方案是多芯片互联。具体来说：
- 在第二代平台上，通过将SRAM部分拆分到独立芯片上，单颗Taalas芯片可以容纳约200亿参数（使用MXFP4格式）
- 对于DeepSeek R1这样的6710亿参数模型，大约需要30颗芯片的互联
- Taalas已经完成了DeepSeek R1多芯片方案的仿真，模拟结果显示：30芯片配置可以实现每用户约12000 tokens/秒的速度，每百万token成本约7.6美分
值得注意的是，由于HC1的推理速度极快，不需要通过批处理来提升利用率，因此芯片之间的通信带宽压力也相对较低。这是硬连线方案的一个附带优势。
但30颗定制芯片的互联也带来了工程复杂度。Taalas开发了能够在大规模计算集群上运行的仿真工具，可以模拟数十颗芯片协同工作的情况。不过，目前这些仿真结果尚未经过独立第三方验证。
7.2 产品路线图
根据Taalas公开的信息，他们的产品发展计划如下：
- 2026年春季：基于HC1平台的第二款芯片，固化一个中等规模的推理模型（reasoning model），预计将在Taalas实验室完成验证，随后集成到推理API服务中
- 2026年夏季：推出固化Llama 3.1 20B模型的HC芯片
- 2026年冬季：基于第二代平台HC2的大模型芯片，HC2将采用标准4-bit浮点格式，支持更高的参数密度和更快的执行速度。目标是运行级别的大语言模型
Taalas的CEO Bajic还表示，从技术上来说，他们的方案不仅限于Transformer架构，还可以支持状态空间模型（SSM）、扩散模型（Diffuser）、混合专家模型（MoE）等多种深度学习架构。这意味着，如果未来主流模型架构发生变化，Taalas的底层设计理念仍然适用。
八、应用场景分析：这种速度到底有什么用？
17000 tokens/秒的速度，对于人类直接阅读来说其实是严重过剩的——一般人的阅读速度大约是每分钟300到500个汉字，而HC1每秒输出的文本量是人类阅读速度的上千倍。
那这种「过剩」的速度到底有什么意义？莫潇羽@无忆研习社认为，它的价值主要体现在以下几个方面：
8.1 Agent（智能体）间通信
这可能是最核心的应用场景。在多智能体系统中，多个AI Agent需要频繁交换信息、相互调用、协同完成复杂任务。此时，推理延迟直接决定了整个系统的响应速度。如果每个Agent的单次推理只需要不到1毫秒，那么一个需要调用十几次LLM的复杂Agent工作流，总延迟可以控制在毫秒级别。
8.2 实时交互与编程辅助
对于编程助手这样需要频繁交互的场景，亚毫秒级的响应意味着AI的反馈速度可以完全跟上程序员的思维节奏。用户不需要等待，AI就像一个反应极快的搭档，可以在你按下回车的瞬间给出建议。
8.3 边缘推理与物联网
HC1的单卡功耗只有约250W，十张卡总功耗2.5kW，使用标准风冷即可。这意味着这种方案可以部署在不具备液冷条件的普通机房甚至边缘节点中。对于需要在本地快速完成推理、同时对延迟要求极高的场景（比如工业质检、实时翻译、智能客服等），这是一个有吸引力的选择。
8.4 大批量推理服务
对于提供LLM API服务的厂商来说，极低的单次推理成本和极
