本文由 莫潇羽@无忆研习社(www.wuyi.wiki) 撰写,转载请注明出处。
快速摘要
消费级具身智能(也就是普通家庭也能买得起的"会动会看会聊"的智能机器人)这两年看似很热闹,但真正卡住它的,是两道很硬的结构性瓶颈:一是端侧算力,二是真实环境的感知。最新一代家用四足机器人用一套国产芯片混合异构集群,把 70 亿参数级别的大模型真正跑通到了消费级设备上,物料成本只有英伟达旗舰方案的十分之一左右;同时把视觉、空间、听觉三个维度的感知数据精度,一次性拉到了接近人眼人耳的"够用"水准。这意味着行业终于从"半智能 Demo"跨进了"真智能落地"的阶段。本文会把这套架构、感知系统、安全体系一层层拆开讲清楚,顺便聊聊我自己在折腾家用机器人时的几个心得。
想看完整拆解,往下翻。本文阅读时长大约 25 分钟,建议泡杯茶,顺着算力、感知、安全这三条主线慢慢看下来——很多家用机器人选购时被忽视的关键点,都藏在细节里。
一、卡了五年的消费级具身智能,到底卡在哪
聊机器狗、机器人这一年,你大概率被各种发布会刷过屏。能跑能跳、能跟你对话、还能跳舞——视频剪得很燃。但只要你真的把这类产品搬回家,用上一两周,就会发现一个尴尬的事实:发布会上的酷,关上门来一半都是玩具感。
我自己也折腾过几台不同品牌的消费级机器人。最直观的感受是几个固定毛病:
它认不准家里的人脸,尤其是逆光、侧脸、戴帽子的情况下,经常把家里人识别成"陌生人"。它会撞到拖鞋、绕不开充电线、对桌脚的边缘缺乏概念。你跟它说一句话,要等一两秒才有反应,情绪一下就被打断。有的产品需要把云端大模型挂着才能流畅对话,稍微弱点的 Wi-Fi 直接卡顿。
这些问题加在一起,导致整个行业陷入了一个尴尬的中间地带——比传统遥控玩具强,但又远远没到"真智能"的程度。
1.1 半智能与真智能的分水岭到底在哪
行业里把这种状态叫"半智能"。莫潇羽自己的理解是,它的本质矛盾不在 AI 算法,而在两个底层硬件能力被同时卡死:
一个是端侧算力——大模型要在本地跑得动,不能事事都丢到云端。
另一个是感知输入——机器人对真实世界的"看"和"听",要能跟上人类一秒之内能感知到的所有细节。
这两个能力,任何一个不达标,后面的体验都会断崖式下降。
1.2 两道枷锁:算力 × 感知
我画了一张图,大概是这样的关系:
┌──────────────────────┐
│ 真智能消费级具身智能 │
└─────────┬────────────┘
│
┌───────────┴───────────┐
▼ ▼
┌──────────────┐ ┌──────────────┐
│ 端侧算力枷锁 │ │ 真实感知枷锁 │
└──────┬───────┘ └──────┬───────┘
▼ ▼
AI 推理 + 运动控制 视觉 + 空间 + 听觉
+ 低功耗的三重压力 数据质量 = 智能上限
这两道枷锁,既是物理瓶颈,也是商业瓶颈。算力枷锁让大模型上不了端侧,机器人就只能"聪明在云端,蠢在本地";感知枷锁让机器人拿到的输入是模糊的,大模型再强,也只能从一堆糊掉的图像里挤出有限的判断。 两道枷锁同时存在,等于行业被锁在天花板下面动弹不得。
接下来这篇长文,会把这两道枷锁一层层拆开讲明白,把它们各自背后的物理原理、工程取舍、绕过去的思路、以及目前最新一代消费级机器狗给出的解法,系统讲一遍。我也会顺着把安全、商业飞轮一起聊清楚——这部分一般会被忽略,但其实是真正决定家用机器人能不能进千家万户的关键。
二、算力枷锁:为什么单芯片路线走进了死胡同
先聊算力。这是最容易被低估、但卡得最致命的一道槛。
2.1 具身智能的算力,本质是三重需求叠加
具身智能跟手机或者 PC 的算力需求,长得完全不一样。它至少要同时扛三件事:
|
需求维度 |
物理特征 |
典型负载 |
|
AI 大模型推理 |
高并发计算,显存带宽敏感 |
7B/13B 参数级别的对话、视觉理解 |
|
实时运动控制 |
毫秒级响应,确定性时序 |
关节力矩闭环、平衡控制 |
|
低功耗约束 |
长续航,散热受限 |
整机功耗压在几十瓦以内 |
这三件事放在一起最难受的地方是——它们对芯片架构的诉求是相互冲突的。
AI 大模型推理喜欢的是"高功耗换高并行",GPU 那种结构最舒服。运动控制则反过来,它对绝对算力没有那么饥渴,但对"延迟稳定、绝不抢资源"几乎是死规定。家用消费级产品又要求整机功耗压得很低,否则散热做不下来,价格也下不来。
这就形成了一个三角:三个角各自合理,但任何一颗通用芯片想同时满足这三角,都会被其中某一个角拽回来。
2.2 英伟达的解法:Jetson AGX Thor T5000
英伟达的思路你大概也猜到了——堆。
它在 2025 年推出的 Jetson AGX Thor 模组,核心就是这个 T5000 SoC,被英伟达自己称为机器人和物理 AI 的"终极平台"。莫潇羽@无忆研习社 翻了一圈官方资料和第三方测评,大致整理出它的关键参数,挺夸张的:
NVIDIA Jetson T5000 (SoM 模组)
架构: Blackwell GPU + Arm Neoverse-V3AE CPU
AI 算力: 2070 TFLOPS (FP4)
GPU: 2560 CUDA cores + 96 第五代 Tensor Cores
CPU: 14 核 Arm Neoverse-V3AE @ 2.6 GHz
内存: 128 GB LPDDR5X,带宽约 273 GB/s
功耗范围: 40 ~ 130 W
模组定价: 起步 2999 美金 (1000 件以上)
开发套件: 3499 美金
数字非常漂亮,7.5 倍于上一代 Orin 的 AI 算力,3.5 倍的能效比。Boston Dynamics、Figure、Agility 这些做人形机器人的国际玩家都在用。
但你看一眼最后两行就知道问题在哪了:单颗模组 2999 美金,折成人民币两万出头。这套芯片放进消费级机器人里,意味着整机定价至少要到几万元——这价格在中国家庭场景里几乎是劝退线。
2.3 三重困境:单芯片为什么注定撞墙
我把单芯片路线遇到的三重困境画成了表格,看着更直观:
|
困境 |
物理或经济本质 |
体现到产品上 |
|
摩尔定律放缓 |
7nm → 5nm → 3nm,单位面积晶体管增益递减 |
想靠一颗芯片同时打满三角,物理上越来越难 |
|
通用架构低效 |
三种负载特征完全不同,任务切换和数据搬运浪费严重 |
实际能效比远低于 PPT 上的峰值 |
|
成本难以下沉 |
旗舰芯片单价高,定价直接传导给整机 |
消费级市场被劝退,数据飞轮转不起来 |
这三个困境里,第三条是最致命的。因为它直接决定了整个商业飞轮转不转得动。
消费级具身智能不是一个"卖几台高利润旗舰"的生意,它必须出货量上来、用户数据回流、算法迭代、再反哺产品——这是一个典型的"用户体量越大,智能就越强"的飞轮。但飞轮要转,前提是定价能进入大众消费区间。芯片成本就压在大众消费区间最敏感的那条线上。
我自己之前算过一笔账,假设整机售价里芯片成本占比超过 25%,基本上这个产品就很难走量。用旗舰单芯片做消费级具身智能,等于一开始就把自己锁死在一个出不去的价格带里。 这就是为什么过去五年,消费级具身智能整体卡在"半智能"上动不了——不是工程师不努力,是路线本身有上限。
2.4 顺便算一下 token 流速这笔账
聊算力很容易聊得很虚,我们落到一个具体的指标上——token 流速。
大模型推理的好坏,用户感受到的就是"它说话流不流畅"。这背后有一个硬指标叫 token/s,也就是模型每秒能输出多少个 token。换算到中文,大约 1 个 token 对应 1.5 ~ 2 个汉字。给一个体感:
< 5 token/s → 卡顿明显, 一个字一个字往外蹦
10 token/s → 勉强可用, 但你能感觉到延迟
20 token/s → 接近人类正常说话速度
30 token/s → 流畅, 体验质变
> 50 token/s → 几乎没有延迟感, 接近"无延迟"
主流消费级机器人在 7B 模型上,基本跑不到 5 token/s,所以你看到很多产品要么挂云端、要么干脆用 1.5B/3B 小模型应付——但小模型的理解能力和上下文长度,跟 7B 差着代际。
异构集群把认知芯片独立出来跑大模型,加上 3D 堆叠内存的高带宽,让 7B 在端侧能跑到 20 ~ 30 token/s 的区间。这个数字看上去只是"够用",但对体验是质变。用户感受到的"它好像突然变聪明了",其实就是 token 流速越过了人类无感知阈值。
2.5 单芯片路线不是错,只是不适合消费级
我特意强调一下,这一节不是要"批评单芯片路线"。
英伟达 Jetson Thor 这种旗舰方案,在工业自动化、自动驾驶、高端人形机器人这些客单价数十万甚至上百万的场景里,是非常合理的选择。它的开发生态(Isaac、Holoscan、Metropolis)成熟、性能上限极高、有完整的安全认证。这些都是真实价值。
但消费级具身智能这门生意,优化目标和工业完全不同:
|
优化维度 |
工业级 |
消费级 |
|
算力上限 |
越高越好 |
够用就行 |
|
单台成本 |
不敏感 |
极度敏感 |
|
出货量 |
千台/万台 |
十万/百万 |
|
失败成本 |
工程团队消化 |
用户信任崩塌 |
|
数据飞轮 |
主要靠仿真 |
必须靠真实场景 |
异构集群是"消费级具身智能"这个目标函数下的最优解。它不是要打败 Thor,它是在 Thor 不太关心的那块市场里,挖出了一条新的路。两者不是替代关系,是并行的两条赛道。
三、破局思路:从"单核超人"到"混合异构集群"
英伟达走单芯片的路,是有道理的——它的客户里有大量工业、自动驾驶、人形,他们要的是"性能上限再高一点"。但消费级具身智能要的不是上限,而是"性价比可落地的可用算力"。这是两个完全不同的优化目标。
最近这一两年我观察到一个很有意思的现象:国内几家头部具身智能公司,几乎不约而同地转向了异构计算这条路。最近发布的一款消费级家用四足机器人产品,就是这种思路的代表性落地。我以这种方案为参考样本,展开拆一下。
3.1 思路的转变:从"超人厨师"到"专业分工"
异构计算的核心,其实就一句话:不要让一颗芯片同时干三件事,让三类芯片各自只干一件事,然后想办法把它们之间的协同搞定。
打个比方,单芯片路线像一家高级餐厅让一个厨师同时做前菜、主菜、甜品。听起来全能,但每道菜都只能做到 70 分。异构计算则是请三个专业厨师,各自只做自己最擅长的那一类菜——结果就是每道菜都接近极致,整体体验远远超过单厨师方案。
这个比喻不只是为了形象。背后真正成立的,是一条很硬的工程经验:专用计算的能效比远远高于通用计算。 你让 GPU 跑大模型推理,远比让它顺带处理一些低延迟运动控制要高效;你让一颗专门的传感融合芯片跑感知,也远比让通用 CPU 兼着跑要划算。
3.2 一张图看清异构集群的拆解
我把这种典型的混合异构计算集群,用一个 Mermaid 图大概画出来,方便理解:
flowchart TB
subgraph 感知智能[感知智能子系统]
S1[5nm 芯片 ×2<br/>视觉+点云融合]
end
subgraph 机器人系统[机器人系统 & 自主智能]
S2[8nm 芯片 ×2<br/>运动控制+自主导航]
end
subgraph 认知智能[认知智能子系统]
S3[3D 堆叠芯片 ×2<br/>大模型推理]
end
DRTOS[自研分布式实时调度系统]
SENSORS[多模传感器阵列]
ACTUATORS[关节执行器]
SENSORS --> S1 --> DRTOS
S2 --> DRTOS
DRTOS --> S3
DRTOS --> ACTUATORS
这套架构里有几个细节值得拆开聊:
第一,6 颗芯片来自不同制程。5nm 跑感知,这是性价比最高的制程节点;8nm 跑控制与自主决策,够用且功耗低;3D 堆叠跑认知大模型,带宽是大模型推理的关键。每颗芯片都跑在自己最舒服的工艺节点上,不浪费。
第二,22 核 CPU 是分布在不同子系统里的总核数,不是一颗大芯片堆出来的。这一点非常重要,因为它意味着每个子系统都拥有自己的"实时核",彼此之间不会互相抢占。
第三,真正的难点不是把芯片拆开,而是把它们协同起来。
3.3 分布式实时调度:这才是真壁垒
异构集群最难的地方,在于"时序"。
6 颗芯片同时跑,每颗芯片处理不同任务、产生不同数据、又要在毫秒级窗口内交换信息。你想想看,假设视觉芯片识别出一只猫从沙发底下窜出来,这个事件信号要在多久之内传给运动控制芯片?
正常人对突发障碍的本能反应大概是 200-300 毫秒。机器人的反应时间至少要进到 100 毫秒以内,体验才算合格。这意味着:从摄像头采集到帧 → 视觉芯片识别 → 数据流转到运动控制 → 控制信号下发到关节,这整条链路必须在百毫秒内跑完。
要做到这一点,需要一套分布式实时调度系统,把整个集群当成一个大的"虚拟超级芯片"来用。这套系统至少要做这几件事:
- 跨芯片的时序同步,所有芯片有共同的时间基准
- 优先级抢占调度,运动控制类信号永远享有最高优先级
- 数据通道带宽分配,避免大模型推理的数据洪流把控制类信号挤掉
- 功耗动态调节,空闲子系统可以快速进入低功耗
这套调度系统是真正的技术壁垒。芯片可以采购,封装可以代工,但分布式实时调度需要在真实场景里跑很多年才能调得稳。莫潇羽@无忆研习社翻了一些公开资料,这块基本是各家自研,且各家都把它视为最核心的护城河之一。
3.4 端侧 70 亿参数大模型为什么这次能跑通
这是异构集群真正改变游戏规则的地方。
按照 2025 年公开的测评数据,7B 参数级别的大模型要在端侧跑出"无感延迟",大致需要满足两个硬指标:
- 首 token 延迟 < 500 ms
- 后续 token 输出速度 > 20 token/s
放在过去的消费级硬件上,这几乎是奢望。骁龙 8 Gen3 这类旗舰手机芯片在 7B 模型上大约能跑到 20 token/s,但那是手机的散热和功耗预算;放到机器人里,要同时跑视觉、跑运动控制,根本扛不住。
异构集群把这个问题切开了:7B 大模型只跑在专门的认知芯片上,它不被运动控制干扰,也不抢感知芯片的带宽。同时认知芯片的设计目标就是大模型推理,3D 堆叠的内存带宽,正好对上大模型推理"显存带宽敏感"的物理特性。
结果就是:7B 模型第一次在消费级家用机器人上跑出了流畅的对话体验。你说一句话,它几乎同时回应。这种延迟差距,不是优化,是代际鸿沟。
3.5 成本拆账:为什么物料能压到 1/10
这是我最感兴趣的一段。
按照公开资料整理,异构集群方案的物料成本大致是这个量级:
|
方案 |
核心芯片成本(美金) |
整机定价区间(人民币) |
|
英伟达 Jetson Thor T5000 单芯片 |
约 2999 |
5万 ~ 10万+ |
|
国产 6 芯片异构集群 |
约 300 余 |
1万 ~ 2万 |
差了将近 10 倍。但这不是简单的"国产便宜"——价格只是结果,真正的差别是路线本身。
异构集群之所以能把成本压下来,是因为它不需要在任何一颗单芯片上追求极限。5nm 不需要冲 3nm,8nm 用成熟工艺就够,3D 堆叠用得也是国内已经能量产的方案。每颗芯片单价都不高,但加起来在能效比上反而比一颗旗舰更优。
更重要的是,这条路把命运交回了自己手里。当你的产品规划与国产芯片产业的代际进步绑定,你的迭代节奏就跟全球供应链解绑了。
我自己看下来,这件事的意义比单纯的成本下降大得多。它意味着这家公司的技术路线图,可以跟着国产 5nm/3nm 的演进同步走,而不需要看英伟达明年发布会的脸色。这是一种结构性的战略主动权,会随着时间越拉越大。
3.8 顺便聊聊端侧大模型的几个工程细节
端侧跑 7B 大模型,光有算力还不够,还得做一系列工程优化。我把几个关键技术点串一下,方便理解:
量化(Quantization):把模型权重从 FP16/BF16 压到 INT8、INT4 甚至更低。压缩比越高,显存占用越少,推理越快,但精度损失要控制在可接受范围内。主流做法是 INT4 量化,模型体积缩到原来的四分之一左右,效果损失通常在 5% 以内。
原始 7B 模型 (FP16): 约 14 GB
INT8 量化后: 约 7 GB
INT4 量化后: 约 3.5 GB
KV Cache 优化:大模型推理时,每生成一个 token 都要用到之前所有 token 的 Key/Value。这部分缓存极占显存,而且随上下文长度线性增长。端侧推理必须做 KV Cache 的压缩和滚动窗口,否则跑两轮对话就爆显存了。
算子融合(Operator Fusion):把多个小算子合并成一个大算子,减少内存访问次数。这是端侧推理框架(比如 MNN、NCNN、llama.cpp 的端侧分支)最核心的优化手段。
投机解码(Speculative Decoding):用一个小模型先快速生成几个 token,大模型再去验证。如果验证通过就直接用,验证失败再重新生成。这种技巧能把吞吐量再提 1.5 ~ 2 倍。
这几个技术单拎出来都不算新,但要把它们组合在异构集群上跑稳,需要一支真正懂"端侧推理工程"的团队。莫潇羽@无忆研习社观察下来,端侧大模型工程能力,可能是接下来三年具身智能行业另一道隐形的护城河——比拼的不是论文,而是把论文上的优化真正落到芯片上的工程能力。
四、感知枷锁:垃圾进,垃圾出
第二道枷锁,是感知。
这个枷锁比算力枷锁更隐蔽。因为大家在发布会上看到的,都是"我有 7B 大模型!""我有 13B 大模型!"——但很少有人讲,这些模型的输入,究竟是什么质量的数据。
4.1 感知数据决定智能上限
机器学习领域有一条老到不能再老的法则:
Garbage in, garbage out.(垃圾进,垃圾出)
放到具身智能身上,这条法则的物理含义是:如果一个机器人采集到的图像是模糊的、点云是稀疏的、声音定位是误差很大的——那么再强的大模型也只能从这堆低质量原料里挤出有限的判断。
过去一年里,行业内有大量关于"大模型不够聪明"的抱怨。但莫潇羽自己拆开几个产品的实际数据流之后发现,有相当一部分锅其实要算在感知输入的质量上。 不是模型笨,是它收到的素材太糊了。
4.2 30fps + 200 万像素 = "标清录像带"
主流消费级机器人的视觉配置,大致是这么个量级:
分辨率: 200 万像素 (1080p)
帧率: 30 fps
HDR: 约 80 dB
点云密度: 几万点/秒
声源定位精度: ±15°
这套配置放在 2015 年的家用监控摄像头上,是合格的;但放在 2025 年的具身智能上,几乎处处不够用。
举个具体场景:孩子从客厅冲向厨房,机器人跟在后面走。中途从沙发底下窜出一只小猫——
- 30 fps 摄像头在猫窜出的瞬间,最多只拍到一两帧模糊的影子;
- 200 万像素在沙发阴影里,根本看不清猫的轮廓和方向;
- 等机器人的视觉系统处理完这两帧的时候,猫已经跑出画面了。
这不是"算法不够好"的问题,是"反应窗口"根本没有打开。感知给得不够,后面所有的智能都是空中楼阁。
4.3 家庭场景比工业场景更难
这一点很反直觉,但确实是真的。
工业自动驾驶里的障碍物,普遍是大型的、规则的——车辆、行人、护栏、车道线。它们的特征尺寸大,激光雷达稀疏点云就够用。
家庭场景反过来。家里最容易绊倒机器人的,恰恰是那些特征尺寸极小的东西:
- 一根 3 毫米粗的充电线
- 一双薄底的拖鞋
- 一个倒在地上的水杯
- 沙发腿之间几厘米宽的缝隙
- 透明玻璃桌面的边缘
这些东西在工业级稀疏点云里,几乎完全是缺失的。但在家里,它们才是真正的危险源。
我自己的拖鞋就被某品牌的扫地机器人"消灭"过两次——它根本看不见拖鞋边缘,直接顶进去,把拖鞋推到了床底下。这种 case 在工业测试里是发现不了的,只能靠真实家庭跑出来。
4.4 感知瓶颈与大模型"不够聪明"的关系
把这几层关系串起来,你会看到一个有意思的链条:
低帧率/低像素/低 HDR
↓
图像模糊、动作丢帧、逆光过曝
↓
进入视觉模型的特征质量低
↓
模型只能输出粗糙的判断
↓
对话和动作脱节、反应迟钝
↓
用户感受到的"它不太聪明"
所以你看,感知和算力,是两个互相加成的枷锁。任何一边没解开,另一边解开了也没用。
4.5 顺便讲一下多模态对齐这个隐藏 boss
聊完单一感知通道的瓶颈,还有一个更隐蔽的难点叫多模态对齐。
机器人不是只看、只听、或者只摸,而是要把视觉、听觉、空间深度这几个完全不同的数据流,对齐到同一个时间轴和同一个空间坐标系。听上去像废话,做起来非常难。
摄像头帧率: 480 fps, 每帧约 2 ms
ToF 帧率: 30 ~ 60 fps, 每帧约 16 ~ 33 ms
麦克风采样率: 16 kHz / 48 kHz, 每个采样点 0.02 ~ 0.06 ms
关节传感器: 1000 Hz, 每个采样点 1 ms
这几种数据的时间分辨率差了好几个数量级。要把"猫窜出来的视觉事件"和"猫的脚步声"以及"机器人头部转动的姿态"对齐成一个统一的事件,需要一套精密的时间戳同步和空间标定系统。
这件事在工业自动驾驶里有成熟方案(因为 LiDAR、相机、IMU 早就配合多年),但搬到家用机器狗的小型化平台上,空间不够、功耗不够、成本不够——所有的"工业级解法"都要重新做一遍小型化版本。这又是一道"看不见但极硬"的工程槛,跟前面讲的实时调度、端侧推理一样,属于"行业老兵才知道的隐藏 boss"。
下面三章,我会把视觉、空间、听觉这三块感知子系统一个个拆开看。
五、视觉系统升级:从"标清录像带"到"超视网膜"
视觉是感知里最关键的一块。家用机器人 70% 以上的环境信息都来自视觉。
最新一代消费级机器狗在视觉系统上的硬件升级,核心是三个维度:像素、动态范围、帧率。我一个一个聊。
5.1 6600 万像素三摄是什么概念
直接看参数:
|
摄像头维度 |
主流消费级机器人 |
新一代异构方案 |
倍数 |
|
总像素 |
~200 万 |
6600 万(8K + 4K + 4K 三摄) |
~30× |
|
帧率 |
30 fps |
480 fps |
16× |
|
HDR 动态范围 |
~80 dB |
140 dB |
接近人眼 |
|
视场角覆盖 |
单摄前向 |
三摄分层覆盖 |
立体感知 |
30 倍像素的意义,不是为了拍出更精细的"照片"。家用机器人不需要拍照,它需要的是在低光、远距、小目标的场景下,依然能识别清楚关键特征。
6600 万像素的实际作用,是让机器人在客厅另一头识别人脸、在阴影里识别物体边缘、在远处看清孩子的手势——这些都是 200 万像素根本做不到的。
5.2 HDR 140 dB:人眼级动态范围意味着什么
HDR 是个被严重低估的参数。我先做个对照:
人眼动态范围: 约 100 ~ 120 dB
主流消费级机器人: 约 80 dB
高端 HDR 摄影机: 约 130 ~ 140 dB
新一代消费级机器人方案: 140 dB
什么叫动态范围?简单说,就是同一画面里,最亮和最暗能同时看清的能力。
举个具体场景:下午三点,阳光从窗户斜射进客厅。机器人正对着窗户,要识别坐在阴影里沙发上的人。这种场景下:
- 80 dB 的 HDR:窗户那一片白茫茫一片(过曝),阴影里的人脸是一团黑(死黑)
- 140 dB 的 HDR:窗外的细节和阴影里的人脸同时清晰
家庭场景的光照,每天每个小时都在剧烈变化。HDR 不够,机器人就只能在"过曝"和"死黑"之间反复横跳——很多时候用户看到机器人"突然蠢了",其实就是这一帧光照变化太快、HDR 跟不上。
5.3 480 fps 帧率:看到 vs 看清
480 fps 听上去像是为了打游戏调高的指标,其实不是。
它真正解决的是快速运动场景下的特征追踪。
我们用一个简单的伪代码模拟一下:
# 假设一只猫从沙发底下窜出, 在画面里只停留 33 ms
# 30 fps 相机
帧间隔 = 1000 / 30 # = 33.33 ms
猫被捕捉的帧数 = 33 / 33.33 # ≈ 1 帧, 还很大概率错过
# 480 fps 相机
帧间隔 = 1000 / 480 # = 2.08 ms
猫被捕捉的帧数 = 33 / 2.08 # ≈ 16 帧
# 16 帧足以追踪它的运动方向、速度、姿态
16 帧 vs 1 帧,这就是"看到"和"看清"的差别。
更关键的是,480 fps 给运动预测算法留下了足够的输入。当机器人能够预测猫接下来要往哪边跑,它就能提前做出避让动作——而不是等到猫已经撞上来才反应。
这对家用场景是非常重要的体验提升。家庭里到处是会动的"小目标":小孩、宠物、地上滚的玩具、被风吹动的窗帘。30 fps 看不清这些东西的运动轨迹,480 fps 能。
5.4 真实家庭场景下的视觉考验
我自己拉了一个清单,这是家里常见的"视觉地狱场景":
☀ 强逆光的阳台门
🌙 夜间走廊只有一盏小夜灯
🐱 突然窜出的宠物
🏃 来回奔跑的小孩
🪞 镜面反射(全身镜、电视屏幕)
🪟 大面积玻璃窗
👶 婴儿的细微表情变化
🍝 一地散落的玩具
任何一个机器人想真正"用得起来",这八个场景至少要扛住六个。视觉硬件的三维升级(像素 × HDR × 帧率),本质就是把这些场景一个个攻克。
莫潇羽@无忆研习社的感受是,像素、HDR、帧率这三个参数,任何单一参数翻倍都没用,必须同时拉满。这就是为什么过去几年只升级像素的产品体验提升有限——其他两个维度卡在那里,木桶最短的板没换。
六、空间感知升级:从 2D 地图到 4K 实景导航
视觉解决"看见",空间感知解决"理解空间结构"。这两件事不一样。
6.1 ToF 与结构光:先把名词讲清楚
新手看到 "3D ToF" "3D 结构光" 经常一头雾水,我用一句白话解释:
- 3D ToF:Time of Flight,飞行时间法。原理是发出一束光,测量光从目标反射回来的时间差,反推距离。优点是远距离表现好、抗环境光强、帧率高;缺点是分辨率相对低。
- 3D 结构光:把一组已知图案的光投射到物体表面,通过观察图案的变形来计算 3D 形状。优点是近距离精度极高(亚毫米);缺点是受环境光干扰大、距离不能太远。
家用机器人最理想的方案,是两者互补:用 ToF 看远处的房间结构、用结构光看脚下精细的小障碍物。
3D ToF 覆盖 0.5m ~ 8m 范围
3D 结构光 覆盖 0.1m ~ 2m 范围,亚毫米精度
组合 家庭场景下的全程覆盖
6.2 5 组 ToF + 结构光的 360° 环视面阵
主流消费级机器人的空间感知配置,通常是前向单 ToF,顶多再加一个底部下视。这种配置的盲区非常大——侧向、后向、上方,机器人几乎是"瞎"的。
新一代异构方案给出的配置是这样的:
方位 传感器 覆盖范围
前 ToF + 结构光 主前视
左前 ToF 侧向避障
右前 ToF 侧向避障
左后 ToF 后向回溯
右后 ToF 后向回溯
───────────────────────────
合计 5 组 3D ToF/结构光,组成 360° 环视面阵
我画一个俯视图大概表示一下覆盖关系:
前向(ToF + 结构光)
▲
│
┌──────────┼──────────┐
│ 左前 ◀───┼───▶ 右前 │
│ │ │
│ 机器狗 │
│ │ │
│ 左后 ◀───┼───▶ 右后 │
└──────────┼──────────┘
│
▼
(前后左右皆有视野重叠)
这种环视面阵的意义,是机器人在任何朝向上都不存在感知盲区。即使背后突然有人走过来,它也能感知到,提前避让。
6.3 点云密度:从"2G 地图"到"4K 实景"
点云密度是空间感知里另一个关键指标。
主流方案的点云密度大约是几万点/秒。这个量级能做什么?能给你画出客厅的大致轮廓——墙在哪、沙发的大块在哪——但精细到地毯的边缘、拖鞋的轮廓、充电线的走向,完全画不出来。
新一代异构方案给出的数据是 223.2 万点/秒,差不多是 50 倍。50 倍是什么概念?
2G 地图 (主流):
能识别道路主干、街区轮廓
但看不到便利店招牌、井盖位置
4K 实景 (新一代):
能识别每一根路灯柱、每一个垃圾桶
甚至能看清井盖周围的裂缝
放在家庭里,这意味着机器人不再是"知道客厅大概的形状",而是真正建立了一个 cm 级精度的家庭 3D 数字孪生。地毯的边缘在哪、门槛多高、沙发腿之间的缝隙能不能钻过去——它都"看得见"。
6.4 SLAM:让机器人知道自己在哪
讲点云就避不开 SLAM。
SLAM = Simultaneous Localization and Mapping(同步定位与地图构建)。一句话解释:机器人一边走一边画地图,同时在地图上标出自己的位置。 这是家用机器人能"回到充电桩"、"按指令去厨房"的底层能力。
SLAM 的效果跟点云密度强相关。点云越密、回环检测越准、累积漂移越小。这就是为什么 223.2 万点/秒的数据流,不光是"看得见小东西",更重要的是让 SLAM 地图的精度上一个台阶。
我自己折腾家用扫地机这么多年,感受最深的就是 SLAM 精度的差别。早期的产品 SLAM 漂移大,扫完一遍卧室回头去看,地图歪歪扭扭。新一代方案能做到 cm 级稳定回环——你跟它说"去厨房",它就真的能稳稳地走到厨房,而不是先在客厅转两圈找方向。
七、听觉升级:从"听个响"到"听声辨位"
聊完视觉和空间,再聊听觉。这一块往往最容易被低估,但它对家庭交互体验影响极大。
7.1 主流方案的痛点:能听到,但定位不准
主流消费级机器人的听觉配置,通常是 2 ~ 4 个麦克风线性阵列。这种配置能干什么?
- 能判断"有没有声音"
- 能识别简单的指令词
- 大致能