面临对立进犯，具身智能体除了被迫防备，也能自动出击！

在人类视觉体系启发下，清华朱军团队在TPMAI 2025中提出了强化学习驱动的自动防护结构REIN-EAD。

该结构让智能体也能学会“看第二眼”，进步对立场景下的感知鲁棒性。

对立进犯已成为视觉感知体系安全性和可靠性的严峻要挟，这类进犯经过在三维物理场景中放置精心规划的扰动物体（如对立补丁和三维对立物体）来操作深度神经网络的猜测成果。

在人脸辨认和自动驾驶等安全要害范畴，此类缝隙的成果尤为严峻，过错猜测或许严峻危害体系安全性。

但是，现有防护办法多依靠进犯先验，经过对立练习或输入净化等手法完成对有害画面的“被迫防卫”，疏忽了与环境交互可取得的丰厚信息，遇上不知道或自适应进犯时作用敏捷衰减。

比较之下，人类视觉体系更为灵敏，能够经过自动探究与纠错，自然地下降瞬时感知的不确定性。

相似的，REIN-EAD的中心在于运用环境交互与战略探究，对方针进行接连调查和循环猜测，在优化即时准确率的一起统筹长时刻猜测熵，缓解对立进犯带来的错觉。

特别地，该结构引进了依据不确定性的奖赏塑形机制，无需依靠可微分环境，即可完成高效战略更新，支撑物理环境下的鲁棒练习。

试验验证标明，REIN-EAD在多个使命中明显下降了进犯成功率，一起坚持了模型规范精度，在面临不知道进犯与自适应进犯时相同表现出色，展示出强壮的泛化才能。

首要奉献

（1）提出REIN-EAD模型，交融感知与战略模块来模仿运动视觉机制

论文规划了一种结合感知模块与战略模块的自动防护结构REIN-EAD，学习人类大脑支撑运动视觉的工作办法，使模型能够在动态环境中继续调查、探究并重构其对场景的了解。

REIN-EAD经过整合当时与前史观测，构建具有时刻一致性的鲁棒环境表征，然后进步体系对潜在要挟的辨认与适应才能。

（2）引进依据累计信息探究的强化学习办法以优化自动战略

为进步REIN-EAD的战略学习才能，论文提出一种依据累计信息探究的强化学习算法，经过引导式密布奖赏优化多步探究途径，引进不确定性感知机制以驱动信息性探究。

该办法强化了时刻上的一致性探究行为，并经过强化学习范式消除了对可微环境建模的依靠，使体系能够自动辨认潜在高风险区域并动态调整行为战略，明显进步了观测数据的有用性与体系安全性。

（3）提出离线对立补丁近似技能（OAPA），完成功率高、泛化强的防护才能

针对3D环境下对立练习核算开支巨大的应战，论文提出OAPA技能，经过对立补丁流形的离线近似，构建无需依靠对手信息的普适防护机制。

OAPA大幅下降了练习本钱，一起具有在不知道或自适应进犯场景下的稳健防护才能，为三维环境下的自动防护供给了一种有用且高效的处理方案。

（4）在多使命与多环境上取得优胜功能，展示优胜的泛化与适应才能

论文在多个规范对立测验环境与使命中进行了体系评价，试验成果标明：REIN-EAD在反抗多种不知道和自适应进犯下表现出明显优于现有被迫防护办法的功能。

其杰出的泛化才能和对杂乱实际国际场景的适应性，进一步验证了本文办法在安全要害体系中的运用潜力。

办法与理论

REIN-EAD结构

REIN-EAD是一种模仿人类在动态环境中自动感知与反响才能的对立防护结构，该结构（如下图所示）经过感知模块与战略模块的协同，使体系具有了与环境自动交互、迭代收集信色情当官小说下载阅读息并增强本身鲁棒性的才能。

△图1：REIN-EAD结构

REIN-EAD由两个中心的循环神经模块组成，创意来源于支撑人类活泼视觉体系的大脑结构：

感知模型担任在每一时刻步归纳当时观测与上一步的内部信仰状况，生成对环境状况的增强表征，并据此猜测当时的场景标签 。该模型经过循环结构充分运用与环境交互取得的序列信息，然后完成对杂乱视觉输入的鲁棒了解；

战略模型则依据感知模型构建的内部环境了解，生成用于操控下一步感知行为的动作信号，即决议从哪个视角、以何种办法继续收集信息，然后有战略地引导视觉体系履行方针驱动的自动感知使命。

经过感知模型与战略模型的闭环联动，REIN-EAD完成了对立防护进程中的“感知—决议计划—举动”一体化：

在每一时刻挑选长时刻最优的交互动作，并依据环境反应不断批改其内部标明，使得模型能从多步交互中获取最具信息量的观测反应。

这种自动防护机制突破了传统静态防护战略在鲁棒性与适应性方面的瓶颈，明显进步了体系面临不知道进犯时的辨认与呼应才能。

依据累计信息探究的强化学习战略

论文扩展了部分可调查马尔可夫决议计划进程（POMDP）结构以正式描绘REIN-EAD结构与环境的相互作用。

场景 下的交互进程用 标明。

这儿 别离标明状况、动作和观测空间。场景 下的状况搬运 契合马尔可夫性质。

因为环境的部分可调查性，智能体不能直接拜访状况，而是接纳从调查函数 采样的调查值。

REIN-EAD的猜测进程是多步条件下的接连观测和循环猜测，感知与动作循环依靠——感知辅导了动作，而动作又取得更好的感知。

直观上，能够经过RNN Style的练习办法优化多步条件下的EAD结构，但是，该进程触及沿时刻步反传梯度，团队证明了这种做法的缺点。

首要，论文经过理论剖析证明RNN Style的练习办法本质上是一种贪婪探究战略：

这种贪婪探究战略或许导致EAD选用部分最优战略，难以从多步探究中继续获益。

△图2：贪婪信息探究或许导致重复探究

第二，沿时刻步反传梯度要求状况搬运函数和调查函数有必要具有可微分性，该性质在实际环境和常用的仿真引擎（如UE）中都是不满足的。

最终，在多步条件下反传梯度需求构建十分长的梯度链条，这或许导致梯度消失/爆破，并带来巨大的显存开支。

为了处理贪婪战略的次优性，进步REIN-EAD的功能，论文引进了累积信息探究的界说：

以及多步累积交互方针：

其间，  是探究轨道，  标明时刻步 的猜测丢失， 作为正则化项，标明时刻步 的标签猜测熵，阻挠智能体做出具有对立特征的高熵猜测。

多步累积交互方针包括最小化猜测丢失的方针项和赏罚高熵猜测的正则项，经过一系列与环境的相互作用，在 步的范围内优化战略，最小化方针变量的长时刻不确定性，而不是只专心于单步。

该方针经过一系列举动和调查来最小化方针变量的不确定性，结合猜测丢失和熵正则化项，鼓舞智能体到达信息丰厚且鲁棒的认知状况，然后对对立扰动具有鲁棒性。

论文中对所提出的多步累积交互方针与累积信息探究的界说一致性进行了证明，并进一步剖析了累积信息战略比较贪婪信息战略的功能优胜性。

为了进一步消除对可微分练习环境的依靠并下降梯度优化的不安稳性，论文中提出了一种结合了面向不确定性的奖赏塑形的强化战略学习办法。

面向不确定性的奖赏塑形在每一步供给密布的奖赏，促进战略 寻求新的调查成果作为来自环境的反应，处理了多步累积交互方针中的只能在回合结束时取得奖赏的稀少性问题，减轻了探究和运用分配的应战，促进了更快的收敛和更有用的学习。

论文中还证明了这种奖赏塑色情当官小说下载阅读形与多步累积交互方针的等价性（细节拜见论文）。

关于强化学习骨干，论文中选用了学习功率和收敛安稳性较好的近端战略优化（PPO），经过约束战略的巨细来完成安稳的战略更新。

离线对立补丁近似技能

论文中还提出了离线对立补丁近似（OAPA），以处理3D环境中对立练习的核算开支。

对立补丁 的核算一般需求内部最大化迭代，这不只核算贵重，还或许导致防护对特定进犯战略过拟合，然后阻止模型在不知道进犯中推行的才能。

为了在坚持对立不行知性的一起进步采样功率，论文在练习REIN-EAD模型之前引进了OAPA，经过预先对视觉骨干进行投影梯度上升得到一组代替的补丁作为对立补丁流形的离线近似。

试验成果标明，履行这种离线近似最大化答应REIN-EAD模型学习紧凑而赋有表现力的对立特征，使其能够有用地防护不知道进犯。

此外，因为这种最大化进程只在练习前产生一次，因而大大进步了练习功率，使其与传统对立练习比较更具有竞争力。

试验与成果

论文中在人脸辨认、3D物体分类、方针检测多个使命上运用一系列像素空间、隐变量空间下的白盒、黑盒、自适应进犯办法，成果标明在三个使命上REIN-EAD的作用都优于SAC、PZ、DOA等基线防护（表1，3，4）。

△表1：人脸辨认使命中逃逸和扮演两种进犯方针下的成果

人脸辨认使命中，经过REIN-EAD结构改善IResNet50模型，运用EG3D可微分烘托器完成CelebA-3D数据集的可微分三维重建，以对累计探究的REIN-EAD与ICLR 2024 工作中贪婪探究的EAD进行公正比较。

经过对各个组件的融化，别离证明了累计信息探究和OAPA的有用性（表1，2，图3）。

△表2：人脸辨认使命中的REIN-EAD模块融化成果

△图3：人脸辨认试验的REIN-EAD可视化示例

人脸辨认试验的可视化动态示例

在物体分类使命中，经过REIN-EAD结构改善Swin-S模型，运用Pytorch3D对OmniObject3D三维扫描物体数据集进行可微分烘托，以在三维环境下的图画分类使命上对REIN-EAD的通用性进行评价（表3）。

虽然在前期过程中REIN-EAD或许被对立补丁诈骗做出过错猜测，但在随后的过程REIN-EAD进行了正确的自我批改（图4）。

△表3：物体分类试验成果

△图4：物体分类试验的REIN-EAD可视化示例

方针检测使命中，经过REIN-EAD结构改善YOLO-v5模型，运用CARLA构建具有实在烘托观测的试验场景，进一步证明了REIN-EAD在杂乱使命和实际场景的有用性（表4，图5）。

△表4：方针检测验验成果

△图5：方针检测验验的REIN-EAD可视化示例

方针检测验验的可视化动态示例

此外，论文中还对补丁巨细、补丁形状、进犯强度等多个不同的进犯对手战略进行了弥补试验，以全面的验证REIN-EAD面临不知道进犯对手的泛化才能。

本文提出的REIN-EAD是一种新的自动防护结构，能够有用地减轻实际国际3D环境中的对立补丁进犯。

REIN-EAD运用探究和与环境的交互来将环境信息语境化，并改善其对方针目标的了解。

它积累了多步相互作用的时刻一致性，平衡了即时猜测精度和长时刻熵最小化。

试验标明，REIN-EAD明显增强了鲁棒性和泛化性，在杂乱使命中具有较强的适用性，为对立防护供给了不同于被迫防护技能的新研讨视角。

论文：https://arxiv.org/abs/2507.18484

代码：https://github.com/thu-ml/EmbodiedActiveDefense

本文来自微信大众号“量子位”，作者：清华朱军团队，36氪经授权发布。