清华最新提出!第一个基于激光雷达(LiDAR)的行人重识别

作者：戴沐白 | 来源：3DCV

在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接

添加微信：dddvision，备注：三维点云，拉你入群。文末附行业细分群

1、导读

行人重识别是指在大规模场景中对未经脚本的行人进行身份识别，每个身份的样本数量往往很少，这通常需要多个采集设备。我们的研究利用低成本的LiDAR解决行人重识别的挑战。我们构建了LReID数据集，这是第一个基于LiDAR的行人重识别数据集，用于促进利用LiDAR点云进行行人重识别的研究。

2、研究内容

基于激光雷达（LiDAR）的行人重识别。我们利用低成本的LiDAR设备解决了人员再识别中的挑战，构建了名为LReID的LiDAR数据集，并提出了一种名为ReID3D的LiDAR-based ReID框架。

3、创新

主要体现在以下几个方面：

• 首次提出了基于LiDAR的人员再识别（ReID）方法

• 构建了第一个LiDAR-based ReID数据集（LReID）

• 提出了LiDAR-based ReID框架（ReID3D）

4、方法

提出了一种基于LiDAR的行人重识别方法，称为ReID3D。该方法利用预训练来引导图形增强编码器（GCEE）提取全面的3D内在特征。

图1

ReID3D采用多任务预训练来引导编码器学习基于LReID-sync的3D人体特征，如上图1所示。ReID3D的ReID网络由基于图的互补增强编码器（GCEE）、互补特征提取器（CFE）和时间模块组成，如下图2所示。预训练的GCEE用于初始化ReID网络。

图2

基于我们的观察，可能影响ReID模型性能的关键因素是（1）在跨视图设置下，不同视角导致的信息变化，以及（2）来自单视图的不完整信息。此外，真实数据的收集和注释涉及显著的成本，而模拟数据成本低廉，并且具有丰富和准确的注释。因此，我们利用模拟数据对编码器进行预训练，用于点云完成和SMPL参数学习的任务。我们提出的预训练方法的整体思路如图1所示。

5、数学原理

在这篇文章中，有几个数学公式被用来描述算法和模型的工作原理。

第一个公式是关于点云完成任务的。它表示了通过编码器将输入的点云转换为潜在向量，然后通过解码器基于来预测完整的点云。公式如下：

第二个公式是关于学习人体特征的。它表示了通过将潜在向量输入到一个多层感知机（MLP）网络中，将转换为预测的形状参数。公式如下：

第三个公式是关于点云完成任务的损失函数。它使用Chamfer距离（CD）作为预测点云和真实点云之间的差异度量。公式如下：

第四个公式是关于学习形状参数的损失函数。它使用均方误差（MSE）作为预测形状参数和真实形状参数之间的差异度量。公式如下：

这些公式用于描述算法和模型的训练过程和损失函数，以及从点云中提取特征的方法。

6、实验方法与结果

本研究采用了两种实验方法：LReID和LReID-sync

LReID实验方法：

• 数据集划分：LReID数据集分为训练集和测试集，训练集包含220个身份，测试集包含剩余的100个身份。测试集中有30个身份在低光条件下采集，而70个身份在正常光照条件下采集。

• 查询和画廊集：在测试集中，选择每个身份的一个样本作为查询集，将其他样本作为画廊集。

• 评估指标：使用累积匹配特征（CMC）和平均精度（mAP）作为评估指标，与基于摄像头的数据集一致。

LReID-sync实验方法

• 数据集生成：使用Unity3D软件生成LReID-sync数据集，模拟了多个视角的多个同步LiDAR捕捉到的场景中的行人。数据集包括了点云的完整视图和单个视图之间的补全注释，以及SMPL参数。

• 数据集特点：LReID-sync包含了600个行人的点云数据，每个行人展示了不同的动作、独特的身体形状和步态，确保了数据集的多样性。

• 预训练：使用LReID-sync数据集进行预训练，引导编码器学习3D身体特征。

• 评估指标：与LReID相同，使用CMC和mAP作为评估指标。

7、还有那些改进？

• 算法改进：可以进一步改进LiDAR-based ReID算法，提高人物识别的准确性和鲁棒性。

• 数据集扩充：可以进一步扩充LiDAR-based ReID数据集，增加更多的场景、季节和光照条件的样本。

• 多模态融合：可以将LiDAR数据与其他传感器数据（如RGB图像、红外图像等）进行融合，以提高人物识别的准确性和鲁棒性。

• 实时性能优化：可以进一步优化LiDAR-based ReID算法的实时性能，以适应实际应用场景中的实时需求。

• 跨数据集泛化：可以将LiDAR-based ReID算法在其他数据集上进行验证和评估，以验证其在不同数据集和场景下的泛化能力。

8、结论

本研究是第一个关于基于LiDAR的行人重识别的研究，证明了在具有挑战性的真实世界室外场景中利用LiDAR进行人员再识别的可行性。

3D视觉交流群

大家好，群里会第一时间发布3D计算机视觉方向的最前沿论文解读和交流分享，主要方向有：

视觉SLAM、激光SLAM、ORB-SLAM、Vins-Fusion、LOAM/LeGo-LOAM、cartographer、VIO、语义SLAM、滤波算法、多传感器融合、多传感器标定、MSCKF、动态SLAM、MOT SLAM、NeRF-SLAM、FAST-LIO、LVI-SAM、LIO-SAM、事件相机、GPS/RTK/UWB/IMU/码盘/TOF（iToF、dToF）、激光雷达、气压计、毫米波雷达、RGB-D相机、超声波等、机器人导航、相机标定、立体匹配、三维点云、结构光(面/线/散斑)、机械臂抓取（2D/3D）、2D缺陷检测、3D缺陷检测、6D位姿估计、相位偏折术、Halcon、光场重建、摄影测量、阵列相机、偏振三维测量、光度立体视觉、激光雷达、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图、深度估计、Transformer、毫米波/激光雷达/视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、目标检测、3D目标检测、路径规划、轨迹预测、3D点云、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪、四旋翼建模、无人机飞控、求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品等综合交流群。

添加微信: dddvision，备注：研究方向+学校/公司+昵称(如3D点云+清华+小草莓), 小助理会拉你入群。