复旦大学发布Grad-PU:任意尺度的点云上采样(附代码)

作者：Grad-PU | 来源：3D视觉工坊

在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf和代码链接。

添加微信：dddvisiona，备注：3D点云，拉你入群。文末附行业细分群。

大多数现有的点云上采样方法大致分为三个步骤：特征提取、特征扩展和3D坐标预测。然而，它们通常遇到两个关键问题：（1）一次性训练后固定的上采样率，因为特征扩展单元是针对每个上采样率定制的；（2）由于难以精确预测上采样点的 3D 坐标或残差而导致异常值或收缩伪影。为了解决这些问题，我们提出了一种新的精确点云上采样框架，支持任意上采样率。大量实验表明，我们的方法在准确性、效率、鲁棒性和对任意上采样率的泛化方面显着优于现有方法，还提高了语义分类和表面重建等下游任务的性能。具体来说，我们的贡献可以概括为：? 将上采样问题分解为中点插值和位置细化，从而实现任意上采样率。? 将细化步骤表述为点对点距离最小化过程。? 提出P2PNet 以可微分的方式估计点对点距离。

点云上采样的常见做法通常包含以下三个关键步骤：(1)特征提取：从低分辨率点云中捕获逐点语义特征。(2)特征扩展：根据指定的上采样率扩展提取的特征。(3)坐标预测：根据扩展特征预测上采样点的3D坐标或残差。然而，这个做法有两个关键问题。首先，这些模型通常取决于上采样率。为了支持不同的上采样率，需要训练多个模型。其次，精确估计目标点的 3D 坐标或偏移量很困难，这会导致异常值或收缩伪影 。尽管最近的一些方法尝试通过邻近点的仿射组合或隐式神经表示来处理固定上采样率问题，但它们的性能仍然受到不准确的限制。

我们提出了一种新颖的点云上采样框架。经过训练后，它可以以任意比率对点云进行上采样。具体来说，给定一个低分辨率点云 ，我们首先对其进行插值，获得所需数量的点的新点云 。然后，通过迭代优化过程对插值点的位置进行细化，使其尽可能接近地面实况高分辨率点云 ，由于推理期间无法获得基本事实，因此这种细化是由经过训练的模型指导的，称为 P2PNet。

为了实现任意上采样率，我们的使网络学习与上采样过程中的点生成脱离关系，从而我们提出了点上采样的中点插值。给定低分辨率输入 ，我们的插值方法经历以下两个步骤。(1)中点生成：对于每个点，我们首先找到它的近邻，然后用它的中点作为新的生成点。（2）最远点采样（FPS）：为了去除重复生成的中点并控制其数量与所需的上采样率 ，我们应用 FPS 对上一步的输出进行下采样。所有下采样点的并集形成最终的插值结果。推荐学习「3D视觉工坊」最新课程：

[1]三维点云处理：算法与实战汇总

[2]彻底搞懂基于Open3D的点云处理教程！

第二步是细化插值点云 PI 以恢复保真度。我们将问题表述为最小化 PI 和真实点云 PG 之间的差异。差异的度量我们使用点到点的距离函数，具体来说，给定一个插值点，距离函数 表示真实实况高分辨率点云 中的点 与其最近邻点之间的欧几里德距离。而在实践中，显然 在推理过程中不可用，这意味着无法计算距离函数 ，因此需要 的可微近似。我们设计了一个点对点的距离网络P2PNet来解决这个问题，P2PNet主要由特征提取器和距离回归器组成Feature extractor:

我们采用 P4Transformer中的点 4D 卷积，但将其简化为仅应用于空间域，因此称为点 3D 卷积（P3DConv）。P3DConv具体来说，对于每个插值点及其相关特征 ，我们首先搜索其 最近邻，并计算它们之间的坐标偏移以进行卷积核生成。然后对插值点 进行 P3DConv 如下：其中是卷积特征，是点的近邻集，都表示具有相同输出通道的基于MLP的变换，并且⊙表示Hadamard乘积。而对于我们的特征提取器的详细结构，给定一个插值点云 ，其中 N 是点数，MLP 首先将 投影到更高维空间 ，然后是一个堆栈具有块内密集连接的三个密集块。每个密集块由三个卷积组组成，后面是一个过渡层。在每个卷积组内，MLP 减少特征维度，而 P3DConv 层提取局部特征。向下过渡层是另一个 MLP，它减少了特征通道，从而减少了计算成本。用于特征提取的所有 MLP 共享 d 的相同输出通道。最终，捕获了一组多尺度局部特征。通过进一步应用最大池化层，获得全局特征。Distance Regressor：距离回归器。对于任意查询点，其点到点距离F(p)是基于提取的局部特征和全局特征来估计的。为了获得每个查询点p的逐点局部特征，我们使用初始插值点云中三个最近邻的反距离作为权重。由此，点到点距离可以估计如下：其中是全局特征，是四层MLP。损失函数为：

PU-GAN数据集：可视化结果多级上采样率结果：其中4×和16×分别表示上采样率R = 4和R = 16。与NePs对比结果：PU1K数据集：真实数据集，ScanObjectNN与KITTI：

点云分类。

我们采用 CurveNet作为分类模型，并在 ModelNet40 数据集上使用相同的训练和测试模式。

表面重建。

我们利用 BallPivoting从 PU-GAN 数据集的 4 倍上采样点云（8192 点）重建网格。

由于扫描仪捕获的点云通常含有噪声，因此有必要评估每种方法对噪声的鲁棒性。具体来说，我们首先离线生成一些随机噪声，该噪声是从标准高斯分布 N (0, 1) 中采样并乘以因子 τ ，其中 τ 表示噪声级别。然后我们在添加噪声的 PU-GAN 数据集的低分辨率点云上进行测试。

我们提出了一种精确点云上采样的新方法，支持训练一次后的任意上采样率。对于任意的上采样率，我们建议通过中点插值直接对欧几里德空间中的点进行上采样，然后对其进行细化，从而将点生成与网络学习解耦。为了更精确地细化插值点，我们将细化视为优化问题，然后通过最小化学习的点到点距离函数来解决它。考虑到推理过程中无法获得地面实况点云，我们构建P2PNet以可微分的方式逼近点对点距离函数。对基准和下游任务进行广泛的定量和定性比较表明，我们的方法优于先前最先进的方法，同时实现了最少的参数和最快的推理速度。