高光谱机器视觉在越来越多的分类和检测应用中占有一席之地

撸陆知识小课堂，每周都有干货内容等着大家！

引言

高光谱相机能够覆盖 400 至 2500 nm 之间上百个 个连续的光谱带，从而能够揭示出独特的材料指纹的光谱图。

西班牙的 PICVISA 机器视觉系统公司致力于通过自动分类纺织废料来让世界变得更清洁。这是一项至关重要的任务，因为分类是回收的必要第一步，因此，在满足减少垃圾填埋场内容物的规定方面，这是一项至关重要的任务。但标准光学成像无法轻易区分纺织品。

这就是 PICVISA 转向高光谱机器视觉的原因，它捕捉材料废料流在红外区域多个光谱带上的反射，并使用人工智能 (AI) 处理信号。结果是一个特征，机器人可以使用该特征来区分材料，从而对废料流进行分类。据估计，目前只有一小部分纺织品被回收利用。然而，欧盟要求其所有成员国在 2025 年 1 月 1 日之前实施系统来管理 100% 的纺织废料（每年超过 1600 万吨）。

高光谱机器视觉可以对纺织品进行分类，这是回收利用的关键要素。图片由 PICVISA 机器视觉系统提供。

“这项技术改变了行业格局。它使我们能够识别服装的材料和成分，以便在回收之前进行预选，”PICVISA 技术总监 Daniel Carrero 在谈到公司产品中使用的 Specim FX17 相机时说道。该相机以线扫描模式运行，收集 900 至 1700 nm 的高光谱数据。总部

位于加拿大的 Waste Robotics 公司正在应用类似的技术和相同的相机对塑料垃圾进行分类。高密度聚乙烯和聚丙烯塑料盖在可见光区域看起来相同，但使用短波红外 (SWIR) 中的高光谱成像则有所不同。

相机、光源和软件的成本下降和性能的提高都促使机器视觉高光谱相机在垃圾分类中的应用越来越多。高光谱机器视觉使用量增加的其他应用包括对食物进行分类和评估其质量、发现食物中的污染物（例如坚果中的壳碎片）、确定采矿中的矿物成分以及监测农田。

更高精度

所有这些任务都有一个共同点：它们需要高度准确地识别肉眼看起来相同的材料。Specim 全球营销经理 Minna T?rm?l? 表示：“当所有其他技术都尝试过但都失败了或无法达到所需的检测精度时，就会应用高光谱成像。”

不同塑料类型的RGB 图像（顶部）与高光谱图像（底部）。图片由 Specim 提供。

Waste Robotics 基于光谱实时材料识别的垃圾分类机器人。图片由 Specim 提供。

高光谱机器视觉相机之所以成功，是因为它与标准 RGB 相机有着根本的不同。后者收集可见光（波长 400 至 700 纳米）区域内三个波段（红、绿、蓝）的信息。更复杂的相机系统可以捕捉更多波段，无论是可见光区域、近红外 (NIR)、SWIR 还是更长的波长。但 T?rm?l? 表示，这种多光谱相机通常只能成像不到 10 个波段，通常只有 4 个或 5 个。她说，这些波段的波长通常都小于 1000 纳米，这意味着相机无法获取波长较长的红外区域的成分信息。

相比之下，根据 IEEE P4001 标准草案，高光谱相机至少可以覆盖 250 至 2500 纳米之间的 30 个连续光谱带。相机可以对数百个窄光谱带进行成像，从而揭示出独特材料指纹的光谱轮廓。

高光谱成像使用的设置与标准成像大致相同，包括光源、滤光片、镜头和传感器。高光谱成像的关键区别在于，传感器前面有一个组件，可将入射光分离成光谱成分，从而能够检测包含空间信息的所谓像素向量。

“高光谱图像中的每个像素向量都包含完整的光谱，它们共同构成高光谱图像数据立方体，从而可以对材料进行详细分析和识别。”

高光谱相机与更传统的相机之间的另一个区别是分析软件。捕获的光谱特征的复杂性可能使分析变得具有挑战性。使用人工智能算法可以提高材料分类的可靠性，使具有最低限度专业知识的用户能够以工业应用所需的速度和精度进行此类分析。

最常见的光谱分离设置将 2D 传感器阵列转变为 1D线扫描仪，光谱信息沿其他轴。因此，x 轴由一行点的基本光谱带数据组成，而 y 轴将包含每个点的不同光谱带的数据。将光谱带移动到物体上可获得其光谱信息。

推扫式方法

这种推扫式方法因扫描动作类似于用扫帚扫过物体而得名，这种方法可以产生有用的结果，但也存在一定的弊端。在执行推扫式方法所需的线扫描时，积分时间或在每个点上花费的时间可能很短，以满足吞吐量要求。

高光谱玉米分选机上的白光激光线。高光谱成像能够实现精确的整体质量评估和特定等级的分选，通过测量糖含量来考虑玉米甜度等因素。

纺织品必须按照欧盟颁布的新法规进行回收。图片由 PICVISA 机器视觉系统提供。

这个例子说明了供应商面临的权衡，他们必须在成本、分辨率/灵敏度和吞吐时间之间取得平衡。因此，提高灵敏度、吞吐量或两者兼而有之可能需要成本过高的相机。

推扫式布置还有其他替代方案，这些方案都有各自的权衡。例如，高光谱相机制造商的设备可在一次曝光中捕捉区域图像，称为快照相机。像素级光谱分离有助于使其相机比标准推扫式方法更小、更坚固。这些属性对于在工业环境中运行的机器视觉相机非常有用。

“生产线并不是最干净的地方，而且它们往往没有太多空间，”

片上光谱成像通过在每个像素上沉积薄膜来制造传感器。这样，每个像素只接收来自特定光波段的光。这些薄膜通常以块的形式放置，常见的排列方式是 4 × 4 和 5 × 5。因此，如果所有块都相同，则结果是 16 或 25 个光谱通道。然而，imec 已经用复杂的马赛克和复杂的滤光片图案进行了演示。

这种方法的一个好处是，它可以构建非常紧凑的光谱分辨率相机。此外，使用半导体制造技术可以消除手工组装的组件，从而降低价格并提高可靠性。

这种像素内方法可以应用于不同的传感器材料，例如用于可见光区域的 CMOS、用于 NIR 和 SWIR 区域的砷化铟镓 (InGaAs) 以及用于更长波长的碲化汞镉。

该技术可以实现真正的快照和光谱成像。该技术通过马赛克图案（如前面提到的 4×4 或 5×5 块）实现了视频光谱速率成像。这种方法的代价是每个通道的空间采样分辨率。不过逆转马赛克的算法可以恢复接近完整的空间分辨率。

至于高光谱成像中使用的探测器材料，最近的创新有望带来更好的性能。索尼的 SenSWIR 技术于 2021 年推出并投入商业使用，可覆盖 400 至 1700 nm 的波长。因此，一台相机可以提供可见光和 SWIR 区域的高光谱数据。也有其他公司正在研究允许从 400 到 2500 nm 波长成像的技术。

冷照明

“与产生大量热量的传统光源（例如卤素灯）相比，有可以进行‘冷’照明的解决方案
有公司生产超连续光源。这些光源既可用于线照明，也可用于点照明，单个光源可覆盖 380 至 2400 nm 的波长。

尽管价格多年来一直在下降，但超连续光源仍然比卤素灯和 LED 更昂贵。后者的创新扩大了可用波长范围，填补了阻碍 SWIR 机器视觉的照明空白。

关于总体成本，业内人士报告了进展。如今，高光谱相机的成本可能比标准 RGB 机器视觉相机高出 5 倍左右。

展望未来，高光谱机器视觉价格会更低。另一个愿望是实现扩展的光谱范围，因为这将能够更准确地对材料进行分类。第三个期望的进步是更高的空间分辨率和更高的速度。第四个也是最后一个要求是更灵敏的相机，因为这将减少对照明的需求。照明是设备的主要能源成本开销，它会影响设备的耐用性和性能一致性。

“这四点对于我们提供的工业化系统来说是最重要的，”

这些领域的进步将有助于促进高光谱机器视觉的工业应用。即便如此，如果目前的系统提供了所需的光谱信息，那么目前的成本和性能对于某些应用来说可能是值得的。

信撸陆 不迷路