专栏简介

深度学习是人工智能领域的一个重要分支领域。从理论起步到实际应用，短短几年，深度学习逐渐渗入到了图像处理、图像重建、行为识别、目标检测等众多相关领域。本专栏收录的6篇论文，就是诸如此类研究成果的前沿进展与综述。相信广大电子学报的读者可以从本专栏中，一次性了解这一领域近年来的热点方向和学术研究进展。

基于深度学习的单幅图像去雾研究进展

贾童瑶, 卓力, 李嘉锋, 张菁. 基于深度学习的单幅图像去雾研究进展[J]. 电子学报, 2023, 51(1): 231-245.

JIA Tong-yao, ZHUO Li, LI Jia-feng, ZHANG Jing. Research Advances on Deep Learning Based Single Image Dehazing[J]. Acta Electronica Sinica, 2023, 51(1): 231-245.

户外视觉系统极易受到雾霾等恶劣天气影响，采集到的图像/视频质量严重下降，这不仅影响人眼的主观感受，也给后续的智能化分析带来严峻挑战。近年来，学者们将深度学习应用于图像去雾领域，取得了诸多的研究成果。但是雾霾图像场景复杂多变、降质因素众多，这对去雾算法的泛化能力提出了很高的要求.本文主要总结了近年来基于深度学习的单幅图像去雾技术研究进展。从先验知识和物理模型、映射关系建模、数据样本、知识迁移学习等角度出发，介绍了现有算法的研究思路、具体特点、优势与不足。尤其侧重于近两年来新出现的训练策略和网络结构，如元学习、小样本学习、域自适应、Transformer等。另外，本文在公共数据集上对比了各种代表性去雾算法的主客观性能、模型复杂度等，尤其是分析了去雾后的图像对于后续目标检测任务的影响，更全面地评价了现有算法性能的优劣，并探讨了未来可能的研究方向。

基于深度学习的单帧图像超分辨率重建综述

吴靖, 叶晓晶, 黄峰, 陈丽琼, 王志锋, 刘文犀. 基于深度学习的单帧图像超分辨率重建综述[J]. 电子学报, 2022, 50(9): 2265-2294.

WU Jing, YE Xiao-jing, HUANG Feng, CHEN Li-qiong, WANG Zhi-feng, LIU Wen-xi. A Review of Single Image Super-Resolution Reconstruction Based on Deep Learning[J]. Acta Electronica Sinica, 2022, 50(9): 2265-2294.

图像超分辨率重建是计算机视觉中的基本图像处理技术之一，不仅可以提高图像分辨率改善图像质量，还可以辅助其他计算机视觉任务。近年来，随着人工智能浪潮的兴起，基于深度学习的图像超分辨率重建也取得了显著进展.。本文在简述图像超分辨率重建方法的基础上，全面综述了基于深度学习的单帧图像超分辨率重建的技术架构及研究历程，包括数据集构建方式、网络模型基本框架以及用于图像质量评估的主、客观评价指标，重点介绍了根据网络结构及图像重建效果划分的基于卷积神经网络的方法、基于生成对抗网络的方法以及基于Transformer的方法，并对相关网络模型加以评述和对比，最后依据网络模型和超分辨率重建挑战赛相关内容，展望了图像超分辨率重建未来的发展趋势。

深度学习框架下群组行为识别算法综述

邓海刚, 王传旭, 李成伟, 林晓萌. 深度学习框架下群组行为识别算法综述[J]. 电子学报, 2022, 50(8): 2018-2036.

DENG Hai-gang, WANG Chuan-xu, LI Cheng-wei, LIN Xiao-meng. Summarization of Group Activity Recognition Algorithms Based on Deep Learning Frame[J]. Acta Electronica Sinica, 2022, 50(8): 2018-2036.

群组行为识别目前是计算机视觉领域的一个研究热点，在智能安防监控、社会角色理解和体育运动视频分析等方面具有广泛的应用价值。本文主要针对基于深度学习框架下的群组行为识别算法进行综述。首先，依据群组行为识别方法中“是否包含组群成员交互关系建模”这一核心技术环节，将现有算法划分为“无交互关系建模的群组行为识别”和“基于交互关系描述的群组行为识别”两大类。其次，鉴于“无交互关系建模的群组行为识别方法”主要是聚焦于如何对“群组行为时序过程的整体时空特征的计算和提纯”进行设计的，故本文从“多流时空特征计算融合”“个人/群体多层级时空特征计算合并”“基于注意力机制的群组行为时空特征提纯”3类典型算法进行概述。再次，对于“基于交互关系建模的群组行为识别”，依据对交互关系描述方法的不同，将其归纳为“基于组群成员全局交互关系建模”“基于组群分组下的交互关系建模”和“基于关键人物为主的核心成员间交互关系建模”3种类别分别概述。然后，对群组行为识别相关的数据集进行介绍，并对不同识别方法在各个数据集的测试性能进行了对比和总结。最后，分别从群组行为类别定义的二元性、交互关系建模的难点与不足、群组行为数据集弱监督标注和自学习、视角变化以及场景信息综合利用等方面概述了几个具有挑战性的问题和未来研究的方向。

基于深度学习的表情动作单元识别综述

邵志文, 周勇, 谭鑫, 马利庄, 刘兵, 姚睿. 基于深度学习的表情动作单元识别综述[J]. 电子学报, 2022, 50(8): 2003-2017.

SHAO Zhi-wen, ZHOU Yong, TAN Xin, MA Li-zhuang, LIU Bing, YAO Rui. Survey of Expression Action Unit Recognition Based on Deep Learning[J]. Acta Electronica Sinica, 2022, 50(8): 2003-2017.

基于深度学习的表情动作单元识别是计算机视觉与情感计算领域的热点课题。每个动作单元描述了一种人脸局部表情动作，其组合可定量地表示任意表情。当前动作单元识别主要面临标签稀缺、特征难捕捉和标签不均衡3个挑战因素。基于此，本文将已有的研究分为基于迁移学习、基于区域学习和基于关联学习的方法，对各类代表性方法进行评述和总结。最后，本文对不同方法进行了比较和分析，并在此基础上探讨了未来动作单元识别的研究方向。

基于深度学习的通用目标检测研究综述

程旭, 宋晨, 史金钢, 周琳, 张毅锋, 郑钰辉. 基于深度学习的通用目标检测研究综述[J]. 电子学报, 2021, 49(7): 1428-1438.

CHENG Xu, SONG Chen, SHI Jin-gang, ZHOU Lin, ZHANG Yi-feng, ZHENG Yu-hui. A Survey of Generic Object Detection Methods Based on Deep Learning[J]. Acta Electronica Sinica, 2021, 49(7): 1428-1438.

目标检测是计算机视觉领域中最基础且最重要的任务之一，是行为识别与人机交互等高层视觉任务的基础。随着深度学习技术的发展，目标检测模型的准确率和效率得到了大幅提升。与传统的目标检测算法相比，深度学习利用强大的分层特征提取和学习能力使得目标检测算法性能取得了突破性进展。与此同时，大规模数据集的出现及显卡计算能力的极大提高也促成了这一领域的蓬勃发展。本文对基于深度学习的目标检测现有研究成果进行了详细综述。首先回顾传统目标检测算法及其存在的问题，其次总结深度学习下区域提案和单阶段基准检测模型。之后从特征图、上下文模型、边框优化、区域提案、类别不平衡处理、训练策略、弱监督学习和无监督学习这八个角度分类总结当前主流的目标检测模型，最后对目标检测算法中待解决的问题和未来研究方向做出展望。

基于深度学习的显著性目标检测方法综述

罗会兰, 袁璞, 童康. 基于深度学习的显著性目标检测方法综述[J]. 电子学报, 2021, 49(7): 1417-1427.

LUO Hui-lan, YUAN Pu, TONG Kang. Review of the Methods for Salient Object Detection Based on Deep Learning[J]. Acta Electronica Sinica, 2021, 49(7): 1417-1427.

显著性目标检测旨在对图像中最显著的对象进行检测和分割，是计算机视觉任务中重要的预处理步骤之一，且在信息检索、公共安全等领域均有广泛的应用。本文对近期基于深度学习的显著性目标检测模型进行了系统综述，从检测粒度的角度出发，综述了将深度学习引入显著性目标检测领域之后的研究成果。首先，从三个方面对显著性目标检测方法进行了论述：稀疏检测方法，密集检测方法以及弱监督学习下的显著性目标检测方法。然后，简要介绍了用于显著性目标检测研究的主流数据集和常用性能评价指标，并对各类主流模型在三个使用最广泛的数据集上进行了性能比较分析。最后，本文分析了显著性目标检测领域目前存在的问题，并对今后可能的研究趋势进行了展望。