基于邻域显著性的可见光和SAR遥感图像海面舰船协同检测方法
源自：雷达学报
作者：张强, 王志豪, 王学谦 李刚 黄立威 宋慧娜 宋朝晖
摘 要
在遥感图像舰船检测任务中，可见光图像细节和纹理信息丰富，但成像质量易受云雾干扰，合成孔径雷达(SAR)图像具有全天时和全天候的特点，但图像质量易受复杂海杂波影响。结合可见光和SAR图像优势的协同检测方法可以提高舰船目标的检测性能。针对在前后时相图像中，舰船目标在极小邻域范围内发生轻微偏移的场景，该文提出一种基于邻域显著性的可见光和SAR多源异质遥感图像舰船协同检测方法。首先，通过可见光和SAR的协同海陆分割降低陆地区域的干扰，并通过RetinaNet和YOLOv5s分别进行可见光和SAR图像的单源目标初步检测；其次，提出了基于单源检测结果对遥感图像邻域开窗进行邻域显著性目标二次检测的多源协同舰船目标检测策略，实现可见光和SAR异质图像的优势互补，减少舰船目标漏检、虚警以提升检测性能。在2022年烟台地区拍摄的可见光和SAR遥感图像数据上，该方法的检测精度AP50相比现有舰船检测方法提升了1.9%以上，验证了所提方法的有效性和先进性。
关键词
可见光遥感 / 合成孔径雷达 / 舰船目标 / 多源协同 / 邻域显著性
1. 引言
可见光和合成孔径雷达(Synthetic Aperture Radar, SAR)是遥感领域中常见的两种数据获取手段[1,2]。可见光遥感具备高空间分辨率的优势，可以捕捉地表和海面目标的细节特征与物体纹理，且图像特征更符合人的认知、可解译性强[3]。SAR遥感技术全天候的特点使得其在恶劣天气条件可以穿透云雾的遮挡，且不受光照条件的影响[4]。舰船检测[5,6]是遥感技术的重要应用领域之一，在海运管理、安全救援、海上安防等方面具有重要应用。目前国内外的学者针对单源遥感舰船检测任务已经提出了很多检测方法，即检测方法的输入为可见光或SAR图像。
针对SAR遥感图像舰船检测，Brusch等人[7]通过分析SAR图像中杂波像素的统计特性来计算恒虚警(Constant False Alarm Rate, CFAR)检测门限，并衍生出基于超像素杂波统计特性的CFAR[8,9]等多种目标检测算法。Zhang等人[10]提出一种YOLO-FA深度神经网络，通过引入频域注意力模块，能够自适应地处理SAR图像中的频域信息，抑制SAR图像中的海杂波，进而提高检测性能。Qin等人[11]提出一种基于自蒸馏的新型半软标签引导的SAR舰船检测网络，相比于经典的硬标签或者软标签能够更好地为近岸舰船目标提供引导知识，避免复杂的近岸场景干扰。Zhang等人[5]设计了一种基于多级辅助监督结构的舰船检测网络，能够融合舰船的多尺度特征，提高多尺度舰船检测性能。刘方坚等人[12]提出一种基于SAR图像视觉显著性的NanoDet网络，将图像划分为不同场景类别并提取目标显著性融入到网络的训练中，实现模型对差异化场景的快速检测。胥小我等人[13]针对SAR图像复杂场景中正负样本不均衡以及定位精度不佳的问题，提出A3-IOUS-Net网络模型，通过自适应锚框分配正负样本和在检测头增加交并比监督机制改善舰船定位质量，增强检测性能。
针对可见光遥感图像舰船检测，Wang等人[14]针对云和薄雾干扰下低对比度舰船目标检测任务，将超像素分割与CFAR结合提出了SFCFAR方法，利用超像素分割增强目标与背景区域的舰船纹理特征差异来突出舰船目标。Tian等人[15]针对可见光图像中多变的背景和舰船尺度，提出一种新的检测方式，设计了基于协方差统计差异特征的视觉显著性预检测定位机制，利用多尺度和多通道特征融合提高了检测性能。Zhuang等人[16]提出一种结构化稀疏表示模型，模型中的误差矩阵不仅有效避免了正负样本的不平衡问题，而且对舰船和背景区域提供了鲁棒的类内描述。Hu等人[17]提出一种基于视觉显著性模型舰船检测框架，通过融合前景、背景两部分的显著性图来检测舰船目标。Qin等人[18]针对可见光近岸场景干扰问题，提出一种双分离注意网络，构建上下文坐标模块来关注骨干网络在进行特征抽取时的空间坐标信息、全局通道模块来关注颈部网络中的通道特征，增强了对舰船目标与近岸复杂背景的辨别能力。Ren等人[19]设计了一种基于特征融合增强结构和显著性预测分支的深度神经网络，使用显著性筛选机制挖掘更多正样本用于检测模型训练，提高模型在复杂可见光图像中的检测性能。Si等人[20]提出YOLO-RSSD网络结构，在颈部特征融合部分嵌入改进的双向特征金字塔网络结构、在卷积单元中增加通道注意力机制，增强了目标特征信息捕获能力。
以上方法[5,7−20]利用单源遥感信息实现舰船目标检测，目前也提出了很多基于多源同质数据融合的检测方法，可以发挥多传感器的优势，实现检测信息增益。Bender等人[21]提出加性融合，Jia等人[22]提出乘性融合的算术逻辑融合方式，可以快速融合同质图像。Jin等人[23]提出主成分分析和小波变换的融合方式，可增强目标和抑制杂波。Fasano等人[24]提出一种基于自相关神经网络的非线性主成分分析方法，从不同散射机制中提取相关特征，增强感兴趣目标区域的特征。Wang等人[4]和Zhu等人[25]利用星载SAR大视场成像，以及机载SAR快速重访、成像视角灵活的优势，在融合多种SAR图像的过程中，根据杂波统计特性抑制背景杂波、增强舰船目标区域，提升了舰船检测性能。但上述方法依旧是利用同质数据，没有突破传感器类型的限制，检测性能仍受到图像类型自身存在的诸多制约。多源异质图像融合处理[26]能够利用不同传感器类型成像的优势，实现优势互补，为减少漏检、降低虚警和提升目标检测的稳健性提供了新的解决思路。目前，在多源异质遥感图像融合处理[3,26−31]的图像增强、变化检测[1,2,32−35]和地物分类[36−39]等场景中，学者已经开展了大量研究，提出了很多有效的方法。但在遥感领域，配对的(近似)同时相异质遥感舰船数据相对稀缺，多源异质图像舰船目标检测研究仍较少[40−42]。
近年来单星多载荷共时相成像技术的突破，为多源遥感舰船数据获取及融合舰船检测提供了技术前提。2022年，中国空间技术研究院、北京航空航天大学等单位提出了一系列光学-SAR载荷共时相成像方法，可实现多源异构一体化对海探测[43,44]。2022年，由北京微纳星空科技有限公司总体负责研制的“泰景4-01号”卫星具备单星多载荷探测能力，可实现(近似)同时相的光学、SAR对海异构观测数据获取，同一区域的光学、SAR数据获取间隔已经达到秒级。多源异质遥感图像包含了舰船目标的多维度跨域信息，基于多源异质遥感图像的信息互补，可有效增强单源检测的鲁棒性。
图1描述了多源异质图像舰船目标检测的主要挑战。(1)可见光图像和SAR图像之间的舰船目标特征差异大，构建有效的跨域特征困难。(2)可见光图像中舰船可能被云雾遮挡，SAR图像中的船体可能存在视觉意义上的离散化现象，而且可能被强杂波干扰。(3)(近似)同时相获取的图像中，由于舰船的主动运动行为或受海况影响的被动移动行为，即使在秒级成像时间间隔内所拍摄的异质图像中，舰船目标往往存在轻微的位置偏移，导致空间失配，单源检测的结果难以直接匹配另一异质源的目标[45,46]。
图 1 多源异质舰船协同检测难点分析
学界针对可见光和SAR异质遥感图像舰船检测已经提出了一些方法。陈俊等人[46]基于可见光遥感数据训练YOLOv3模型并在SAR数据中进行迁移学习，从而使得YOLO模型具备多源舰船检测能力；文献[46]还设计了一种基于形状和偏移距离的欧氏距离相似性度量函数，实现对可见光和SAR图像各自单源检测结果的匹配，将相似度高于决策阈值的配对结果认为是来自共时相异质数据的同一目标，并根据证据融合理论将配对目标的置信度得分进行融合，融合后置信度得分仍然较低的则被认为是虚警目标对，未能找到配对目标的检测结果则直接被复制到另一异质域检测结果中，以降低检测中的漏检。Fang等人[42]提出一种名为FusionDet的决策级融合方式。文献[42]以YOLOv5s作为单源检测网络，分别检测可见光和SAR图像中的舰船目标，通过对异质图像目标框的交并比进行阈值化处理，实现了可见光和SAR图像中目标检测框的匹配。文献[42]将相似性得分高于决策阈值的目标对视为同一目标，并取最大检测框作为可见光和SAR图像的协同检测结果，而相似性得分低于决策阈值的目标则被视为失配目标，会被复制到另一异质域检测结果中。文献[42]还基于加权证据融合理论度量配对目标的冲突程度，据此改善相似性得分高于决策阈值的多源异质域目标对置信度得分。在多源异质遥感图像中的舰船目标没有发生偏移时，上述方法[42,46]能够避免跨域的复杂特征构建过程，能够快速完成决策级融合检测，取得较好的检测性能优势。但是，这种复制检测框到另一异质域检测结果中的假设是漏检目标的空间位置不变，该假设忽略了多源异质遥感图像中同一个/同一批次舰船目标存在轻微偏移，导致难以有效检出另一异质域图像中的漏检目标，甚至会引入新的虚警。
为解决多源遥感图像中的舰船目标发生轻微偏移时难以有效检出漏检目标甚至引入新虚警目标的问题，本文提出了一种基于邻域显著性的可见光和SAR遥感图像海面舰船决策级协同检测方法，如图2所示，主要包括海陆分割、单源舰船初步检测、多源异质遥感图像协同检测3个环节。此外，需要注意的是，在共视场可见光和SAR图像存在轻微的成像时间间隔情况下，后时相图像作为最新的成像结果(新息)具有更大的参考意义，本文中的“协同”指的是前时相的初步检测结果作为先验信息，辅助提高后时相图像的检测性能，实现前后时相异质数据的协同检测。所以，前后时相的图像类型以实际中卫星或机载平台的拍摄情况为准，本文方法并不限定异质图像的时相顺序。
图 2 基于邻域显著性的可见光和SAR遥感图像海面舰船协同检测流程
2. 基于邻域显著性的可见光和SAR遥感图像海面舰船协同检测方法
本节介绍本文提出的基于邻域显著性的可见光和SAR遥感图像海面舰船协同检测方法。输入的可见光图像和SAR图像(已配准)分别用IO和IS表示，W和H分别表示图像的宽和长，其中可见光图像IO为RGB三通道图像，SAR图像IS为单通道图像。本文方法主要包括3个部分。(1)海陆分割：本文提出了一种基于OTSU[47]和K-mean[48]的可见光和SAR图像协同海陆分割的方法，对IO和IS进行协同分割，获得陆地掩模，得到仅有海面区域的可见光图像IOS和SAR图像ISS。(2)单源舰船初步检测：单源检测器作为目标检测的第1阶段，对剔除陆地干扰的IOS和ISS分别进行单源检测，获得可见光和SAR初步检测结果BO和BS，检测结果包括检测框在图像中的中心坐标、长宽以及相应的置信度得分，为后续协同检测提供有效的先验信息。(3)多源异质遥感图像协同检测：多源协同作为第2检测阶段，检测可见光和SAR图像单源初步检测结果中漏检的目标。尽管可见光和SAR传感器存在短暂的成像时间间隔，导致舰船目标存在轻微偏移，但是舰船目标仍然在原始空间位置的极小邻域范围内。因此，本文提出的基于邻域显著性的可见光和SAR遥感图像海面舰船协同检测方法，会根据前时相可见光/SAR的单源检测框在后时相另一异质域图像中进行邻域开窗处理，在邻域内进行显著性目标二次检测。如果可见光图像为后时相图像，则根据前时相SAR单源检测结果BS在可见光图像中进行N(N≥3)倍开窗获得邻域子图，利用显著性目标检测的方法检测邻域子图中的目标并与BO合并，生成在前时相SAR单源检测结果辅助下、后时相可见光图像的协同检测结果BOC；同样的，如果SAR图像为后时相图像，则根据前时相可见光单源检测结果BO在SAR图像中进行N倍开窗获得邻域子图，利用显著性目标检测的方法检测邻域子图中的目标并与BS合并，生成在前时相可见光单源检测结果辅助下、后时相SAR图像的协同检测结果BSC，利用多源异质图像的优势补全单源检测器漏检的正确目标，提高检测性能。
2.1 海陆分割步骤
本节介绍本文提出的一种基于OTSU[47]和K-means[48]相结合的多源异质遥感图像协同海陆分割方法，如图2所示。海陆分割方法可视为多源舰船检测流程的预处理环节。OTSU利用灰度直方图特征进行分割，具有计算简单、快速的优点，适用于仅具有灰度特征的SAR图像分割。K-means利用多通道图像信息比OTSU仅利用灰度直方图特征，更适合于RGB可见光图像分割。
首先，采用OTSU算法对SAR图像IS进行分割，并将像素值大于分割阈值的最大连通区域作为二值化陆地分割结果LS，其他区域作为海面区域SS。接下来，根据上述结果确定K-means算法在可见光图像IO中陆地和海面区域的初始聚类中心点Lc, Sc：
 |
(1) |
其中，(h, w)表示像素在图像中坐标，k是图像的通道维度，k为1, 2, 3时分别对应可见光图像的RGB三通道，l0, l1, l2分别是可见光图像IO中属于LS区域的RGB三通道像素值均值，s0, s1, s2分别是IO属于SS区域的RGB三通道均值，AL和AS分别为相应区域的累计像素数量：
 |
(2) |
其中，I(⋅)是二元指示函数，值为0或1。
 |
(3) |
接下来，K-means算法根据初始聚类中心点Lc, Sc对IO进行聚类得到初步二值化陆地分割结果LO，海面区域SO，将LS和LO取并集再进行形态学处理。形态处理过程包括膨胀、孔洞填充和腐蚀，使陆地区域闭合连通、保证分割区域的完整性，最后提取最大连通区域作为二值化陆地区域LOSC。
2.2 单源初步检测步骤
在完成海陆分割后，将海陆分割结果LOSC作为掩模去除待检测图像的陆地区域，得到去除陆地区域的SAR图像ISS和可见光图像IOS，避免陆地区域中的复杂样本的干扰引入虚假目标。接下来，本文采用深度神经网络作为单源检测器，快速获取IOS和ISS图像上的单源舰船目标初步检测结果，即
和
，b是检测矩形框，包括在图像中的中心坐标和长、宽，c是矩形框相应的置信度得分，N表示在可见光图像单源检测结果中有N个检测框，M表示在SAR图像的单源检测结果中有M个检测框。
本文训练和测试了RetinaNet[49]以及YOLOv5系列[50]中的YOLOv5s, YOLOv5m, YOLOv5l和YOLOv5x共5种深度神经网络模型，并在3.1节的实测数据上测试检测性能，分析适用于本文提出方法的单源检测器。RetinaNet设计的Focal损失函数，能够调节在训练过程中对简单样本和困难样本的关注程度，避免困难样本被淹没[49]。YOLOv5系列中的金字塔注意网络和数据增强能实现较佳的小目标和多尺度目标检测性能。相比两阶段检测网络模型，近些年来的诸多目标检测研究工作已经验证了，Retinanet和YOLOv5等单阶段检测网络模型在很多检测任务中性能更加稳定[51−55]。本文在DOTA[56]可见光图像数据集上训练5种深度神经网络模型，并在本文的可见光实测图像上测试检测性能，同时在SRSDD-v1.0[57]SAR图像数据集上训练5种深度神经网络模型，并在本文的SAR实测图像上测试检测性能。以上单源检测器的检测性能测试结果如表1所示。实验结果表明：RetinaNet模型在可见光实测图像数据上有明显优于其他网络模型的性能，适合作为可见光单源检测器；在SAR图像实测图像数据上，其他模型相比于YOLOv5s表现出一定的性能下降，所以YOLOv5s适合作为SAR单源检测器。为保证单源检测器在实测数据中保持检测性能的相对稳定性，本文采用RetinaNet和YOLOv5s两种模型分别作为可见光和SAR图像数据的单源检测器，进行多源图像中舰船目标的快速初步检测，有效锁定局部的目标区域，辅助后续多源异质遥感图像协同检测步骤完成精细二次检测。
表 1 单源检测器性能对比(%)
|
图像类型 |
方法 |
P |
R |
F1 |
AP50 |
|
可见光 |
RetinaNet |
95.7 |
91.5 |
93.6 |
95.3 |
|
YOLOv5s |
81.5 |
75.8 |
78.6 |
77.1 |
|
|
YOLOv5m |
81.6 |
77.1 |
79.3 |
79.7 |
|
|
YOLOv5l |
70.6 |
65.9 |
68.2 |
58.6 |
|
|
YOLOv5x |
67.7 |
65.4 |
66.5 |
58.6 |
|
|
SAR |
RetinaNet |
50.2 |
39.6 |
44.3 |
38.5 |
|
YOLOv5s |
62.6 |
50.0 |
55.6 |
50.7 |
|
|
YOLOv5m |
60.0 |
38.9 |
47.2 |
48.6 |
|
|
YOLOv5l |
54.6 |
37.5 |
44.5 |
42.5 |
|
|
YOLOv5x |
40.1 |
33.3 |
36.4 |
31.4 |
2.3 多源异质遥感图像协同检测步骤
图3所示的可见光图像和SAR图像为单机多载荷共视场成像结果，受遥感成像平台共时相成像的微小时间间隔影响，多源遥感实测图像数据中舰船目标存在轻微偏移现象。图3的红色框为以可见光图像中的舰船目标空间位置为参考的标注结果，可知相对于可见光图像中的舰船目标，SAR图像中的目标存在轻微移动和旋转，难以实现完全的空间对齐。针对舰船目标存在轻微偏移的问题，本节介绍一种基于可见光和SAR单源初步检测结果的多源协同决策级检测方式，检测流程如图2。接下来，将详细介绍SAR图像作为前时相图像时，辅助后时相可见光图像进行显著性舰船目标检测流程，并简要介绍可见光图像作为前时相图像时，辅助后时相SAR图像进行显著性舰船目标检测流程，两种情形下的检测流程基本一致，检测流程中间结果如图4所示。
图 3 舰船目标空间偏移示意图
图 4 有舰船目标时的邻域子图及多源异质遥感图像协同检测处理中间结果
获得SAR单源检测结果BS、可见光单源检测结果BO后，考虑到当前图像中的目标空间位置仅在另一共视场图像对应位置的极小邻域范围内存在偏移，本文根据SAR单源检测结果中第m个检测框[bmS,cmS]在可见光图像上进行邻域开窗，得到一幅长Hm、宽Wm的邻域子图ImO，利用最大对称环绕视觉模型[58]计算ImO的显著性图。将ImO转换到CIELAB色彩空间[58,59]生成转换后的邻域子图ImLab，并计算对应的显著性图SmLab，计算方式如下：
 |
(4) |
其中，z为1, 2, 3时分别是CIELAB域中明度、红色度、蓝色度通道，
是邻域子图
经过高斯滤波平滑后的图像、
是邻域子图ImLab经过最大环绕子图均值滤波后的图像，最大环绕子图均值滤波的计算方式如图5所示。图5所示蓝色虚线矩形子图是蓝色实心像素点的最大环绕子图，边界为图像边界，子图宽、长分别为蓝色实心像素点距图像垂直、水平边界最小值，目标像素点的代表值即为最大环绕子图的均值。绿色实心目标像素点代表值计算方式与蓝色实心像素点相同。
计算如下：
图 5 最大对称环绕视觉示意图
 |
(5) |
目标像素点到边界的最小长度ho、宽度wo和最大环绕子图面积Ao计算如下：
 |
(6) |
结合图5可知，相比于全局均值滤波处理，式(5)中的最大环绕子图均值滤波操作的特点在于，对邻域子图从图像边缘到图像中心区域的平滑能力逐渐增强。由于在SAR目标检测框的指导下，经过在可见光图像中的N倍邻域开窗处理，可见光邻域子图中的舰船目标通常处于子图的中心区域附近(由于可见光/SAR图像中目标的轻微偏移，目标不一定严格位于子图中心)。对邻域子图中心区域进行增强型平滑处理，使得经过式(4)处理得到的显著性图中，可以更好地凸显邻域子图中心区域附近的舰船目标。根据式(4)—式(6)可以计算得到邻域子图
相对应的显著性图
，可看出前景舰船目标区域的显著性值高于背景海面区域，且前景、背景差异较为明显。高对比度的显著性图有利于后续检出前景目标区域。
得到邻域子图的显著性图
后，需要提取前景舰船目标区域，由于前景和背景区域的显著性存在明显差异，适合用OTSU算法实现对显著性图
的分割，进而得到前景目标区域：
 |
(7) |
其中，Tm表示当前邻域子图中分割得到的舰船目标区域集合，tm,i表示分割得到的第i个舰船目标区域。在Tm中易存在异常的大连通区域杂波和小的区块噪声干扰。本文通过面积属性剔除以上异常区域。tm,i所占目标面积为
|
|
当Atm,i<α1HmWm或Atm,i>α2HmWm时，则认为tm,i是应予以剔除的异常区域，α1>0为区块噪声滤除比例因子，α2>0为异常的大连通区域杂波滤除比例因子。
在完成显著性舰船目标提取之后，需要度量提取到的目标区域置信度。根据前时相单源检测结果目标框的置信度得分cmS和前景目标区域的相对显著性，本文新构建了一种衡量前景舰船目标区域置信度的方式：
 |
(8) |
其中，
表示前景舰船目标区域tm,i相应的置信度得分，β>0表示松弛因子，SAR单源检测结果中第m个检测框置信度cmS得分越高，即当前输入单源检测框越可信，则ctm,i越高。xtm,i是目标区域tm,i在当前邻域子图中的相对显著性：
 |
(9) |
其中，μtm,i是在显著性图SmLab中舰船目标区域tm,i的平均显著性值，μSmLab是SmLab的平均显著性值，计算方式如下：
 |
(10) |
 |
(11) |
相对显著性值xtm,i越大，说明前景舰船目标区域和背景差别越大，是舰船目标的可能性越高，则ctm,i置信度得分越高。ctm,i综合衡量了当前单源初步检测结果框的置信度得分和对应的异质图像邻域子图中前景舰船目标区域的相对显著性。在得到舰船目标区域的tm,i的置信度ctm,i后，计算其相应最大外接矩形框btm,i，作为此目标区域的检测结果[btm,i,ctm,i]。根据当前邻域子图中分割得到的舰船目标区域集合Tm，可以得到当前邻域子图中所有检出的舰船目标区域BmOC={[btm,1,ctm,1],[btm,2,ctm,2],⋯,[btm,i,ctm,i],⋯,[btm,J,ctm,J]}，作为后时相可见光图像邻域子图的二次检测结果。假设SAR单源检测结果中共有M个检测框，当遍历SAR单源检测结果BS后，获得共M组在前时相SAR单源检测结果辅助下，后时相可见光图像显著性舰船目标检测结果，与可见光单源检测结果BO合并为BOC={BO,B1OC,B2OC,⋯,BMOC}。
在获得可见光合并检测结果BOC后，后处理步骤去除BOC中的冗余检测框。后处理包括内部框融合和非极大值抑制(Non-Maximum Suppression, NMS)。由于邻域开窗可能导致可见光多源协同检测结果BOC中既存在单体舰船目标检测框，也可能存在单体舰船目标的多个较小局部检测框。因此，本文采用内部框融合来降低针对单体舰船目标区域的多个较小局部检测框数量。内部框融合如图6所示，当较小的蓝色检测框有超过δ比例的面积处于较大的红色检测框内时，即将两个检测框合并，更新后的检测框为两个框的最大外接矩形，δ设置为0.8。如图6的虚线绿色框，新检测框的置信度得分为蓝色检测框和红色检测框之间的较高得分。经过内部框融合后，再进行NMS处理，去除其他冗余的检测框，达到多源协同降低可见光图像舰船目标漏检率，且减少引入虚警的目标。
图 6 内部框融合示意图
可见光图像作为前时相图像、辅助后时相SAR图像进行显著性舰船目标检测流程与前述流程基本一致，利用可见光单源检测结果第n个检测矩形框[bnO,cnO]对SAR图像开窗获得邻域子图InS。不同于可见光图像的三通道信息，SAR图像只有单通道信息，不需要CIELAB色彩空间转换。对InS进行高斯滤波生成平滑图像InS,s，并按式(5)计算最大环绕子图均值滤波后的图像InS,μ，再代入式(4)中计算显著性图SnS。接下来，根据式(7)分割SnS获得SAR邻域子图中的前景目标区域TnS。通过面积属性剔除异常的大连通区域杂波和小的区块噪声。
此外，受SAR图像成像机理影响和目标材质影响，SAR图像中目标的散焦[60]、各部分散射点呈现出离散性现象导致较弱的船体组件关联性[61]，使得由显著性分割出的单体前景舰船目标区域易表现出视觉意义上的离散化现象，给单体舰船目标的完整检出带来困难。为此，对剔除了面积异常区域的前景舰船目标区域TnS结果进行形态学处理，保证同一目标区域的完整性：对前景舰船目标区域进行膨胀，使表现出弱关联性的单体目标的多个散射区域连通，并进行孔洞填充保证区域完整性，最后进行腐蚀，恢复完整真实目标区域的原始尺寸。进一步地，本文还将通过图7展示形态学处理的有效性，从图7有目标的SAR邻域子图形态学处理过程可知，形态学处理有助于恢复目标原始尺寸，有利于处理离散化现象弱化检测性能问题。此外，图7中无目标的SAR邻域子图中仅有杂波区域，提取出的多个目标区域随机分布在子图中，形态学处理后，几乎整个子图被提取为目标，根据式(8)可知，其置信度很低。
图 7 后时相SAR图像邻域子图及其显著性检测形态学处理中间结果
完成形态学处理后按照式(8)—式(11)，根据可见光图像单源检测结果中第n个检测框的置信度得分cnO，计算形态学处理后的TnS中各目标的置信度得分ctn,iS，以及最大外接矩形框btn,iS，并将后时相SAR图像邻域子图的二次检测结果记为BnSC={[btn,1S,ctn,1S],[btn,2S,ctn,2S],⋯,[btn,iS,ctn,iS],⋯[btn,JS,ctn,JS]}。假设可见光单源检测结果BO中有N个检测结果，遍历BO后，获得共N组在前时相可见光图像的单源检测结果辅助下，后时相SAR图像显著性舰船目标检测结果，与SAR单源检测结果BS合并为BSC={BSC,B1SC,B2SC,⋯,BNSC}，再经过内部框融合和NMS后处理去除冗余检测框，达到多源协同降低SAR图像舰船目标漏检率且减少虚警引入的目标。
为说明显著性目标二次检测能够降低无目标邻域子图的干扰、减少虚警的引入，本文还分析了在无舰船目标邻域子图下的结果，如图8所示。后时相图像邻域子图中只有内部相似性较高的海面背景区域，不存在区别于背景区域的前景目标区域。当不存在前景目标时，显著性图的对比度很低。结合式(8)和式(9)中置信度得分函数和显著性图可知，分割并保留下的的虚假目标区域相对显著性较低，相应置信度得分较低。特别地，SAR邻域子图中仅有海杂波，形态学处理后近似整个子图为目标区域，该虚假目标置信度很低。综上可知，包含舰船目标区域的邻域子图与不含舰船目标区域相比，前者显著性图中对比度差异明显，能够突出前景舰船目标并抑制背景区域，真实目标区域置信度得分较高，而后者显著性图对比度低，相对显著性较低的残留杂波区域能够被抑制，本文的显著性二次目标检测方法能够区分真实和虚假目标。
图 8 无舰船目标时邻域子图及多源异质遥感图像协同检测处理中间结果
本节介绍了邻域子图中进行显著性目标二次检测的流程，如算法1和算法2所示。主要流程包括：根据前时相单源检测框对后时相异质域图像开窗获取邻域子图后，利用最大对称环绕视觉模型[58]计算邻域子图的显著性图；对显著性图进行OTSU分割获得高显著性舰船目标区域；剔除面积异常的大连通区域杂波和小的区块噪声干扰；计算目标检测矩形框与相应置信度得分；显著性目标检测结果与单源检测结果合并，获得后时相异质域协同检测结果；利用后处理去除冗余检测框。
1 基于前时相SAR单源检测结果辅助的后时相可见光图像显著性舰船目标检测算法
2 基于前时相可见光单源检测结果辅助的后时相SAR图像显著性舰船目标检测算法
3. 实测数据实验
3.1 实验数据说明
(近似)共时相多源异质遥感实测实验数据如图9所示，可见光和SAR图像均为机载传感器采集的图像，分辨率均为0.1 m，图像长度12961像素，宽度16758像素，2022年1月9日于中国烟台崆峒岛附近拍摄。为验证本文方法的有效性，在可见光图像中添加如图9红色框所示的局部仿真云雾区域，使得该区域变为困难样本。可见光单源检测网络RetinaNet预训练于DOTA数据集，该数据集中RGB图像采集于谷歌地球和CycloMedia B.V.提供的航拍图像、灰度图像来自中国资源卫星数据与应用中心提供的GF-2和JL-1卫星的全色波段，像素尺寸为800×800到4000×4000[56]，本文中可见光图像为RGB模态，所以仅选取其中包含舰船目标的RGB图像，训练图片切片长宽均为1024，重叠量200。SAR单源检测网络YOLOv5s预训练于SRSDD-v1.0数据集，该数据集图像采集于GF-3卫星，裁切为666张像素尺寸为1024×1024的切片，共2884个舰船目标，包含近岸和复杂背景的舰船目标[57]。为说明在上述可见光和SAR数据集训练网络，并利用训练好的网络在本文实测数据上进行检测的合理性，本文对比了预训练数据集和本文实测数据中舰船目标尺寸。如图10所示，蓝色实心圆代表DOTA数据集中的舰船目标尺寸分布，红色叉符号表示本文可见光实验数据中舰船目标尺寸分布，两种数据中舰船目标尺寸具有一致性。如图11所示，蓝色实心圆代表SRSDD-v1.0数据集中的SAR舰船目标尺寸分布，红色叉符号表示本文SAR实测实验数据中舰船目标尺寸分布，两种数据中舰船目标尺寸具有一致性。在推理过程中图片切片长宽均为1024，重叠量200，实验实测数据中可见光和SAR图像均有336张切片，其中可见光图像中舰船数量为153艘，SAR图像中舰船数量为144艘。
图 9 (近似)共时相多源异质遥感图像
图 10 DOTA数据集与本文可见光数据舰船目标尺寸分布图
图 11 SRSDD-v1.0数据集与本文SAR数据舰船目标尺寸分布图
实验过程中，CPU为Intel(R) Xeon(R) Platinum 8280 CPU @ 2.70 GHz，GPU采用 NVIDIA® TITAN RTX™ 24 GB×2，操作系统为Windows Server 2019 Standard，基于开源深度学习框架Pytorch 1.11运行，设置训练初始学习率为0.0001，优化器为Adam，共迭代300个epoch。
3.2 海陆分割
3.2.1 分割结果评价指标
本文采用精度PL，召回率RL，LF1得分和准确率AccL衡量海陆分割方法的有效性：
|
|
(12) |
其中，TPL是指预测并真属于陆地区域的像素数量、FPL是预测属于陆地但实际属于海面区域的像素数量、TNL是预测并真属于海面区域的像素数量、FNL是预测属于海面但实际属于陆地区域的像素数量。
3.2.2 实验结果比较
从图12的实验结果可知，本文的海陆分割方法能更有效地分割出陆地和海面区域。图12(a)—图12(d)是单源图像二值化分割结果，可知依靠单源遥感图像，分割结果中有很大的漏检区域。这是因为OTSU作为经典的二分类算法，需要分割区域存在较大的直方图特征分布差异，且有明显的二波峰存在，当存在如图9中SAR图像中的强海杂波、弱陆地区域散射回波强度时，或如图9中可见光图像中的陆地内部各区域直方图特征分布存在较大差异时难以得到较好的分割性能；K-means算法也易受强杂波、噪声区域和离群点的影响。图12(e)是仅将图12(a)和图12(b)二值化分割结果中的陆地区域进行决策级叠加和形态学处理的结果，图12(f)是仅将图12(c)和图12(d)二值化分割结果中的陆地区域结果进行决策级叠加和形态学处理的结果，结果较单源分割更好。图12(g)是本文提出的协同海陆分割方法的结果，分割效果好于上述单源分割和决策级叠加的协同方法，更接近陆地区域真实标注。
图 12 海陆分割结果(白色区域是指预测并真属于陆地区域、黄色区域是预测属于陆地但实际属于海面区域、黑色区域是预测并真属于海面区域、红色区域是预测属于海面但实际属于陆地区域)
表2量化对比了本文方法和图12中其他方法分割结果的精度PL、召回率RL、LF1得分和准确率AccL 4种指标，证明了本文提出的利用多源遥感图像实现海陆分割的方法更有优势，结论与图12中一致。从表2仅对可见光图像分割结果看，K-means利用多通道图像信息比OTSU仅利用灰度直方图特征更有利于可见光图像分割；从表2仅对SAR图像分割结果看，OTSU方法更适用于仅具有灰度信息特征的SAR图像分割。可见光+SAR的协同分割结果中，“OTSU+OTSU”对应图12(e)，“K-means+K-means”对应图12(f)，相比这种仅使用单一方法分割不同图像并进行决策级融合的结果，本文方法首先利用OTSU快速分割SAR图像，并为K-means分割可见光图像提供辅助信息，再将SAR图像的二值化分割结果和可见光图像的二值化分割结果取并集、进行形态学处理的决策级融合，更能发挥K-means和OTSU方法的优势，取得更好的分割性能。
表 2 海陆分割性能比较(%)
|
图像类型 |
方法 |
PL |
RL |
LF1 |
AccL |
|
可见光 |
OTSU |
92.32 |
71.10 |
80.33 |
87.96 |
|
K-means |
98.98 |
70.13 |
82.09 |
89.42 |
|
|
SAR |
OTSU |
94.44 |
74.57 |
83.33 |
89.69 |
|
K-means |
99.04 |
70.06 |
82.07 |
89.42 |
|
|
可见光+SAR |
OTSU+OTSU |
93.07 |
89.12 |
91.05 |
93.94 |
|
K-means+K-means |
94.66 |
89.82 |
92.18 |
94.73 |
|
|
本文方法 |
94.20 |
90.93 |
92.54 |
94.93 |
3.3 多源异质遥感图像协同检测
3.3.1 评价指标
在本文中我们采用精确率P和召回率R，F1得分以及在交并比IOU为0.5时的平均精度AP50 4种评价指标来评估舰船目标检测性能，而且绘制了精确率P和召回率R构成的PR曲线。
3.3.2 超参数设置
当将SAR图像作为仿真前时相图像时，区块噪声滤除因子α1等于0.001，异常的大连通区域杂波滤除因子α2等于0.05，置信度松弛因子β为10，内部框融合比例δ为0.8，NMS阈值为0.3；当将可见光图像作为仿真前时相图像时，区块噪声滤除因子α1等于0.0005，异常的大连通区域杂波滤除因子α2等于0.05，置信度松弛因子β为10，内部框融合比例δ为0.8，NMS阈值为0.3。
本文通过分析和讨论开窗倍数N设置对检测性能的影响，选择合适的N值。实验结果如图13所示，这里分析开窗倍数N取值为[1,2,⋯,9]的检测性能。当N较小时，邻域子图不足以将偏移的目标完整包含，从而导致漏检，而且可能会引入被认为是虚警的目标局部检测框；而N取值较大时，过大的SAR邻域子图使得目标的显著性主导地位降低，而且更为复杂的背景特征弱化了检测性能。从图13可看出这一规律，因此选择将N设置为5较为合适。
图 13 开窗倍数设置与检测性能之间的关系
图14展示了5倍开窗结果，可知，在秒级成像时间间隔内，近海船只偏移很小，目标空间位置仅在另一共视场图像对应位置的极小邻域范围内存在偏移，跨图像的5倍邻域开窗可以将同一目标完整包含，有利于显著性目标二次检测。此外，在涉及远海区域高速航行的舰船目标时，需要根据可见光、SAR成像间隔和目标速度设计更大的邻域开窗范围并进行目标关联，以降低漏检率。
图 14 (近似)共时相多源异质遥感数据5倍开窗示意图(舰船目标的真实位置用红色框标出，黄色框为以可见光图像中舰船目标为中心的5倍邻域开窗结果)
3.3.3 实验结果
图15展示了可见光和SAR的单源检测网络RetinaNet[49]和YOLOv5s[50]、多源检测方法FusionDet[42]、MFDet[46]以及本文方法的PR曲线。可以看出本文方法取得了最好的PR曲线，包围面积更大，说明性能更加稳定，而相比单源检测结果，FusionDet和MFDet方法性能降低。这是因为单源检测器在面对一些困难样本时，检测性能有限，受云雾遮挡的目标容易被漏检，弱散射和船体离散化的目标也会被漏检。FusionDet方法相比单源检测结果性能降低，是因为该方法会将可见光与SAR多源异质图像中的检测结果进行配对比较，成功配对的多源检测结果会仅保留目标对中的最大检测框，但是忽略了舰船目标偏移误差的存在，进而导致最终检测框只关注某一个类型图像中的目标位置，易增加漏检；未能配对的检测结果，会被复制到异质域检测结果中，而忽视舰船目标偏移误差的存在会增加SAR和可见光检测结果中的虚警，所以该方法相比单源检测器精度上有所下降。MFDet方法中通过证据融合改良符合决策阈值的异质域多源检测框置信度得分，所以在图15中SAR图像检测中，低召回率R条件下优于其他方法，但是同样并未解决目标偏移误差影响检测性能的问题。相比单源检测方法，本文提出的方法会以单源检测结果为先验信息，更关注目标在邻域局部范围内存在的可能性，通过局部显著性检测的方式，减轻了受云雾遮挡或者强海杂波弱化目标可见性的问题。相比于已有的多源协同检测方法，本文方法考虑了舰船目标偏移误差的客观存在，在单源检测结果邻域中进行二次检测的方式，能够在先验单源检测结果辅助下进一步检测目标以减少漏检。而且相比于将单源检测结果直接复制到异质域检测结果中的方式，二次检测的方式能够避免进一步增加虚警目标。
图 15 不同检测方法检测PR曲线比较
如表3所示，本文方法拥有更好的检测性能，量化评价指标优于其他方法，与图15所示PR曲线结果一致。
表 3 不同检测方法基于可见光图像(SAR图像辅助)和SAR图像(可见光图像辅助)的检测性能比较(%)
|
图像类型 |
方法 |
P |
R |
F1 |
AP50 |
|
可见光 |
RetinaNet |
95.7 |
91.5 |
93.6 |
95.3 |
|
FusionDet |
56.5 |
77.1 |
65.2 |
50.1 |
|
|
MFDet |
72.5 |
85.6 |
78.5 |
74.4 |
|
|
本文方法 |
94.7 |
94.1 |
94.4 |
97.2 |
|
|
SAR |
YOLOv5s |
62.6 |
50.0 |
55.6 |
50.7 |
|
FusionDet |
51.6 |
43.1 |
46.9 |
44.7 |
|
|
MFDet |
68.6 |
41.7 |
51.8 |
49.7 |
|
|
本文方法 |
67.5 |
72.3 |
69.8 |
66.9 |
图16展示了本文方法相比单源检测方法和已有多源异质遥感图像协同检测方法的优势。仿真后时相光学图像中被仿真云雾遮蔽的舰船目标、仿真后时相SAR图像中散射强度相对较低或受强杂波干扰的舰船目标，未能被单源检测器检出；由于缺少后时相图像的检测结果，FusionDet[42]和MFDet[46]方法将前时相图像的检测结果进行跨图像域的复制，而舰船目标存在的轻微偏移，导致被复制的矩形框并不能有效地定位后时相真实目标所在区域，反而更可能成为被新引入的虚警目标。而本文方法进一步考虑了前后时相中目标偏移的存在，在前时相单源检测结果先验信息的辅助下，定位后时相图像漏检目标所在邻域子图。其次，对邻域子图进行邻域显著性目标二次检测的方式能够突出舰船目标区域和背景区域的差别，从而检出单源检测器中漏检的舰船目标(IOU大于0.5)，并减少虚假目标的引入。
图 16 多源异质图像协同检测示例图
3.3.4 消融实验结果
为说明本方法中添加海陆分割步骤和多源异质遥感图像协同检测步骤的有效性，本文还进行了消融实验，结果如表4所示。为进一步说明本方法中选择单源检测器的有效性，本文对比了单源检测器仅是RetinatNet或YOLOv5s的实验结果，如表5。
表 4 海陆分割以及多源异质遥感图像协同检测步骤的消融实验(%)
|
图像类型 |
海陆分割 |
多源异质遥感 |
P |
R |
F1 |
AP50 |
|
可见光 |
– |
– |
95.7 |
91.5 |
93.6 |
95.3 |
|
√ |
– |
99.0 |
92.2 |
95.5 |
96.5 (+1.2) |
|
|
– |
√ |
93.4 |
94.1 |
93.8 |
96.6 (+1.3) |
|
|
√ |
√ |
94.7 |
94.1 |
94.4 |
97.2 (+1.9) |
|
|
SAR |
– |
– |
62.6 |
50.0 |
55.6 |
50.7 |
|
√ |
– |
73.6 |
51.4 |
60.5 |
58.5 (+7.8) |
|
|
– |
√ |
58.3 |
68.1 |
62.8 |
59.1(+8.4) |
|
|
√ |
√ |
67.5 |
72.3 |
69.8 |
66.9 (+16.2) |
|
|
注：括号内容表示相对基准方法性能提升结果。 |
||||||
表 5 单源检测器的消融实验(%)
|
图像类型 |
可见光图像单源检测器 |
SAR图像单源检测器 |
P |
R |
F1 |
AP50 |
|
可见光 |
RetinaNet |
RetinaNet |
84.9 |
93.5 |
90.0 |
92.6 |
|
YOLOv5s |
YOLOv5s |
84.2 |
80.1 |
82.1 |
78.9 |
|
|
YOLOv5s |
RetinaNet |
84.3 |
77.1 |
80.5 |
79.5 |
|
|
RetinaNet |
YOLOv5s |
94.7 |
94.1 |
94.4 |
97.2 |
|
|
SAR |
RetinaNet |
RetinaNet |
61.6 |
74.3 |
67.4 |
61.6 |
|
YOLOv5s |
YOLOv5s |
70.3 |
69.2 |
69.8 |
65.9 |
|
|
YOLOv5s |
RetinaNet |
67.4 |
70.4 |
68.9 |
62.6 |
|
|
RetinaNet |
YOLOv5s |
67.5 |
72.3 |
69.8 |
66.9 |
(1) 海陆分割步骤：从表4可知，添加海陆分割提升了检测性能，说明海陆分割步骤能够剔除部分虚警。这是因为陆地区域存在复杂干扰，可见光图像中陆地区域存在一些纹理形状和舰船目标相似的地物，而SAR图像中陆地区域存在与海面舰船目标相似散射特性的区域，导致陆地区域复杂样本被误检为海面目标，从而引入虚假目标。而进行海陆分割后，可降低大部分的陆地区域干扰对舰船检测性能的影响。
(2) 多源异质遥感图像协同检测步骤：从表4的结果可知，多源异质遥感图像协同检测步骤的添加能够提高检测性能。此外，结合对图15和图16的分析可知，本文方法能够在单源初步检测结果先验信息的辅助下，通过多源异质遥感图像协同检测步骤，检出单源检测器中漏检的舰船目标。
(3) 单源检测器：表5展示了可见光和SAR图像单源检测器选择的消融实验结果，结合表1可知，RetinatNet作为SAR单源检测器、YOLOv5s作为可见光单源检测器时，检测性能较差，难以提供有效的先验信息。相比之下，本文方法选择RetinatNet和YOLOv5s分别作为可见光和SAR的单源检测器更具有检测性能优势。
综上，海陆分割步骤可以有效减少陆地区域的虚假目标数量、抑制虚警率，而多源异质遥感图像协同检测步骤可以新检出单源检测器中的漏检目标、提高检测率，通过消融实验证明了本方法中添加海陆分割步骤、多源异质遥感图像协同检测步骤和选择单源检测器的有效性与合理性。
4. 结语
本文提出一种基于邻域显著性的可见光和SAR多源异质遥感图像舰船协同检测方法。首先，提出一种多源协同海陆分割方法来降低陆地区域干扰，其次，通过前时相单源检测结果在后时相异质域中进行邻域开窗，根据前时相单源检测结果提供的辅助信息在后时相异质域图像进行显著性目标二次检测，锁定后时相异质域图像中漏检目标的局部空间位置，并构建了一种基于前时相图像先验信息置信度和后时相图像目标相对显著性的置信度得分函数，实现了可见光与SAR图像协同检测。基于烟台地区的多源异质遥感实测数据实验表明，本文提出的方法相比现有方法提升了多源协同舰船检测性能。
本文进一步讨论检测性能退化的情形：如果可见光和SAR图像中同一个/同一批次舰船目标都漏检，这说明两者的成像质量都差，舰船目标信息较弱或者干扰较多，需要先进行图像质量增强，比如可见光图像要进行去云、去雾和目标边缘增强等预处理，SAR图像要进行图像去噪、海杂波抑制等预处理，以上手段可以增强图像质量，增强目标在图像中的显著性，有利于单源检测器的检出，降低后续的漏检，提升检测性能，但是针对光学、SAR图像数据进行图像质量增强的预处理步骤会增加额外的计算开销。
下一步，将深入研究基于多源遥感图像多时相目标的数据关联和态势感知。
致谢 本文作者感谢中国航天科工二院二十三所和中国科学院长春光学精密机械与物理研究所提供的数据；感谢北京微纳星空科技有限公司潘丹高级工程师对光学、SAR共时相成像技术的有益讨论。
声明:公众号转载的文章及图片出于非商业性的教育和科研目的供大家参考和探讨，并不意味着支持其观点或证实其内容的真实性。版权归原作者所有，如转载稿涉及版权等问题，请立即联系我们删除。
