基于注意力机制和FasterRCNN深度学习的海洋目标识别模型.docx

《基于注意力机制和FasterRCNN深度学习的海洋目标识别模型.docx》由会员分享，可在线阅读，更多相关《基于注意力机制和FasterRCNN深度学习的海洋目标识别模型.docx（15页珍藏版）》请在第一文库网上搜索。

1、摘要:为进一步提升对复杂海洋目标的检测能力，引入自适应尺度的注意力机制，提出一种适应多尺度复杂海洋目标的改进FaSterRYNN模型，该模型通过将卷积网络与SKNet网络相结合，增强模型的特征提取能力与特征有效性，并针对船舶、蛇排、红树林、海岸线4类典型海洋目标，利用91卫图助手与无人机高清影像建立了12OOO张样本库，分别基于改进的FaSterRYNN模型与原模型进行对比测试试验。结果表明：改进的模型虽然略微增加了计算量，但其特征提取能力与目标检测能力明显强于原模型，整体识别准确率为87.1%；在4类典型海洋目标中，船舶的识别准确率最高，可达94.4幅而红树林由于其特征比较复杂，边界不明显，

2、其整体识别准确率为75.1%。研究表明，引入SKNet网络的FaSterRVNN网络模型，不仅增强了模型对多尺度复杂目标的特征提取能力，更适用于对复杂海洋目标的检测与识别。关键词：注意力机制；SENet模型；SKNet模型；区域候选网络；FasterRYNN模型；目标检测；深度学习随着中国经济社会的高速发展，沿海地区对于海洋资源的开发力度持续加大，中国海洋管理面临着越来越严峻的挑战，受开发理念（重开发轻治理）、开发方式（粗放式开发为主）、监管困难及利益驱动等多方面的影响，中国沿海违规开发（偷填、超填、闲置）、随意围垦、盗采海砂，以及非法挖矿采石、破坏红树林等生态环境、偷排与倾倒垃圾等行为频发，

3、使中国的海洋资源与生态环境遭到严重破坏。目前，常用的海洋监管与执法方式主要依赖于执法船巡逻、群众举报、雷达监测，前两者成本高、效率低，且具有严重的滞后性和较高的漏检率；后者则建设、维护成本巨大，且只能监测近岸半径约20公里区域。虽然近年来卫星遥感与无人机的广泛使用促进了监管手段的升级,但是对海量的影像数据进行人工审核仍然是一项十分艰巨的工作。因此,采用目标检测方法实现从海量影像数据中自动提取海洋目标信息，对于建立大范围、智能、快速的海洋监管机制具有十分重要的意义。目前，基于人工智能技术的目标检测技术已在多个领域得到了较好的应用。然而，将人工智能技术用于海上目标检测方面的研究和应用还相对较少。主

4、要原因包括：D样本集建立困难，目前尚无公开可用的海上目标检测数据集；2)传统的目标检测方法大多需要人为设定目标的特征，工作量大且难以选取出最优特征；3)海洋目标图像场景复杂，具有多尺度、多样性、形状多变等特点，目前常用的图像特征提取方法，如HOG(histogramoforientedgradient)+SVM(supportvectormachine)DPM(deformab1epartsmode1)等,对光照、形态变化、遮挡等鲁棒性不强，难以满足复杂多变的海洋目标检测需求。近年来，深度学习技术在目标检测领域取得了较大成功，这为实现多尺度的复杂海洋目标检测提供了一种新的解决方案。因此，国内外

5、学者开始研究基于深度学习模型的海洋目标检测方法,如袁明新等提出一种基于深度学习的海上舰船目标检测方法，该方法利用卷积神经网络、区域建议网络及FaStR-CNN检测框架构建了舰船检测系统，相比于传统机器学习目标检测模型，该舰船检测系统在检测精度及速率上均有大幅提高。但是，该方法只尝试了针对舰船这种特别明显的目标识别，并未对多尺度多类型的其他海上目标(蛀排、红树林、海岸线、养殖池塘等)进行识别，也未对识别后的目标进行行为活动分析。本研究中，依托自有的无人机高清影像及91卫图助手影像等基础数据，以FaSterRYNN模型为技术框架，引入视觉注意力机制，改进模型结构，使模型具有更强的复杂特征提取能力与

6、鲁棒性，实现对复杂海洋目标的检测与识别，并建立智能识别模型，以期用于海上目标的智能识别、非法用海占海与破坏生态环境行为的自动判断与预警。1相关网络模型为了增强卷积网络的特征提取能力，越来越多的研究人员将神经学的视觉注意力机制引入到深度学习模型中。一般通过三大注意力域来研究软注意力机制的网络模型结构，即空间域、通道域和混合域。通道域是相当于在每个channe1的信号上增加一个权重，用来代表此channe1与关键信息的相关度，权重越大则相关性越高。SENet(squeeze-and-excitationnetworks)是2017年ImageNet分类比赛的冠军模型，也是通道域的代表网络模型。SK

7、Net(Se1eCtiVekerne1networks)出自2019CVPR的一篇论文，是SENet的加强版。SENet与SKNet在注意力机制中处于同等地位，均可方便地融入FasterR-CNN模型中，对分类问题中的特征提取能力有一定提升。11SKNet模型将原图经过一系列的Conv、poo1ing操作，得到一个CHW（C表:示channe1,表示height,/表示Width）大小的featuremapoSENet模型是对featuremap的通道注意力机制的实现，而SKNet模型则是针对卷积核的注意力机制的实现。不同大小的目标会对不同大小的卷积核敏感程度不同o因此，SKNet试图针对不同

8、的图像找到最合适尺度的卷积核，即对不同的图像动态生成卷积核。其本质就是在网络中使用多尺寸的卷积核，与InCePtiOn网络中的多尺度不同，SKNet是让网络自己选择合适的尺度。SKNet结构如图1所示，其主要包括3部分操作：图1SKNet模型结构Fig.1StructureofSKNetmode1I)SP1it处理。对输入的featuremap使用两个大小不一样的卷积核进行groupconvo1ution(efficientgrouped、depthwiseconvo1utionsbatchnormaIizationRe1Ufunction）等操作，以提升精度。2）FUSe处理。通过SPIit

9、处理分成两个分支以后，再将结果进行融合，然后经过Sequeeze和Excitation模块处理。3）Se1ect操作。利用两个Softmax将上一步的结果回归出channe1间的权重信息，然后将两个权重矩阵对两路进行加权处理，再求和得出输出向量。因SKNetI采用不同的卷积核，可以自适应地调整自身的感受野，故比SENet具有更高的精度。1.2FasterRYNN模型FasterRYNN模型是GirShiCkR在2015年提出的一个经典的目标检测模型，它用网络训练的方法实现目标提取，在一个网络中整合了特征抽取、ProPOSaI提取、边框回归、分类等操作，极大地提高了目标检测、分类的效率和性能。传

10、统的目标检测模型是用SeIeCtiVesearch方法提取候选框，该方法十分耗时，难以满足高效、实时检测的应用需求。因此，FasterR-CNN中引入了RPN（regionproposa1networks,区域候选网络）的概念，专门用于提取目标候选框。RPN方法检测速度快，相对耗时少，且易于整合到FaStR-CNN模型中，故而FaSterR-CNN=RPN+FastR-CNN。该模型在现在的目标检测系统中得到了广泛应用。FaSterRYNN模型结构如图2所示，其主要包括6个步骤：1）通过卷积和池化操作，提取图像特征；2）用RPN提取目标候选区域；3）经过后处理，确定更精确的位置；4)建立候选区

11、域与特征图的映射关系；5)根据前面确定的精确位置，从特征图中抠出用于分类的目标数据，并池化成固定长度的数据；6)利用Softmax函数获取最终分类并获取最终的目标检测框位置。图2FasterR-CNN模型整体结构Fig.2Overa11structureofFastR-CNNmode1RPN的作用是对要处理的图片区域进行预处理，以减少后续的计算量，主要包括两部分操作：1)RPNc1assification,对featuremap进行区域分割，并从中分辨出前景和背景区域；2)RPNboundingboxregression,提取前景区域的大概位置坐标。RPN训练时需要将两部分的1oss加起来。2

12、基于改进FaSterRYNN模型的海洋典型目标识别2.1海洋目标的复杂性及其检测模型的选取在海域监管中通常关注的海洋目标有红树林、船舶、养殖池塘、蛇排、挖掘机、养殖网箱、围填海项目等，这些目标具有以下几个方面特点：1）多尺度，如塑料瓶、塑料袋等海洋垃圾类小目标，以及红树林、养殖池塘等海域利用大目标；2）多样化，包括单纯的个体目标（如渔船）、复杂的集群目标（如蛇排）、不确定的对象（如挖掘机）及复杂的对象行为分析（如挖掘机施工、采砂船采砂等）；3）背景场景复杂，如背景可能是海面、滩涂、海堤、码头、树林、围填海施工现场等，且干扰目标多；4）时空关系复杂，如多目标间的位置关系复杂、多张连续图像间的位置

13、相关联。此外，这些目标根据其周边环境存在一定的不确定性：1）对象的不确定性，如渔船与采砂船外观相近，需结合其他特征来区分（如船运动轨迹上是否存在大量泥沙的痕迹）；2）行为的不确定性，在海边发现有挖掘机或货车，不能确定其是否是在进行围填海施工活动，或者渔船在海上作业是否违法需结合禁渔期的时间设定。因此，找出一种适合复杂海洋场景识别和海洋目标提取的模型对海域自动监管的实现具有极大的现实意义。由于本研究中是针对基于遥感影像的海域自动监管需求，不同于对视频流的实时识别，对计算速度要求相对较低，但对检测率和准确率的要求则较高，因此，本研究中选定综合性能（检测率、准确率、计算速度）较好的FaSterRVN

14、N模型作为基础网络模型框架。此外，FasterR-CNN模型具有较好的适配性，为其搭配不同的特征提取网络，其目标检测能力也不同，一个复杂强大的特征提取网络能大幅提升FaSterR-CNN的检测能力和精度。2.2模型改进思路FasterRYNN模型具有较好的检测精度和速度，但其对目标的边界定位不够精确，且当原图和特征图较大时，不利于候选区域的寻找。本研究中在用FaSterRYNN模型进行特征提取的时候，引入SKNet注意力机制，主要基于两点考虑：一是可以对每次不同区域提取的特征加以权重区分，即在特征提取的时候标注好每个区域的贡献度，更好地利用待检测目标周边的上下文信息；二是SKNet的本质就是在

15、网络中使用多尺寸的卷积核，具有尺度自适应能力，可以更好地适应多尺度海洋目标的检测，实现一个模型对多个不同尺度（尺度跨度大）目标的准确检测,增强模型的稳定性。2.3引入SKNet改进后的FasterR-CNN网络模型结构改进后的FasterR-CNN网络结构主要包括3部分，即基于SKNet的特征提取网络、RPN和FaStRYNN（图3）。本研究中使用ReSNet1oI和SKNet相结合的方式进行图像特征提取，在每个ResNet1O1卷积模块后加上一个SKNet处理，得到表达能力更强的featuremapo其主要处理流程如下：RPN密仪区阪图3改进后的FaSterRYNN网络模型结构图Fig.3N

16、etworkstructurediagramofimprovedFastR-CNNmode11)对输入数据进行卷积处理，得到初步的featuremapo2)对卷积层处理后的featuremap分别用3义3、557义7的卷积核进行卷积操作，得到输出、也、必。3)用e1ement-wisesummation来融合3个分支的结果，即U=UY+应+出,其中，为一个CXZ/大小且融合了多个感受野信息的featuremapo然后通过对、/维度方向求平均值，得到一个CtX1X1大小的向量，表示的是每个ChanneI的重要程度。channe1-wise的统计信息用s(sR)表示,S表示S的第。个元素，其计算公式为1悬而宫当”，)。对C11的向量用fu11COnneCtion层进行一个线性变换，得到一个ZX1X1的信息z,然后分别使用3个线性变换，又从Z维恢复到。维向量，提取每个C