遥感大数据挖掘的相关技术研究.docx

《遥感大数据挖掘的相关技术研究.docx》由会员分享，可在线阅读，更多相关《遥感大数据挖掘的相关技术研究.docx（3页珍藏版）》请在第一文库网上搜索。

1、遥感大数据挖掘的相关技术研究近年来，随着信息科技和网络通信技术的快速发展，以及信息基础设施的完善，全球数据呈爆发式增长。成像方式的多样化以及遥感数据获取能力的增强，导致遥感数据的多元化和海量化，这意味着遥感大数据时代己经来临。然而，现有的遥感影像分析和海量数据处理技术难以满足当前遥感大数据应用的要求。发展适用于遥感大数据的自动分析和信息挖掘理论与技术，是目前国际遥感科学技术的前沿领域之一。本文深入调查和分析了遥感大数据自动分析和数据挖掘等关键问题,指出了在遥感大数据自动分析和数据挖掘的科学难题和未来发展方向。O前言一般而言，把非结构化或半结构化的、远超出正常数据处理规模的、通过传统的数据处理方

2、法分析困难的数据称为大数据(bigdata)o大数据具有体量大、类型杂、时效强、真伪难辨和潜在价值大等特征。总体而言，大数据科学作为一个横跨信息科学、社会科学、网络科学、系统科学、心理学、经济学等诸多领域的新型交叉学科，己成为科技界的研究热点。在遥感和对地观测领域，随着对地观测技术的发展，人类对地球的综合观测能力达到空前水平。不同成像方式、不同波段和分辨率的数据并存，遥感数据日益多元化；遥感影像数据量显著增加，呈指数级增长；数据获取的速度加快，更新周期缩短，时效性越来越强。遥感数据呈现出明显的“大数据”特征。然而，与遥感数据获取能力形成鲜明对比的是遥感信息处理能力十分低下。遥感大数据利用的终极

3、目标在于对遥感大数据中隐藏知识的挖掘。因此，有必要研究适应于遥感大数据的自动处理和数据挖掘方法,通过对数据的智能化和自动分析从遥感大数据中挖掘地球上的相关信息，实现从遥感数据到知识的转变，突破这种“大数据，小知识”的遥感数据应用瓶颈。在大数据的背景下，借助和发展相关技术，开展对遥感大数据的研究，一方面可以丰富“大数据科学”的内涵，另一方面也可有效地破解遥感对地观测所面临的“大数据，小知识”的困局，具有十分重要的科学价值和现实意义。1遥感大数据的自动分析1.1 遥感大数据的表达随着对地观测遥感大数据不断涌现，其语义的复杂性、数据维度语义的丰富性、传感器语义的多样性等新特点使得传统的表达方式已不能

4、满足实际应用需求。同一地物的不同粒度、时相、方位和层次的观测数据可以看作是该地物在不同观测空间的投影，因此，遥感大数据的特征提取需要考虑多源、多分辨率影像特有的特征表达模型，以及特征间的关系和模型的相互转化。研究内容主要包括：遥感大数据的多元离散特征提取；遥感大数据多元特征的归一化表达。1.2 遥感大数据的检索为了从海量遥感大数据中检索出符合用户需求和感兴趣的数据，必须对数据间的相似性和相异性进行度量。在此基础上的高效遥感大数据组织、管理和检索，可以实现从多源多模态数据中快速地检索感兴趣目标，提高遥感大数据的利用效率。对于遥感场景数据的检索目前基本实现了基于影像特征的搜索。仅针对某一类型图像的

5、传统遥感图像检索方法己难以适用于遥感大数据的检索，发展知识驱动的遥感大数据检索方法是有效途径之一，主要包括：(1)场景检索服务链的建立：需要在遥感影像语义特征提取、目标识别、场景识别与自主学习的基础上，针对不同类型遥感数据的特点，建立适合数据类型与用于需求的场景检索服务链。(2)多源海量复杂场景数据智能检索系统：海量场景数据智能检索系统基于用户给定的待检索信息（文本描述、场景图像等）对多源海量遥感数据进行检索，快速返回用户所需的场景。（3）融入用户感知信息的知识更新方法：相关反馈技术作为一种监督的自主学习方法,是基于内容的图像检索中提高图像检索性能的重要手段。相关反馈是一种通过用户对检索结果的

6、反馈，把低层次特征与高层语义进行实时关联的机制。1.3 遥感大数据的理解遥感大数据科学的主要目标是实现数据向知识的转化，因此遥感大数据场景的语义理解至关重要。目前对于遥感场景数据的处理基本实现了由“面向像素”到“面向对象”的处理方式的过渡，能够实现对象层目标层的目标提取与识别。然而，由于底层数据与高层语义信息间存在语义鸿沟，缺乏对目标与目标关系的认知、目标与场景关系的认知，造成了在目标识别过程中对获取的场景信息利用能力不足的问题。为了实现遥感大数据的场景高层语义信息的高精度提取，在遥感大数据特征提取和数据检索的基础上，应主要研究以下内容：特征一目标一场景语义建模；遥感大数据的场景多元认知。1.

7、4 遥感大数据云遥感云基于云计算技术将各种遥感信息资源进行整合,建立基于遥感云服务的新型业务应用与服务模式，提供面向公众的遥感资源一体化的地球空间服务。遥感云将各种空天地传感器及其获取的数据资源、数据处理的算法和软件资源以及工作流程等进行整合，利用云计算的分布式特点，将数据资源的存储、处理及传输等分布在大量的分布式计算机上，使得用户能快速地获取服务。目前正在建立的空天地一体化对地观测传感网旨在获取全球、全天时、全天候、全方位的空间数据，为遥感云中数据获取、处理及应用奠定基础。2遥感大数据挖掘2.1 遥感大数据挖掘过程对大数据进行数据挖掘整个过程包含数据获取与存储、数据处理与分析、数据挖掘、数据

8、可视化及数据融合等，这些过程都具有大数据的特点，如图1所示。而相较于数据检索和信息提取而言，数据挖掘的难度更大，它依赖于基于大数据和知识库的智能推理等的理论和技术支撑。遥感大数据的数据挖掘具体过程为：首先是数据的获取和存储，存储从各种不同的传感器获取的海量、多源遥感数据并利用去噪、采样、过滤等方法进行筛选整合成数据集；然后对数据集进行处理和分析，如利用线性和非线性等统计学方法分析数据并根据一定规则对数据集分类，并分析数据间及数据类别间的关系等；接着对分类后的数据进行数据挖掘，利用人工神经网络、决策树、云模型、深度学习等方法探索和发现数据间的内在联系、隐含信息、模式及知识；最后可视化这些模式及知

9、识等，用一种直观的展示来方便用户理解，并将有关联的类别进行融合，方便分析和利用。2.2 遥感大数据和广义遥感大数据的综合挖掘遥感人数据是地物在遥感成像传感器下的多粒度、多方位和多层次的全面反映。一方面,它能与GIS数据等其他空间大数据有较好的互补关系；另一方面，广义的遥感大数据应该包含所有的非接触式的成像数据,这些遥感大数据和广义遥感大数据的综合信息挖掘能揭示更多的地球知识和变化规律。然而广义遥感时空大数据，目前不仅存储费用昂贵，而且不能得到很好的分析，无法发挥其在智慧城市中的作用，亟须寻求自动化的数据智能处理和挖掘的方法，发展对空间地理分布的视频数据进行时空数据挖掘的新理论和新算法。时空分布

10、的视频数据挖掘其目的不仅是进行智能的数据处理和信息提取，更重要的是通过时空分布的视频数据挖掘自动区分正常行为和异常行为的人、车、物，从而对海量的视频数据进行合适的处理。因此，时空数据的挖掘需要综合运用多种数据挖掘方法，如统计方法、聚类法、归纳法、云理论等。时空分布的视频数据挖掘的主要研究内容包括行为分析，基于时空视频序列的事件检测等内容。2.3 遥感大数据挖掘的潜在应用遥感大数据挖掘不仅能用于挖掘地球各种尺度的变化规律，而且能用于发现未知的，甚至与遥感本身不相关的知识,其中一个典型的应用是用夜光遥感技术发现夜光和战争之间的关系。例如，借助美国国家海洋和大气管理局免费公布的相关卫星数据，可以绘制

11、出169个国家的夜光趋势图，通过统计分析得到全球夜光波动指数，发现每年夜光波动程度与当年全球发生武装冲突数量的相关度很高，相关系数达到0.7以上。因此，可以得出结论：夜光突然减少，一般情况下对应着战争爆发和因海啸等天灾造成的居民大规模迁徙；夜光突然增加，一般意味着战争结束以及战后、灾后重建。一个国家的夜光波动越大，说明在该段时间发生战争的可能性越大。3结语未来10年，我国遥感数据的种类和数量将飞速增长，对地观测的广度和深度快速发展,亟须开展遥感大数据的研究。研究遥感大数据的自动分析和数据挖掘，能为突破这一瓶颈提供有效的方法，有望显著提高对遥感数据的利用效率，从而加强遥感在环境遥感、城市规划、地形图更新、精准农业、智慧城市等方面的应用效力。因此，重视和抓紧遥感大数据的研究不仅具有非常重要的学术价值，而且具有重要的现实意义。