工业大数据分析工业大数据概述教学讲义.docx

《工业大数据分析工业大数据概述教学讲义.docx》由会员分享，可在线阅读，更多相关《工业大数据分析工业大数据概述教学讲义.docx（7页珍藏版）》请在第一文库网上搜索。

1、任务1.1工业大数据概述在工业领域中，工业大数据围绕典型智能制造模式，从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的总称。其以产品数据为核心，极大延展了传统工业数据范围，同时还包括工业大数据相关技术和应用。工业大数据能够促进形成企业和消费者之间的信息主动反馈机制，为完善以客户需求为导向的产品全生命周期信息集成和跟踪服务、建立以服务为核心的整体解决方案提供可行路径，将大大提升产品服务价值，为制造业转型升级开辟了新途径。工业大数据具备双重属性：价值属性和产权属性。一方

2、面，通过工业大数据分析等关键技术能够实现设计、工艺、生产、管理、服务等各个环节智能化水平的提升，满足用户定制化需求，提高生产效率并降低生产成本，为企业创造可量化的价值；另一方面，这些数据具有明确的权属关系和资产价值，企业能够决定数据的具体使用方式和边界，数据产权属性明显。工业大数据的价值属性实质上是基于工业大数据采集、存储、分析等关键技术，对工业生产、运维、服务过程中数据实现价值的提升或变现；工业大数据的产权属性则偏重于通过管理机制和管理方法帮助工业企业明晰数据资产目录与数据资源分布，确定所有权边界，为其价值的深入挖掘提供支撑。本书从8章来对工业大数据分析这门课进行阐述。分别为第一章：工业大数

3、据概述、第二章：工业大数据预处理、第三章：工业大数据特征工程、第四章：工业大数据统计分析方法、第五章：工业大数据统计图表方法、第六章：工业大数据挖掘、第七章：Python语言编程和SQ1语言编程方法、第八章：工业大数据挖掘评估八个章节来描述。1.1.1 工业大数据的相关概念及简介近年来，随着信息化和技术产业化的不断创新和发展，人们提出了以智能技术为基础的生产理念，并在世界范围内开始了新一轮的智能化的工业革命。我们都知道，发展国内制造业是增强国家综合能力和国际竞争力的重要途径。随着智能化的工业生产概念的引入和网络信息技术的快速创新发展，大规模工业数据作为一种新的要素贯穿于整个工业生产的过程，极大

4、地促进了智能化的工业生产的现代化和新变革。大数据时代的到来，对工业生产的转型与发展起到了很大的促进作用。企业智力化水平的提升，必然会产生大量的工业数据，而要想真正地实现智能化的工业生产，则需要使用大量的工业数据技术进行智能数据收集分析利用，以从中获取有用的信息，并据此制定合适的工业生产和市场营销的策略，以促进智能型工业企业的现代化与高质量发展。如今，随着智能技术的发展和大量工业数据的出现，把智能技术和大数据这两种技术有效地结合起来，在工业自动化、智能化的机械设备的控制中，人们可以非常简单高效地控制机械设备，高效率的完成从产品生产到检测过程的各类工作，这篇文章讨论了大数据的基本概念，并分析了工业

5、大数据在智能型工业生产企业中的应用所发挥的积极作用和重要意义。工业大数据是指由工业设备高速产生的大量数据，对应不同时间下的设备状态。该词语在2012年随着工业4.O的概念而出现，也和信息技术行销流行的大数据有关，工业大数据也意味着工业设备产生的大量数据有其潜在的商业价值。工业大数据会配合工业互联网的技术，利用原始资料来支援管理上的决策，例如降低维护成本以及提升对客户的服务。在工业领域中，工业大数据围绕典型智能制造模式，从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的

6、总称。其以产品数据为核心，极大延展了传统工业数据范围，同时还包括工业大数据相关技术和应用。其主要来源可分为以下三类：第一类是生产经营相关业务数据。第二类是设备物联数据。第三类是外部数据。 生产经营相关业务数据主要来自传统企业信息化范围，被收集存储在企业信息系统内部，包括传统工业设计和制造类软件、企业资源计划、产品生命周期管理、供应链管理、客户关系管理和环境管理系统等。 设备物联数据，主要指工业生产设备和目标产品在物联网运行模式下，实时产生收集的涵盖操作和运行情况、工况状态、环境参数等体现设备和产品运行状态的数据。 外部数据，指与工业企业生产活动和产品相关的企业外部互联网来源数据，例如，评价企业

7、环境绩效的环境法规、预测产品市场的宏观社会经济数据等。工业大数据应用参考架构结合大数据标准化白皮书（2018版）中提出的大数据参考架构，针对工业领域的应用，工业大数据应用参考架构如图3-1所示。信息价值钱（w）网成部分I图IT工业数据应用参考架构工业大数据应用参考架构将大数据参考架构的构件落实到了工业领域内的具体活动。工业大数据应用参考架构构件包括系统协调者、数据提供者、大数据应用提供者、大数据框架提供者、数据消费者、安全和隐私、管理。（1）系统协调者系统协调者的职责在于规范和集成各类所需的数据应用活动。系统协调者的职能包括配置和管理工业大数据应用参考架构中其它构件执行一个或多个工作负载，以确

8、保各项工作能正常运行；为其它组件分配对应的物理或虚拟节点；对各组件的运行情况进行监控；通过动态调配资源等方式来确保各组件的服务质量水平达到所需要求。系统协调者的功能可由管理员、软件或二者的组合以集中式或分布式的形式实现。（2）数据提供者数据提供者的基本功能是将原始数据收集起来经过预处理提供给工业大数据应用提供者。数据提供者主要包括数据源和系统两部分，数据源是数据的产生处，它产生的数据通过信息系统收集、分析和分类后提供给工业大数据应用提供者；系统主要对数据源产生的数据进行收集、分析与分类，然后提供给工业大数据应用提供者。（3）工业大数据应用提供者工业大数据应用提供者的基本职能主要是围绕数据消费者

9、需求，将来自数据提供者的数据进行处理和提取，提供给数据消费者，主要包括收集、预处理、分析、可视化和访问五个活动。收集负责处理与数据提供者的接口和数据引入，根据工业大数据数据格式、类型的不同，通过引用对应的工业应用或构件，完成数据的识别和导入。预处理包括数据清洗、数据归约、标准化、格式化和存储。分析是指基于数据科学家的需求或垂直应用的需求，利用数据建模、处理数据的算法，以及工业领域专用算法，实现从数据中提取知识的技术。可视化是指对经处理、分析运算后的数据，通过合适的显示技术，如大数据可视化技术、工业2D或3D场景可视化技术等，呈现给最终的数据消费者。访问与可视化和分析功能交互，响应数据消费者和应

10、用程序的请求。（4）大数据框架提供者大数据框架提供者的主要是为工业大数据应用提供者在创建具体应用时提供使用的资源和服务。大数据框架提供者包括基础设施、平台、处理框架、信息交互/通信和资源管理5个活动。基础设施为大数据系统中的所有其他要素提供必要的资源，这些资源是由一些物理资源的组合构成，这些物理资源可以控制/支持相似的虚拟资源，包括网络、计算、存储、环境等。平台包含逻辑数据的组织和分布，支持文件系统方式存储和索引存储方法。处理框架通过提供必要的基础设施软件以支持实现应用程序能够满足数据数量、速度和多样性的处理，包括批处理、流处理，以及两者的数据交换与数据操作。信息交互/通信包含点对点传输和存储

11、转发两种通信模型。在点对点传输模型中，发送者通过信道直接将所传输的信息发送给接收者；而在后者中，发送者会将信息先发送给中间实体，然后中间实体再逐条转发给接收者。点对点传输模型还包括多播这种特殊的通信模式，在多播中，一个发送者可将信息发送给多个而不是一个接收者。资源管理主要指计算、存储及实现两者互联互通的网络连接管理。主要目标是实现分布式的、弹性的资源调配，具体包括对存储资源的管理和对计算资源的管理。数据消费者数据消费者是通过调用工业大数据应用提供者提供的接口按需访问信息，并进行加工处理，以达到特定的目标。数据消费者有很多种，典型的有智能化设计、智能化生产、网络化协同制造、智能化服务和个性化定制

12、等5种应用场景。（5）安全和隐私在安全和隐私构件，是指通过不同的技术手段和安全措施，构建大数据平台安全防护体系，实现覆盖硬件、软件和上层应用的安全保护，从网络安全、主机安全、应用安全、数据安全四个方面来保证大数据平台的安全性。管理管理构件主要包括三方面功能，一是提供大规模集群统一的运维管理系统，能够对包括数据中心、基础硬件、平台软件和应用软件进行集中运维、统一管理，实现安装部署、参数配置、监控、告警、用户管理、权限管理、审计、服务管理、健康检查、问题定位、升级和补丁等功能。二是具有自动化运维的能力，通过对多个数据中心的资源进行统一管理，合理的分配和调度业务所需要的资源，做到自动化按需分配。三是

13、对主管理系统节点及所有业务组件中心管理节点实现高可靠性的双机机制，采用主备或负荷分担配置，避免单点故障场景对系统可靠性的影响。1.1.2 工业大数据的主要特征说起大数据，人们得第一反应是大，而麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。（1）数据容量大（Vo1ume）：数据的大小决定所考虑的数据的价值和潜在的信息；工业数据体量比较大，大量机器设备的高频数据和互联网数据持续涌入,大型工业企业的数据集将达到PB级甚至EB级别。（2）多样（Variety）

14、：指数据类型的多样性和来源广泛；工业数据分布广泛，分布于机器设备、工业产品、管理系统、互联网等各个环节；并且结构复杂，既有结构化和半结构化的传感数据，也有非结构化数据。（3）快速（Ve1ocity）：指获得和处理数据的速度。工业数据处理速度需求多样，生产现场级要求时限时间分析达到毫秒级，管理与决策应用需要支持交互式或批量数据分析。（4）价值密度低（Va1ue）：工业大数据更强调用户价值驱动和数据本身的可用性，包括：提升创新能力和生产经营效率，及促进个性化定制、服务化转型等智能制造新模式变革。工业大数据除具有一般大数据的特征（数据量大、多样、快速和价值密度低）外，工业大数据还具有四大特征：一是数

15、据分布广泛，分布于机器设备、工业产品、管理系统、互联网等；二是结构复杂，有结构化、半结构化和非结构化等不同类型；三是数据速度需求多样化，有要求实时、半实时和离线3种，生产层级要求实时性，需要达到InS级别，管理层级实时性要求不高；四是数据价值不均匀，20%的数据具有80%的价值密度（如产品图纸、试验分析、加工工艺），80%的数据只有20%的价值密度，需要分析挖掘（如工况、图片数据）。与互联网大数据相比，工业大数据具有自身特点：一是多源性获取，数据分散，非结构化数据比例大；二是数据蕴含信息复杂，关联性强；三是持续采集，具有鲜明的动态时空特性；四是采集、存储、处理实时性要求高；五是与具体工业领域密

16、切相关。先进制造企业基于工业大数据的应用，把产品、机器、资源和人有机地结合在一起，推动制造业向基于大数据分析与应用基础的智能化转型。由于以上特征，工业大数据作为大数据的一个应用行业，在具有广阔应用前景的同时，对于传统的数据管理技术与数据分析技术也提出了很大的挑战。1.1.3工业大数据的分类不管是工业自动化、还是工业智能化或者是工业互联网概念，他们的基础是工业数据。随着行业发展，工业企业收集的数据维度不断扩大。主要体现在三个方面:一是时间维度不断延长。经过多年的生产经营，积累下来历年的产品数据、工业数据、原材料数据和生产设备数据；二是数据范围不断扩大。随着企业信息化建设的过程，一方面积累了企业的财务、供应商数据，也通过CRM系统积累了客户数据，通过CAD等积累了研发过程数据，通过摄像头积累了生产安全数据等，另一方面越来越多的外部数据也被收集回来，包括市场数据、社交网络数据、企业舆情数据等；三是数据粒度不断细化。从一