基于支持向量机的数据分类原理.docx

《基于支持向量机的数据分类原理.docx》由会员分享，可在线阅读，更多相关《基于支持向量机的数据分类原理.docx（13页珍藏版）》请在第一文库网上搜索。

1、基于支持向量机的数据分类原理支持向量机最先由Vapnik于20世纪90年代提出，该理论以统计学习理论(Statistical Learning Theory, SLT)为基础，数据模型依据结构风险最小化(Structural Risk Minimization, SRM)模型建立，操作简单并且使用方便。对于非线性分类问题，能够将在低维空间分类问题转换到高维空间进行分类，适合应用于多指标的服装舒适性分类问题错误!未找到引用源。支持向量机的主要思想是建立一个最优决策超平面，使得该平面两侧距离该平面最近的两类样本之间的距离最大化，从而对分类问题提供良好的泛化能力。对于一个多维的样本集，系统随机产生一

2、个超平面并不断移动，对样本进行分类，直到训练样本中属于不同类别的样本点正好位于该超平面的两侧，满足该条件的超平面可能有很多个，SVM正是在保证分类精度的同时，寻找到这样一个超平面，使得超平面两侧的空白区域最大化，从而实现对线性可分样本的最优分类。支持向量机是基于线性划分的。但是可以想象，并非所有数据都可以线性划分。如二维空间中的两个类别的点可能需要一条曲线来划分它们的边界。支持向量机的原理是将低维空间中的点映射到高维空间中，使它们成为线性可分的。再使用线性划分的原理来判断分类边界。在高维空间中，它是一种线性划分，而在原有的数据空间中，它是一种非线性划分。但是讨论支持向量机的算法时，并不是讨论如

3、何定义低维到高维空间的映射算法(该算法隐含在其“核函数”中)，而是从最优化问题(寻找某个目标的最优解)的角度来考虑的。支持向量机中的支持向量(Support Vector)是指训练样本集中的某些训练点，这些点最靠近分类决策面，是最难分类的数据点。SVM中最优分类标准就是这些点距离分类超平面的距离达到最大值。SVM是一种有监督的学习方法，主要针对小样本数据进行学习、分类和预测。SVM具有如下优点：1、不需要很多样本，不需要有很多样本并不意味着训练样本的绝对量很少,而是说相对于其他训练分类算法比起来，同样的问题复杂度下，SVM需求的样本相对是较少的。并且由于SVM引入了核函数，所以对于高维的样本，

4、SVM也能轻松应对。2、结构风险最小。这种风险是指分类器对问题真实模型的逼近与问题真实解之间的累积误差。3、非线性，是指SVM擅长应付样本数据线性不可分的情况，主要通过松弛变量(也叫惩罚变量)和核函数技术来实现。假设给定线性可分的数据样本为(XQ,) , i =,其中X R，。维空间中的线性判别式为：/(x) = (m*xl) + n(5-1)分类超平面方程为：(2*七)+ = 0(5-2)其中：加为权重向量；为偏置向量。2类样本到超平面的距离为当|同最小时，间隔距离最大。因此最忡 11 11优分类超平面问题可转化成解以上条件的凸二次优化问题:(5-3)0(z) = min；xM引入拉格朗日乘

5、子得到公式(5-4)：x|H2-Eai(y(mxxi +/?)-1)(5-4)其中，q 20为拉格朗日乘子；加= 七。1=1结合公式6-12,得到优化后的对偶公式和最优分类函数分别为公式(5-5)和公式(56)：(5-5)/max =2 q - 不 Z Z 4% X ”(七，当)fM = sgnciiyixi xx) + n /=1Z /=1 j=l(5-6)本研究的断路器不同故障分类问题是线性不可分问题，通过非线性变换将样本数据映射到高维空间中，在高维空间中求得最优分类超平面错误!未找到引用源。故需要用核函数代替决策函数，得到最优超平面分类函数如公式(5-7)所示：fM = sgn次(Xj,

6、X) + (5-7)5.4振动信号的分类通过5. 1. 5两个神经网络应用的算例可以看出，基于UKF的神经网络在时间序列预测和非线性分类方面均取得了较好的特性。下面将该神经网络应用于振动信号特征的分类问题。本研究利用三层神经网络解决正常状态和不同故障类型的分类识别问题，这是一个多分类问题。5. 4. 1基于LZ复杂度特征的分类利用3. 5节得到的振动数据的LZ复杂度作为特征向量，使用神经网络分类器对正常状态和不同故障状态进行识别。神经网络的输入层神经元数目是1个，隐含层神经元数目是6个，输出层神经元数是2个。隐含层神经元和输出层神经元激活函数均为Sigmoidal函数，网络的初始权值为TJ内的

7、随机数，UKF算法的初始协方差矩阵?选择单位矩阵。神经网络的输入是振动数据的LZ复杂度，正常状态和不同故障状态各包含30个训练样本数据，对每个样本数据段均提取各信号的LZ复杂度。对应于正常状态、铁芯卡涩、润滑不良和螺丝松动四类的目标输出分别为0, 0、0,1 1,0和。1利用UKF算法对神经网络进行训练以后，每种类型利用20个测试样本小波焙对网络进行测试，为了与基于UKF的神经网络分类器的分类效果对比，利用同样的训练样本对支持向量机(SVM)分类器和BP神经网络分类器进行训练，并利用相同的测试样本进行测试。利用FKCM算法,对振动数据的LZ复杂度进行聚类。测试结果如表5-1所示。从表5-1中可

8、以看出，对于正常状态和不同类型的故障状态，基于UKF的神经网络分类器的分类效果明显优于FKCM、SVM和BPNN分类器的分类效果，而且具有较快的收敛速度，减少了训练时间。受训练样本数目的限制，FKCM的聚类结果和SVM的分类效果类似，FKCM和SVM的分类效果要优于BPNN分类器的分类效果。表5-1基于小波嫡特征的分类器的分类结果Tab.5-1 Classification results based on wavelet entropy分类器测试样本分类正确分类错误分类正确率正常状155态164铁芯卡16475%基于UKF涩17380%的神经网润滑不80%络良85%螺丝松动正常状146态13

9、7铁芯卡101070%涩14665%SVM润滑不50%良70%螺丝松动正常状15575%FKCM态14670%铁芯卡11955%涩14670%润滑不良螺丝松1089750%60%55%65%正常状10态12铁芯卡11涩13BPNN润滑不良螺丝松动5. 4. 2基于多尺度小波端特征的分类利用3.6节得到的振动数据的多尺度小波焙作为特征向量，使用神经网络分类器对正常状态和不同故障状态进行识别。神经网络的输入层神经元数目是5个，隐含层神经元数目是10个，输出层神经元数是2个。隐含层神经元和输出层神经元激活函数均为Sigmoidal函数，网络的初始权值为T, 1内的随机数，UKF算法的初始协方差矩阵尸

10、选择单位矩阵。神经网络的输入是振动数据段小波分解和重构后的5个子频带小波包能量燃，正常状态和不同故障状态各包含30个训练样本数据，对每个样本数据段均提取各频带的小波崎。对应于正常状态、铁芯卡涩、润滑不良和螺丝松动四类的目标输出分别为0,0、 0,口、1,0和0,1。利用UKF算法对神经网络进行训练以后，每种类型利用20个测试样本小波端对网络进行测试,为了与基于UKF的神经网络分类器的分类效果对比，利用同样的训练样本对支持向量机(SVM)分类器和BP神经网络分类器进行训练，并利用相同的测试样本进行测试。利用FKCM算法，对振动数据的小波燧特征进行聚类。测试结果如表5-2所示。从表5-2中可以看出

11、，对于正常状态和不同类型的故障状态，基于UKF的神经网络分类器的分类效果明显优于FKCM、SVM和BPNN分类器的分类效果，而且具有较快的收敛速度，减少了训练时间。FKCM的聚类结果和SVM的分类效果类似。受训练样本数目的限制，FKCM和SVM的分类效果要优于BPNN分类器的分类效果。从分类的正确率可以看出，几种分类算算法的分类正确率均不高，特别是BPNN算法的分类正确率很低，说明小波作为分类特征向量，分类效果并不理想。表5-2基于小波端特征的分类器的分类结果Tab.5-2 Classification results based on wavelet entropy分类器测试样本分类正确分类

12、错误分类正确率基于UKF正常状15575%的神经网态16480%络铁芯卡16480%涩17385%润滑不良螺丝松动正常状146态137铁芯卡101070%涩14665%SVM润滑不50%良70%螺丝松动正常状146态146铁芯卡11970%涩14670%FKCM润滑不55%良70%螺丝松动正常状101050%BPNN态12860%铁芯卡11955%涩13765%润滑不良螺丝松动5.4.3基于TSEE特征的分类利用前面计算的TSEE特征值作为不同分类器的输入，对比不同分类器的分类性能。神经网络的输入层神经元数目是30个，隐含层神经元数目是50个，输出层神经元数是2个。隐含层神经元和输出层神经元激

13、活函数均为Sigmoidal函数，网络的初始权值为-1, 1内的随机数，UKF算法的初始协方差矩阵尸选择单位矩阵。对应于正常状态、铁芯卡涩、润滑不良和螺丝松动四类的目标输出分别为0, 0、0,1.1,0和0, 1。利用 UKF法对神经网络进行训练以后，每种类型利用20个测试样本小波燧对网络进行测试，为了与基于UKF的神经网络分类器的分类效果对比，利用同样的训练样本对支持向量机(SVM)分类器和BP神经网络分类器进行训练，并利用相同的测试样本进行测试。然后对分类结果进行分析对比，比较分类器的分类性能。对比表5-1、表5-2和表5-3可以看出，基于TSEE特征的分类正确率明显高于基于小波牖特征的分类正确率。这是由于TSEE特征同时考虑了时-频特征，对于具有时滞特征的故障信号具有明显的分类效果。基于UKF的神经网络分类器的分类效果明显优于FKCM.SVM和BPNN分类器的分类效果,而且具有较快的收敛速度，减少了训练时间。FKCM的聚类结果和SVM的分类效果类似。受训练样本数目的限制，FKCM和SVM的分类效果要优于BPNN分类器的分类效果。再次验证了基于UKF的神经网络分类器的有效性。在所选择的特征向量维数