机器学习SVM习题集.docx

SVM1 .判断题（1）在SVM训练好后，我们可以抛弃非支持向量的样本点，仍然可以对新样本进行分类。（T）SVM对噪声（如来自其他分布的噪声样本）鲁棒。（F）2 .简答题现有一个点能被正确分类且远离决策边界。如果将该点加入到训练集，为什么SVM的决策边界不受其影响，而己经学好的IogiStiC回归会受影响？答：因为SVM采用的是hinge1oss,当样本点被正确分类且远离决策边界时，SVM给该样本的权重为0,所以加入该样本决策边界不受影响。而1ogistic回归采用的是Iog损失，还是会给该样本一个小小的权重。3 .产生式模型和判别式模型。（30分，每小题10分）图2：训练集、最大间隔线性分类器和支持向量（粗体）（1）图中采用留一交叉验证得到的最大间隔分类器的预测误差的估计是多少（用样本数表示即可）？从图中可以看出，去除任意点都不影响SVM的分界面。而保留所有样本时，所有的样本点都能被正确分类，因此1OoCV的误差估计为0。（2）说法“最小结构风险保证会找到最低决策误差的模型”是否正确，并说明理由。（F）最小结构风险（SRM）只能保证在所有考虑的模型中找到期望风险上界最小的模型。（3）若采用等协方差的富斯模型分别表示上述两个类别样本的分布，则分类器的VC维是多少？为什么？等协方差的高斯模型的决策边界为线性，因为其VC维维D+1题中D=2.4、SVM分类。(第15题各4分，第6题5分，共25分)下图为采用不同核函数或不同的松弛因子得到的SVM决策边界。但粗心的实验者忘记记录每个图形对应的模型和参数了。请你帮忙给下面每个模型标出正确的图形。、min1w12÷cst.'110,MW，x+喝)1-q,i=1,.,N,其中C=O.1。线性分类面，C较小,正则较大，I1W11较小，Margin较大支持向量较多(C)、min口W+C卒)s.t.C)&0,.(w,x+¼)1-,i=1,.,N,其中C=1。线性分类面，C较大，正则较小,I1W1I较大，Margin较小e)支持向量的数目少(b)、maxEaiFEEaiajyiyjk(',/=)Z=iy=s.t.Oai<Cyi=1,.,MEaiyi=。其中k(x,x)=×r×,+(x7x)2。二次多项式核函数，决策边界为二次曲线(d)NjNN、max-¾yM(x,xJ/=1Zi1J=I)Ns.t.Oai<C,i=1,.,TV,£.)、=()=1其中MXH)=expbJ|x-x')。RBF核函数，决策边界为曲线，。=1较大，曲线更平滑(a)(NiNN、(5)、max-(x1.,xy)卜=!Zf=!J=IJNs.t.Oaj<C,i=1,.,N,Eaiyi=OJ=I其中2(x,x)=exHx-x'oRBF核函数，决策边界为曲线，O=Sqrt(I/2)较小，曲线更弯曲(e)考虑带松弛因子的线性SVM分类器：minJ1w2+CXcJ,s.t.0,yf（wrx+v4,）1-,i=T,.,N,下面有一些关于某些变量随参数C的增大而变化的表述。如果表述总是成立，标示“是“；如果表述总是不成立，标示“否”；如果表述的正确性取决于C增大的具体情况，标示“不一定”。（I）WO不会增大（不一定）同I增大（不一定）网不会减小（是）（4）会有更多的训练样本被分错（否）（5）间隔（Margin）不会增大（是）5、考虑带松弛因子的线性SVM分类器：mj（;IWs.t,y,（%+wxi.）1-,Di。在下图中，C=0.1,1,10,100,并且己经标出分界面和支持向量。请给每幅图标出最可能的C的取值，并分析原因（20分）。FigureI:C-10答：(w0+w.)1-.,Vic+w2,SUbjecttoX.i2等价于+11w12,SUbjectto(w0+w.)1-<.,V/I'C所以CT,gT,JTJ,即margin减小（当C增大到一定程度时，Margin不再变化），不IIW允许错分太多样本（对错分样本的惩罚大），支持向量（落在Margin内的样本和错分的样本）的数目减少。6. SVM(1)下面的情况，适合用原SVM求解还是用对偶SVM求解。1)特征变换将特征从D维变换到无穷维。(对偶)2)特征变换将特征从D维变换到2D维，训练数据有上亿个并且线性可分。(原)(2)在线性可分情况下，在原问题形式化中怎样确定一个样本为支持向量？在原问题中，给出了w,wo,支持向量满足：yf(w+w"/xz)=1o7. SVM和松弛因子。考虑如图给出的训练样本，我们采用二次多项式做为核函数，松弛因子为C。请对下列问题做出定性分析，并用一两句话给出原因。(1)当C时，决策边界会变成什么样？答：当C很大时，错分样本的惩罚会非常大，因此模型会尽可能将样本分对。(记住这里决策边界为二次曲面)c->o(2)当CfO时，决策边界会变成什么样？可以错分少量样本，但Margin大(3)你认为上述两种情况，哪个在实际测试时效果会好些？我们不能过于相信某个特定的样本，因此CTO的效果会好些，因为它最大化样本云团之间的Margir1(4)在图中增加一个点，使得当Cf8时，决策边界会不变。能被原来的分类器正确分类，不会是支持向量。(5)在图中增加一个点，使得当Cf8时，该点会显著影响决策边界。能被原来的分类器正确分类，不会是支持向量。当C很大时，错分样本的惩罚会非常大，因此增加一个不能被原来分类器正确分类的样8.9. 对OUt1ier的敏感性。我们知道在SVM用于回归时，等价于采用£不敏感的损失函数(如下图所示)，即SVM的目标为：4=啊；忖+。之用+GWT冉乙zs.t.x(,)+。yif(xi)-7Zo,-o课堂已经讨论12损失对OUt1ierS比较敏感，而11损失和huber损失相对不敏感些。(1)请说明为什么12损失比较1J损失对OUUierS更敏感。OUHier为离群点，因此其预测残差会比较大。12损失为残差r的平方r2,1I损失为残差r的绝对值r0当r>1时，r2>r,从而12损失在OUHi1er样本点的值会非常大，对结果影响更大。请给出一个OUt1ier影响预测子的例子。Want(3)相比于12损失和1I损失，分析SVM的£不敏感的损失函数对OUtIierS敏感性。£不敏感的损失函数对OUHierS的敏感性更接近于1I损失，因此比12损失更不敏感。初看起来，£不敏感的损失函数在区间-£,£不施加惩罚，似乎比11对OUUierS更不敏感。但实际上OUUierS对应的残差通常很大，所以不会落在区间-£,£，所以E不敏感的损失函数对OUUierS的敏感性和1I损失相似。(4)SVM也等价于MAP估计，则该MAP估计对应的先验和似然是什么？同岭回归类似，先验为0均值得高斯分布，但方差为2C,同时各维独立，即P(W)=Hn(o,2c),似然函数在区间-JT为常数，其他地方为1aPIaCe分布:y-wrxOotherwise1p(yw,x)=<2+27iexp(-w79.多个数据源的SVM假设你在两天内用两个不同的仪器收集了两批数据，你觉得数据集I标签的可信度为数据集2的两倍。我们分别用D=(Xj,y)t表示数据集1,D2=(u,匕)：表示数据集2,数据集1的松弛因子表示为蜃数据集2的松弛因子表示。二者的1agrange乘子分别表示为和.关于怎样处理这两批数据，你的朋友们给出了不同的建议。张三：将数据集I的松弛惩罚乘以2,因此优化问题为：1、N.V哽+2C七+C%j*NI=I./=1subjectto>；(w0+wxz)1-pZ1,2.,1,vy(%+w1uj1-y.,V1,2.,N2,S0,i1,2.,Nj,G0,1,2.,N2,李四：将数据集I的1agrange乘子乘以2,因此优化问题为：N1N2MMF1N2IN2N2n2C24+Cz-2%吁,匕8，X)-2XZijyivj(Xj,u7)-ijjH%)呻Z=I=1Z=I；=1r=1=11/=1；=1subjecttoc2%0,Vi1,2.,N,c40,V1,2.,N2,jV,v,£2%+£?产)=0Z=I；=1王五：将数据集1的数据点复制一份(即数据集1中的每个样本点变成2个)，然后照常处理。问题：请说明上述处理是否等价(得到的分界面相同)。解：我们从张三的建议的对偶表示开始，即(,e,f,w0,w)=-忖+2C£+<7Gi2f=>1NMN1N2ar(%+w,)-1÷)A(½(%+w,u,)-+)-Z<=1/=It=1Z=IsubjecttoVi1,2.,N,V1,2.,N2,40,jN0,0j0j0x(m+wtxz)1-.,Vi1,2.,N,v7(w0+WT1Ij)1-5,V/1,2.,N2,喈i=o,fjj=o%y(%+wTj7+gf=o,iyj(Wo+WTUj)-I+Gj=0优化e,f,%,w,目标函数对e,f,%,w求导等于O,况,M=O=>w=1Xj+制M,(1)CW=1/=11=O=a+A¾=O，(2)1=1/=Ior=0=>a,=2C-.,西止=。=>4=C-工,由于有约束?N0,4产0,ejO,fjO,公式(4)变成cIai>0,cjO,°将上述公式代入1,消除%,w©,£,得到对偶表示：V1N21N1MMAf2MM1®P)=茂+工4-忑力叫叫代多)-££%4叫许11)-立£川心产汹0吗17-1乙I-I7-121/-IZ1-1-1subjecttoc2%0,1,2.,cjdVe1,2.,N2,JV1NA2aj+v.=0/=IJ可以看出，这和下面李四的建议不同。&也M也M也也m曾2Cai+c4£jyiyj(×i>×j)-1。/切匕8，1IjAJE£iig，U)r=1=iZ=I=1i=/=IN=1；=1subjecttoc2ai0,/1,2.,f1,cjN0,Vc1,2.,M,NN22ajyf.+2vy=0I/=1王五的建议如F,1.MM&few+cP+cpjf和张三的建议相同，即张三=王五。