工业大数据分析回归算法教学讲义.docx
任务6.1回归算法任务概述数值预测是对连续值函数进行预测的一类数据挖掘任务，通过构造相关的预测模型对连续数值进行预测。与分类问题相同之处在于数值预测也是有标号的学习问题，即监督学习问题，与之不同在于数值预测对连续的变量进行学习和预测，而分类对于离散的目标进行学习和分类。回归分析是最常用的统计学数值预测方法，它是在分析现象自变量和因变量之间相关关系的基础上,建立变量之间的回归方程，并将回归方程作为预测模型，根据自变量在预测期的数量变化来预测因变量的值。回归分析主要解决以下几个方面的问题：确定几个特定的变量之间是否存在相关关系，如果存在的话，找出它们之间合适的数学表达式。根据一个或几个变量的值，预测或控制另一个变量的取值，并且可以知道这种预测或控制能达到何种精确度。进行因素分析。例如在对于共同影响一个变量的许多变量（因素）之间，找出哪些是重要因素，哪些是次要因素，这些因素之间又有什么关系等等。回归分析有很广泛的应用，例如实验数据的一般处理，经验公式的求得，因素分析，产品质量的控制，气象及地震预报，自动控制中数学模型的制定等等。多元回归分析是研究多个变量之间关系的回归分析方法，按因变量和自变量的数量对应关系可划分为一个因变量对多个自变量的回归分析（简称为“一对多”回归分析）及多个因变量对多个自变量的回归分析（简称为“多对多”回归分析），按回归模型类型可划分为线性回归分析和非线性回归分析。以下内容分别以线性回归和决策树回归为例进行回归算法方面案例的讲解。通过本任务的学习：（1）能够构建线性回归模型对工业大数据进行分析。（2）能够构建决策树回归模型对工业大数据进行分析。任务实现611线性回归建模线性回归算法假设每个影响因素与目标之间是线性关系，并通过特征选择,得到关键影响因素的线性回归系统。该算法是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计方法，通过凸优化的方法进行求解。在实际业务中应用十分广泛。图6-1-1线性回归图标数据格式：必须设置类属性（输出），且类属性（输出）必须是连续型（数值）；非类属性（输入）可以是连续型（数值）也可以是离散型（名词）。参数说明：线性回归题眼住化无£压基本法欣«tJ<35|100SAuto正R城力数0.01收效落差0.0001痣罚的8缨11是否显示SS重要性点三查看功装说朗©取消具体参数说明参见表6-1:表6-1线性回归参数说明参数类型描述数据标准化下拉框设置数据标准化的方法，字符型，取值范围：无处理，归一化，标准化，默认值为无处理取值区间下限文本框设置归一化取值区间下限，浮点型，取值范围：0,8),默认值为0取值区间上限文本框设置归一化取值区间上限，浮点型，取值范围：0,),默认值为1正则化参数文本框正则化参数控制机器的复杂度，浮点型，取值范围：0,8),默认值为0.01收敛容差文本框设置终止迭代的误差界，浮点型，取值范围：0,8),默认值为0.000001最大迭代次数文本框设置最大迭代次数，整型，取值范围：1,8),默认值为100罚函数类型下拉框设置惩罚函数类型，0对应12罚函数，1对应11罚函数，(0,1)之间对应11和12的组合罚函数。浮点型，取值范围：0,1,默认值为0求解方法下拉框选择线性回归的求解方法，文本型，取值范围：Auto,1-BFGS,Norma1(NOrIna1-加权最小二乘法，1-BFGS-牛顿法,AUtO-算法自动选取(1-BFGS1NormaD中的一种)。默认值为AUtO是否显示变量重要性复选框用户选择是否分析每个变量对于回归结果的影响程度，如果选择是，则在洞察中显示参与建模的每个变量对于模型的贡献程度情况本案例使用的数据集是某水厂投药控制系统实时采集的数据信息，数据均为瞬时测量值，包括历史原水水质数据、原水流量数据、沉淀池浊度和混凝剂投加量（PAC耗）数据等，共6166个样本。数据文件：投药量数据.CSV。数据集说明（共137行，6列）表6-2数据集字段说明字段名称数据样例数据类型字段描述时间2013/8/201:00字符型瞬时测水时间原水PH7.15数值型(DOUB1E)未处理水PH值原水浊度720.53数值型(DOUB1E)未处理水的浊度出水浊度0.78数值型(DOUB1E)沉淀池出水浊度取水量19560数值型（INT）原水的流速PAC耗0.27数值型(DOUB1E)混凝剂投加量，即PAC的消耗BWBMWa*MX*Mr*.3»201%WZOfcOO7.1162341.1HdO1.382013U207A>7.12623411.1S660ZOI2O13jfi22加&91加刖(17SSdOUXOI2013a2200&91293290785S7O«2065刈皿22786JXM.150.7855011234201322301.57OJ*548113Z2013823h00&8S2Z330176567186432O1W23M68627933OTS5521«S£32011234)0&3B2Z33017S5370107162O1M23SO6M2793307656570W201236"2Z.130765O3tU1M201皿匕782233OM61UM1WnicOO32”.Ad8«37”幺NQVM3178M116641M55W2O1VMJ1MM162d92SW6W皿M60具体操作如下:步骤1：建模区分别拖入“文件输入”节点、“设置角色”节点和"线性回归”节点，构建如下模型，如图6-1-3所示:文件痂入没置隹色S|A=;注性回归昌步骤2：“文件输入”节点配置如下，如图6-1-4所示:文件输入文件上传测除全部删除X数据内容数据结构分区记录条款I(XXXX)点上查看功能说明®满足取图6-1-4线性回归-文件输入步骤3：点击“文件上传”按钮，选择待上传的文件“工业用水处理投药量数据.csv”点击打开，如图6-1-5所示:图6-1-5文件上传数据集选择图6-1-6文件上传-读取步骤5：点击读取窗口中的确定按钮，文件读取配置成功，可在文件输入节点中查看读取的数据内容及数据结构，如图6-1-7所示:文件输入口X点短看功能说明诵定入文件上传删除XIQJ数据内容GV工IE用水如野陋量数据时间原水PH原水速度2013/8/206:007.13623462013/8/207:007.12628.812013/8/225:006.91294812013/8/226:006.91293292013/8/2319:006.818495M2伏出O<A2>分区记录金数100000点击查看功能耐®图6T-8文件输入-文件上传-数据内容步骤7：点击“数据结构”，如图6-1-9所示，可以查看数据表的结构信息，并支持对字段名和字段类型的编辑功能。点击确定按钮,完成文件输入节点配置。文件输入1S2S文件上传删除翎跚除O>Q数据内自数楣结构CV：Dk用水处理投药量数据名称字段名类型BTiD原水PH原水PH数触(DOUB1E)原於麒原於s数值型(DoUB1E)出於度出水浊度数旌(DoUB1E)取?KS取水量数值型(INT)PA<3fePA荣数陋(DOUB1E)口分区记录条数100000点击查看功能潮能定宜»步骤&双击“设置角色”节点，配置如下，如图6-1-10所示:设置角色K全部O字符O敢依oSMO文本O向序号字段名名标类型角色设定可O1时间字符型自变XI»IO2般水PH原水PHBtI1SKDOUBU自焚X>e3原水浊度感水没度Mfi(DOUB1E自变X<I94出水浊度出水发度BaBKDOUB1E自变XO5取水取水Btas(INT)QXIXO6PAC我PACftB1f11型(DOUB1E因变X点击皆看动侬网®确定取消图6-1-10线性回归-设置角色步骤9：“线性回归”节点配置如下，点击确认，如图所示：线性回归XSHg标造化805标准化无处理V取瑚I点击查看功型沆明®确定取消步骤10：点击右上角运行按钮，模型运行结果参考下图，如图6-1-12所示:线性回归的方程及其系数:图6-1-13线性回归方程及其系数O64M1H43W9外M图6-1-12线性回归-模型运行结果运行结果说明：最后一列属性"prediction”为回归预测列。通过以上图片引导，了解了线性回归的数据格式和参数说明，进行了线性回归案例的实操，学习了如何配置模型，呈现了线性回归的方程及其系数。6.1.2决策树建模决策树回归（DeCiSionTree）算法是通过构建决策树来进行回归预测，在创建回归树时，使用最小剩余方差来决定回归树的最优划分，该划分准则是期望划分之后的子树误差方差最小。创建模型树，每个叶子节点都是一个机器学习模型，如线性回归模型。图6-1-14决策树回归图标数据格式：必须设置类属性（输出），且类属性（输出）必须是离散型（名词）；非类属性（输入）可以是连续型（数值）也可以是离散型（名词）;参数说明:决策树回归1条件毒戮信且皮员方式variance最大份IK32是否会示交量里要性取消<图6TT5决策树回归-参数说表6-3决策树回归参数说明参数类型描述信息度量方式下拉框选择信息度量方法，文本型，取值范围：“variance”，默认值为"variance”最大深度文本框树的最大深度，整
