《锦素风控模型设计流程.docx》由会员分享,可在线阅读,更多相关《锦素风控模型设计流程.docx(42页珍藏版)》请在第一文库网上搜索。
1、锦素风控模型设计流程在当代,金融机构在风险管理的每个环节都尽可能地引入计量分析方法,依托大数 据进行后台的分析回顾,不断的优化调整,使得金融机构在风睑与收益的博弈过程中更快 达到平衡,实现局部甚至更多空间的利润最大化。风控模型,是在风控策略达到平衡之际,实现风险精分差异化的必备武器。风控模型,广义上代表任何运用数据构建的风险管理模式,狭义上讲,是运用统计、机器 学习甚至深度学习等算法开发的数学模型。作者希望通过此长文,为读者朋友们一次性解 释狭义风控模型体系。目录一风控模型概要二 .风控建模/算法工程师三 .速览评分模型搭建四 .细说评分模型搭建全流程1) A、B、C广义三种评分模型2)数据业
2、务理解3)数据探索分析4)定义目标变量5)样本设计和抽取策略6)数据清洗7)特征衍生8)特征变量筛选9)模型变量分箱10)模型拟合11)模型评估常用指标12)模型预测概率校准13)模型违约概率误差校准五,评分模型如何应用于决策六.技术的升华之路Ol风控模型概要在社会数据厚度和纬度不断增加的当下,大数据与金融服务的跨界结合越加紧密,互联网 技术在金融活动中的应用日益成熟,金融风险管理中信用评估模型体系内部也在酝酿着一 场暗流式的较量。1传统信用评分模型传统信用评估模型的基本思想是比较企业信用历史资料与数据库中的全体企业的信用习 惯,检查企业的发展趋势跟经常违约、随意透支、甚至没有债偿能力等各种陷
3、入财务困难 的企业的发展趋势是否相似。传统信用评估模型的基本算法是运用线性模型中的逻辑回归模型对一些强金融属性(如企 业一个月内多次申请贷款次数)、弱金融属性(如企业月收入余额)以及关联金融属性(如 企业申请借款时段)数据进行挖掘建模,最终实现企业违约概率的排序和评分等级。传统信用评估模型主要从以下5个方面考查用户的信贷资质信贷组合争取新贷款信贷时长付款历史未偿债务传统信用评估模型经过数十年的沉淀发展,技术相对成熟稳定,以美国FlCO评分为例, 曾促进美国房贷事业的飞速发展。但由于其依赖于金融数据本身,形成一个封闭式的模型 闭环,在大数据快速发展的当下,个人消费者出现许多信息纬度,如电子商务、
4、社交网络 和搜索行为等,传统信用评估模型的封闭性不断受到挑战,模型解决风险评估的能力也越 来越受限。2大数据信用评分模型大数据信用评估模型的基本思路是一切数据都和信用有关,在能够获取的数据中尽可能的 挖掘信用信息。大数据信用评估模型从大数据采集和大数据分析挖掘两个层面为缺乏信用记录的人挖掘出 信用。通过大数据采集技术,挖掘一个企业的信用变得更加多元化,比如一个企业缺乏银行信用 卡的数据,但从企业的航旅出行数据中挖掘出具备较好的信用资质,同样可以完成企业的 信用贷款。通过多源化的信息采集,一方面传承了传统征信体系的金融决策变量,重视深度挖掘授信 对象的信贷历史,另一方面能够将影响用户信贷水平的其
5、他因素也考虑进去,如社交网络 数据、用户申请信息等,从而实现深度和广度的高度融合。传蜕信贷数据以网络数据为例,如IP地址、浏览器版本甚至是电脑屏幕分辨率,这些数据可以挖掘出用 户的位置信息、性格、行为以及消费能力,有利于评估用户当下信贷风险。大数据信用评估模型通过融合多源信息,采用先进的机器学习的预测模型和集成学习的策 略,进行大数据挖掘。首先,上万种数据源被输入到征信系统,其次,寻找数据之间的关联性并进行数据转换, 再次,在关联性基础上将变量重新整合为较大的测量指标,每一种指标反映企业的某一方 面特征,如诈骗概率、长期或短期企业的信用风险和偿还能力等,然后将这些较大的变量 输入到不同的分析模
6、型中,最终将每一个模型输出的结论按照投票的原则,形成最终的信 用分数。3小结传统信用评估模型与大数据评估模型的比较传统信用评估模型大数据信用评估模型数据格式结构化数据结构化+大量非结构化数据数据类型理论基础信贷金融属性关联数据 V %工 逻辑回归FAL独家资料信贷数据、网络数据、社交数据等 机器学习变量特征贷款类型、还款记录、卡余额IP地址、关联网络、社交能力数据来源入模变量个数银行及第三方数据征信公司 5-15个(指标库500-2000)银行、第三方数据公司 多达几千到几万个在当下80%的银行和非银机构信用风险评估模型仍以传统信用评估模型为主,不仅因为其 技术的成熟和模型的稳定,更因为现阶段
7、大数据征信数据体量并不能完全开发大数据信用 评估模型,对于大量极弱金融属性甚至毫无金融属性的数据进行特征关联和转换,对数据 广度和厚度本身的要求往往高于模型算法,大数据采集和加工更应该作为基础建设去搭 建。在5G网络建设的大环境下,传统信用评估模型与大数据信用评估模型这一场较量我更相 信结果是其乐融融,互补应用。02风控建模/算法工程师风控模型开发人员,相较于数据分析、策略分析人员,对于统计分析方法、大数据机器学 习算法都要有更深入的理解C也正是因为工作和业余时间需要花费大量的精力专研模型算 法,自然,对于风险业务的关注就会少一些。这也是为什么,普遍做风控模型的工作人 员,业务经验能力相对欠缺
8、。模型开发方向,从技术算法的专业度,分成风控建模工程师和算法研究员。从字面意义就 可以发现,风控建模工程师工作核心还是以风控模型的开发为主,更多的工作落脚点在构 造有效特征,应用一些模型算法进行数据训练和测试。风控建模工程师普遍只会花少量时间研究算法本身,甚至不会花时间去研究最新算法。逻 辑回归、随机森林、XGbooSt等主流常规算法,是他们建模首选。而对于算法研究员,更 多的精力在研究前沿算法,通过结合自家机构的物理场景,判断是否在未来时期内业务落 地应用。风控建模/算法工程师,从业务角度比较,普遍建模工程师比算法研究员更熟悉自家信贷产 品的业务,因为其在构建风控特征指标过程中,很重要的衡量
9、标准是其开发的指标是否具 有业务意义,但对于业务和风险的整体理解,也仅止于局部,难以与风控策略分析人员相 比较C03速览评分模型搭建风控评分模型的开发流程已经标准化,本文先通过速览形式,带读者朋友们了解一下评分 模型搭建流程样本准备在正式开始建模前,首先需要搞清楚一点:产品的目标客群是怎样的?建成的评分卡是要 用在哪些人身上的?有哪些样本是不适合拿来建模的?举个例子,如果准入规则直接拒绝 了 25岁以下的客户,那么对应建模时也应该筛选掉这部分样本(非准入客群)。又或者, 有一些客户虽然申请了额度,但是并未真正申请放款,那么这些无行为表现客户也不应该 包含在建模样本之内。好坏定义相信很多没做过建
10、模的读者朋友也听说过“好客户”、“坏客户”的说法,但其实在这其 中,怎样的客户算“好”,怎样的客户算“坏”都是很有讲究的。这个好坏定义首先和评分 卡真正关心的客户类型有关,比如说一个反欺诈评分卡的“坏客户”定义可能是首逾30 天以上(FPD30+),而审批评分卡的定义可能是M3+。而具体逾期多少天算“坏”,就要 进行Roll Rate分析了。2017年11月2017年12月2018年1月2018年2月2018年3月2018年4月月末信贷余额1,728,3951,923,9242,197,1382,597,5972,729,9352.777,540MO1,389,5741,557,4321,83
11、0,9742,180,8482,290,0182,318,174Ml228,765星运场276,706280,406M267,34673.98770,36593,195102,151107,545M332,75434,78438,45639,06645,26352,086M4+9,95612,48714,89015,01215,79719,329观察期和表现期观察期是指用于生成客户特征的时间区间,用于收集信用历史和行为特征等信息,以提炼 能预测未来信用表现的预测变量。观察期过长可能导致大量客户无法获取相应时间长度的数据,大批样本不能进入模型;观 察期过短会导致样本无法生成足够多有效的时间切片变
12、量。表现期是对观察点上客户表现 进行监控的时间周期。这些帐户根据截止到表现点的表现被分类成好、”坏表现期需 要有足够的长度,从而保证样本群体分类的稳定性,使客户的逾期行为充分表现出来。但 也不能够过于长,即使可获得很长时间的历史数据,还需要在完整性(有多少个坏样本需 要捕捉)和数据质量之间保持平衡。细分分析有的时候,如果面对各种各样的客户通通使用同一张评分卡,可能效果并不是那么的好; 但是如果对不同类型(某种维度意义上)客户都使用不同的评分卡,过多的评分卡不好管 理,不同评分卡之间得出的结果有时也不具备可比性。因此,需要找出最佳的群体分组,使得以此为基础建立的一组评分模型可使整个评分系统 的预
13、测能力最大化。当然,如果是在样本量比较少的情况下,这一步就可以跳过了。数据准备数据准备的过程包括数据清洗、缺失值处理、离群值处理等等,目的是让数据足够干 净二而不会因为其中的一些乱码或格式问题影响后续建模。在逻辑回归模型中,合理的缺 失值和离群值都是可以不做处理的,因为在进行分箱和WOE转换时可以解决掉这些问 题。其中合理指的是数据本身就是缺失的,比如在填写某些非必填信息的时候客户没有填写导 致的缺失,而不是像第三方数据覆盖率不足等原因导致的缺失,类似这种本不应该缺失只 是因为各种原因没有获取到数据而导致的缺失,是应该进行缺失值处理的。在这一步,可 以筛选掉一部分缺失率过高的变量。变量衍生变量
14、衍生是整个建模过程中最重要的一个环节,往往在同样的数据和维度条件下,谁的评 分卡模型效果更好,看的就是这一步。变量衍生有各种各样的方法,比的就是谁的脑洞更 大。可以简单粗暴的根据业务理解进行变量的组合,生成交叉变量,比如说,不同年龄段 的客户的婚姻状况可以给予不同的打分标准。又或者,可以利用一些机器学习算法,比如 gboost,从数据的角度来进行变量衍生。训练集和验证集在真正进入建模过程前,还需要预留出一部分样本用作模型的验证,这是为了防止模型的 不稳定:在训练集上表现良好、在验证集中却无法很好的预测。然而只要手气足够好,随 机抽取验证样本时足够“随机”,训练集和验证集各指标的分布足够近似,验
15、证集的表现一 般不会和训练集有太大的差距,但这并不一定代表模型就是稳定的了。因此,最好的做法是再预留出一部分时间外测试集,选取与建模样本不同时间段的样本再 对模型表现进行验证。比如,如果选取的审批时间在1-3月的客户作为建模样本,那么可 以将4月的客户作为测试样本测试模型的效果。分箱和WOE转换在进行变量衍生后,我们可能会产生好几百上千个变量,有连续性变量也有分类型(字符 型)变量。然而,字符型变量是没有办法直接作为入参参与逻辑回归拟合的,而为了使自 变量和目标变量呈正相关的关系往往会对数值型变量也进行分箱和WOE转换。毕竟如果 按照原数据入模,会导致评分卡非常不稳定,同时变量的取值和得分的关系也会变得非常 的杂乱无章,失去业务上的可解释性。另外,在这一步,根据每个变量的IV值,也可以筛 选掉一部分区分能力较弱的变量。共线性检验共线性检验也是筛选变量过程中非常重要的一步。共线性指的是模型的变量之间存在较高 的相关性,某一个变量可以被其他一部分变量所解释。共线性高会导致回归拟合出来的系 数发生严重的偏离。常用的指标为相关系数和VIF。逐步回归这是一个基本上完全交给程序的过程,