《自主AI能力加速企业智能化转型分析报告.docx》由会员分享,可在线阅读,更多相关《自主AI能力加速企业智能化转型分析报告.docx(16页珍藏版)》请在第一文库网上搜索。
1、自主A1能力加速企业智能化转型分析报告报告关键内容1 .金融行业数据科学与机器学习平台金融行业中数据科学与机器学习平台的用户可分为两类人群:数据科学家和业务人员。其中数据科学家指具备专业建模能力的模型开发人员,负责模型的开发、算法的优化,是模型开发的核心人员。业务人员诸如营销、风控、产品研发等场景下的数据分析人员、B1分析师。两类人群对数据科学与机器学习平台的需求也不同。数据科学家在进行机器学习建模时,主要面临的挑战包括计算资源无法共享、建模工具缺失、建模全过程多角色协同困难等。业务人员对数据科学与机器学习平台的需求更偏向简单易上手的建模工具,需要屏蔽数据准备、模型训练、模型部署等环节的复杂性
2、,实现一键建模,并能及时查看模型对业务决策分析的效果。2 .工业数据科学与机器学习平台当前,工业企业中的数字化转型领先企业,在试点验证机器学习模型价值后,希望扩大智能应用的范畴,对特定场景进行智能化改造,如化工、石化等流程工业企业的生产场景下,生产装置的模拟与优化普遍基于传统的机理建模,以实现对生产过程的工况分析和流程优化。但基于单个环节或是单个装置的机理模型收敛慢、研发周期长且模型可移植性差,难以实现对系统过程全流程的模拟。机器学习平台通过融合机器学习建模和机理建模,不仅能简化模型复杂度,还能实现对生产过程中各环节、各化工装置实现建模开发,从而达到对生产全流程的精准控制和精准预测。工业企业对
3、应用机器学习平台的难点/需求,具体表现在企业缺失专业建模人才、需要实现知识资产沉淀和复用以及需要提供个性化行业场景预训练模型支持。典型案例九章云极DataCanvas&山西银行案例力维智联&某石化企业案例1 .报告综述随着数据体量的快速增长、算法迭代优化以及CPU、GPU、DPU等多种算力技术的发展,以大数据建模为核心的机器学习技术正被企业广泛应用到营销、广告、风控、生产等场景中。机器学习涉及复杂的建模流程,如数据准备、特征工程、模型训练、模型部署、模型运营等,需要数据工程师、数据科学家、数据分析师、BI、软件工程师以及业务人员等多方协作。在企业传统的建模方式中,建模以项目制为主,建模周期长,
4、协作困难,建模门槛高且严重依赖数学科学家。然而,市场环境、消费者需求的快速变化推动企业向敏捷性组织转型,对业务决策时效性要求更加严格。对此,企业一方面需要提升建模效率以支持业务的持续更新、适应广泛的建模场景,另一方面也需要赋予一线业务人员建模能力,提升业务人员对市场的反应能力。传统建模方式难以满足企业快速决策需求。数据科学与机器学习平台为企业提供了一个高效的解决方案。数据科学与机器学习平台整合数据接入、数据准备、特征工程、模型训练、模型部署、模型管理及模型运营等模型开发全流程,集成丰富的模型开发工具,不仅能有效提升模型开发效率,还能基于AUtoM1实现低门槛建模,满足业务人员的建模需求。数据科
5、学与机器学习平台正成为企业数智化转型的必要基础设施。不同行业的企业对数据科学与机器学习平台的需求侧重点不同。如对于具备专业建模人员的金融、医疗等行业,需要数据科学与机器学习平台兼顾专业建模人员和业务人员的建模需求;而对于普遍不具备专业建模人员的其他传统行业,如工业、消费、能源等,更需要业务人员可快速上手的低门槛建模系统。本报告选取具有代表性的金融行业、工业行业的数据科学与机器学习平台解决方案为研究对象,围绕该解决方案在大中型企业的落地应用展开研究,重点分析两个行业中甲方对数据科学与机器学习平台的需求和解决方案。2 .金融行业数据科学与机器学习平台在领先的数字化转型进程、海量数据积累、充分的科技
6、人才储备以及丰富的业务场景应用需求等驱动因素下,金融行业对数据科学与机器学习平台应用的渗透率明显高于其他传统行业。尤其在银行业,数据科学与机器学习平台的建设呈现出从全国性大型银行向地域性城商行覆盖的趋势。数据科学与机器学习平台作为人工智能基础设施正被纳入更多金融机构的数字化转型规划中。以银行业为例,银行中的数据科学与机器学习平台的用户可分为两类人群:数据科学家和业务人员。其中数据科学家指具备专业建模能力的模型开发人员,负责模型的开发、算法的优化,是模型开发的核心人员。业务人员诸如营销、风控、产品研发等场景下的数据分析人员、B1分析师。银行的2C属性使得更靠近C端消费者的业务人员对产品、服务的优
7、化更敏感,也更具话语权,为实现银行的精细化运营,业务人员对敏捷地模型开发及应用的需求逐渐增强。两类人群对数据科学与机器学习平台的需求也不同。图1:数据科学家和业务人员对数据科学与机器学习平台的需求数据科学家业务人员低门槛建模计算资源专业建模多角色协作瓶颈工具缺失困难数据科学家在进行机器学习建模时,主要面临的挑战包括传统项目制建模方式导致计算资源无法共享、传统建模方式下建模工具缺失以及建模全过程多角色协同困难等。业务人员对数据科学与机器学习平台的需求更偏向简单易上手的建模工具,需要屏蔽数据准备、模型训练、模型部署等环节的复杂性,实现一键建模,并能及时查看模型对业务决策分析的效果。为同时满足数据科
8、学家专业建模需求和业务人员低门槛的建模需求,最大化算法模型价值推动实现高效决策,金融行业的数据科学与机器学习平台解决方案应围绕统一资源管理、建立数据管道、模型训练、模型部署和运维、模型开发数字资产的沉淀等要点展开。图2:金融行业数据科学与机器学习平台解决方案要点模型部署及运维模型一穰部j模型监控模型训练Notebook建槿j可视化建根AUtoM1建永里管理数据管道数揖授入数据存储数据治理数据预处理一数据管理资源统一管理(CPU.GPU.FPGAW)典型案例1九章云极DataCanvas&山西银行案例AI中心加速山西银行智能化转型,打造数据驱动型组织山西银行是经中国银保监会批准,于2023年4月
9、28日挂牌开业,以原大同银行、长治银行、晋城银行、晋中银行、阳泉市商业银行为基础,通过新设合并方式设立的省级法人城市商业银行,现有员工7000余名,拥有分行级机构12家,各类营业网点387个,遍布全省10个地市、23个区、36个县。山西银行成立之初,在对原大同银行、长治银行、晋城银行、晋中银行、阳泉市商业银行科技系统整合的基础上,为建立一套全行的可持续“让数据用起来”的数据体系,于2023年启动数据中台项目群,推动包括数据开发平台、数据管控平台、数据服务平台和客户集市等功能实现。建模方式不完善,亟待建模能力和建模系统全面升级其中,为实现数据赋能业务需求,山西银行拟围绕以人工智能、大数据、云计算
10、为代表的科技能力为基础搭建自动化联合建模平台,为建模人员提供样本导入、数据匹配、特征加工、模型训练及模型评估等一站式联合建模服务,并将联合建模平台作为数据开发平台的重要组成部分。山西银行对联合建模平台的需求主要体现在以下方面:1 .实现联合建模。山西银行中业务人员普遍不具备建模能力,而具备专业建模能力的科技人员对业务了解也不透彻,这导致科技人员在建模过程中需要与业务人员就具体需求、数据范围、数据质量、模型设计等方面进行反复沟通,耗费大量时间。山西银行亟需为业务人员实现自动建模功能,为科技人员提供一站式建模平台支撑,实现业务人员和科技人员联合建模,提升模型开发效率。2 .提升算力。AI的算力强弱
11、直接影响到AI模型训练的精度与推理结果。一方面,由于山西银行数据由5家银行数据合并而来,数据体量远超之前单个银行数据体量;另一方面,每个项目组都会各自申请计算资源,导致科技人员在进行模型训练过程中经常面临算力资源不足的问题,频繁出现内存溢出、开发工具重启等现象。此外,不同的业务场景需要的资源类型也不同,如机器学习模型常用CPU计算,深度学习模型倾向用GPU进行计算,因此如何提升建模的算力支持,且为科技人员屏蔽复杂的算力管理细节,专注于建模本身,是联合建模平台需要解决的主要问题之一。3 .实现数据、代码等模型数据资产共享及沉淀。山西银行技术人员在面向精准营销、智能风控、产品设计等不同业务需求时,
12、优秀的数据集、代码、模型版本等成果不能及时共享,需要联合建模平台支持建模过程成果沉淀。基于以上需求,山西银行将联合建模平台项目进行招投标,综合考量技术先进性、对业务场景的适应性、系统运行稳定性、系统安全性、系统可拓展性以及信创环境支持等因素,最终选择与九章云极DataCanvas合作。北京九章云极科技有限公司(简称:九章云极DataCanVaS)成立于2013年,是中国数据智能基础软件领军者。公司专注数据智能基础软件的持续开发与建设,通过自主研发的一系列企业级A1应用所需的平台软件产品及解决方案,助力用户实现数智化升级。目前,九章云极DataCanVaS机器学习平台业务涉及政府、金融、通信、制
13、造、能源、交通、航空等十余个行业,客户覆盖多个行业头部和世界五百强企业。基于DataCanVaSAPS机器学习平台,建设A1中心在九章云极DataCanVaS协助下,山西银行正式建设联合建模平台,基于九章云极成熟的DataCanvasAPS机器学习平台建立“模型实验室”。该项目从2023年11月开始推进实施,历经近9个月的时间,于2023年8月初完成平台建设并进行线上试运行,之后于2023年1月正式在全行推广,针对全行范围的数据、模型需求正式开展工作。山西银行模型实验室面向科技人员和业务人员实现一站式模型开发,主要功能包括以下方面:图3:模型实验室功能架构图/示意图掇索户AHt3!调绛(K8s
14、B9HadoopB1)OCFbntFSM)I-*MW4RePythonSk1rnIKrs1ITensorFSw|ROCFipeIiatm、N,tttJrnormr1Srmsksapistimator及度a可i开发平门户.谢产等第三方亚警系统Q.gfe!1更涓H系统A在线1更涓费系统B4_在线18演费系统1tgtf:rMdS6rMrSDKMrSEr【MrServerMstm。,MdStfvtrMrSDKs平台SparkM11异构多引擎融合架构灵活计算环境支持:平台功能基于DoCker实现容器化封装,底层计算资源支持Kubernetes集群、Hadoop集群和GPU集群等多种模式,提供弹性可伸缩的
15、CPU和GPU资源,支持大数据量的分析和训练,实现计算资源合理利用。工作流混合编排:在异构多引擎融合架构下,平台算子封装支持多语言模式,允许在同一个工作流中调用不同开发语言算子,可以快速融合机器学习和深度学习的多引擎的训练和推理,支持工作流程嵌套,如在平台中支持编码、可视化、AUtoM1三种建模方式,三种建模方式之间可相互调用,最大程度上提高建模流程的灵活性和模型资产的复用性。2 .简化数据准备,实现多源异构大数据分析模型实验室支持多种数据连接器,山西银行可便捷获取包括本地数据、关系型数据库、HadoOP大数据平台等在内的各类数据源,并且模型实验室支持支持异构多源数据的加工和混合处理,即在一个工作流中可以将多个异构数据源中的数据作为输入并调用平台上的多种数据分析算子进行处理。3 .开放性算法支持集成了主流的开源机器学习算法库和深度学习框架,如TensorF1owsCaffeeH20等,不同框架间可开展协同工作。提供丰富的开箱即用“白盒”算法库,内置IOO多种算法模型,包括企业常用的统计分析、机器学习、深度学习算法,面向数据分析应用提供基础算法支持。“白盒”模