大数据技术与应用赛项竞赛指南.docx
《大数据技术与应用赛项竞赛指南.docx》由会员分享,可在线阅读,更多相关《大数据技术与应用赛项竞赛指南.docx(6页珍藏版)》请在第一文库网上搜索。
1、大数据技术与应用赛项竞赛指南1赛项介绍本次大数据技术与应用赛项目重在考核学生的大数据基础知识能力,以及使用主流大数据技术解决实际问题的能力;考核学生对目标数据进行清洗、整理、挖掘分析、数据可视化等多方面的专业知识能力;此外,通过线下竞赛方式考核学生现场问题处理能力和团队协作职业素养。本次大数据技术与应用赛项包括大数据平台搭建、大数据分布式存储、大数据分布式处理、分析与可视化,内容涉及Hadoop.HDFSxMapreduceHivexF1umexSpark等常见大数据平台组件的安装与维护技术;包含网络爬虫的编写与管理;数据清洗、数据整理等计算模型及数据处理过程的设计与实现;机器学习算法与数据分
2、析技术的综合应用;数据可视化方案的设计与实现。2考核内容本次大数据技术与应用赛项考核分两个部分:理论知识测试、综合项目测试;两项测试成绩总和为该赛项目最终成绩,其考核内容为:理论知识测试1 .Hadoop基础知识2 .分布式计算MapReduce开发基础3 .SPark开发基础4 .数据仓库hive开发基础5 .数据迁移sq。P开发基础6 .海量数据库HbaSe开发基础7 .Python语言基础8 .R语言编程基础9 .数据可视化基础10 .数据可视化工具(D3.jSxTab1eauxHighcharts)11 .EXCe1数据处理12 .SAS数据处理13 .协调服务ZOOkeePer开发1
3、4 .消息系统kafka开发基础综合项目测试1.1inUX的基本使用和She11脚本基本编写1.大数据常见框架(HadoopSparkStorm)、组件(框架内所涉组件)和工具的的搭建、调幅口运维2.网络爬虫的相关组件(scrapy.Craw1er4j等)实现网络爬取3.规则文件数据和关系型数据库(MySq1)数据抓取以及数据同步(f1ume/sq。P)4.HiVe数据仓库导入、导出以及同Had。P数据文件的转换5.通过编程(Java、Python)或者工具(pig、kett1e)对数据进行清洗和整理6.Java或Python通过MapReduce对数据进行计算分析7.Java或Python通
4、过SparkAPI实现相关数据计算?口分析8.Pandasxnumpy等或hiveSQ1等技术,进行多维度多层次的分析9.matp1ot1ib或Echarts实现数据分析的可视化10.Scikit-Iearn或SparkM1实现数据的挖掘分析11.汇总分析挖掘和展示结果,并对结论进行分析,形成分析报告。3比赛形式3.1校内选拔校内选拔使用G1AD测试平台,按照20%的比例(每15名选手推荐3人)晋级北京决赛。高职组推荐使用G1AD大数据分析与应用技术能力基础级Fundamenta1s),本科组使用G1AD大数据分析与应用技术能力核心级(Essentia1s),具体信息如下:高职组本科组测试平台
5、大数据分析与应用技术能力基础级(Fundamenta1s)大数据分析与应用技术能力核心级(Essentia1s)测评时间40分钟60分钟题目数量5080题型单项选择,多项选择,判断其他说明满分为IOoO分,及格成绩为700分,在一个月内可以免费补测1次。成绩合格可申请国际认证证书。3.2大数据理论知识测试本项目高职组和本科组赛题内容相同,采用西普教育大数据技能演练与实战系统进行竞赛选拔:测试时间30分钟题目总数量约100道题目形式单选、多选、判断测试形式在线测试,自动评分计分方式约占总体比例的20%3.3大数据综合项目测试本项目高职组和本科组使用不同赛题,采用西普教育大数据技能演练与实战系统进
6、行竞赛选拔:测试时间150分钟题目总数量1道题目形式项目实战题测试形式自动判分+手动判分计分方式约占总体比例的80%4学习资源4.1 在线学习平台请登录以下网址注册登录后,在课程版块中找到大数据课程即可获得免费学习资源与练习:http:WWW.e-WWW.Shiyarbarcom4.2 教材Hadoop大数据开发案例教程与项目实战西普教育研究院著中国工信出版社人民邮电出版社5命题解析5.1 需求背景近几年来,随着移动设备和信息技术的迅猛发展和普及应用,行业应用系统的规模迅速扩大,行业应用所产生的数据呈爆炸性增长。电子商务作为贡献巨大数据的主力军之一,在于SNS逐渐结合的过程中,已经逐步将每一个
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 技术 应用 竞赛 指南