大数据开发工程师求职简历模板_001.docx

《大数据开发工程师求职简历模板_001.docx》由会员分享，可在线阅读，更多相关《大数据开发工程师求职简历模板_001.docx（3页珍藏版）》请在第一文库网上搜索。

1、基本信息姓名：XXX性别：X工作经验：X年联系电话：XXXXXX电子邮件：XXXXXX毕业院校：XXXX大学专业：数学与应用数学英语水平：CET-6获奖证书：全国数学建模竞赛二等奖工作性质:全职目标地点：北京目标职能：大数据开发工程师目标薪资：面议工作经历单位名称：XXXXX科技有限公司职位名称：大数据开发工程师工作时间：2016.8-2019.2专业技能1 .熟练掌握Java.Sca1a编程语言，拥有良好的编码习惯，理解面向对象编程和函数式编程思想2 .熟练掌握Hadoop技术，HDFSxMapReducexYARN的工作机制，有调优经验，能搭建Hadoop集群3 .熟练掌握Hive数仓建设

2、，熟练使用HQ1进行企业级开发，有Hive调优经验4 .熟悉分布式应用程序协调服务Zookeeper,理解Zookeeper的Paxos选举机制5 .熟练使用F1ume进行日志采集，会自定义F1ume拦截器，了解F1ume组成架构，6 .熟悉使用Kafka实现消费数据，理解高吞吐量机制，掌握Kafka高彳氐级API的编写7 .熟练使用SparkCorexSparkSQ1xSparkStreaming编程，理解Spark内核，任务提交，执行流程,Shuff1e机制、熟悉SPark调优8 .熟练使用Sqoop在HDFS和Mysq1数据库之间传递数据9 .能够使用EIasticSearch进行海量数

3、据存储和检索10 .熟练使用Mysq1,能够使用SQ1对辘进行增删改查操作11 .熟练使用Git、MaVen等项目版本控制和自动化构建工具12 .熟练使用Hbase,熟练使用其JavaAPI进行程序开发，熟悉HbaSe的结构原理区和RoWkey设计13 .熟悉Azkaban,能够使用Azkaban进行任务调度14 .熟悉推荐系统，对机器学习有浓厚兴趣，了解常用算法项目经验项目名称：快看影视大全推荐系统软件架构：Nginx+F1ume+HDFS+Spark+Hive+Mysq1+Sqoop+Azkaban+Hadoop开发环境：IDEA+JDK1.8+Git+MAVEN+Sca1a项目描述：本电

4、影推荐系统是为了提高用户体验，从APP海量的电影中推荐出用户感兴趣的电影。系统包含了离线推荐与实时推荐体系，综合利用了协同过滤算法以及基于内容的推荐方法来提供混合推荐。提供了从前端应用、后台服务、算法设计实现、平台部署等多方位的闭环的业务实现。责任描述：1参与项目推荐算法的确定和框架搭建2、负责模型参数的评估和选取3、负责离线统计推荐指标的分析4、负责实时推荐的余弦相似度和对数增减因子的确定技术要点：1使用F1ume完成日志数据的采集工作，解决F1ume落盘HDFS产生大量小文件问题2、基于SparkSQ1,分析了离线统计推荐指标：历史热门推荐，近期热门推荐，优质电影推荐3、用A1S算法求解模

5、型，构建UserProducts矩阵，预测出电影评分4、对模型的参数(QnI065)7、基于SprakStreaming+Kafka+Redis,结合余弦相似度和调整因子，计算推荐优先级项目经验项目名称：快看影视数仓业务分析系统软件架构：Nginx+F1ume+HDFS+Spark+Hive+Mysq1+Sqoop+Azkaban+Hadoop开发环境：IDEA+JDK18+Git+MAVEN+Sca1a项目描述：数据仓库是根据随着时间发生变化的数据集成到面向主题的平台，通过该平台可以提取出对企业管理层决策提供重要依据的数据，利于企业长远发展。本项目收集了用户基本信息、设备信息、用户交易、订单

6、等数据,经过数仓逐层分析根据需求分析得到不同的统计数据。主要分为日志采集、数仓搭建、离线统计、数据展示四大模块。责任描述：1负责用户产品日志的收集2、参入数仓架构设计，负责项目数据仓库的建设3、负责离线数据分析，制作符合业务需求的报表。技术要点：1、设计F1ume双层结构，自定义F1ume拦截器,实现日志分流2、基于Hive数，参与数据仓库搭建，设计日志表的分层3、Dwd数据明细层,选择Parquet列式存储格式以及Sn叩Py数据的压缩方式4、基于不同的业务需要和表数据结构，选择不同数据同步策略5、基于SparkCore和SparkSQ1设计用户行为宽表，拉链表6、建基于Sqoop,将Mysq

7、1数据库的业务数据导入HDFS7、以用户设备为标准，统计每日、每周、每月的活跃用户8、统计近一个月新增的用户留存率，为运营提供决策参考。9、统计每日收入、每日GMV成交额、单日订单数量10、基于AZkaban,划分脚本任务，压缩上传到AZkaban,执行任务项目经验项目名称：离线业务日志采集系统软件架构：F1ume+Kafka+Zookeeper+Cana1+Redis开发环境：IDEA+JDK1.8+Git+MAVEN+Sca1a项目描述：使用F1ume、SqoopxKafka.CanakZOOkeePer搭建离线日志采集模块、实时日志采集模块、离线业务采集模块、实时业务采集模块，实现对商城

8、日志的离线采集和实时传输。责任描述：1参与项目需求分析讨论、项目架构设计。2、离线日志采集模块采用F1umeKafka架构，实现了负载均衡和容灾。3、安装Cana1对Mysq1数据库进行实时监控，将数据发送到Kafka中。技术要点：1在日志服务器上搭建F1ume集群专门负责采集日志，完成日志采集模块。2、实时采集部分是将采集好的日志发送到指定KafkaTopic中，由HDFS充当消费者消费Kafka数据。3、离线阶段在F1ume收集完成日志后直接发送到HDFS中，通过使用不同的F1ume配置文件完成离线和实时模块的切换。4、对F1ume和Kafka集群性能进行调优，保证数据的安全性，提升集群的峰值处理能力。5、Hadoop高可用集群的搭建消除Namenode和ReourceManage的单点故障。个人评价热爱生活：工作，看书，烹饪，3奇行。