大数据开发工程师求职简历模板_001.docx

《大数据开发工程师求职简历模板_001.docx》由会员分享，可在线阅读，更多相关《大数据开发工程师求职简历模板_001.docx（3页珍藏版）》请在第一文库网上搜索。

1、基本信息姓 名：XXX性 别：X工作经验：X年 联系电话：XXXXXX 电子邮件：XXXXXX毕业院校：XXXX大学专 业：数学与应用数学英语水平：CET-6获奖证书：全国数学建模竞赛二等奖工作性质:全职目标地点：北京目标职能：大数据开发工程师目标薪资：面议工作经历单位名称：XXXXX科技有限公司 职位名称：大数据开发工程师 工作时间：2016.8-2019.2专业技能1 .熟练掌握Java. Scala编程语言，拥有良好的编码习惯，理解面向对象编程和函数式编程思想2 .熟练掌握Hadoop技术，HDFSx MapReducex YARN的工作机制，有调优经验，能搭建Hadoop集群3 .熟练

2、掌握Hive数仓建设，熟练使用HQL进行企业级开发，有Hive调优经验4 .熟悉分布式应用程序协调服务Zookeeper,理解Zookeeper的Paxos选举机制5 .熟练使用Flume进行日志采集，会自定义Flume拦截器，了解Flume组成架构，6 .熟悉使用Kafka实现消费数据，理解高吞吐量机制，掌握Kafka高彳氐级API的编写7 .熟练使用SparkCorex SparkSQLx Spark Streaming编程，理解Spark内核，任务提交，执行流程,Shuffle 机制、熟悉SPark调优8 .熟练使用Sqoop在HDFS和Mysql数据库之间传递数据9 .能够使用EIas

3、ticSearch进行海量数据存储和检索10 .熟练使用Mysql ,能够使用SQL对辘进行增删改查操作11 .熟练使用Git、MaVen等项目版本控制和自动化构建工具12 .熟练使用Hbase ,熟练使用其JavaAPI进行程序开发，熟悉HbaSe的结构原理区和RoWkey设计13 .熟悉Azkaban ,能够使用Azkaban进行任务调度14 .熟悉推荐系统，对机器学习有浓厚兴趣，了解常用算法项目经验项目名称：快看影视大全推荐系统软件架构：Nginx +Flume + HDFS + Spark + Hive + Mysql +Sqoop + Azkaban +Hadoop开发环境：IDEA

4、+JDK1.8+Git+MAVEN+Scala项目描述：本电影推荐系统是为了提高用户体验，从APP海量的电影中推荐出用户感兴趣的电影。系统包含了离线推 荐与实时推荐体系，综合利用了协同过滤算法以及基于内容的推荐方法来提供混合推荐。提供了从前端应用、 后台服务、算法设计实现、平台部署等多方位的闭环的业务实现。责任描述：L 参与项目推荐算法的确定和框架搭建2、负责模型参数的评估和选取3、负责离线统计推荐指标的分析4、负责实时推荐的余弦相似度和对数增减因子的确定技术要点：L使用Flume完成日志数据的采集工作，解决Flume落盘HDFS产生大量小文件问题2、基于SparkSQL ,分析了离线统计推荐

5、指标：历史热门推荐，近期热门推荐，优质电影推荐3、用ALS算法求解模型，构建UserProducts矩阵，预测出电影评分4、对模型的参数(QnI065)7、基于SprakStreaming + Kafka + Redis ,结合余弦相似度和调整因子，计算推荐优先级项目经验项目名称：快看影视数仓业务分析系统软件架构：Nginx +Flume + HDFS + Spark + Hive + Mysql +Sqoop + Azkaban +Hadoop开发环境：IDEA+JDKL8+Git+MAVEN+Scala项目描述：数据仓库是根据随着时间发生变化的数据集成到面向主题的平台，通过该平台可以提取出

6、对企业管理层决 策提供重要依据的数据，利于企业长远发展。本项目收集了用户基本信息、设备信息、用户交易、订单等数据, 经过数仓逐层分析根据需求分析得到不同的统计数据。主要分为日志采集、数仓搭建、离线统计、数据展示四 大模块。责任描述：L负责用户产品日志的收集2、参入数仓架构设计，负责项目数据仓库的建设3、负责离线数据分析，制作符合业务需求的报表。技术要点：1、设计Flume双层结构，自定义Flume拦截器,实现日志分流2、基于Hive数，参与数据仓库搭建，设计日志表的分层3、Dwd数据明细层,选择Parquet列式存储格式以及Sn叩Py数据的压缩方式4、基于不同的业务需要和表数据结构，选择不同数

7、据同步策略5、基于SparkCore和SparkSQL设计用户行为宽表，拉链表6、建基于Sqoop ,将Mysql数据库的业务数据导入HDFS7、以用户设备为标准，统计每日、每周、每月的活跃用户8、统计近一个月新增的用户留存率，为运营提供决策参考。9、统计每日收入、每日GMV成交额、单日订单数量10、基于AZkaban ,划分脚本任务，压缩上传到AZkaban ,执行任务项目经验项目名称：离线业务日志采集系统软件架构：Flume+Kafka+Zookeeper+Canal+ Redis开发环境：IDEA+JDK1.8+Git+MAVEN+Scala项目描述：使用Flume、Sqoopx Kaf

8、ka. Canak ZOOkeePer搭建离线日志采集模块、实时日志采集模块、离线业 务采集模块、实时业务采集模块，实现对商城日志的离线采集和实时传输。责任描述：L 参与项目需求分析讨论、项目架构设计。2、离线日志采集模块采用FlumeKafka架构，实现了负载均衡和容灾。3、安装Canal对Mysql数据库进行实时监控，将数据发送到Kafka中。技术要点：L 在日志服务器上搭建Flume集群专门负责采集日志，完成日志采集模块。2、实时采集部分是将采集好的日志发送到指定Kafka Topic中，由HDFS充当消费者消费Kafka数据。3、离线阶段在Flume收集完成日志后直接发送到HDFS中，通过使用不同的Flume配置文件完成离线和实 时模块的切换。4、对Flume和Kafka集群性能进行调优，保证数据的安全性，提升集群的峰值处理能力。5、Hadoop高可用集群的搭建消除Namenode和ReourceManage的单点故障。个人评价热爱生活：工作，看书，烹饪，3奇行。