简历模板-大数据开发工程师.docx
XXX大连理工大学I本科I男年 龄：23邮 箱：XXXXXr163. com手 机：1XXXXXXX应聘职位大数据开发工程师期望薪资：面议、个人证书全国大学英语六级考试(CET-6)469分S就职经历2016.7至2019.2就职于北京香哈网络股份有限公司，职位为大数据开发工程师。5人能力 熟练使用Java, Scala, Python等编程语言。 熟悉Shell脚本语言，经常在Linux环境下编写各类脚本。 熟练Hadoop相关知识，能够熟练搭建Hadoop分布式集群。 熟练使用Hive与Mysql等关系型数据库，了解Hive优化相关知识。 熟练使用HBase存储数据，了解rowKey设计等HBase优化方法。 熟练使用Redis数据库存储数据，能够将Redis数据库应用到业务中。 熟练使用ElasticSearch存储数据，了解ElasticSearch索引建立等知识，熟练使用Kibana调度日asticSearch数据库。 熟练使用Sqoop, Kafka, Flume等数据传输工具。 了解Zookeeper相关知识，能够熟练使用Zookeeper0 熟练使用Spark及其组件，经常使用Spark对数据进行统计与分析。 熟练使用Azkaban定时调度任务。 了解Oozie相关知识，熟练使用Oozie定时调度任务。.项目经历项目一：香哈离线数据仓库搭建与基本指标获取项目简述：针对用户登录、点击、浏览等行为以及自营电商业务每日产生的离线数据，进行数据清洗、分类以及统计。离线数据导入Hive数据仓库的过程涉及到了 Flume.Sqoop的使用与调优，数据统计过程中涉及到了维度退化，宽表与拉链表的构建与调整。最终实现了对用户留存率，转化率等重要指标的获取。项目架构：Flume ； Sqoop ； Mysql ； Hdfs ； Hive ； Spark ； Azkaban;主要负责：Is根据日志数据对应用日活，周活，月活数据进行统计，统计七日内日活变化情况。2、分析用户日活数据，对用户留存、沉默、唤醒、流失与召回情况进行统计。3、统计每日上传作品的名称，类别等明细信息。4、获取自营电商每日订单流水，对订单信息进行统计。5、建立用户行为明细表，统计用户的每日浏览、收藏等行为信息，并统计用户活跃度。6、建立用户行为宽表，统计用户的每日浏览、收藏等行为信息。7、建立基于行为数据与用户基本信息的用户画像。8、计算每日普通用户升级为会员用户的转化率。技术要点：1s使用Java语言编写Flume拦截器，清洗日志数据中的不完整数据与时间错误数据，并分流日志数据到不同的Channel。2、使用Sqp传输自营电商业务数据，保存到hdfs。3、使用Java语言编写UDF函数，对日志公共字段进行解析，编写UDTF函数，解析日志具体事件字段。4、通过Spark-sql保存解析后的日志数据到数据仓库。5、使用Spark RDD操作对解析后日志数据进行脱敏。6、建立用户行为明细表（每日全量），根据用户对作品行为数据，使用Spark-sql 统计用户偏好指标， 结合用户所在地区等信息建立用户画像。7、使用Azkaban调度系统，定时执行任务。项目二：香哈美食推荐系统项目简述：采用每日用户行为明细数据作为原始数据集，将用户对作品的行为转化为评分数据，根据作品的每日评分与评分有效期统计作品的综合评分。通过Spark-MLlib计算基于ltem-CF的作品推荐列表。项目架构：MongoDB ； ElasticSearch ； Redis,Spark ； Azkaban主要负责：工、通过Spark-sql读取每日用户行为明细数据，计算用户评分数据以及作品每日平均评分数据。2、统计评分有效期内作品的每日平均评分，构建用户与作品的评分矩阵。3、通过ltem-CF计算得到每日推荐作品列表。4、根据作品形式将推荐列表存入MongoDBo5、使用Azkaban定时调度业务系统。技术要点：1s使用Scala语言编写用户行为明细数据的解析工具类，并建立与业务指标相关的样例类。2、使用Spark-sql以及Spark RDD操作对解析后的用户行为明细数据进行统计，得到评分数据。3、划分评分数据的训练集与测试集°4、通过Spark-MLlib的ALS算法得到用户对产品的预测评分矩阵。5、根据用户评分矩阵计算产品间的相似度矩阵，并存储到HBase。6、根据作品的余弦相似度以及用户评分计算针对用户的每日推荐列表，保存入日asticSearch 以及 MongoDBo7、通过相似度矩阵得到相似作品推荐列表，并存入ElasticSearch与MongDBo8、使用Azkaban定时调度系统。项目三：香哈广告点击黑名单统计系统项目简述：实时获取广告业务日志信息以及用户行为日志信息。通过Redis数据库存储广告日志信息，使用Spark分析广告点击日志，统计用户点击次数，广告的点击通过率，并实时更新广告点击用户黑名单。项目架构：Kafka ； Spark ； Redis ； Mysql主要负责：Is通过Kafka集群实时获取广告的点击日志数据。2、通过Spark RDD操作实时统计各页面各广告的点击数量。3、根据用户点击量等指标实时更新广告点击黑名单。技术要点：1、使用kafka集群实时获取广告点击日志数据。2、通过Spark-streaming实时消费Kafka中数据，并通过RDD操作清洗错误时间戳数据。3、利用Redis建立广告点击黑名单表，并实时更新。4、Spark RDD操作统计广告点击信息，通过Spark-streaming缓存广告业务数据到Redis数据库，利用Redis对广告业务信息进行去重。5、通过Spark-streaming读取Redis数据库中广告点击黑名单，过滤黑名单用户点击数据。
