搜索
Hadoop软件工程师姓名：性别：男年龄：26岁学历：本科籍贯：英语水平：CET-4，熟练阅读API文档毕业院校：联系电话：工作经验：3年电子邮件：工作性质：全职目标地点：北京目标职能：hadoop高级工程师目标薪资：面议单位名称：正保教育职位名称：hadoop软件工程师工作时间：2014.3-2015年7月工作描述：1、主要从事软件编码工作。2、需求调研，需求分析，功能模块分析以及编码实现等。3、调整整个项目的开发周期4、参与系统的业务需求分析5、把握项目周期单位名称：创维互联新能源科技有限公司职位名称：hadoop项目经理工作时间：2015.7-至今工作描述：1、项目的需求分析2、项目的架构设计3、项目的扩展性设计4、编码工作5、把握项目周期1.理解hadoop的分布式文件系统，掌握hadoop集群的搭建2.根据业务需求，完成Map/Reduce编程3.设计hive数据仓库设计，数据仓库主题分析4.擅长sqoop数据传输工具5.擅长kafak消息队列，和strom的对接6.设计storm实时处理方案7.设计storm数据落地的完整性需求求职意向专业技能个人信息工作经历8.设计hbase数据仓库，实现二级索引，达到完美的批量写，毫秒级别的查询9.设计hbase和hive的数据增量10.熟练掌握redis实时nosql数据库的使用11.扎实的Java基础，良好的编码风格项目一：创维互联新能源大数据平台项目名称：新能云平台软件架构：kafka+strom+redis+hbase+hive+cdh+sqoop开发环境：eclipse+jdk1.7+mysql+maven+svn项目描述：随着国家对新能源行业的重视和发展，利用大数据技术，以软件免费共享的模式，实现电站发电设备状态可控在控、故障处理准确及时、人员操作安全规范、统计分析深入全面、运行维护智能高效、经营效益不断提高。责任描述：1.参与前期项目分析，设计系统整体架构2.数据采集设计，实时处理部分strom设计3.strom写hbase的实质意义的批量写设计4.hbase和hive增量对接方案设计，hbase二级索引，分页方案设计5.hive数据仓库设计和维护，数据主题的抽取，数据维度分析开发步骤：1.通过远程调用，把二进制数据压缩传输给kafak，在kafak的消费者端进行解压2.strom通过和kafak对接，消费kafak消息队列里面的数据，strom进行故障判断等分析3.strom将分析的结果实时存入到redis中，同事把历史数据全量写入到hbase中，满足实时查询4.数据落地到hbase中，把hbase中的数据和hive进行对接，每天增量更新，传入到hive数据仓库中按天进行分表操作5.hive数据仓库设计，主题抽取，维度分析，分析历史数据，最后把每天分析的结果存放到hbase中，供给也没进行查询操作项目二：中华会计网数据分析统计项目名称：中华会计网数据分析统计软件架构：hadoop+flume+Hbase+hive开发环境：Eclipse+Jdk1.7+maven+svn项目描述：该项目主要对教师，学生，已经课件，课程的相关数据进行统计分析。通过统计分析可以分析出老师的受欢迎程度，老师上课的质量，学生的学习的情况，学生的学习习惯，学习行为进行分析，以及课件的受欢迎程度，题库的答疑。已经对账号公用，对非法登账号异常进行统计分析，从而保证产品的版权问题。课程的难易程度进行分析。从而为决策者提供有效的策略方案。项目经历责任描述：1.数据的收集工作，通过flume，把数据存放到hadoop系统中。2.通过hbase的数据导入，从而方便以后的查询等操作3.对hive和hbase进行优化操作开发步骤：1.利用flume收集数据，存放到hadoop中，例如来自传统数据的的数据用mr进行收集，存放到hadoop中。2.对数据进行初级过滤，把过滤后的数据存放到基础数据层中3.对基础数据库中的数据进行进一步分析，存放到通用数据层中4.根据业务需求，对通用数据层中的数据进行进一步的分析，从而得到业务需求数据，5把业务分析过后的数据通过sqoop导入到mysql中，从而进行前台展现项目三：正保教育画像系统平台项目名称：正保教育画像系统平台软件架构：hadoop+hive+Hibernate+mysql+spring开发环境：eclipse+tomcat6.0+mysql+svn项目描述：正保教育用户画像系统，主要基于hive数据仓库之上的数据分析展现模块，其中主要用用户基础信息画像，包括：年龄，地域，性别，职业等基础信息画像。不同网站的流量趋势画像，其中包括：访问趋势，新增访问客，活跃访客，访问量（每日，每周，每月）。访问画像：地域分析，客户端环境，设备属性画像，移动终端，网络连接画像（运营商）。责任描述：1.项目前期分析，负责整个项目的数据库设计和规划2.主要负责对整个系统开发的模块管理和规划3.系统主要用easyUI最为前台展示1、参与过多个项目的开发，熟悉常见业务处理，能快速融入团队；2、逻辑思维能力强，思路清楚，学习能力强，对新技术有着强烈的好奇心；3、对工作尽职尽责，乐于从事有挑战性的工作；4、乐于与用户以及同事和领导沟通，以便快速解决项目遇到的问题；5、具有良好的英语阅读能力，能阅读英文资料、技术文档等；自我评价