【岗位职责】
参与大数据项目的实施开发,能担任开发leader,对hadoop/spark框架原理比较熟悉,能跟用户沟通技术,进行技术答疑,对大数据仓库等概念认识比较清晰,对hive/hbase/solr等理论有比较清晰的认知,熟悉各种ETL工具(kettle, kafka connector, flume, flink),对SQL要比较熟悉,能对spark sql进行调优,对数据有一定的敏锐度,能整体规划项目数据开发,充分考虑数据处理边界问题,数据处理异常问题,需要进行规范化的项目蓝图设计、概要设计、详细设计,熟悉IT项目管理流程,把控项目质量。
【任职要求】
对数据库要比较熟悉,至少熟悉MySQL,有一定的SQL调优经验;
对大数据ETL工具比较了解,至少熟练掌握两种以上的ETL工具(如:Kettle/Flume/Flink/DataX/Informatica等);
对消息中间件有一定的了解,至少熟悉一种消息中间件(如:Kafka/RabbitMQ/ActiveMQ/RocketMQ/Redis等);
对Hadoop生态圈有一个比较全面的认识,并能熟练讲述Hadoop基本原理;
对Spark原理有比较深入的理解,能通过Yarn的日志定位排查Spark任务问题;
对Kerberos有比较清晰的认识,能围绕Hadoop平台进行相关Kerberos配置,并能在数据开发中引入Kerberos机制;
熟悉Linux的常用操作命令及相关服务的系统配置;
能够利用Git在Linux下进行协同开发;
热爱编程,愿意进行知识积累分享;
性格开朗,做事积极主动;
思路清晰,做事认真,能正确理解项目需求,参与项目架构讨论,依据需求文档进行人天评估,同时可根据需求进行概要设计和详细设计;
按照项目设计要求,能带领3人小组进行团队开发,并按计划按时交付系统;
经过内部培训后能够支持售前讲解技术方案