职位详情

岗位要求：
1、理解数据的产品应用场景逻辑，通过统计方法和通用分布式框架工具语言如hadoop，不断加强数据服务质量；
2、负责数据清洗、转换、建模等工作,对海量用户行为数据通过hadoop/spark等进行离线和实时处理；
3、参与数据、工具平台相关的功能接口、数据接口开发，完成业务功能；
任职要求：
1、精通java或scala语言，具有面向对象编程思想，对底层实现有一定研究；
2、精通spark sql、spark streaming等编程，具有实际大型分布式集群项目开发经验；
3、熟悉Linux操作系统，熟悉Linux shell编程；
4、熟悉mysql，redis等常用数据库，jetty等中间件；
5、熟悉分布式存储或NoSQL数据库技术，如hbase等；
6、熟悉Hadoop生态环境，精通以下一种或多种大数据技术，如flume、Kafka、Hdfs、MR、elastic search；
7、熟悉常用的数据挖掘算法优先。