崗位描述:
1、能夠熟練使用Linux,熟練編寫(xiě) shell 腳本,要求具備python開(kāi)發(fā)基礎(chǔ),有豐富python經(jīng)驗(yàn)優(yōu)先。
2、熟悉Hadoop/Hbase/Spark生態(tài)原理,精通hdfs,hive等大數(shù)據(jù)組件使用,要求有HiveSql開(kāi)發(fā)經(jīng)驗(yàn)、hbase/hive調(diào)優(yōu)經(jīng)驗(yàn)。
3、具備Spark相關(guān)開(kāi)發(fā)經(jīng)驗(yàn),熟悉 udf、dsl 的相關(guān)開(kāi)發(fā),能使用Spark對(duì)數(shù)據(jù)進(jìn)行離線處理。
任職要求:
1、計(jì)算機(jī)相關(guān)專(zhuān)業(yè),本科及以上學(xué)歷,4年以上Hadoop相關(guān)經(jīng)驗(yàn),2年以上Spark開(kāi)發(fā)經(jīng)驗(yàn)。
2、精通oracle/mysql/gbase等任意一種數(shù)據(jù)庫(kù),熟練掌握SQL、存儲(chǔ)過(guò)程等開(kāi)發(fā)技術(shù)和主流的ETL開(kāi)發(fā)工具。
3、熟悉數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)開(kāi)發(fā)技術(shù),具備數(shù)據(jù)倉(cāng)庫(kù)建模設(shè)計(jì)能力和經(jīng)驗(yàn)優(yōu)先。
4、要求熟悉Flink的流處理原理和數(shù)據(jù)處理流程,能夠使用Flink進(jìn)行實(shí)時(shí)數(shù)據(jù)處理。
5、熟悉大數(shù)據(jù)集群管理平臺(tái)如CDH、ambari等,有一定的大數(shù)據(jù)集群運(yùn)維經(jīng)驗(yàn),有搭建經(jīng)驗(yàn)優(yōu)先。