崗位職責(zé):
1、負(fù)責(zé)環(huán)保大數(shù)據(jù)治理平臺(tái)的安裝、部署、運(yùn)維工作,保證平臺(tái)能夠穩(wěn)定的運(yùn)行;
2、負(fù)責(zé)環(huán)保大數(shù)據(jù)接入、清洗、轉(zhuǎn)換、建模與分析等工作;
3、構(gòu)建元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)目錄管理等大數(shù)據(jù)治理系統(tǒng),并對(duì)數(shù)據(jù)治理開(kāi)源組件進(jìn)行二次開(kāi)發(fā);
4、構(gòu)建數(shù)據(jù)湖、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市體系,建立數(shù)據(jù)分析模型,開(kāi)發(fā)數(shù)據(jù)服務(wù);
5、構(gòu)建數(shù)據(jù)接入體系,將各種數(shù)據(jù)源的數(shù)據(jù)導(dǎo)入到大數(shù)據(jù)治理平臺(tái)。
6、兼職時(shí)間2-3個(gè)月。
任職要求:
1、計(jì)算機(jī)、數(shù)學(xué)相關(guān)專業(yè)大專以上學(xué)歷,1年以上基于大數(shù)據(jù)平臺(tái)的開(kāi)發(fā)工作經(jīng)驗(yàn);
2、熟練掌握python,Java,scala等編程語(yǔ)言,有豐富的大數(shù)據(jù)應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn);
3、具備hadoop/hive/hbase/spark/flink/kafka/ambari/griffin/atlas等大數(shù)據(jù)組件應(yīng)用和二次開(kāi)發(fā)經(jīng)驗(yàn);
4、對(duì)數(shù)據(jù)湖、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市建設(shè)、數(shù)據(jù)治理有理解。