崗位職責:
1.技術開發(fā):負責大數(shù)據(jù)存儲、計算平臺搭建和開發(fā);負責數(shù)據(jù)倉庫建設,數(shù)據(jù)抽取、清洗、轉化等數(shù)據(jù)處理程序開發(fā)。
2.技術選型:負責根據(jù)具體應用場景進行技術選型,提出解決方案;
3.體系建設:負責數(shù)據(jù)治理體系建設,能夠從零搭建數(shù)據(jù)治理產品,包括但不限于數(shù)據(jù)存儲體系建設、ETL、數(shù)據(jù)血緣、數(shù)據(jù)安全、數(shù)據(jù)分類分級等。
4.團隊協(xié)作:參與進行客戶業(yè)務需求、數(shù)據(jù)分析需求的調研、收集與分析。
5.技術預研:負責新技術調研、測試和落地應用,對初中級數(shù)據(jù)工程師開展帶教。
任職要求:
1.技術技能:精通大數(shù)據(jù)開發(fā)相關技術以及Hadoop/HBae/Hive等開發(fā)框架;精通Doris、Flink、Hive、Hbase、ES、Clickhouse等大數(shù)據(jù)常用技術,熟悉數(shù)據(jù)提取Flume、Syslog等技術并有實際使用經(jīng)驗;熟悉國內外大數(shù)據(jù)安全、網(wǎng)絡安全行業(yè)發(fā)展,具備大型數(shù)據(jù)倉庫架構設計、模型設計、存儲設計能力;對數(shù)據(jù)建模及業(yè)務抽象有深入的理解,有海量分布式數(shù)據(jù)庫系統(tǒng)的需求分析、架構設計經(jīng)驗;具備扎實的java技術基礎,精通Spring生態(tài)體系,熟練掌握SpringBoot/SpringCloud微服務研發(fā)體系。
2.工作經(jīng)驗:計算機相關專業(yè)本科及以上學歷,5年以上分布式系統(tǒng)、大數(shù)據(jù)系統(tǒng)開發(fā)工作經(jīng)驗,有一定項目管理/團隊管理經(jīng)驗。
3.通用能力:優(yōu)秀的溝通和協(xié)作能力,能夠與團隊成員有效溝通;能提出創(chuàng)新的技術解決方案,推動技術進步;快速學習新技術和新工具的能力。
4.優(yōu)先條件:熟悉數(shù)據(jù)分類分級、數(shù)據(jù)脫敏、數(shù)據(jù)水印等技術;研究過前沿數(shù)據(jù)安全技術,如同態(tài)加密、數(shù)據(jù)脫敏、數(shù)據(jù)鑒權等;有海量數(shù)據(jù)實踐經(jīng)驗,閱讀過源碼。