1. 負責項目所需的實時數(shù)據(jù)接入,實時計算處理,數(shù)據(jù)治理;
2. 設計并實現(xiàn)實時大數(shù)據(jù)處理流程,flink實時計算應用任務,提取和分析項目相關數(shù)據(jù);
3. 協(xié)助其他團隊成員進行數(shù)據(jù)處理和分析工作,提供技術支持;
4. 對大數(shù)據(jù)平臺各個使用方提供技術支持;
任職資質(zhì)
1、計算機科學、軟件工程、數(shù)據(jù)科學或相關專業(yè)的本科及以上學歷。FLINK項目實際使用7年以上
2、熟悉Apache Flink及其生態(tài)(如Flink SQL、Flink Streaming,FLinkCDC等),熟悉flink核心源代碼及flink底層原理。
3、掌握Java或Scala等編程語言,有5年flink實時項目開發(fā)經(jīng)驗,能獨立規(guī)劃,開發(fā)flink項目需求。
4、熟悉大數(shù)據(jù)相關技術,如Hadoop、Spark、Kafka、mq、Hive,ADB等,具備數(shù)據(jù)處理和分析能力。
5、理解分布式系統(tǒng)的基本原理,熟悉微服務架構(gòu)、消息隊列、容器化等相關技術。
6、有較好的溝通能力、題分析和解決能力,能夠快速定位和解決技術難題。
7、有大型項目億級實時數(shù)據(jù)處理經(jīng)驗優(yōu)先。