崗位職責(zé):
1.支持Hadoop集群底座的運維故障分析、解決、性能優(yōu)化;大數(shù)據(jù)集相關(guān)組件主要包括:Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等組件運維;
2.開發(fā)數(shù)據(jù)采集、清洗、分析、挖掘及可視化功能,需熟悉ES、milvus、pgsql等。
3.熟悉國產(chǎn)數(shù)據(jù)庫,包括doris等;
4.配合開展HDFS存儲、Hive元數(shù)據(jù)治理優(yōu)化,建立并完善存儲治理方案;
5.配合開展Hive、Spark作業(yè)優(yōu)化,對業(yè)務(wù)側(cè)提出優(yōu)化建議。如:作業(yè)小文件問題、數(shù)據(jù)傾斜治理方案等;
6.提出集群優(yōu)化建設(shè)方案,配合建設(shè)和優(yōu)化大規(guī)模分布式集群的自動化運維、監(jiān)控等工具和管理平臺。
任職要求:
1.本科及以上學(xué)歷,通信/計算機等相關(guān)專業(yè),具有良好的學(xué)習(xí)能力、溝通能力、團隊合作能力及一定的抗壓能力;
2.熟悉Hadoop、Hive、Hbase、Spark等開源項目,理解組件架構(gòu)及原理;
3.對大數(shù)據(jù)運維開發(fā)有濃厚興趣,熟悉Apache Hadoop部署、性能調(diào)優(yōu);
4.能閱讀/理解Hadoop等相關(guān)開源組件源碼;
5.對HQL、SparkSQL等有較深入的研究,能解決實際業(yè)務(wù)性能問題;
6.熟練掌握LDAP、Kerberos等安全認證體系;
7.熟練掌握Linux命令與工具進行問題定位,熟悉常規(guī)的互聯(lián)網(wǎng)技術(shù)架構(gòu);
8.具備一定的Java開發(fā)能力;
9.有信控平臺開發(fā)經(jīng)驗者優(yōu)先錄取。