1、負(fù)責(zé)Hadoop集群的安裝、配置、維護(hù)與性能優(yōu)化,保障系統(tǒng)高可用性與穩(wěn)定性。
2、基于HDFS、Spark、Hive、HBase、Kafka、Flink等組件開展數(shù)據(jù)采集、清洗、存儲(chǔ)、分析及挖掘工作。
3、參與企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)與ETL開發(fā),支持報(bào)表生成與業(yè)務(wù)指標(biāo)分析。
4、開展Yarn調(diào)度優(yōu)化、HDFS存儲(chǔ)治理、HiveSpark作業(yè)調(diào)優(yōu)(如小文件、數(shù)據(jù)傾斜等)。
5、編寫技術(shù)文檔(操作手冊(cè)、故障指南等),配合團(tuán)隊(duì)完成數(shù)據(jù)治理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量監(jiān)控體系建設(shè)。
1、熟悉Hadoop生態(tài)核心組件(HDFS、YARN、MapReduce、Hive、HBase、Spark、Flink、Kafka、ZooKeeper、Sqoop、Flume等)。
2、熟練掌握J(rèn)avaPythonShell至少一門語(yǔ)言,具備Linux系統(tǒng)操作與腳本開發(fā)能力。
3、熟悉MySQL等關(guān)系型數(shù)據(jù)庫(kù)及SQL開發(fā)與性能優(yōu)化;了解數(shù)據(jù)倉(cāng)庫(kù)建模理論與數(shù)據(jù)治理方法。
4、具備2年以上大數(shù)據(jù)平臺(tái)開發(fā)、運(yùn)維或交付經(jīng)驗(yàn);有CDHCDPTDH華為MRS等平臺(tái)經(jīng)驗(yàn)者優(yōu)先。
5、責(zé)任心強(qiáng),邏輯清晰,具備良好的溝通協(xié)作能力與問(wèn)題解決能力。
在求職過(guò)程中如果遇到扣押證件、收取押金、提供擔(dān)保、強(qiáng)迫入股集資、解凍資金、詐騙傳銷、求職歧視、黑中介、人身攻擊、惡意騷擾、惡意營(yíng)銷、虛假宣傳或其他違法違規(guī)行為。請(qǐng)及時(shí)保留證據(jù),立即向平臺(tái)舉報(bào)投訴,必要時(shí)可以報(bào)警、起訴,維護(hù)自己的合法權(quán)益。
