崗位職責:
1、數(shù)據(jù)收集與預處理:數(shù)據(jù)收集:負責從各種數(shù)據(jù)源(如數(shù)據(jù)庫、文件系統(tǒng)、網(wǎng)絡等)中收集數(shù)據(jù),確保數(shù)據(jù)的全面性和多樣性。數(shù)據(jù)預處理:對數(shù)據(jù)進行清洗、整理、轉(zhuǎn)換和歸約等操作,以提高數(shù)據(jù)的質(zhì)量和可用性。這包括處理缺失值、異常值、重復值等問題,以及將數(shù)據(jù)轉(zhuǎn)換為適合挖掘的格式。
2、數(shù)據(jù)挖掘與分析:數(shù)據(jù)挖掘:運用統(tǒng)計學、機器學習和數(shù)據(jù)挖掘技術,對預處理后的數(shù)據(jù)進行深入分析和挖掘,以發(fā)現(xiàn)模式和趨勢。這包括分類、聚類、關聯(lián)規(guī)則挖掘、回歸分析、時間序列分析等多種方法。數(shù)據(jù)分析:通過數(shù)據(jù)挖掘技術發(fā)現(xiàn)數(shù)據(jù)中的隱藏模式、關聯(lián)規(guī)則和趨勢,提取有用的信息和知識。這些分析結(jié)果可以用于業(yè)務預測、市場趨勢分析、用戶行為研究等多個方面。
3、模型構建與優(yōu)化:模型構建:根據(jù)業(yè)務需求和數(shù)據(jù)特點,選擇合適的機器學習算法或深度學習模型,構建數(shù)據(jù)分析模型。這些模型可以用于分類、預測、推薦等多個場景。模型優(yōu)化:對構建的模型進行評估和優(yōu)化,提高模型的準確性和性能。這包括調(diào)整模型參數(shù)、選擇更合適的算法、優(yōu)化特征工程等方面。
4、數(shù)據(jù)可視化與報告:數(shù)據(jù)可視化:利用數(shù)據(jù)可視化工具(如Tableau、Power BI等)將挖掘和分析的結(jié)果以直觀、易懂的方式呈現(xiàn)出來。這有助于用戶更好地理解數(shù)據(jù)和分析結(jié)果,發(fā)現(xiàn)數(shù)據(jù)中的規(guī)律和趨勢。報告撰寫:撰寫數(shù)據(jù)挖掘和分析報告,向決策者和相關人員解釋和說明分析結(jié)果,并提出相應的建議和決策支持。這些報告可以包括數(shù)據(jù)摘要、分析結(jié)果、模型性能評估等多個部分。
任職要求:
1、教育程度:計算機、數(shù)學、統(tǒng)計學相關專業(yè);本科及以上學歷。
2、工作經(jīng)驗:具備5年及以上專業(yè)工作經(jīng)驗。
3、知識:熟悉常用數(shù)據(jù)統(tǒng)計、分析和建模方法;熟練掌握各類算法包括分類算法、聚類算法、關聯(lián)規(guī)則挖掘、異常監(jiān)測等;熟練使用Python、Sql等語言;
熟悉大數(shù)據(jù)技術棧和工具,如Hadoop、Flink、Kafka等。
4、技能:熟悉數(shù)據(jù)作業(yè)流程,包括指標體系定義、數(shù)據(jù)清洗ETL、數(shù)據(jù)分析挖掘、數(shù)據(jù)可視化與展示;熟悉各種類型的統(tǒng)計方法,比如概率分布、相關性、回歸、隨機過程等;能夠使用機器學習算法建立數(shù)學模型;熟悉常用大數(shù)據(jù)計算引擎flink;熟悉TensorFlow、PyTorch等深度學習框架。
5、核心能力素質(zhì):分析判斷能力、解決問題能力、執(zhí)行能力、溝通能力、文字能力、抗壓能力、業(yè)務知識、工作主動性、責任意識、團隊協(xié)作、嚴謹細致、服務意識、敬業(yè)精神、正直誠信。