大數據開發工程師崗位的工作職責說明
大數據開發工程師崗位的工作職責說明
大數據開發工程師負責大數據平臺及應用場景的構建、部署、測試。以下是學習啦小編整理的大數據開發工程師崗位的工作職責說明。
大數據開發工程師崗位的工作職責說明1
職責:
1、負責基于Hadoop框架的海量數據平臺建設
2、參與大數據平臺的數據架構設計,完成從業務模型到數據模型的設計
3、基于海量數據的數據倉庫,為業務搭建通用的查詢和分析解決方案
4、管理并優化存儲&計算資源利用效率、監控并維護例行ETL任務
5、梳理整體業務指標,可視化報表開發
應聘要求:
1、計算機本科及以上學歷,5年以上大型數據倉庫架構設計、模型設計、ETL設計相關經驗
2、熟悉Hadoop生態,熟悉Oracle、SQL數據庫中的一個或多個,有一定的性能優化經驗
3、熟練掌握Java語言,MapReduce編程,Python/Shell等腳本語言,Linux操作系統
4、具備大數據云平臺、計算存儲平臺、可視化開發平臺經驗
5、業務理解力強,對數據敏感,有互聯網行業產品數據分析經驗者優先
大數據開發工程師崗位的工作職責說明2
職責:
1、根據工作安排高效、高質地完成代碼編寫,確保符合規范的前端代碼規范;
2、負責公司現有項目和新項目的前端修改調試和開發工作;
3、與設計團隊緊密配合,能夠實現實現設計師的設計想法;
4、與后端開發團隊緊密配合,確保代碼有效對接,優化網站前端性能;
5、頁面通過標準校驗,兼容各主流瀏覽器。
任職要求:
1. 本科及以上學歷,熟悉j2ee,精通web開發有5年工作經驗以上(學習能力好放寬至4年),熟悉jsp,spring框架;
2.悉主流移動web開發框架,并有過實際項目開發經驗;
3.有kylin,atlas,oozie,azkaban,spark,ranger任意一種使用項目使用經驗。
大數據開發工程師崗位的工作職責說明3
職責:
1、負責公司大數據基礎平臺產品開發工作;
2、完成產品/項目劃分的研發任務,按需求規范進行研發;
3、具備良好的需求分析能力、業務建模能力,參與產品和項目相關模塊的需求討論,概要、詳細設計;
4、具備良好的架構分析能力與設計能力,積極參與前期設計;
5、能根據設計方案和計劃進行編碼實現,在進度和質量上符合方案和計劃的要求;
6、及時對BUG庫中的軟件問題進行跟蹤修正。
崗位要求:
1、三年以上工作經驗,一年以上大數據平臺架構及ETL相關經驗,可獨立搭建/運維CDH/Spark整套平臺架構;
2、精通Python/Java/Scala/SQL/Shell等語言中兩種以上,熟悉Spark/Hadoop/Hive/MR/Hbase/ZK/YARN等三種以上開源框架的原理和源碼;
3、熟悉容器平臺開發或者開發優先考慮,有docker、kubernetes相關開發經驗更佳;
4、學習能力強,適應能力好,有豐富的問題原因定位及運維技術支持經驗;
5、有市場上成熟的大數據平臺產品實際架構/開發經驗優先。
大數據開發工程師崗位的工作職責說明4
職責:
1. 負責公司大數據業務集群的運維工作確保高可用;
2. 負責基礎運維、故障定位、容量規劃、擴容及性能優化;
3. 設計實現大規模分布式集群的運維、報警監控和管理平臺;
4. 參與業務架構設計,在設計階段給出可運維性改進建議;
5. 深入研究大數據業務相關運維技術,持續優化集群服務架構,探索新的大數據運維技術及發展方向。
任職資格:
1.大專以上學歷,2年及以上大數據運維工作經驗,熟悉hadoop/hbase/hive/Yarn/Spark等分布式相關技術,熟悉源碼尤佳,至少掌握python/shell中的一種語言,接受優秀應屆畢業生;
2.了解大數據平臺應用架構,具備常見問題的基本分析和解決能力;
3.熟悉Linux操作系統的配置、管理及優化,能夠獨立排查及解決操作系統層面的問題;
4.熟悉nginx/emq/tomca、mysql/mongodb/redis等web應用/中間件及主流開源數據庫的使用和配置。
大數據開發工程師崗位的工作職責說明5
職責:
1、負責公司c端產品以及廣告數據的平臺數據基礎建設;
2、大數據平臺的搭建與維護;
3、優化算法提高執行效率;
4、數據挖掘相關開發。
職位要求:
1. 本科及以上,計算機、軟件工程、統計學、數據挖掘、機器學習等相關專業;
2. 熟悉JAVA語言及JAVA生態下的開發,了解多線程并發,能獨立完成應用開發和部署;
3. 3年及以上大數據流程架構經驗,熟悉Hbase/Hive/Hadoop/Spark或等主流分布式開發平臺,有高性能集群設計和開發經驗;
4. 能熟練操作Linux,熟練掌握SQL數據庫語言 HiveSQL/Mysql/Sqlserver;
5. 對有廣告營銷大數據算法/開發經驗者優先,有大型數據項目經驗優先,有用戶行為分析、用戶建模、業務建模經驗者優先;
6. 具有良好的邏輯分析能力、溝通能力和協調能力;
相關文章: