大數據架構師的主要職責說明

　　大數據架構師負責解決核心技術問題，對技術方案進行決策。下面是學習啦小編為您精心整理的大數據架構師的主要職責說明。

　　大數據架構師的主要職責說明1

　　職責：

　　1、負責公司大數據底層框架的整體架構設計，結合公司實際業務情況進行技術選型及大數據戰略規劃;

　　2、負責公司項目的整體評估、設計、架構及關鍵模塊的開發;

　　3、負責架構優化，協助團隊解決開發過程中遇到的技術難題;

　　4、負責新技術的調研和大數據相關開源組件的研究，并能在團隊進行推廣應用;

　　5、參與數據分析、數據建模、項目核心模塊及核心框架的開發;

　　6、負責大數據平臺的性能條有和問題診斷。

　　任職要求：

　　1、計算機相關專業，本科及以上學歷，3-5年以上工作經驗，2-3年大數據相關經驗;

　　2、具有扎實的大數據和數據倉庫理論功底，負責過大數據平臺或數據倉庫設計;

　　3、對基于Hadoop的大數據體系有深入的認識，具備相關產品(Hadoop、Hive、HBase、Spark、Storm、Flume、Kafka、Redis、ES等)項目應用研發經驗，有Hadoop集群搭建和管理經驗，度過Hadoop和Spark源碼;

　　4、熟悉Linux和Python語言，了解Scala原理和底層技術;

　　5、熟悉分布式系統的架構及對其進行設計和優化，對海量數據的清晰、分析處理及存儲有相關的實戰經驗;

　　6、算法基礎扎實，熟悉常見的數據結構，深入理解分布式算法和以上提到的分布式系統，

　　7、必須有一線coding的能力;

　　8、有統計學、數學知識，海量數據處理、分析和挖掘，大型互聯網公司從業經歷著優先。

　　大數據架構師的主要職責說明2

　　職責：

　　1. 負責大數據基礎和應用平臺的整體規劃和架構設計，參與需求分析，架構設計，詳細設計以及技術選型決策

　　2. 參與數據挖掘和建模相關核心算法的代碼實現

　　3. 負責大數據算法平臺的技術把關，性能調優，控制架構質量，解決項目技術難題;對研發項目和任務需求進行評估和方案設計、拆分任務并指導工程師完成開發

　　4. 帶領團隊提供并實現大數據算法平臺上各項數據接入、數據挖掘分析及數據可視化的架構設計與能力，支持解決方案實施

　　5. 負責數據庫設計、應用架構設計、核心技術選型等工作

　　6. 協調解決開發中的技術問題、設計和監控運營指標，保障系統穩定運行

　　7. 培養，指導有能力的員工，指導工程師進行技術驗證實現，核心技術攻關，解決開發過程中的技術難題

　　任職要求：

　　1. 熟悉大數據和數據倉庫的系統架構設計方法

　　2. 熟練使用并理解HadoopSpark架構及生態。(Hadoop，Hive，Hbase，Elasticsearch，Kafka，SparkFlink等)

　　3. 熟悉分布式系統架構，有分布式實時、離線和機器學習的平臺的架構和開發經驗，具備海量數據清洗、分析處理及存儲的實踐經驗

　　4. 熟練使用JAVA，具有大規模分布式系統調優經驗

　　5. 熟悉AI相關算法，熟悉機器學習、深度學習。熟悉AI學習開源框架(Tensorflow、PyTorch等)者優先;

　　6. 具備良好的團隊合作精神，對工作充滿激情。

　　7. 熟悉FusionInsight平臺開發經驗者優先

　　大數據架構師的主要職責說明3

　　職責：

　　(1) 負責公司大數據平臺搭建，相關的設計和技術開發工作，負責大數據存儲系統、分布式計算系統、數據集成、挖掘算法等的設計、研發以及維護、優化工作;

　　(2) 通過數據分析技術，挖掘有利于營銷中各業務場景的變量或規則類標簽，以提升模型效果，為文旅、教育業務提供數學模型理論及編程支撐;

　　(3) 對接溝通業務系統研發團隊和產品部門，提供數據驅動方面的專業咨詢方案，并對業務的大數據應用場景提出建設性意見;

　　(4) 配合部門領導進行項目需求分析、設計開發工作。

　　任職要求：

　　(1) 計算機、統計學，數學等相關專業本科以上學歷，5年以上大數據或文旅、教育數據產品設計開發經驗，高效高質量產出需求和技術文檔;

　　(2) 精通Hadoop，熟悉大數據生態技術，如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Hive、Hbase、Kerberos等，有大規模集群架構、開發及運維經驗;熟悉HDFS/MapReduce等;

　　(3) 熟悉Java，能夠獨立應用python、R、SAS或類似分析工具進行數據分析;

　　(4) 熟悉大數據挖掘、可視化分析，各種BI算法和產品等，在計算廣告、搜索引擎、推薦系統、用戶畫像等有一個或多個算法領域的研發經驗，能夠運用數據作為產品解決業務方運營及決策問題;

　　(5) 有互聯網行業工作經驗者優先，有海量數據的機器學習算法實踐經驗優先;

　　(6) 工作認真、負責，有良好的團隊合作精神，良好的分析能力、溝通技巧。

　　大數據架構師的主要職責說明4

　　職責：

　　1. 負責公司大數據平臺的設計和開發，負責spark, hadoop, flink等云計算平臺的開發和優化;制定數據架構規范，進行核心代碼編寫，指導團隊落地;

　　2. 負責數據基礎架構和數據處理體系的升級和優化，技術難題攻關，持續提升核心系統性能，保證系統的安全、穩定、高效運行

　　3. 設計并實現對BI分析、數據產品開發、算法開發的系統性支持

　　4. 研究未來數據模型和計算框架的創新與落地，包括但不限于以下領域：大規模數據實時化、研發模式敏捷化、數據計算框架輕量化、數據模型組織方式業務化等方面參與制定并實踐團隊的技術發展路線

　　5. 建立良好的公司內外的業界技術影響力;參與培養未來數據人才;有效輔導團隊，提升數據研發能力

　　任職要求：

　　1. 有很強的數據設計抽象能力，善于從復雜的數據問題中找到關鍵路徑，能夠開發創新而實際的分析方法以解決復雜的商業問題

　　2. 有作為技術負責人系統化解決問題的成功案例;有海量數據建模實踐經驗優先

　　3. 熟練掌握Hadoop、Spark、Flink、HBase的原理特性以及適用場景，精通流式計算開發，有開源二次開發經驗者優先，有NLP數據處理經驗者優先

　　4. 性格積極樂觀，誠信，能自我驅動，有較強的語言表達能力;具備強烈的進取心、求知欲及團隊合作精神;具有良好的溝通、團隊協作、計劃和創新的能力

　　5. 本科以上學歷，扎實的計算機專業基礎，有5年以上大數據平臺開發經驗;

　　大數據架構師的主要職責說明5

　　職責：

　　1、負責大數據平臺的技術選型，基于Spark、Hadoop大數據平臺建設和開發;

　　2、完成包括數據模型設計、數據采集、數據存儲等方面的大數據系統架構的設計和數據層架構設計;

　　3、構建數據中臺，為多種行業應用提供主數據(畫像標簽/關系圖譜)、數據模型、人工智能業務算法及數據服務。

　　4、對海量數據處理的業務需求進行評估和方案設計、拆分任務并指導工程師完成開發;

　　5、帶領大數據技術團隊提供并實現大數據平臺上各項數據分析和數據可視化的架構設計，支撐解決方案實施。

　　任職要求：

　　1、本科及以上學歷，具有5年及以上大數據架構設計和開發經驗;2年及以上帶領團隊經驗;溝通能力強。在大型互聯網企業從事大數據架構設計者優先考慮;有分布式大型商業軟件系統設計經驗、主導過大型商業軟件的架構設計并取得過市場商業成功者優先考慮;

　　2、熟悉整個大數據的完整處理流程，包括數據的采集、清洗、預處理、存儲、分析挖據、機器學習和數據可視化;

　　3、精通Oracle/MySQL/PostgreSQL/Greenplum/MongoDB等其中至少一種主流數據庫的使用，并能進行性能調優;

　　4、具備優秀的團隊意識和溝通能力，學習能力和主動性強，具有鉆研精神，充滿激情，樂于接受挑戰。