作(zuò)者：紅掌網絡 訪問量：608 發布時間：2020-05-25 07:22
想要成為(wèi)一名(míng)合格的大數據研發工(gōng)程師（Bigdataresearchanddevelopmentengineers），首先就要了解大數據軟件開發這個職業，大數據非傳統型的互聯網數據信息，大數據也包含了很(hěn)多(duō)新(xīn)的特征。互聯網時代的發展，每天都産(chǎn)生各種各樣的數據信息，數據來源很(hěn)廣，每天都有(yǒu)從各方面來臨的數據信息，大數據格式多(duō)種多(duō)樣，非結構化數據（Unstructureddata）、結構化數據（structureddata）、excel文(wén)件等等，而且大數據數量很(hěn)大，至少要是TB級别的，甚至會達到PB級别的。既然數據總量如此之多(duō)，又(yòu)各種類型的都有(yǒu)，增長(cháng)數據也很(hěn)快，那數據該如何彙總并且轉化運用(yòng)成自己所需要的數據信息呢(ne)?這就誕生了大數據研發工(gōng)程師，大數據研發工(gōng)程師在充分(fēn)了解行情的基礎之上，發揮其自身所具(jù)備的專業技(jì )能(néng)。
先扯一下大數據的4V特征：
1：數據量大，TB->PB
2：數據類型繁多(duō)，結構化、非結構化文(wén)本、日志(zhì)、視頻、圖片、地理(lǐ)位置等；
（datatypeisvarious,structuredandunstructuredtext,logs,video,images,thegeographicalposition,etc.;）
3：商(shāng)業價值高，但是這種價值需要在海量數據之上，通過數據分(fēn)析與機器學(xué)習更快速的挖掘出來；
（highcommercialvalue,butthisvaluetakeonhugeamountsofdata,throughdataanalysisandmachinelearningmorerapidexcavation;）
4：處理(lǐ)時效性高，海量數據的處理(lǐ)需求不再局限在離線(xiàn)計算當中(zhōng)。
（processingtimelinessishigh,therequirementofthehugeamountsofdataprocessingisnolongerlimitedinoff-linecalculation.）
大數據軟件開發工(gōng)程師需要學(xué)什麽呢(ne)？
我們從全國(guó)幾個大城市招聘信息來了解，大數據軟件開發工(gōng)程師到底需要學(xué)什麽及相應的月薪。
大數據開發工(gōng)程師杭州（20000-40000元/月)
1、熟悉java或scala開發語言，了解python或go等語言，有(yǒu)3年以上開發經驗2、了解hadoop生态，Hadoop，hive，HBase，Spark等，了解實時計算技(jì )術，包括storm,kafka，flume，druid等3、熟悉linux各項基本操作(zuò)4、熟悉數據結構，對常用(yòng)算法有(yǒu)所了解，有(yǒu)良好的數據思維5、有(yǒu)大規模數據分(fēn)析、推薦、廣告相關研發經驗的優先6、有(yǒu)BI數據平台、數據倉庫、日志(zhì)采集，多(duō)維實時分(fēn)析平台設計、開發、架構經驗優先。
崗位職責(responsibility)：
1、負責大數據平台基礎組件功能(néng)設計、研發及維護工(gōng)作(zuò)；2、負責大數據采集、清洗、整合等工(gōng)作(zuò)；3、負責大數據平台文(wén)本挖掘分(fēn)析等工(gōng)作(zuò)；4、負責相關功能(néng)設計文(wén)檔撰寫；5、負責BI及報表開發。任職要求：1、深厚的Java功底，多(duō)年的并發編程經驗；2、參與過分(fēn)布式高性能(néng)服務(wù)的設計開發過程，有(yǒu)大規模分(fēn)布式系統的實踐經驗；3、熟悉HDFS/HBase/Hive/MapReduce/Storm/Spark等相關技(jì )術,有(yǒu) MapReduce 程序的實戰開發經驗；4、熟悉Hadoop運行監控及調優技(jì )術；5、熟悉常見存儲技(jì )術（Sqlserver ,Oracle, Mysql, NosqlDB、Redis、ElasticSearch），WebService/WebAPI（SOAP/json）；6、熟悉Scala語言優先；7、計算機、軟件工(gōng)程及相關專業本科(kē)或以上學(xué)曆，3年以上相關項目開發經驗；
大數據開發工(gōng)程師安(ān)徽合肥(5000-10000元/月)
崗位職責(responsibility)：
1、大數據平台的産(chǎn)品及解決方案設計、開發，實現大數據存儲、查詢、分(fēn)析、挖掘的目标；
3、對大數據（雲計算）的主流技(jì )術、産(chǎn)品跟蹤研究，設計适合公(gōng)司業務(wù)的、有(yǒu)競争力的方案和産(chǎn)品；
3、具(jù)體(tǐ)工(gōng)作(zuò)包括技(jì )術預研、方案設計、構件選型、開發、集成、優化等；
4、能(néng)根據公(gōng)司産(chǎn)品和業務(wù)特征不斷提出改進建議，持續創新(xīn)、開發新(xīn)産(chǎn)品及方案。
任職資格(responsibility)：
1.計算機或者相關專業本科(kē)以上學(xué)曆，1年實際工(gōng)作(zuò)經驗
2.精(jīng)通java。熟悉shell/perl/python任意一門腳本語言，有(yǒu)紮實的編程功底。
3.熟悉Hadoop+spark+hbase生态和常見的開源分(fēn)布式計算/存儲相關技(jì )術
4.精(jīng)通SQL，有(yǒu)較好的SQL性能(néng)調優經驗，理(lǐ)解Hive/Mysql基本原理(lǐ)和調優策略；有(yǒu)開源貢獻者優先
5.有(yǒu)文(wén)檔編制基礎，能(néng)夠流暢編寫技(jì )術方案及實施方案
大數據開發工(gōng)程師北京(15001-20000元/月)
崗位職責:
1、負責公(gōng)司級的通用(yòng)數據平台和分(fēn)析型産(chǎn)品，服務(wù)于全公(gōng)司各個用(yòng)戶産(chǎn)品線(xiàn)；
2、面向PB級超大規模數據問題，每天處理(lǐ)千億增量的用(yòng)戶行為(wèi)數據；
3、為(wèi)大數據的全生命周期提供服務(wù)，覆蓋數據産(chǎn)生，傳輸，計算，建模，統計分(fēn)析，實驗評估，可(kě)視化的全流程；
4、構建設計良好的數據流、數據倉庫、調度系統、kv存儲，查詢引擎，數據服務(wù)、分(fēn)析系統、流程規範，數據工(gōng)具(jù)/産(chǎn)品，降低數據的使用(yòng)門檻，保證系統穩定高效運行，以實現數據的最大價值。
任職資格:
1、熟悉linux編程環境，有(yǒu)較強的開發能(néng)力（java/scala/c++/python等);
2、強悍的編碼能(néng)力，對新(xīn)技(jì )術有(yǒu)強烈的學(xué)習熱情；
3、加分(fēn)，熟悉一項或多(duō)項大數據處理(lǐ)/分(fēn)析相關的工(gōng)具(jù)/框架，e、g、azkaban,hadoop,Hive,Spark,kylin,druid,flume,kafka,hbase,mesos,kubernets,redisetc。
4.對數據建模有(yǒu)一定了解。
