對(duì)于計(jì)劃要學(xué)習(xí)大數(shù)據(jù)技術(shù)的學(xué)習(xí)者來(lái)說(shuō)，可能大部分的人對(duì)大數(shù)據(jù)崗位技能要求并不了解，他們只知道大數(shù)據(jù)發(fā)展前景好、就業(yè)薪水高外，其他就一概不知了，下面就給大家介紹一下

那么大數(shù)據(jù)工程師需要具備哪些能力？

一、技術(shù)能力要求：

1、 掌握至少一種數(shù)據(jù)庫(kù)開(kāi)發(fā)技術(shù)：Oracle、Teradata、DB2、Mysql等，靈活運(yùn)用SQL實(shí)現(xiàn)海量數(shù)據(jù)ETL加工處理。

2、 熟悉Linux系統(tǒng)常規(guī)shell處理命令，靈活運(yùn)用shell做的文本處理和系統(tǒng)操作。

3、 有從事分布式數(shù)據(jù)存儲(chǔ)與計(jì)算平臺(tái)應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn)，熟悉Hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)實(shí)踐經(jīng)驗(yàn)著優(yōu)先，重點(diǎn)考察Hdfs、Mapreduce、Hive、Hbase。

4、 熟練掌握一門(mén)或多門(mén)編程語(yǔ)言，并有大型項(xiàng)目建設(shè)經(jīng)驗(yàn)者優(yōu)先，重點(diǎn)考察Java、Python、Perl

5、 熟悉數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域知識(shí)和技能者優(yōu)先，包括但不局限于：元數(shù)據(jù)管理、數(shù)據(jù)開(kāi)發(fā)測(cè)試工具與方法、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理。

6、 掌握實(shí)時(shí)流計(jì)算技術(shù)，有storm開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先。

二、綜合素質(zhì)能力要求：

1、大數(shù)據(jù)工程師并不要求你有多高的學(xué)歷，多好的履歷，完全看個(gè)人能力，是不是跟該公司的需求

相匹配，即使是高中生，也可以受到博士生般的尊重和優(yōu)厚待遇。阿里巴巴集團(tuán)研究員薛某強(qiáng)調(diào)，學(xué)歷

并不是最主要的因素，能有大規(guī)模處理數(shù)據(jù)的經(jīng)驗(yàn)并且有喜歡在數(shù)據(jù)海洋中尋寶的好奇心會(huì)更適合這個(gè)

工作。如果說(shuō)你在某一行業(yè)領(lǐng)域有很深的研究，例如汽車(chē)、金融等，那么將對(duì)你的工作有很大的幫助。

2、要求大數(shù)據(jù)工程師有強(qiáng)大的邏輯分析能力。一個(gè)公司的大數(shù)據(jù)會(huì)有很多，方方面面的數(shù)據(jù)都有可能被拿到手，但是哪些是關(guān)系到公司發(fā)展的關(guān)鍵性數(shù)據(jù)，哪些是無(wú)關(guān)緊要的，需要大數(shù)據(jù)工程師有一定的分析能力，并不斷對(duì)此優(yōu)化。

3、大數(shù)據(jù)工程師的工作跟其他技術(shù)部門(mén)和非技術(shù)部門(mén)都不是脫節(jié)的，需要跟同事、領(lǐng)導(dǎo)進(jìn)行不間斷的溝通，來(lái)調(diào)整自己的工作。假如大數(shù)據(jù)工程師溝通能力太差，工作將開(kāi)展地非常不順。

4、大數(shù)據(jù)工程師需要很強(qiáng)的學(xué)習(xí)能力。人只要具備很強(qiáng)的學(xué)習(xí)能力，才能在很短的時(shí)間內(nèi)來(lái)適應(yīng)自己的角色，也可以勝任很多個(gè)職位。這樣來(lái)說(shuō)的大數(shù)據(jù)工程師無(wú)疑才是最為成功的。

5、大數(shù)據(jù)工程師要具有很強(qiáng)的計(jì)算機(jī)編碼能力。作為大數(shù)據(jù)工程師的一些必備因素就是實(shí)際開(kāi)發(fā)能力和大規(guī)模的數(shù)據(jù)處理能力。現(xiàn)在社交網(wǎng)絡(luò)上的無(wú)意義信息太多，這就需要我們大數(shù)據(jù)工程師來(lái)親自挖掘，找出里邊最有用的東西。當(dāng)然有些公司的大數(shù)據(jù)工程師是以商業(yè)分析為主的，但是計(jì)算機(jī)處理大數(shù)據(jù)的方式也是必備的技能。