縱觀近幾年的互聯(lián)網(wǎng)發(fā)展趨勢(shì)，看到大數(shù)據(jù)被炒得火熱，也想要涉足大數(shù)據(jù)領(lǐng)域，學(xué)習(xí)一些大數(shù)據(jù)技術(shù)，但奈何自己目前是零基礎(chǔ)，能學(xué)會(huì)大數(shù)據(jù)技術(shù)嗎?大數(shù)據(jù)培訓(xùn)課程好學(xué)嗎?

　　首先我們先認(rèn)識(shí)到一個(gè)問(wèn)題，零基礎(chǔ)想要涉足大數(shù)據(jù)領(lǐng)域，肯定是有一定難度的，但有句話說(shuō)的好“當(dāng)你感覺(jué)特別累的時(shí)候，也就是說(shuō)明你在走上坡路”。雖然困難，但只要你想學(xué)習(xí)，萬(wàn)事皆有可能。

　　而學(xué)習(xí)的時(shí)間長(zhǎng)短，是否能不浪費(fèi)時(shí)間、不半途而廢，這個(gè)還是要找到一定到的方式方法。我是零基礎(chǔ)開(kāi)始學(xué)習(xí)大數(shù)據(jù)的，知道自己水平有限，自學(xué)肯定是要半途而廢的節(jié)奏(人貴有自知之明)，所以選擇了適合自己的千鋒大數(shù)據(jù)培訓(xùn)，之所以說(shuō)適合自己，是因?yàn)椋тh老師的授課方式，在講解技術(shù)知識(shí)時(shí)，不會(huì)枯燥的只是對(duì)技術(shù)知識(shí)翻譯，會(huì)加入自己的理解，轉(zhuǎn)換成簡(jiǎn)單的理解圖層，學(xué)習(xí)起來(lái)更加簡(jiǎn)單，再就是全程面授的講課方式，有老師一直講課、輔導(dǎo)，學(xué)習(xí)起來(lái)進(jìn)步很快!

　　下面是自己在學(xué)習(xí)過(guò)程中，總結(jié)的一些技術(shù)知識(shí)點(diǎn)，大家也可以先看看關(guān)于大數(shù)據(jù)技術(shù)知識(shí)，看看自己是否真的有興趣一直學(xué)習(xí)下去!

　　以上是HDFS的讀取過(guò)程圖示，分析如下：

　　1.客戶端或者用戶通過(guò)調(diào)用 FileSystem 對(duì)象的 open()方法打開(kāi)需要讀取的文件，這對(duì) HDFS 來(lái)說(shuō)是常見(jiàn)一個(gè)分布式文件系統(tǒng)的一個(gè)讀取實(shí)例。

　　2.FileSystem 通過(guò)遠(yuǎn)程協(xié)議調(diào)用 NameNode 確定文件的前幾個(gè) Block 的位置。對(duì)于每一個(gè) Block， NameNode 返回一含有那個(gè) Block 拷貝的“元數(shù)據(jù)”，即文件基本信息;接下來(lái)，DataNode 按照上文定義的距離值進(jìn)行排序，如果 Client 本身就是一個(gè) DataNode，那么優(yōu)先從本地 DataNode 節(jié)點(diǎn)讀取數(shù)據(jù)。 HDFS 實(shí)例做完以上工作后，返回一個(gè) FSDataInputStream給客戶端，讓其從 FSDataInputStream 中讀取數(shù)據(jù)。 FSDataInputStream 接著包裝一個(gè)DFSInputStream，用來(lái)管理 DataNode 和 NameNode 的 I/O。

　　3.NameNode向客戶端返回一個(gè)包含數(shù)據(jù)信息的地址，客戶端根據(jù)地址創(chuàng)建一個(gè)FSDataInputStream 開(kāi)始對(duì)數(shù)據(jù)進(jìn)行讀取。

　　4.FSDataInputStream 根據(jù)開(kāi)始時(shí)存放的前幾個(gè) Blocks 的 DataNode 的地址，連接到最近的 DataNode 上對(duì)數(shù)據(jù)開(kāi)始從頭讀取。客戶端反復(fù)調(diào)用 read()方法，以流式方式從DataNode 讀取數(shù)據(jù)。

　　5.當(dāng)讀到 Block 的結(jié)尾的時(shí)候，F(xiàn)SDataInputStream 會(huì)關(guān)閉到當(dāng)前 DataNode 的鏈接，然后查找能夠讀取下一個(gè) Block 的最好的 DataNode。這些操作對(duì)客戶端是透明的，客戶端感覺(jué)到的是連續(xù)的流，也就說(shuō)讀取的時(shí)候就開(kāi)始查找下一個(gè)塊所在的地址。

　　6.讀取完成調(diào)用 close()方法，關(guān)閉 FSDataInputStream。

　　以上就是 HDFS 對(duì)數(shù)據(jù)進(jìn)行讀取的整個(gè)流程。

　　大數(shù)據(jù)培訓(xùn)課程好學(xué)嗎?這個(gè)一是看自己選擇的培訓(xùn)機(jī)構(gòu)，再就是看自己的學(xué)習(xí)能力和感興趣程度了，個(gè)人感受，自從在千鋒大數(shù)據(jù)培訓(xùn)機(jī)構(gòu)學(xué)習(xí)以來(lái)，前期學(xué)習(xí)起來(lái)比較吃力，但經(jīng)過(guò)一段時(shí)間之后，就會(huì)覺(jué)得其實(shí)也沒(méi)有那么難了!