日韩欧乱色一区二区三区在线_久久―日本道色综合久久_欧美日本一区二区_网曝91综合精品门事件在线

千鋒教育-做有情懷、有良心、有品質的職業教育機構

手機站
千鋒教育

千鋒學習站 | 隨時隨地免費學

千鋒教育

掃一掃進入千鋒手機站

領取全套視頻
千鋒教育

關注千鋒學習站小程序
隨時隨地免費學習課程

當前位置:首頁  >  應聘面試  >  大數據面試題  > Yarn Job 提交流程(重點)

Yarn Job 提交流程(重點)

來源:千鋒教育
發布人:wjy
時間: 2022-09-02 15:36:17 1662104177

1. MR程序創建成功后,需要提交到HDFS上運行,MR程序提交到客戶端所在的節點。

2. YarnRunner向ResourceManager申請提交一個Application。

3. ResourceManager返回應用程序需要提交的資源路徑和ApplicationId。

4. YarnRunner提交資源到HDFS上,包含Job.xml、Job.split、xx.jar,資源提交完畢之后,向ResourceManager申請一個運行MRApplicationMaster,一個Application對應一個ApplicationMaster。

5. ResourceManager把提交的Job初始化成一個Task,放入Yarn的調度隊列中去。

Yarn Job 提交流程(重點)

6. 當執行到此Task時,其中一臺NodeManager領取此任務,然后在此NodeManager上創建一個Container并創建一個MRApplicationMaster,然后下載HDFS上的計算資源(Job.xml、Job.split、xx.jar)到此NodeManager上。

7. MRApplicationMaster向ResourceManager申請運行MapTask的資源,同時ResourceManager向另外兩臺NodeManager分配執行MapTask的任務,這兩臺NodeManager分別創建Container,然后MRApplicationMaster將啟動腳本發送給這兩臺NodeManager,啟動MapTask任務。

8. 當MapTask執行完畢之后,MRApplicationMaster向ResourceManager申請執行ReduceTask的資源,ResourceManager分配資源創建Container,Container下載xx.jar到此Container中,MRApplicationMaster啟動此任務。 

9. ReduceTask獲取MapTask分區數據,進行計算。

10. 當ReduceTask運行完畢之后,通知MRApplicationMaster,注銷ReduceTask的資源,MRApplicationMaster向ResourceManager申請注銷自己。

tags:
聲明:本站稿件版權均屬千鋒教育所有,未經許可不得擅自轉載。
10年以上業內強師集結,手把手帶你蛻變精英
請您保持通訊暢通,專屬學習老師24小時內將與您1V1溝通
免費領取
今日已有369人領取成功
劉同學 138****2860 剛剛成功領取
王同學 131****2015 剛剛成功領取
張同學 133****4652 剛剛成功領取
李同學 135****8607 剛剛成功領取
楊同學 132****5667 剛剛成功領取
岳同學 134****6652 剛剛成功領取
梁同學 157****2950 剛剛成功領取
劉同學 189****1015 剛剛成功領取
張同學 155****4678 剛剛成功領取
鄒同學 139****2907 剛剛成功領取
董同學 138****2867 剛剛成功領取
周同學 136****3602 剛剛成功領取
相關推薦HOT
主站蜘蛛池模板: 视频| 静海县| 和龙市| 双江| 栖霞市| 惠安县| 南部县| 黔西县| 遂昌县| 浮山县| 上犹县| 马山县| 报价| 衡山县| 白河县| 静乐县| 会宁县| 广平县| 阿鲁科尔沁旗| 遂宁市| 白城市| 神农架林区| 东乡| 苏州市| 敖汉旗| 旬邑县| 大冶市| 承德市| 灯塔市| 平安县| 宜昌市| 祁东县| 鄂伦春自治旗| 雷山县| 微山县| 文水县| 南靖县| 常熟市| 万荣县| 大冶市| 甘孜县|