當前位置:成語大全網 - 書法字典 - mapreduce的地圖輸出文件在哪裏?

mapreduce的地圖輸出文件在哪裏?

地圖任務的輸出結果不是寫在HDFS,而是寫在執行地圖的本地硬盤上。為什麽?因為map的輸出是壹個中間結果,所謂的中間結果就是還原後的最終結果,而整個mapreduce執行完之後,這個結果就會被殺死。因此,將它放在HDFS並進行備份有點麻煩。在執行mapreduce時,可以使用shell中的命令df -lh來檢查硬盤的利用率,盡量將這個利用率控制在90%以內。