建站
咨詢
售后
建站咨詢
新聞中心
這篇文章給大家分享的是有關Apache Spark 2.0在作業(yè)完成時卻花費很長時間結束怎么辦的內容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。
成都創(chuàng)新互聯服務項目包括昂仁網站建設、昂仁網站制作、昂仁網頁制作以及昂仁網絡營銷策劃等。多年來，我們專注于互聯網行業(yè)，利用自身積累的技術優(yōu)勢、行業(yè)經驗、深度合作伙伴關系等，向廣大中小型企業(yè)、政府機構等提供互聯網行業(yè)的解決方案，昂仁網站推廣取得了明顯的社會效益與經濟效益。目前，我們服務的客戶以成都為中心已經輻射到昂仁省份的部分城市，未來相信會繼續(xù)擴大服務區(qū)域并繼續(xù)獲得客戶的支持與信任！現象
大家在使用 Apache Spark 2.x 的時候可能會遇到這種現象：雖然我們的 Spark Jobs 已經全部完成了，但是我們的程序卻還在執(zhí)行。比如我們使用 Spark SQL 去執(zhí)行一些 SQL，這個 SQL 在最后生成了大量的文件。然后我們可以看到，這個 SQL 所有的 Spark Jobs 其實已經運行完成了，但是這個查詢語句還在運行。通過日志，我們可以看到 driver 節(jié)點正在一個一個地將 tasks 生成的文件移動到最終表的目錄下面，當我們作業(yè)生成的文件很多的情況下，就很容易產生這種現象。
為什么會造成這個現象
Spark 2.x 用到了 Hadoop 2.x，其將生成的文件保存到 HDFS 的時候，最后會調用了 saveAsHadoopFile，而這個函數在里面用到了 FileOutputCommitter，如下：
問題就出在了 Hadoop 2.x 的 FileOutputCommitter 實現FileOutputCommitter 里面有兩個值得注意的方法：commitTask 和 commitJob。在 Hadoop 2.x 的FileOutputCommitter 實現里面，mapreduce.fileoutputcommitter.algorithm.version 參數控制著 commitTask 和 commitJob 的工作方式。具體代碼如下（為了說明方便，我去掉了無關緊要的語句，完整代碼可以參見 FileOutputCommitter.java）：
大家可以看到 commitTask 方法里面，有個條件判斷 algorithmVersion == 1，這個就是 mapreduce.fileoutputcommitter.algorithm.version 參數的值，默認為1；如果這個參數為1，那么在 Task 完成的時候，是將 Task 臨時生成的數據移到 task 的對應目錄下，然后再在 commitJob 的時候移到最終作業(yè)輸出目錄，而這個參數,在 Hadoop 2.x 的默認值就是 1！這也就是為什么我們看到 job 完成了，但是程序還在移動數據，從而導致整個作業(yè)尚未完成，而且最后是由 Spark 的 Driver 執(zhí)行 commitJob 函數的，所以執(zhí)行的慢也是有到底的。
而我們可以看到，如果我們將 mapreduce.fileoutputcommitter.algorithm.version 參數的值設置為 2，那么在 commitTask 執(zhí)行的時候，就會調用 mergePaths 方法直接將 Task 生成的數據從 Task 臨時目錄移動到程序最后生成目錄。而在執(zhí)行 commitJob 的時候，直接就不用移動數據了，自然會比默認的值要快很多。
注意，其實在 Hadoop 2.7.0 之前版本，我們可以將 mapreduce.fileoutputcommitter.algorithm.version 參數設置為非1的值就可以實現這個目的，因為程序里面并沒有限制這個值一定為2,。不過到了 Hadoop 2.7.0，mapreduce.fileoutputcommitter.algorithm.version 參數的值必須為1或2，具體參見 MAPREDUCE-4815。
怎么在 Spark 里面設置這個參數
問題已經找到了，我們可以在程序里面解決這個問題。有以下幾種方法：
直接在
conf/spark-defaults.conf里面設置spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version 2，這個是全局影響的。直接在 Spark 程序里面設置，spark.conf.set("mapreduce.fileoutputcommitter.algorithm.version", "2")，這個是作業(yè)級別的。
如果你是使用 Dataset API 寫數據到 HDFS，那么你可以這么設置 dataset.write.option("mapreduce.fileoutputcommitter.algorithm.version", "2")。
不過如果你的 Hadoop 版本為 3.x，mapreduce.fileoutputcommitter.algorithm.version 參數的默認值已經設置為2了，具體參見 MAPREDUCE-6336 和 MAPREDUCE-6406。
因為這個參數對性能有一些影響，所以到了 Spark 2.2.0，這個參數已經記錄在 Spark 配置文檔里面了 configuration.html，具體參見 SPARK-20107。
感謝各位的閱讀！關于“Apache Spark 2.0在作業(yè)完成時卻花費很長時間結束怎么辦”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！
另外有需要云服務器可以了解下創(chuàng)新互聯scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。
當前題目：ApacheSpark2.0在作業(yè)完成時卻花費很長時間結束怎么辦-創(chuàng)新互聯
分享網址：http://fisionsoft.com.cn/article/cesohd.html
