新聞中心
今天就跟大家聊聊有關(guān)使用MaxCompute Java SDK 執(zhí)行任務(wù)卡住了怎么解決,可能很多人都不太了解,為了讓大家更加了解,小編給大家總結(jié)了以下內(nèi)容,希望大家根據(jù)這篇文章可以有所收獲。
創(chuàng)新互聯(lián)專業(yè)為企業(yè)提供隴縣網(wǎng)站建設(shè)、隴縣做網(wǎng)站、隴縣網(wǎng)站設(shè)計(jì)、隴縣網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計(jì)與制作、隴縣企業(yè)網(wǎng)站模板建站服務(wù),10多年隴縣做網(wǎng)站經(jīng)驗(yàn),不只是建網(wǎng)站,更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。
場(chǎng)景一
用戶A
A: “親,用 MaxCompute Java SDK 跑作業(yè),為什么卡住不動(dòng)了?”
me: “有 Logview 嗎?發(fā)來看下”
A: “沒有,我用的是SDK,沒Logview”
場(chǎng)景二
用戶B
B :“親,用 MaxCompute Java SDK 訪問 Table,為什么卡住半天沒反應(yīng)?”
me:“卡在哪一行了?”
B:"就 RestClient retry 然后卡住了"
去繁就簡(jiǎn)
用戶 A 的問題在于沒有 instance 的 logview,導(dǎo)致無法追蹤 instance 的運(yùn)行過程。
通常用戶在創(chuàng)建 instance 后會(huì)調(diào)用 instance.waitForSuccess() 來等待作業(yè)運(yùn)行完成,一旦作業(yè)耗時(shí)巨大,程序就卡在這一步了,此時(shí)如果有 logview ,就能查看追蹤查看作業(yè)等待的具體原因了。
用戶 B 的問題在于 sdk 的 Restclient 本身有重試機(jī)制,從表面來看就是卡住了,沒有任何輸出。
如果在每次重試的時(shí)候都輸出錯(cuò)誤,就可以快速定位問題節(jié)約時(shí)間了。我已經(jīng)遇到好幾個(gè)公共云用戶因?yàn)槿卑鼘?dǎo)致一直卡住幾分鐘才丟出異常,嚴(yán)重影響了工作效率。
那么問題可以歸結(jié)為下面兩點(diǎn):
1【 怎么使用 MaxCompute Java SDK 生成 instance Logview 】
答案很簡(jiǎn)單, MaxCompute Java SDK 提供了 logview 接口,詳情可查看 SDK Java Doc
String logview = odps.logview().generateLogView(instance, 7 * 24);
兩個(gè)參數(shù): instance 對(duì)象,logview token 超時(shí)時(shí)間 (單位:小時(shí))
再次提醒用戶,在使用 SDK 的時(shí)候,請(qǐng)為每個(gè) instance 記錄 Logview,一旦遇到問題可快速追蹤。
當(dāng)然如果改代碼很麻煩,那還有一個(gè)絕招。在 MaxCompute Console 中使用 wait
命令也可以得到Logview。
2【 能不能在每次重試的時(shí)候,都把錯(cuò)誤輸出呢?】
當(dāng)然可以。
MaxCompute Java SDK
提供了抽象類
RetryLogger
詳情可查看
SDK Java Doc
public static abstract class RetryLogger { /** * 當(dāng) RestClent 發(fā)生重試前的回調(diào)函數(shù) * * @param e * 錯(cuò)誤異常 * @param retryCount * 重試計(jì)數(shù) * @param retrySleepTime * 下次需要的重試時(shí)間 */ public abstract void onRetryLog(Throwable e, long retryCount, long retrySleepTime); }
用戶只需實(shí)現(xiàn)一個(gè)自己的
RetryLogger
子類,然后在初始化 odps 對(duì)象的時(shí)候使用
odps.getRestClient().setRetryLogger(new UserRetryLogger());
就可以將日志輸出。
一個(gè)典型的實(shí)現(xiàn)如下:
// init odps odps.getRestClient().setRetryLogger(new UserRetryLogger()); // your retry logger public class UserRetryLogger extends RetryLogger { @Override public void onRetryLog(Throwable e, long retryCount, long sleepTime) { if (e != null && e instanceof OdpsException) { String requestId = ((OdpsException) e).getRequestId(); if (requestId != null) { System.err.println(String.format( "Warning: ODPS request failed, requestID:%s, retryCount:%d, will retry in %d seconds.", requestId, retryCount, sleepTime)); return; } } System.err.println(String.format( "Warning: ODPS request failed:%s, retryCount:%d, will retry in %d seconds.", e.getMessage(),retryCount, sleepTime)); } }
看完上述內(nèi)容,你們對(duì)使用MaxCompute Java SDK 執(zhí)行任務(wù)卡住了怎么解決有進(jìn)一步的了解嗎?如果還想了解更多知識(shí)或者相關(guān)內(nèi)容,請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝大家的支持。
網(wǎng)站欄目:使用MaxComputeJavaSDK執(zhí)行任務(wù)卡住了怎么解決
文章源于:http://fisionsoft.com.cn/article/gejggs.html