Apache Zeppelin シリーズ チュートリアルの第 5 部 - インタプリタ原理の分析 - プログラマーが求めた
Apache Zeppelin シリーズ チュートリアルの第 4 部 - JDBCInterpreter の原理分析 - プログラマーが求めた
前回の記事ではjdbcインタプリタとインタプリタモジュールの対話型コードを紹介しましたが、今回は主にZengineのインタプリタモジュールを呼び出すコードを解析します。
この記事を導入した後、段落実行のプロセスをまとめることができます (プロセス全体については後で説明します)。
同様に、このテストクラスを見てください。
zeppelin-zengine/src/test/java/org/apache/zeppelin/interpreter/remote/RemoteInterpreterTest.java
@Test
public void testFIFOScheduler() throws InterruptedException, InterpreterException {
LOGGER.info("===testFIFOScheduler====");
interpreterSetting.getOption().setPerUser(InterpreterOption.SHARED);
// by default SleepInterpreter would use FIFOScheduler
LOGGER.info("===getInterpreter====");
final Interpreter interpreter1 = interpreterSetting.getInterpreter("user1", note1Id, "sleep");
LOGGER.info("===createDummyInterpreterContext====");
final InterpreterContext context1 = createDummyInterpreterContext();
// run this dummy interpret method first to launch the RemoteInterpreterProcess to avoid the
// time overhead of launching the process.
LOGGER.info("111");
LOGGER.info("=====name:{}=======",interpreter1.getClassName());
System.out.println(interpreter1.getClassName());
interpreter1.interpret("10101", context1);
LOGGER.info("222");
Thread thread1 = new Thread() {
@Override
public void run() {
try {
assertEquals(Code.SUCCESS, interpreter1.interpret("100", context1).code());
} catch (InterpreterException e) {
e.printStackTrace();
fail();
}
}
};
Thread thread2 = new Thread() {
@Override
public void run() {
try {
assertEquals(Code.SUCCESS, interpreter1.interpret("100", context1).code());
} catch (InterpreterException e) {
e.printStackTrace();
fail();
}
}
};
long start = System.currentTimeMillis();
thread1.start();
thread2.start();
thread1.join();
thread2.join();
long end = System.currentTimeMillis();
assertTrue((end - start) >= 200);
}このテスト方法を見て、ここにログを追加してください。
RemoteInterpreterTest は、AbstractInterpreterTest の抽象クラスを継承し、最初に setUp メソッドを実行して、構成ファイル情報を読み取るためのインタープリターを初期化します。
中心となるのは主にRemoteInterpreterのinterpretメソッドを実行することですが、
@Override
public InterpreterResult interpret(final String st, final InterpreterContext context)
throws InterpreterException {
LOGGER.info("st:\n{}", st);
if (LOGGER.isDebugEnabled()) {
LOGGER.debug("st:\n{}", st);
}
final FormType form = getFormType();
RemoteInterpreterProcess interpreterProcess = null;
try {
interpreterProcess = getOrCreateInterpreterProcess();
} catch (IOException e) {
throw new InterpreterException(e);
}
if (!interpreterProcess.isRunning()) {
return new InterpreterResult(InterpreterResult.Code.ERROR,
"Interpreter process is not running\n" + interpreterProcess.getErrorMessage());
}
return interpreterProcess.callRemoteFunction(client -> {
RemoteInterpreterResult remoteResult = client.interpret(
sessionId, className, st, convert(context));
Map<String, Object> remoteConfig = (Map<String, Object>) GSON.fromJson(
remoteResult.getConfig(), new TypeToken<Map<String, Object>>() {
}.getType());
context.getConfig().clear();
if (remoteConfig != null) {
context.getConfig().putAll(remoteConfig);
}
GUI currentGUI = context.getGui();
GUI currentNoteGUI = context.getNoteGui();
if (form == FormType.NATIVE) {
GUI remoteGui = GUI.fromJson(remoteResult.getGui());
GUI remoteNoteGui = GUI.fromJson(remoteResult.getNoteGui());
currentGUI.clear();
currentGUI.setParams(remoteGui.getParams());
currentGUI.setForms(remoteGui.getForms());
currentNoteGUI.setParams(remoteNoteGui.getParams());
currentNoteGUI.setForms(remoteNoteGui.getForms());
} else if (form == FormType.SIMPLE) {
final Map<String, Input> currentForms = currentGUI.getForms();
final Map<String, Object> currentParams = currentGUI.getParams();
final GUI remoteGUI = GUI.fromJson(remoteResult.getGui());
final Map<String, Input> remoteForms = remoteGUI.getForms();
final Map<String, Object> remoteParams = remoteGUI.getParams();
currentForms.putAll(remoteForms);
currentParams.putAll(remoteParams);
}
return convert(remoteResult);
}
);
}このうち getOrCreateInterpreterProcess() は、zeppelin-zengine/src/main/java/org/apache/zeppelin/interpreter/remote/ExecRemoteInterpreterProcess.java の start メソッドを呼び出して、コモンズ経由でシェルまたは cmd スクリプトを実行します。 -exec コマンド (bin/interpreter.sh) は独立したプロセスを開始し、シェル スクリプト内の特定の実行クラス (org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer) は、前の記事のインタープリター原理の分析を反映します。
@Override
public void start(String userName) throws IOException {
// start server process
CommandLine cmdLine = CommandLine.parse(interpreterRunner);
cmdLine.addArgument("-d", false);
cmdLine.addArgument(getInterpreterDir(), false);
cmdLine.addArgument("-c", false);
cmdLine.addArgument(getIntpEventServerHost(), false);
cmdLine.addArgument("-p", false);
cmdLine.addArgument(String.valueOf(intpEventServerPort), false);
cmdLine.addArgument("-r", false);
cmdLine.addArgument(getInterpreterPortRange(), false);
cmdLine.addArgument("-i", false);
cmdLine.addArgument(getInterpreterGroupId(), false);
if (isUserImpersonated() && !userName.equals("anonymous")) {
cmdLine.addArgument("-u", false);
cmdLine.addArgument(userName, false);
}
cmdLine.addArgument("-l", false);
cmdLine.addArgument(getLocalRepoDir(), false);
cmdLine.addArgument("-g", false);
cmdLine.addArgument(getInterpreterSettingName(), false);
interpreterProcessLauncher = new InterpreterProcessLauncher(cmdLine, getEnv());
interpreterProcessLauncher.launch();
interpreterProcessLauncher.waitForReady(getConnectTimeout());
if (interpreterProcessLauncher.isLaunchTimeout()) {
throw new IOException(
String.format("Interpreter Process creation is time out in %d seconds", getConnectTimeout() / 1000) + "\n"
+ "You can increase timeout threshold via "
+ "setting zeppelin.interpreter.connect.timeout of this interpreter.\n"
+ interpreterProcessLauncher.getErrorMessage());
}
if (!interpreterProcessLauncher.isRunning()) {
throw new IOException("Fail to launch interpreter process:\n" + interpreterProcessLauncher.getErrorMessage());
}
if (isHadoopClientAvailable()) {
String launchOutput = interpreterProcessLauncher.getProcessLaunchOutput();
Matcher m = YARN_APP_PATTER.matcher(launchOutput);
if (m.find()) {
String appId = m.group(1);
LOGGER.info("Detected yarn app: {}, add it to YarnAppMonitor", appId);
YarnAppMonitor.get().addYarnApp(ConverterUtils.toApplicationId(appId), this);
}
}
}そして、実際に thrift サーバー側サービスを呼び出すクライアント側のコード
上の図はコード実行のログで、コードの実行順序を見つけるのに役立ちます。
({FIFO-RemoteInterpreter-python-shared_process-shared_session-1} ProcessLauncher.java[launch]:96) - プロセスが起動されます: [.\\bin\interpreter.cmd, -d, ./\interpreter/python, -c 、10.4.144.223、-p、52945、-r、:、-i、python-shared_process、-l、./\local-repo\python、-g、python]
({FIFO-RemoteInterpreter-md-shared_process-shared_session-1} ProcessLauncher.java[launch]:96) - プロセスが起動されます: [.\\bin\interpreter.cmd, -d, ./\interpreter/md, -c 、10.4.144.223、-p、52945、-r、:、-i、md-shared_process、-l、./\local-repo\md、-g、md]
({FIFO-RemoteInterpreter-jdbc-shared_process-shared_session-1} ProcessLauncher.java[launch]:96) - プロセスが起動されます: [.\\bin\interpreter.cmd, -d, ./\interpreter/jdbc, -c 、10.4.144.223、-p、52945、-r、:、-i、jdbc-shared_process、-l、./\local-repo\jdbc、-g、jdbc]
参考