转载

学习 Livy（二）：Java API

Apache Livy 提供了 Java API 提交 Spark 任务到 Livy。

添加依赖：

<dependency>  
  <groupId>org.apache.livy</groupId>
  <artifactId>livy-client-http</artifactId>
  <version>0.5.0-incubating</version>
</dependency>

Spark 任务需要实现 org.apache.livy.Job 接口：

public class TestJob implements Job<String> {

  @Override
  public Double call(JobContext ctx) throws Exception {
    return ctx.sparkSession.version();
  }

}

从任务上下文 org.apache.livy.JobContext 对象，可以获取运行 Spark 任务的 SparkSession 、 SparkContext 、 SQLContext 、 HiveContext 等对象。

Java API 的实现基于 REST API，即 org.apache.livy.client.http.HttpClient 。

LivyClient client = new LivyClientBuilder()  
  .setURI(new URI("http://127.0.0.1:8998"))
  .setConf("spark.sql.parquet.writeLegacyFormat", "true")
  .build(); // ①

try {  
  client.uploadJar(new File(path)).get(); // ②

  String version = client.submit(new TestJob()).get(); // ③

  System.out.println(version);
} finally {
  client.stop(true); // ④
}

① 根据 Livy URL 地址构建 LivyClient；

② 上传依赖 Java 软件包；

③ 提交 Livy 任务并获取结果；

④ 关闭客户端。

参考

Livy Docs - Programmatic API

原文 http://blog.dyingbleed.com/livy-2/

正文到此结束

所属分类： Java 编程技术

本文标签： java REST id 软件 IO API ORM IDE Job UI http sql client build apache final session
版权声明： 本文为互联网转载文章，出处已在文章中说明(部分除外)。如果侵权，请联系本站长删除，谢谢。
本文海报： 生成海报一生成海报二