livy配置文档

1、下载Livy(可以自己下载源代码进行编译)
http://livy.incubator.apache.org/download/
源代码在git 上能够找到apache 版本和cloudera 两个版本
https://github.com/cloudera/livy 有比较详细的说明文档。

2、将livy的压缩包放到Linux 主机上，并解压

3、配置Livy配置文件，配置文件在conf目录中，复制模板（templete）修改。

1. 配置livy-env.sh   注意：指定log的位置必须是存在的
![这里写图片描述](https://img-blog.csdn.net/20180423203017752?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNjM1MDY5/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
2. 配置livy.conf

3. 配置log4j.properties
其实就是将conf目录下的log4j.properties.template文件重命名一下
4. 配置完成后启动Livy server
5. livy提交常用命令

//创建一个sparksession
curl -X POST --data '{"kind": "spark"}' -H "Content-Type:application/json" 172.17.11.170:8998/sessions
//删除一个session
curl 172.17.11.170:8998/sessions/0 -X  DELETE -H 'Content-Type: application/json'
//在指定session上执行一段代码
curl 172.17.11.170:8998/sessions/15/statements -X POST -H 'Content-Type: application/json' -d '{"code":"sc.parallelize(1 to 2).count()"}'
//执行jar包
curl -H "Content-Type: application/json" -X POST -d '{"file":"hdfs://172.17.11.170:9000/jar/spark-examples-1.6.3-hadoop2.6.0.jar","className":"org.apache.spark.examples.SparkPi" }' 172.17.11.170:8998/batches