apache flink的安装

 这里是linux版本的安装

1:下载地址:

http://www.apache.org/dyn/closer.lua/flink/flink-1.5.0/flink-1.5.0-bin-hadoop28-scala_2.11.tgz

 可以选择版本下载,,按照自己对应的hadoop的版本进行下载

2  tar  -zxvf   安装包 进行解压

3 需要配置JAVA_HOME 和SSH免密登陆 (这点忽略)

4 cd flink/conf  进行配置

         jobmanager.rpc.address:localhost1   --jobManager 的IP地址

     jobmanager.rpc.port: 6123  --jobManager 的端口,默认为6123

     jobmanager.heap.mb --jobManager 的JVM heap大小  

 taskmanager.heap.mb  --taskManager的jvm heap大小设置

 taskmanager.numberOfTaskSlots --taskManager中taskSlots个数,最好设置成work节点的CPU个数相等

 parallelism.default  --并行计算数

 fs.default-scheme --文件系统来源

 fs.hdfs.hadoopconf:  --hdfs置文件路径

    jobmanager.web.port    --jobmanager的页面监控端口

  2.2内存管理配置

      Flink默认上分配taskmanager.heap.mb配置值得70%留它管理,内存的管理让flinK批量处理效果很高;并且flink不会出现OutMemoryException的问题,因为flink知道预留多少内存来执行程序;如果flink运行的程序所需要的内存超过了它所管理的内存,Flink就可以利用磁盘;总而言之,flink的内存管理提高了鲁棒性和系统的速度;下面就介绍管理内存的配置文件:

     taskmanager.memory.fraction  --管理内存的百分比,默认0.7

     taskmanager.memory.size   --taskManager 具体管理内存的大小;此配置重写taskmanager.memory.fraction的配置

    taskmanager.memory.segment-size --内存管理器所使用的内存缓冲区的大小和网络堆栈字节

    taskmanager.memory.preallocate --taskmanager是否启动时管理所有的内存

  2.3slaves 中配置所有节点机器的ip或主机名

5  然后将flink 分发给其他的机器.

6  启动命令 ./bin/start-cluster.sh

7  然后查看flink的UI页面:

 node-1:8081

猜你喜欢

转载自blog.csdn.net/qq_35248268/article/details/80968140