Kudu 学习 - 第二篇 安装

一、安装方式

目前主要有 5 种方式来安装和使用 Kdudu:

  1. 使用 Kudu Quickstart VM(Kudu 快速入门虚拟机)
  2. 在已有集群上使用 Cloudera Manager 自动安装
  3. 使用软件包手动安装
  4. 从源码构建
  5. 使用 Cloudera Quickstart VM(Cloudera 快速入门虚拟机)

查看最新的安装选项信息,前往 Kudu 官网:http://kudu.apache.org/

二、使用 Kudu Quickstart VM

Kudu Quickstart VM 是学习 Kudu 最简单和成本最低的方法。

使用 Quickstar VM 的好处是不需要有一个完整的集群。万一安装时出现问题,也可以轻松地从头开始。我们可以使用 Kudu Quickstart VM 来熟悉 Kudu 的 API 以及 Kudu 集成的一些工具和框架,比如 Impala。这种方式的缺点是:Kudu 是在虚拟机上运行而不是在专用机器集群上运行,所以只能用于开发和演练。

Kudu 的官网提供了如何使用 Kudu Quickstart VM 的完整说明。Kudu Quickstart VM 的安装有两个步骤:

  1. 下载并运行 Oracle VirtualBox。
  2. 下载并运行引导脚本(bootstrap script),它会下载 Kudu Quickstart VM 的镜像并导入 VirtualBox。

完成后就会拥有一台单一节点的虚拟机,上面运行着 Kudu 和 Impala。

Kudu Quickstart VM 并没有预安装所有的 Hadoop 工具。如果需要测试一些使用了 Spark、Spark Streaming 或 Kafka 的端到端的示例,则需要手动安装 Spark、Kafka 和 Zookeeper 或迁移到其他环境。

三、使用 Cloudera Manager

如果想尝试 Kudu 的强大功能和可拓展性,或者要将其部署到生产环境中,就需要在集群上部署 Kudu。最常见的方法使用 Cloudera Manager,并且要使用 Cloudera 的 Hadoop 发行版。Cloudera Manager 会自动执行安装前的集群验证,Kudu 集群安装、配置以及监控等操作。

相比于使用传统的 Linux 包管理器或 RedHat 包管理器(RPM),大多数 Cloudera 用户选择使用一种名为 parcel 的二进制发行版来安装 Kudu。parcel 是 Cloudera 用来简化打包和安装其发行版版本的各个组件的。从 CDH 5.10 开始,Kudu 已经包含在 parcel 中,并且通过使用“Add Service(添加服务)”选项可以将其简单地添加到集群中。

建议使用 Cloudera Manager 和 parcel 在生产环境中管理和安装 Kudu,它们称得上是最简单的方法。由于每个 Cloudera 发行版版本的安装步骤可能略有不同,具体细节请参阅 Cloudera 文档:https://www.cloudera.com/documentation.html

Cloudera Manager 可以根据最佳实践准则来很好地配置 Kudu,但仍有很多细节需要考虑,包括硬件的选择、容量规划、主机和角色的选择(master 服务器和 tablet 服务器),以及 Kudu 的 tablet 数据和日志(WAL)的存储位置。

四、使用软件包

软件包支持大多数主流 Linux 操作系统,如 RedHat、CentOS、SLES、Ubuntu 或 Debian Linux。尽管基于软件包的安装肯定比 Cloudera Manager 自动安装的工作多一些,但安装过程并不复杂。通过这个步骤,可以更好地了解 Kudu 的不同组件,而且也不需要 Cloudera Manager 和 VirtualBox 等应用程序的支持。

4.1 前往 Kudu 官网了解安装步骤

进入对应发行版版本的安装文档页面:

https://kudu.apache.org/releases/1.6.0/docs/installation.html

在 Install Using Packages 栏目下介绍了两种软件包的安装方式:从 Repository 下载安装以及离线安装。

4.2 从 Repository 下载安装

不同类型的系统采用不同的安装工具进行快速安装

  • RHEL 或 CentOS 使用 yum 安装
  • SLES 使用 zypper 安装
  • Ubuntu 或 Debian 使用 apt-get 安装

在执行安装前需要先配置 cloudera 的 repository,cloudera-kudu.repo的下载地址官网已经提供了,但由于国内网络限制可能访问不了,需要搭建 vpn 来获得 cloudera-kudu.repo文件。考虑到服务器上搭建 vpn 可能不方便,可以采用离线安装方式进行 Kudu 安装。

配置好 repository 就可以进行安装了。

RHEL 或 CentOS

sudo yum install kudu                         # Base Kudu files
sudo yum install kudu-master                  # Kudu master init.d service script and default configuration
sudo yum install kudu-tserver                 # Kudu tablet server init.d service script and default configuration
sudo yum install kudu-client0                 # Kudu C++ client shared library
sudo yum install kudu-client-devel            # Kudu C++ client SDK

SLES

sudo zypper install kudu                      # Base Kudu files
sudo zypper install kudu-master               # Kudu master init.d service script and default configuration
sudo zypper install kudu-tserver              # Kudu tablet server init.d service script and default configuration
sudo zypper install kudu-client0              # Kudu C++ client shared library
sudo zypper install kudu-client-devel         # Kudu C++ client SDK

Ubuntu 或 Debian

sudo apt-get install kudu                     # Base Kudu files
sudo apt-get install kudu-master              # Service scripts for managing kudu-master
sudo apt-get install kudu-tserver             # Service scripts for managing kudu-tserver
sudo apt-get install libkuduclient0           # Kudu C++ client shared library
sudo apt-get install libkuduclient-dev        # Kudu C++ client SDK

4.3 离线安装

4.3.1 安装步骤

官网提供了各类型系统的离线安装包,同样,这些来自于 cloudera 官网的下载地址需要架设 vpn 来访问。以 Ubuntu 为例,以下是需要下载的软件包列表,在下载时请保证版本号的一致性。

  • kudu
  • kudu-master
  • kudu-tserver
  • libkuduclient0
  • libkuduclient-dev

离线安装

sudo dpkg -i kudu_1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8_xenial-kudu5.12.2_amd64.deb
sudo dpkg -i kudu-master_1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8_xenial-kudu5.12.2_amd64.deb
sudo dpkg -i kudu-tserver_1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8_xenial-kudu5.12.2_amd64.deb
sudo dpkg -i libkuduclient0_1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8_xenial-kudu5.12.2_amd64.deb
sudo dpkg -i libkuduclient-dev_1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8_xenial-kudu5.12.2_amd64.deb

4.3.2 问题解决

kudu 软件包安装失败,因缺少 lsb 等组件

使用 apt-get 安装 lsb

sudo apt update
sudo apt-get install lsb

如果 lsb 因不满足依赖而无法安装,执行命令

sudo apt-get --fix-broken install

4.4 访问 Kudu Web 用户界面

Master:http://hostname:8051

Tablet:http://hostname:8050

五、从源码构建

如果想学习 Kudu 本身的开发,或希望灵活地选取最新和最优版本的 Kudu 上游代码,可以直接从源码构建和安装 Kudu。

从源码构建需要更多的步骤并解决构建中遇到的问题,而且将 Kudu 与 Hadoop 生态系统的其他应用程序集成时会更麻烦。

六、Cloudera Quickstart VM

如果想在 Hadoop 生态系统中尝试 Kudu,但无法将其部署在真实集群上,一个简单有效的替代方案就是在 Cloudera Quickstart VM 中运行 Kudu。这个虚拟机安装了整个 CDH 发行版。除了 Kudu 之外,它还包括 HDFS、Impala、Hive、Spark 等。可以自由选择要运行的应用程序以及要停止的应用程序,可以尝试不同组件的集成。因为是虚拟机且在单个环境中运行所有服务,所以它需要大量的内存和 CPU 资源。因此,其性能并不会代表真实环境的性能。与 Kudu Quickstart VM 相比,Cloudera Quickstart VM 需要更多的时间来启动也需要占用更多的空间,所有的测试都可以包含在一个封闭容器中进行。

这个虚拟机支持多种环境。它可以在 VirtualBox、VMWare、KVM 中运行或作为 Docker 镜像。可以在 Cloudera 官网下载最新版本。

发布了40 篇原创文章 · 获赞 25 · 访问量 10万+

猜你喜欢

转载自blog.csdn.net/yym373872996/article/details/105682165