Hadoop和HBase项目备忘(一)

本文主要记录已经完成的一个Hadoop和HBase项目的具体操作细节作为备忘,以供参考。

安装ubuntu及配置

项目采用ubuntu server 16.04。选择 Ubuntu Server LTS 作为服务器操作系统是由于与其它版本的 Linux 相比具有以下显著的优点:
1. ubuntu 基于 Debian 提供了 apt 和 dpkg 等工具用于封装、 管理软件包, 有国内软件源, 使软件安装、 更新更加便捷、 高效。
2. ubuntu 具有固定的发行周期(6 个月) , 并提供 LTS 版本长达 5 年的支持, 在支持期内持续提供安全和关键补丁, 具有良好的稳定性。
3. ubuntu 更加关注安全性, 如默认禁用 root 用户, 提供了 sudo 命令。
4. ubuntu 具有良好的软件兼容性, 如通过了 IBM 的 DB2 认证。
5. ubuntu Server 版与 Desktop 版相比, 其内核针对服务器进行了优化。

ubuntu镜像文件的下载地址:https://www.ubuntu.com/download/alternative-downloads
项目使用的镜像为:Ubuntu 16.04.5 Server (64-bit)

ubuntu安装过程略,但注意以下问题:
1. 下载的文件为iso格式,使用U盘安装。根据网上的一些教程使用ultraiso制作U盘启动盘,存在无法引导启动的问题,不知道是不是版本的问题(制作windows安装盘时均正常)。最后使用Win32DiskImager制作,制作时需要先将文件扩展名由“.iso”改为“.img”,否则软件找不到镜像。
2. 安装时最好选用英文。

安装后进行以下配置:

  1. 安装ssh

    sudo apt-get install ssh

  2. putty远程连接
    putty远程连接可以方便的复制、粘贴命令及文本。pscp可以将文件复制到远程连接的服务器上,这两个程序(命令)常用到,下载地址:https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html

  3. 更新软件源
    编辑 /etc/apt/sources.list文件为以下内容,并保存

deb http://cn.archive.ubuntu.com/ubuntu/ xenial main restricted universe multiverse
deb http://cn.archive.ubuntu.com/ubuntu/ xenial-security main restricted universe multiverse
deb http://cn.archive.ubuntu.com/ubuntu/ xenial-updates main restricted universe multiverse
deb http://cn.archive.ubuntu.com/ubuntu/ xenial-backports main restricted universe multiverse
##測試版源
deb http://cn.archive.ubuntu.com/ubuntu/ xenial-proposed main restricted universe multiverse
# 源碼
deb-src http://cn.archive.ubuntu.com/ubuntu/ xenial main restricted universe multiverse
deb-src http://cn.archive.ubuntu.com/ubuntu/ xenial-security main restricted universe multiverse
deb-src http://cn.archive.ubuntu.com/ubuntu/ xenial-updates main restricted universe multiverse
deb-src http://cn.archive.ubuntu.com/ubuntu/ xenial-backports main restricted universe multiverse
##測試版源
deb-src http://cn.archive.ubuntu.com/ubuntu/ xenial-proposed main restricted universe multiverse
# Canonical 合作夥伴和附加
deb http://archive.canonical.com/ubuntu/ xenial partner
deb http://extras.ubuntu.com/ubuntu/ xenial main

详情可查看http://wiki.ubuntu.org.cn/%E6%A8%A1%E6%9D%BF:16.04source

sudo apt-get install nano
sudo nano /etc/apt/sources.list
sudo apt-get update
sudo apt-get upgrade

扫描二维码关注公众号,回复: 3259236 查看本文章

update是同步 /etc/apt/sources.list 和 /etc/apt/sources.list.d 中列出的源的索引,这样才能获取到最新的软件包。
upgrade是升级已安装的所有软件包,升级之后的版本就是本地索引里的,因此,在执行 upgrade 之前一定要执行 update, 这样才能是最新的。
nano相比vi编辑器更加小巧、方便,根据个人习惯,不是必须安装。
.
4. 装桌面环境ubuntu-desktop

sudo apt-get install ubuntu-desktop

安装JDK

  1. 下载JDK,下载地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
    根据linux版本,选择jdk-8u181-linux-x64.tar.gz

  2. 远程连接使用pscp将安装文件包上传到服务器(也可以直接在服务器上下载,或者用U盘复制)

    pscp 源文件路径 用户名@服务器地址:/目的路径

  3. 新建文件夹,修改权限,解压安装文件

    cd /usr
    sudo mkdir soft
    sudo chmod a+w /soft
    cd /home/user/Download/ (安装包所在位置路径)
    tar -zxvf jdk-8u181-linux-x64.tar.gz -O /usr/soft

  4. 编辑环境变量并测试

    sudo nano /etc/environment

增加:JAVA_HOME=”/usr/soft/jdk1.8.0_181”
PATH中增加/usr/soft/jdk1.8.0_181/bin与之前的内容更使用“:”分割,如下
PATH=”/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/soft/jdk1.8.0_181/bin”

修改后内容如下(参考);

JAVA_HOME="/usr/soft/jdk1.8.0_181"
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/soft/jdk1.8.0_181/bin"

最后使环境变量生效

source /etc/environment

测试是否安装成功

java -version

出现如下信息标识安装正确:
这里写图片描述

猜你喜欢

转载自blog.csdn.net/u010079855/article/details/82660622
今日推荐