基本的なプログラミング+ + Hadoopクラスタを学習展開するLinuxのシェル:ビッグデータは、初期の経験を学びます

ブログは前回9日であったが、単純にこれらの日の学習過程を記録

2020年2月15日10時38分47秒


A、Linuxの学習

私はパートを学んだ前に、Linuxのコマンドについては、ので、より多くの今回のLinux学習は、Linuxシステムのインストールと構成を学ぶことで、もう少し、以下を記録するのに十分な、より一般的に使用されるコマンドの一部インストールの考慮事項のLinuxシステムを構成します。

 

 

 

 4グラムのためにここで設定された仮想マシンのメモリ

CentOSの-6.5-x86_64版 - minimal.iso使用マッピングファイル

Linuxシステムに入ると、VMのホスト名を使用して、名前を変更する必要がなく、優れたネットワークの準備とIP

#catを修正するためのviエディタを見ます
猫の/ etc / sysconfig / networkファイル
viのは/ etc / sysconfig / networkファイル

 

 

 

 ネットワーク設定

 

 

 

VI / etc / sysconfig / network-scriptsに/のifcfg-eth0の

いくつかの場所を変更する必要があります

 

 

 

 

  • ONBOOT = yesの:このカードは、スタートを表し
  • BOOTPROTO =スタティック:指定プロトコルをルーティングする静的、固定IPを挙げることができます
  • HWADDR:MACアドレスは、仮想マシンを表し、仮想マシンは、現在のMACアドレスと一致する必要があります
  • IPADDR:仮想マシンのIPアドレスを示し、
  • GATEWAY:ゲートウェイは、仮想マシンを表し、通常は最後の数字のIPアドレスになり2
  • NETMASK:サブネットマスクが255.255.255.0通常、仮想マシンです
  • DNS1:Googleの無料DNSサーバー8.8.8.8の使用(DNSに対応するwはまた、PCのコンピュータに設定することができます)DNSリゾルバを表し、

HWADDRは、次のように場所がある検索

 

 

 

 これは、MACアドレスが可能コピーします。

 

次に、IPアドレスの範囲を見つけます

 

 

 

 私のIPアドレスは192.168.42.128のみにすることができます - 192.168.42.254このセクション

GATEWAY値は、通常は192.168.42.2である私をxxx.xxx.xx.2

良い準備した後、情報IPビューにコマンドifconfigを使用して、仮想マシンを再起動し、再起動のコマンドを実行

 

ローカルネットワーク上の最後の接続WLANネットワーク共有

ネットワークにアクセスするには

 

 

 

 输入命令 ping www.baidu.com

 

 此时,就是虚拟机就可以上网了。

二、Shell编程

这里推荐几个网址进行shell学习

https://www.runoob.com/linux/linux-shell.html

https://blog.csdn.net/weixin_45093060/article/details/94594130

https://blog.csdn.net/happiness_llz/article/details/82809789

http://c.biancheng.net/shell/

三、hadoop集群部署

第一次接触hadoop,部署了两天才部署成功,此过程是相当煎熬的(T_T)/~~

这里也只是简单写出我认为比较麻烦的步骤与需要注意的地方。

1.ssh免密登录功能的配置

!需要在每台虚拟机上都操作一遍

ssh-keygen -t rsa  #创建密钥

ssh-copy-id hadoop02  #分享到免密登录的虚拟机

2.在执行一个jar包时,可能会出现系统内存和资源分配不足的情况而无法将任务执行完,卡死

或者是nodemanager节点无法启动 || 启动后自动结束的情况

在 yarn-site.xml 中添加

 

    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>
    </property>


    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>2048</value>
    </property>


    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property>

已上这些代码,可以解决这些问题。

 

おすすめ

転載: www.cnblogs.com/g-cl/p/12311195.html