私は一度にredisについてもっと学びたかったのですが、ペネトレーション、雪崩、故障、分散ロック、redis同時実行原理、linux多重化、redisクラスターなどの一般的なものはまだ整理されていませんが、プロジェクトはまだ最初にhadoopなどのビッグデータ関連テクノロジーについて学ぶ必要があるので、redisを一時停止し、hadoopシリーズに切り替えて川を渡る必要があります。
私の知る限り、正式な環境でHadoopを使用するには飼育係が必要ですが、Hadoopの使用を開始するために飼育係がHadoopを使用する必要があるかどうかはまだわかりません。特に、インターネット上のいくつかのチュートリアルはzookeeperを作成しているものも、作成していないものもあるため、さらに困惑しています。
途方に暮れていることは恐ろしいことではありません。途方に暮れているのではないかと恐れています。途方に暮れていることを解決する最善の方法は、行動することです。動いている限り、結果が得られ、自然に次のステップがトリガーされ、少しずつ混乱から抜け出すことができます。
したがって、最初のステップは、最初に環境をセットアップする方法を最初に見つけ、既知のコンテンツに従って段階的に検討することです。飼育係を無視する場合、jdkとhadoop自体が不可欠であることは確かです。
Linuxでのjdkのインストール
私の現在の仮想マシンには、ミニピュアcentosシステムがインストールされています。最初は、wgetやncなどの一般的なコマンドがないため、jdkは言うまでもありません。ここで言いたいのは、仮想マシンをインストールするときに最善を尽くすことをお勧めします純粋なバージョンをインストールすると、純粋でないバージョンでは体験できない多くの楽しみを実際に体験できます。
jdkのインストールは実際には非常に簡単です。古いバージョンのWindowsでも手動で環境変数を構成する必要がありますが、環境変数が自動的に構成されるように簡素化されました。
Linuxでは、環境変数の自動設定ほど便利ではありませんが複雑ではなく、環境変数の設定自体が一般的な技術であり、操作はウィンドウのように簡単です。
Linuxのインストールjdkは、環境変数のダウンロード、解凍、構成の3つのステップに大別されます。言う必要がある場合は、検証という別のステップを追加できます。
ダウンロードjdk
jdkバージョンはすぐにアップグレードされ、現在14に達していますが、一部のプロジェクトでの実際の使用はまだ8であるため、当然のように8を基本として使用しています。最初に対応するインストールパッケージを選択します。選択ページは次のとおりです
。https：/ /www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
インストールパッケージを選択するときに注意が必要な詳細は、正しいビット数のインストールパッケージを選択する必要があるということです。たとえば、centosシステムは64ビットのみをサポートします。 x64の代わりにi586をダウンロードすることを選択した場合、インストール後にjava関連のコマンドを実行するとエラーが発生します。
java: /lib/ld-linux.so.2: bad ELF interpreter: No such file or directory
これに基づいて、私が選択したインストールパッケージはjdk-8u261-linux-x64.tar.gzであり、ダウンロードページにコピーされたダウンロードリンクはhttps://download.oracle.com/otn/java/jdk/8u261です
。 -b12 / a4634525489241b9a9e1aa73d9e118e6 / jdk-8u261-linux-x64.tar.gz
この場所は他の知識にも拡張できますが、実際には、redisのインストール、つまり、Windowsで直接ダウンロードしたり、wgetコマンドを使用して仮想マシンに直接ダウンロードしたりできるインストールパッケージの取得方法について言及しました。
実際の作業では、最も効率的で実現可能な方法を使用できますが、学習であるため、アプリケーションにある程度適用するのは当然です。したがって、以前はredisで使用されていたwgetを、ここから直接ウィンドウからダウンロードします。
Windowsでのダウンロード後のファイル転送は仮想マシンに転送する必要があり、さまざまなオプションがあります。特別なftpツールを使用して転送できます。学習時にredisパイプラインに拡張されたncコマンドを使用することもできます。
ftpアップロードは純粋なツールであり、ドラッグアンドドロップは終了しているため、背が高く見えるncで操作するのは自然です。
まず、仮想マシンでncファイルのダウンロードの監視をオンにします。
nc -l 9999 > jdk-8u261-linux-x64.tar.gz
次に、ウィンドウのcmdコマンドウィンドウで、jdkインストールパッケージストレージディレクトリを入力し、ncを使用してファイルのアップロードを実行します。
nc 192.168.139.9 9999 > jdk-8u261-linux-x64.tar.gz
この手順を直接実行すると、ncコマンドの実行後にウィンドウが見つからないことがあります。これは、ウィンドウにデフォルトがないため、最初にウィンドウにncをインストールする必要があるためです。
ncダウンロードアドレス：https://eternallybored.org/misc/netcat/
ダウンロードしたzipファイルが解凍されます。解凍後、別のレイヤーが存在する可能性があります。レイヤーがいくつあっても、最も内側のレイヤーにあるすべてのファイルをC：\ Windowsにコピーする必要があります\ System32を実行してから、cmdウィンドウを再起動すると、通常どおりncを使用できます。
Linuxシステム自体にはncがないことに注意してください。redisを使用するときにインストールしました。誰かがLinuxで実行できない場合は、最初にインストールする必要があります。これは非常に簡単です。
yum instal nc
言及すべきことの1つは、実際の操作では、ncを使用してファイルを転送すると、WindowsはLinuxに転送され、ファイル転送は自動的に切断されずに完了しますが、LinuxからLinuxに転送すると、ファイル転送は自動的に切断されます。
したがって、WindowsからLinuxに転送するときに、ファイルサイズが転送が完了して変更されていないことを示している場合は、ctrl + cを押すとアクティブに切断できます。
上記のポート9999は何気なく書かれていて、マシンの既存のポートと競合しませんが、ファイアウォールの存在により、接続が失敗する可能性があることにも注意してください。したがって、ファイアウォールを閉じるか、ホワイトリストをポートに追加します。ここでは一時的に試してみるので、ファイアウォールも一時的に閉じられます。
service iptables stop
解凍
インストールパッケージを取得したら、次のステップは解凍です。これはさらに簡単です。
tar -zxvf jdk-8u261-linux-x64.tar.gz
tar関連のコンテンツについては、redisによってインストールされた記事を参照してください：https://blog.csdn.net/tuzongxun/article/details/107170447
環境変数の設定環境変数の設定
がシンプルである理由は、これらのソフトウェアは異なるが、基本的なルールは同じであるためです。以前にredisで環境変数を設定するには、次のコマンドを実行します。
export REDIS_HOME=/opt/soft/redis5
export PATH=$PATH:$REDIS_HOME/bin
実際には、PATH環境変数でソフトウェアのbinディレクトリをポイントしています。linuxのソフトウェアの操作機能コマンドのほとんどはbinディレクトリにあるため、jdkの環境変数の設定は実際には次のようになります。
export JAVA_HOME=/root/soft/jdk1.8.0_261
export PATH=$PATH:$JAVA_HOME/bin
違いは、インストールディレクトリが異なることです。上記の構成で忘れてはならないのは、構成を有効にする、つまりsource /etc/profileコマンドを実行することです。
検証
インストールはそれが本当に良いことを意味するものではないので、検証が必要であると述べましたどのディレクトリでもjava version queryコマンドを実行できます：
java -version
通常の状況では、Javaバージョン関連のデータ出力が数行表示されます。上記のビット数が正しくないなど、インストールパッケージが正しくない場合、関連するエラーが表示されます。ここでの出力は次のとおりです。
java version "1.8.0_261"
Java(TM) SE Runtime Environment (build 1.8.0_261-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.261-b12, mixed mode)
hadoopダウンロードしてインストールします
jdkをインストールしたら、次のステップはhadoopインストールパッケージをダウンロードすることです。私はオンラインチュートリアルを参照することから始め、インストールパッケージアドレス
http://archive.apache.org/dist/hadoop/core/hadoop-2.7.5/ を選択しました
。ダウンロードアドレスには、Windowsまたはwgetからダウンロードできる複数のダウンロードオプションがあるため、ここでは繰り返しません。
上記のWebサイトのトラフィックには制限があることに注意してください。現在、1日あたり10Gが表示されているため、ダウンロードに失敗し、その日のトラフィックが10Gを超えている可能性があります。
Hadoopは通常クラスターモードで表示されるため、3つの仮想マシンを準備しました。実際には、1つのマシンに一連の環境をインストールし、複数の仮想マシンのスナップショットとクローン作成機能を使用して複数の仮想マシンをすばやく作成するという、遅延のある方法があります。
しかし、上記のような応用と実践については、さまざまな環境を1つずつ手動で作成してインストールする方法も採用しました。
この方法には、インストールパッケージの取得の問題が含まれます。以前の操作によると、wget、windowsダウンロード+ ftpツールのアップロード、windowsダウンロード+ ncアップロードの直接ダウンロードが知られており、実際にはもっと多くの方法があります。たとえば、ここではscpに新しい方法を使用します。
192.168.139.9マシンでは、すでにjdkおよびhadoopインストールパッケージがあり、他の2つのマシンはそれぞれ192.168.139.19と192.168.139.29です。次に、scpを使用して他の2つのマシンにファイルをコピーできます。
scp jdk-8u261-linux-x64.tar.gz [email protected]:/root/soft/zip/
scp jdk-8u261-linux-x64.tar.gz [email protected]:/root/soft/zip/
このように、インストールパッケージの取得方法には、wget直接ダウンロード、windowsダウンロード+ ftpツールアップロード、windowsダウンロード+ ncアップロード、およびシステム間scpコピーという別のオプションが追加されます。
補足
上記のインストールパッケージを使用できますが、実際には公式ウェブサイトの最新バージョンが3.3に達しているため、古すぎないようにするために、新しいバージョン3.1.3をダウンロードしました。これは、hadoop公式ウェブサイトからダウンロードできます：
https：/ /hadoop.apache.org/releases.html
その後の展開でも、2.6と3.1.3バージョンの操作には多くの違いがあることがわかりました。以降の操作は3.1.3に基づいていますが、発生するいくつかの違いについても説明します。
この時点で、環境の準備と知識の拡大の最初のステップは終わりました。