Quería aprender más sobre redis de una vez, pero todavía hay algunos comunes como penetración, avalancha, avería, bloqueo distribuido, principio de concurrencia de redis, multiplexación de Linux, clúster de redis, etc. aún no se han resuelto, pero el proyecto simplemente Primero necesito aprender sobre tecnologías relacionadas con big data, como hadoop, así que tengo que suspender redis y cambiar a la serie hadoop para cruzar el río.
Hasta donde yo sé, el uso de Hadoop en un entorno formal requiere un guardián del zoológico, pero aún no conozco si el guardián del zoológico es necesario para usar Hadoop, quien acaba de comenzar a aprender Hadoop. En particular, algunos tutoriales en Internet han escrito zookeeper y algunos no lo han escrito, por lo que están aún más perdidos.
Estar perdido no es terrible. Tengo miedo de estar perdido. La mejor manera de resolverlo es actuar. Mientras te muevas, habrá resultados, y luego, naturalmente, puede desencadenar el siguiente paso y luego salir de la confusión poco a poco.
Entonces, el primer paso es, naturalmente, encontrar una manera de configurar el entorno primero y explorar paso a paso de acuerdo con el contenido conocido.Si ignora al guardián del zoológico, es seguro que jdk y hadoop son indispensables.
instalación de jdk en linux
Mi máquina virtual actual está instalada con un sistema centos mini puro. Al principio, no hay comandos comunes como wget y nc, así que mucho menos jdk. Lo que quiero decir aquí es que le sugiero que haga todo lo posible al instalar la máquina virtual Instale la versión pura, para que pueda experimentar mucha diversión que la versión impura no puede experimentar.
La instalación de jdk es realmente muy simple. La versión anterior de Windows también necesita configurar manualmente las variables de entorno. Ahora se ha simplificado hasta el punto en que las variables de entorno se configuran automáticamente.
En Linux, aunque no es tan conveniente como la configuración automática de variables de entorno, no es complicado, configurar las variables de entorno es una tecnología general en sí misma, y el funcionamiento es tan simple como un poquito en Windows.
La instalación de Linux jdk se divide aproximadamente en tres pasos, a saber, descargar, descomprimir y configurar las variables de entorno.Si debe decirlo, puede agregar otro paso, es decir, la verificación.
Descargar jdk
La versión jdk ahora se actualiza muy rápidamente, ha llegado a 14 en la actualidad, pero el uso real en algunos proyectos sigue siendo 8, por lo que, naturalmente, todavía uso 8 como base, primero seleccione el paquete de instalación correspondiente, la página de selección es la siguiente;
https: / /www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
Hay un detalle que necesita atención al elegir el paquete de instalación es que debes elegir el paquete de instalación con el número correcto de bits, por ejemplo, el sistema centos solo admite 64 bits. Si elige descargar i586 en lugar de x64, encontrará un error al ejecutar comandos relacionados con Java después de la instalación:
java: /lib/ld-linux.so.2: bad ELF interpreter: No such file or directory
Sobre esta base, el paquete de instalación que elegí es jdk-8u261-linux-x64.tar.gz, y el enlace de descarga copiado a la página de descarga es:
https://download.oracle.com/otn/java/jdk/8u261 -b12 / a4634525489241b9a9e1aa73d9e118e6 / jdk-8u261-linux-x64.tar.gz
Este lugar puede extenderse a otros conocimientos, de hecho, se mencionó al instalar redis, es decir, el método para obtener el paquete de instalación, que se puede descargar directamente con Windows o directamente en la máquina virtual mediante el comando wget.
En el trabajo real, podemos usar la forma más eficiente y factible, pero como está aprendiendo, es natural aplicarlo hasta cierto punto para la aplicación, por lo que el wget usado por redis antes, aquí se descarga directamente desde Windows.
La transferencia de archivos
después de la descarga en Windows debe transferirse a la máquina virtual, y hay diferentes opciones, puede usar la herramienta ftp especial para transferir, también puede usar el comando nc extendido a la canalización de redis cuando aprende.
ftp upload es una herramienta pura, arrastrar y soltar se acabó, por lo que es natural operar con nc, que parece alto.
Primero, active la supervisión de la descarga de archivos nc en mi máquina virtual:
nc -l 9999 > jdk-8u261-linux-x64.tar.gz
Luego, en la ventana de comando cmd de Windows, ingrese el directorio de almacenamiento del paquete de instalación jdk y use nc para ejecutar la carga del archivo:
nc 192.168.139.9 9999 > jdk-8u261-linux-x64.tar.gz
Si sigue este paso directamente, es posible que no pueda encontrar Windows después de ejecutar el comando nc. Esto se debe a que no hay ningún valor predeterminado en Windows, por lo que primero debe instalar nc en Windows.
nc dirección de descarga: https://eternallybored.org/misc/netcat/ El
archivo zip descargado se descomprime. Después de la descompresión, puede haber otra capa. No importa cuántas capas haya allí, debe copiar todos los archivos en la capa más interna a C: \ Windows \ System32, y luego reinicie la ventana de cmd, puede usar nc normalmente.
Cabe señalar que el sistema Linux en sí no tiene nc. Lo instalé cuando usaba redis. Si alguien no puede ejecutarlo en Linux, entonces debe instalarlo primero. Es muy simple:
yum instal nc
Una cosa a mencionar es que en el funcionamiento real, cuando se usa nc para transferir archivos, Windows se transfiere a linux y la transferencia de archivos se completa sin desconectarse automáticamente, mientras que de linux a linux se transfiere, la transferencia de archivos se desconecta automáticamente .
Por lo tanto, al transferir de Windows a Linux, si ve que el tamaño del archivo muestra que la transferencia está completa y ya no cambia, puede presionar ctrl + c para desconectarse activamente.
También debe tenerse en cuenta que el puerto 9999 anterior está escrito de manera informal y no entra en conflicto con el puerto existente de la máquina, pero debido a la existencia de un firewall, la conexión puede fallar. Por lo tanto, cierre el firewall o agregue una lista blanca al puerto. Estoy aquí para probarlo temporalmente, por lo que el firewall también se cerrará temporalmente:
service iptables stop
Descompresión Luego de
tener el paquete de instalación, el siguiente paso es descomprimir, esto es aún más simple:
tar -zxvf jdk-8u261-linux-x64.tar.gz
Para contenido relacionado con alquitrán, consulte el artículo instalado por redis: https://blog.csdn.net/tuzongxun/article/details/107170447
Configuración de variables de entorno La
razón por la cual la configuración de variables de entorno es simple es que estos softwares son diferentes, pero las reglas básicas son las mismas.Para configurar las variables de entorno en redis antes, ejecute los siguientes comandos:
export REDIS_HOME=/opt/soft/redis5
export PATH=$PATH:$REDIS_HOME/bin
De hecho, apunta al directorio bin del software en la variable de entorno PATH. La mayoría de los comandos de funciones operativas del software en Linux están en el directorio bin, por lo que la configuración de la variable de entorno de jdk es en realidad así, nada especial:
export JAVA_HOME=/root/soft/jdk1.8.0_261
export PATH=$PATH:$JAVA_HOME/bin
La diferencia es que el directorio de instalación es diferente. Con la configuración anterior lo que no se debe olvidar es hacer efectiva la configuración, es decir, ejecutar el source /etc/profilecomando.
Verificación
Dijimos que la instalación no significa que sea realmente buena, por lo que se necesita verificación.Cualquier directorio puede ejecutar el comando java version query:
java -version
En circunstancias normales, verá algunas líneas de salida de datos relacionados con la versión de Java. Si el paquete de instalación es incorrecto, como el número de bits mencionado anteriormente es incorrecto, se mostrará un error relacionado. Mi salida aquí es la siguiente;
java version "1.8.0_261"
Java(TM) SE Runtime Environment (build 1.8.0_261-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.261-b12, mixed mode)
descargar e instalar hadoop
Después de instalar jdk, el siguiente paso es descargar el paquete de instalación de hadoop. Comencé consultando el tutorial en línea y elegí la dirección del paquete de instalación
http://archive.apache.org/dist/hadoop/core/hadoop-2.7.5/ lo
mismo, Con la dirección de descarga, hay múltiples opciones para descargar, que se pueden descargar desde Windows o wget, así que no lo repetiré aquí.
Cabe señalar que hay un límite en el tráfico del sitio web anterior. Actualmente, vemos 10G por día, por lo que puede haber descargas fallidas, lo que indicará que el tráfico ha superado los 10G ese día.
Hadoop generalmente aparece en un modo de clúster, así que preparé 3 máquinas virtuales. En realidad, hay una forma perezosa, es decir, una máquina se instala con un conjunto de entornos, y luego se utilizan múltiples instantáneas de máquinas virtuales y funciones de clonación para crear rápidamente múltiples máquinas virtuales.
Pero para la aplicación y la práctica como se mencionó anteriormente, también adopté el método de crear e instalar manualmente varios entornos uno por uno.
Este método conlleva el problema de obtener el paquete de instalación. Según operaciones anteriores, existen descargas directas conocidas de wget, descarga de windows + carga de herramienta ftp, descarga de windows + carga nc, y en realidad hay más formas, por ejemplo, aquí Utilice una nueva forma de scp.
En la máquina 192.168.139.9, ya tengo los paquetes de instalación jdk y hadoop, y las otras dos máquinas son 192.168.139.19 y 192.168.139.29 respectivamente, y luego puedo usar scp para copiar archivos a las otras dos máquinas:
scp jdk-8u261-linux-x64.tar.gz [email protected]:/root/soft/zip/
scp jdk-8u261-linux-x64.tar.gz [email protected]:/root/soft/zip/
De esta manera, el método de adquisición del paquete de instalación agrega otra opción, es decir, descarga directa wget, descarga de windows + carga de herramientas ftp, descarga de windows + carga nc y copia scp entre sistemas.
Suplemento
Se puede usar el paquete de instalación anterior, pero de hecho, la última versión del sitio web oficial ha llegado a 3.3, por lo que para no estar demasiado desactualizado, descargué la versión más reciente 3.1.3 más tarde, que se puede descargar desde el sitio web oficial de hadoop:
https: / /hadoop.apache.org/releases.html
La implementación posterior también encontró que todavía hay muchas diferencias en el funcionamiento de las versiones 2.6 y 3.1.3. Las operaciones posteriores se basarán en 3.1.3, pero también se mencionarán algunas diferencias encontradas.
En este punto, el primer paso de preparación ambiental y expansión del conocimiento ha llegado a su fin.