introducir
ClickHouse es un sistema de administración de bases de datos en columnas (DBMS) rápido, de alta disponibilidad y distribuido, diseñado para cargas de trabajo de procesamiento analítico en línea (OLAP). Fue desarrollado por el equipo de Yandex, inicialmente para sus propias tareas internas de análisis de datos, y luego de código abierto en 2016.
ClickHouse utiliza un motor de almacenamiento en columnas, que almacena datos en el disco en columnas en lugar de filas. Este método de almacenamiento permite que ClickHouse realice consultas de agregación rápidamente, especialmente para grandes cantidades de datos y declaraciones de consulta complejas, y su velocidad de consulta es muy rápida. Al mismo tiempo, ClickHouse también es compatible con la tecnología de compresión de datos y consultas vectorizadas, lo que mejora aún más el rendimiento de las consultas y la eficiencia del almacenamiento.
La arquitectura distribuida de ClickHouse es muy flexible y el tamaño del clúster se puede ampliar según sea necesario. Al mismo tiempo, también proporciona algunas funciones de alta disponibilidad, como respaldo de datos y redundancia de datos, para garantizar la seguridad y disponibilidad de los datos.
Además de las cargas de trabajo OLAP, ClickHouse también se puede utilizar en escenarios como datos de series temporales, análisis de registros y almacenes de datos. Admite una variedad de fuentes de datos y formatos de datos, incluidos CSV, JSON, Apache Parquet y más.
En resumen, ClickHouse es un sistema de administración de bases de datos en columnas de alto rendimiento, alta disponibilidad y flexibilidad, especialmente adecuado para escenarios de análisis y procesamiento de datos a gran escala.
El rendimiento de ClickHouse es muy bueno, principalmente en los siguientes aspectos:
高速查询
ClickHouse utiliza un motor de almacenamiento en columnas, que puede comprimir y codificar datos en columnas, lo que reduce la E/S del disco y el uso de la memoria. Al mismo tiempo, ClickHouse adopta la tecnología de consultas vectorizadas, que puede operar en múltiples datos al mismo tiempo, mejorando aún más la eficiencia de las consultas. Estas tecnologías de optimización permiten que ClickHouse tenga una velocidad de consulta extremadamente alta al procesar datos a gran escala.
高并发
ClickHouse adopta una arquitectura distribuida, que puede distribuir datos y tareas de consulta a múltiples nodos para su procesamiento. Este método de procesamiento distribuido hace que ClickHouse tenga una alta concurrencia y pueda procesar múltiples tareas de consulta al mismo tiempo. Al mismo tiempo, ClickHouse también admite la expansión horizontal y el equilibrio de carga, y puede expandir libremente el tamaño del clúster y la capacidad de carga según la demanda.
高可用性
ClickHouse admite mecanismos de respaldo y redundancia de datos, y puede cambiar automáticamente a un nodo en espera cuando un nodo de datos no garantiza la disponibilidad de los datos. Al mismo tiempo, ClickHouse también es compatible con soluciones de alta disponibilidad, como la copia de seguridad remota y la replicación entre centros de datos, que pueden garantizar la seguridad y disponibilidad de los datos cuando se producen fallas en el nivel del centro de datos.
灵活的数据模型
ClickHouse admite una variedad de modelos de datos, incluidos modelos relacionales, modelos de series temporales, modelos de análisis de registros, etc., y puede adaptarse a diferentes escenarios de datos. Al mismo tiempo, ClickHouse también admite una variedad de fuentes de datos y formatos de datos, incluidos CSV, JSON, Apache Parquet, etc., lo que permite a los usuarios importar y exportar datos fácilmente.
En resumen, ClickHouse tiene las ventajas de consulta de alta velocidad, alta concurrencia, alta disponibilidad y modelo de datos flexible, que es muy adecuado para escenarios de análisis y procesamiento de datos a gran escala.
El rendimiento de ClickHouse se ha verificado en el entorno de producción real:
TPC-H测试
En la prueba TPC-H, ClickHouse mostró un excelente desempeño. Tomando los resultados de la prueba de un solo nodo como ejemplo, el rendimiento de las consultas de ClickHouse a una escala de 100 GB ha superado el de los motores de procesamiento de big data como Apache Spark y Google BigQuery. A una escala de 300 GB, el rendimiento de las consultas de ClickHouse sigue siendo muy bueno.
Yandex Metrica的使用案例
ClickHouse fue desarrollado originalmente por Yandex y es una de las tecnologías principales de Yandex Metrica. Yandex Metrica es un servicio de análisis de sitios web que necesita procesar billones de datos de registro todos los días. Al adoptar ClickHouse, Yandex Metrica puede procesar estos datos con muy baja latencia y alta disponibilidad, logrando un alto procesamiento simultáneo de cientos de miles de consultas por segundo.
CloudFlare的使用案例
CloudFlare es un proveedor de servicios de computación en la nube que brinda servicios de seguridad y optimización del rendimiento para más de dos millones de sitios web en todo el mundo. Para mejorar el rendimiento y la estabilidad del servicio, CloudFlare utiliza ClickHouse para almacenar y analizar una gran cantidad de datos de tráfico de red. Al adoptar ClickHouse, CloudFlare puede analizar datos a una velocidad de consulta muy alta, logrando un alto procesamiento simultáneo de cientos de miles de consultas por segundo.
En resumen, ClickHouse se ha verificado en múltiples entornos de producción a gran escala y ha logrado un rendimiento excelente.
Los pasos para instalar ClickHouse son los siguientes:
Descargar e instalar dependencias
Antes de instalar ClickHouse, debe asegurarse de que se hayan instalado las siguientes dependencias en el sistema:
C++编译器
zlib库
lz4库
OpenSSL库
Estas dependencias se pueden instalar con los siguientes comandos:
sudo apt-get update
sudo apt-get install -y g++ zlib1g-dev liblz4-dev libssl-dev
Los pasos para instalar ClickHouse son los siguientes:
下载并安装依赖
Antes de instalar ClickHouse, debe asegurarse de que se hayan instalado las siguientes dependencias en el sistema:
C++编译器
zlib库
lz4库
OpenSSL库
Estas dependencias se pueden instalar con los siguientes comandos:
sudo apt-get update
sudo apt-get install -y g++ zlib1g-dev liblz4-dev libssl-dev
1. Descargue e instale ClickHouse
Puede descargar el paquete de instalación de ClickHouse desde el sitio web oficial de ClickHouse en https://clickhouse.tech/docs/en/getting-started/install/#official-packages.
Seleccione el paquete de instalación adecuado según el tipo y la versión del sistema operativo, descárguelo y descomprímalo en el directorio especificado. Tomando Ubuntu 20.04 como ejemplo, el comando para descargar y descomprimir es el siguiente:
wget https://repo.clickhouse.tech/tgz/clickhouse-server-21.3.7.33-all-deb.tgz
tar -xzvf clickhouse-server-21.3.7.33-all-deb.tgz
Después de la descompresión, obtendrá un directorio llamado clickhouse-server-21.3.7.33, que contiene el programa del servidor y el programa del cliente de ClickHouse.
2. Inicie el servicio ClickHouse
El servicio ClickHouse se puede iniciar con el siguiente comando:
sudo /etc/init.d/clickhouse-server start
En este punto, se ha iniciado el servicio de ClickHouse y se puede acceder y administrar la base de datos de ClickHouse a través del cliente de línea de comandos o la interfaz web.
3. Visite ClickHouse
El cliente de línea de comandos de ClickHouse se puede iniciar con el siguiente comando:
clickhouse-client
También se puede acceder y administrar la base de datos de ClickHouse a través de la interfaz web. De forma predeterminada, la interfaz web de ClickHouse escucha en el puerto 8123. Ingrese http://localhost:8123 en el navegador para acceder a la interfaz web.
Los anteriores son los pasos breves para instalar ClickHouse, el proceso de instalación real puede variar según la versión del sistema operativo y el entorno. Puede consultar la documentación oficial de ClickHouse para obtener instrucciones de instalación más detalladas.