Récord de crecimiento de medio año de combate real de FastCFS

    En mayo de este año, la Compañía A tiene la intención de reemplazar MooseFS con FastCFS, principalmente debido a dos consideraciones: 1. Reemplazo localizado 2. FastCFS no tiene problemas de un solo punto, y el autor brinda soporte, lo que hace que sea más fácil y seguro usar. La empresa A utiliza principalmente MooseFS como almacenamiento de back-end para ejecutar la máquina virtual qemu y utiliza el archivo de imagen en formato qcow2.

    La empresa A realizó pruebas estrictas y meticulosas en FastCFS, lo que contribuyó a la mejora significativa de FastCFS en términos de confiabilidad, estabilidad y rendimiento. En términos de mejoras de confiabilidad y estabilidad, FastCFS ha lanzado las siguientes versiones:

    FastCFS V3.4 se lanzó el 15 de junio e introdujo nodos de elección, admite respaldo mutuo activo-activo para evitar el cerebro dividido y admite completamente bloqueos de archivos POSIX;

    FastCFS V3.5 se lanzó el 26 de julio, lo que admite la replicación de datos mayoritarios y garantiza estrictamente la consistencia de los datos en casos extremos;

    FastCFS V3.5.1 se lanzó el 16 de agosto, más de la mitad de los datos escritos son autoadaptativos y el uso de dos copias también puede garantizar la mayor coherencia de los datos.

    En comparación con un software de almacenamiento similar, FastCFS tiene ventajas obvias en el rendimiento y siempre nos ha enorgullecido: FastCFS V2.2, lanzado en junio de 2021, tiene un rendimiento significativamente mejor que Ceph (usando la prueba de disco SSD): la escritura secuencial es Ceph 6 .x veces, las lecturas secuenciales son 2.x veces las de Ceph, y las escrituras aleatorias son aproximadamente 2 veces las de Ceph.

    Sin embargo, la Compañía A realizó una prueba de comparación de rendimiento entre FastCFS y MooseFS en agosto bajo la condición de usar dos discos SATA, lo que perjudicó nuestra cognición. El rendimiento de FastCFS no puede aumentar, lo que hace que el rendimiento de MooseFS aplaste por completo a FastCFS, y el rendimiento de escritura secuencial del que estamos orgullosos tampoco es bueno. El resultado de esta prueba inspiró nuestro espíritu de lucha. Después de 3 semanas, se lanzó FastCFS V3.6 el 8 de septiembre. El rendimiento de lectura y escritura de archivos ha mejorado mucho, el rendimiento de escritura obviamente ha superado a MooseFS y el rendimiento de lectura es básicamente el mismo que MooseFS. Los resultados de la prueba de comparación de rendimiento de V3.5 antes de la mejora y V3.6 después de la mejora y MooseFS son los siguientes (según los datos de prueba proporcionados por la Compañía A): 
105865aa2a8cd01707481d987f7bbb7c.png

    En el caso de usar un disco SATA, ¿por qué el rendimiento de V3.6 puede lograr una mejora tan grande? A continuación se revelará el trabajo principal de la optimización del rendimiento V3.6 para usted:

  1. optimización del servidor fstore

    1) La escritura de archivos admite la escritura asincrónica en el disco para aprovechar al máximo las capacidades de escritura del disco; para mejorar el rendimiento de la escritura de archivos, fstore agrega un parámetro de configuración fsync_every_n_writes, el valor predeterminado es 0, lo que significa que fsync no se llama explícitamente. Para discos duros mecánicos (como discos SATA), no llamar a fsync puede mejorar significativamente el rendimiento de escritura.

    2) De forma predeterminada, la memoria caché del sistema se utiliza para la lectura de archivos, lo que puede mejorar significativamente el rendimiento de lectura de los discos SATA o SAS.

  2. fusionar la optimización del cliente

    1) Admite la opción de fusible writeback_cache, dígale al kernel de Linux si debe habilitar la escritura combinada. Habilitar esta opción mejorará drásticamente el rendimiento de la escritura continua de pequeños bloques de datos (como escribir 4 KB a la vez).

    2) El elemento de configuración kernel_cache se agrega a fuse.conf, lo que indica si se debe usar el caché de archivos del kernel de Linux. Habilitar esta opción es equivalente a habilitar el almacenamiento en caché de archivos en el cliente Fuse, lo que mejorará en gran medida el rendimiento de lectura de archivos en algunos casos.

   A través de las optimizaciones anteriores, el rendimiento de V3.6 se ha ampliado aún más en comparación con Ceph. Los amigos interesados ​​pueden realizar pruebas comparativas.

    La versión actual de FastCFS es V3.6.2. El complemento del motor de almacenamiento fdir que admite decenas de miles de millones de archivos se puede usar en el entorno de producción. Le invitamos a probarlo y usarlo.

Supongo que te gusta

Origin blog.csdn.net/weixin_38130500/article/details/127274772
Recomendado
Clasificación