Directorio
Las operaciones por lotes son más eficientes
Las operaciones por lotes son más eficientes
Toda la solicitud por lotes debe cargarse en la memoria del nodo que acepta nuestra solicitud, por lo que cuanto mayor sea la solicitud, menor será la memoria disponible para otras solicitudes. Hay un tamaño óptimo de solicitud masiva. Más allá de este tamaño, el rendimiento ya no mejora y puede disminuir. El tamaño óptimo ciertamente no es un número fijo. Depende completamente de su hardware, el tamaño y la complejidad de sus documentos, y la carga de indexación y búsqueda.
El punto óptimo aún es fácil de encontrar: pruebe la indexación por lotes de documentos estándar. A medida que aumenta el tamaño, cuando el rendimiento comienza a disminuir, significa que el tamaño del lote es demasiado grande. El número inicial puede estar entre 1000 y 5000 documentos. Si su documento es muy grande, puede usar un lote más pequeño.
A menudo es útil concentrarse en el tamaño físico del lote que está solicitando. Mil documentos de 1 KB es muy diferente de mil documentos de 1 MB. Un buen lote se mantiene mejor entre 5-15 MB de tamaño.
_ operación a granel
En Elasticsearch, las operaciones de inserción, modificación y eliminación por lotes se realizan a través de la API _bulk.
Insertar datos en masa
Tenga en cuenta que debe haber un retorno de carro en la última línea, es decir, debe haber una línea en blanco al final
{"create":{"_index":"haoke","_type":"user","_id":2001}}
{"id":2001,"name":"name1","age": 20,"sex": "男"}
{"create":{"_index":"haoke","_type":"user","_id":2002}}
{"id":2002,"name":"name2","age": 20,"sex": "男"}
{"create":{"_index":"haoke","_type":"user","_id":2003}}
{"id":2003,"name":"name3","age": 20,"sex": "男"}
Eliminación masiva
{"delete":{"_index":"haoke","_type":"user","_id":2001}}
{"delete":{"_index":"haoke","_type":"user","_id":2002}}
{"delete":{"_index":"haoke","_type":"user","_id":2003}}
