Opérations par lots d'Elasticsearch

Annuaire

Les opérations par lots sont plus efficaces

_ opération en vrac

Insérer des données en masse

Suppression groupée


 

Les opérations par lots sont plus efficaces


La demande de lot entière doit être chargée dans la mémoire du nœud qui accepte notre demande, donc plus la demande est grande, plus la mémoire disponible pour les autres demandes est petite. Il existe une taille optimale de demande groupée. Au-delà de cette taille, les performances ne s'améliorent plus et peuvent diminuer. La taille optimale n'est certainement pas un nombre fixe. Cela dépend entièrement de votre matériel, de la taille et de la complexité de vos documents, ainsi que de la charge d'indexation et de recherche.

L'endroit idéal est toujours facile à trouver: essayez l'indexation de documents standard par lots. Lorsque la taille augmente, lorsque les performances commencent à diminuer, cela signifie que la taille de votre lot est trop grande. Le nombre initial peut être compris entre 1 000 et 5 000 documents. Si votre document est très volumineux, vous pouvez utiliser un lot plus petit.
Il est souvent utile de se concentrer sur la taille physique du lot que vous demandez. Un millier de documents de 1 Ko est très différent d'un millier de documents de 1 Mo. Un bon lot est mieux conservé entre 5 et 15 Mo.

 

 

_ opération en vrac

 

Dans Elasticsearch, les opérations d'insertion, de modification et de suppression par lots sont toutes effectuées via l'API _bulk.

 

Insérer des données en masse

Notez qu'il doit y avoir un retour chariot dans la dernière ligne, c'est-à-dire qu'il doit y avoir une ligne vierge à la fin

{"create":{"_index":"haoke","_type":"user","_id":2001}}
{"id":2001,"name":"name1","age": 20,"sex": "男"}
{"create":{"_index":"haoke","_type":"user","_id":2002}}
{"id":2002,"name":"name2","age": 20,"sex": "男"}
{"create":{"_index":"haoke","_type":"user","_id":2003}}
{"id":2003,"name":"name3","age": 20,"sex": "男"}

 

Suppression groupée

{"delete":{"_index":"haoke","_type":"user","_id":2001}}
{"delete":{"_index":"haoke","_type":"user","_id":2002}}
{"delete":{"_index":"haoke","_type":"user","_id":2003}}

 

Publié 568 articles originaux · Comme 180 · Visites 180 000+

Je suppose que tu aimes

Origine blog.csdn.net/Delicious_Life/article/details/105518889
conseillé
Classement