쿼리 구성 조정을 사용하여 다양한 쿼리 요구 사항을 쉽게 구현

배경

다양한 사용자 쿼리 시나리오의 경우 Honghu의 쿼리 구성을 다양한 요구 사항에 맞게 조정해야 할 수도 있습니다. 예를 들어:

기본 동시성이 너무 작아서 더 높은 동시성이 필요합니다.

단일 쿼리에 사용할 수 있는 메모리가 너무 적으면 쿼리가 실패합니다. 메모리가 충분하면 쿼리에서 더 많은 메모리를 사용할 것으로 예상됩니다.

하드웨어 구성을 업그레이드한 후에는 단일 쿼리에 대해 더 높은 쿼리 동시성과 사용 가능한 리소스를 얻을 수 있을 것으로 예상됩니다.

권장 구성 참조

⚠️ 이 구성은 권장 구성일 뿐이며 대부분의 데이터 가져오기 및 쿼리 시나리오에 적합합니다. 문제가 발생하면 특정 상황에 따라 계속 조정해야 합니다.

예를 들어:

  • 하드웨어 구성이 고정된 상태에서 여전히 더 높은 동시성을 기대한다면 flamingo.aurora_gunicorn_workers 및 stonewave.max_job_exe_num을 계속 늘리면 동시에 너무 많은 쿼리가 실행되어 메모리가 부족해질 위험이 있습니다. 시간이 늘어나게 됩니다.

  • 단일 쿼리에 더 많은 메모리가 필요하고 계속해서 stonewave.max_single_job_memory_gb를 늘릴 수 있는 경우 이 쿼리가 너무 많은 메모리를 사용하여 동시에 실행되는 다른 쿼리에 사용 가능한 메모리가 부족해질 위험이 커집니다.

구성 지침

flamingo.aurora_gunicorn_workers: Honghu가 API 요청을 처리하는 데 사용하는 작업자 수입니다.

Stonewave.max_job_exe_num: 최대 동시 쿼리 수입니다.

Stonewave.max_job_queue_size: 쿼리 큐의 크기 쿼리 요청 수가 최대 동시 요청 수보다 클 경우 쿼리는 실행을 위해 큐에서 대기합니다. 대기열 크기를 초과하면 새 쿼리 요청이 거부됩니다.

stonewave.max_single_job_memory_gb: 단일 쿼리에서 사용할 수 있는 최대 메모리 양(GB)입니다. 쿼리에 사용된 메모리 양이 이 값을 초과하면 쿼리가 종료됩니다.

stonewave.max_all_jobs_memory_gb: 모든 쿼리에서 사용할 수 있는 최대 메모리 양(GB)입니다. 동시에 실행된 쿼리의 총 메모리 사용량이 이 값을 초과하면 이 메모리 사용량에 도달하고 계속해서 메모리를 신청하는 쿼리가 종료됩니다.

Stonewave.resource.memory_max: nomad가 Stonewave에서 사용할 수 있는 최대 메모리 양입니다.

일반적인 문제

Q: 구성을 변경하고 효과적으로 적용하려면 어떻게 해야 합니까?

답변:  Honghu가 성공적으로 설치되면 루트 디렉토리의 user_settings.vars 파일에서 해당 구성 항목을 수정하고 수정이 완료되면 ./honghuctl restart 명령을 실행하십시오. 자세한 내용은 vars를 통한 배포 구성 관리 문서를 참조하세요.

Q:  내 머신 유형이 표에 없습니다. 어떤 구성을 선택해야 합니까?

대답:  메모리가 더 가까운 구성을 선택하십시오.

Q:  이러한 구성이 쿼리 속도에 영향을 미치나요?

대답:  아니요. 그러나 동시에 실행되는 쿼리가 많을수록 CPU 리소스 경쟁으로 인해 쿼리 속도가 느려진다는 점에 유의해야 합니다.

Supongo que te gusta

Origin blog.csdn.net/Yhpdata888/article/details/131312261
Recomendado
Clasificación