80-20-075- gerenciamento de memória -Flink princípio

1. Visão

Aqui Insert Picture Descrição

2. relacionada

Aqui Insert Picture Descrição

3. Visão geral

Hoje, grandes áreas de quadro de dados de código aberto (Hadoop, Spark, Tempestade) usar a JVM, incluindo, naturalmente, Flink. mecanismo de análise de dados baseado em JVM terá que enfrentar um monte de dados para armazenar na memória, que teve que enfrentar vários problemas JVM:

  1. densidade Java objeto de armazenamento é baixa. Objecto contém apenas atributo boleano ocupa 16 bytes de memória: contas de cabeçalho objecto para 8, representando um atributo boleano, o que representa sete alinhamento estofamento. De facto apenas um bit (1/8 bytes) é suficiente.
  2. Completa GC irá afectar significativamente o desempenho, especialmente, a fim de lidar com dados maiores abriu o espaço de memória JVM para grandes, GC vai chegar ao segundo nível ainda níveis minuto.
  3. problemas OOM que afetam a estabilidade. OutOfMemoryError é um problema frequentemente encontrado na estrutura de computação distribuída, a JVM quando todos os objetos maiores do que o tamanho da memória alocada para o JVM, OutOfMemoryError erro ocorre, causando o travamento do JVM, distribuídos robustez estrutura e desempenho serão afetados.

Então, agora, cada vez mais os grandes projectos para iniciar seu próprio JV gerenciamento de dados

Acho que você gosta

Origin blog.csdn.net/qq_21383435/article/details/105280286
Recomendado
Clasificación