分布式流平台之kafka 分区分配

版权声明:话不在多,在于精 https://blog.csdn.net/qq_29857681/article/details/88545612
  1. 如何把不同的主分区均衡分散在不同的broker?
  2. 如何把分区的副本均衡的分散在不同broker?
  3. 如何保证把不同的分区副本均衡的分散在不同的机架上?
    1. 答案是 轮询

假如有6个broker 创建一个包含10个分区的主题,复制系数为3 总共30个分区

同一个机架(顺序选取)

  1. 首先随机选自一个broker (假如为4)
  2. 则主分区0 在broker4上,主分区1在broker5上,主分区2在broker0上。。。
  3. 主分区0的第一个副本在broker5上,第二个副本在broker0上。。。
  4. 主分区1的第一个副本在broker0上,第二个副本在broker1上。。。

不同机架(交叉选取)

  1. 假如broker0 1 2 在机架1 上,broker3 4 5 在机架2上
  2. 假如随机选择一个broker (4)
  3. 则主分区0在broker4上,主分区1在broker0 上,主分区2在broker5上,交叉选取。。
  4. 主分区0的第一个副本在broker0上,第二个副本在broker3上,。。。

猜你喜欢

转载自blog.csdn.net/qq_29857681/article/details/88545612
今日推荐