¿Cómo aumentar Flink taskmanager.numberOfTaskSlots ejecutarlo sin servidor Flink (en el IDE o un tarro de grasa)

Aleksandr Filichkin:

Tengo una pregunta acerca de la ejecución Flink streaming de trabajo en IDE o como tarro de grasa sin desplegarlo al servidor Flink.

El problema es que no se puede ejecutar en el IDE cuando tengo más de 1 taskslot en mi trabajo.

public class StreamingJob {

public static void main(String[] args) throws Exception {
    // set up the streaming execution environment
    final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

    Properties kafkaProperties = new Properties();
    kafkaProperties.setProperty("bootstrap.servers", "localhost:9092");
    kafkaProperties.setProperty("group.id", "test");
    env.setParallelism(1);

    DataStream<String> kafkaSource = env
        .addSource(new FlinkKafkaConsumer010<>("flink-source", new SimpleStringSchema(), kafkaProperties))
        .name("Kafka-Source")
        .slotSharingGroup("Kafka-Source");

    kafkaSource.print().slotSharingGroup("Print");

    env.execute("Flink Streaming Java API Skeleton");
}

}

Yo sé que la ranura necesidad de trabajo 2 para este trabajo y puedo tener dos taskmanagers en el grupo Flink, pero ¿cómo puedo ejecutar de forma local en el IDE.

En este momento tengo que especificar el mismo nombre para todos slotSharingGroup operador local para tener una ranura. Pero no es flexible.

¿Cómo lo manejas?

Hasta Rohrmann:

Se trata de un error conocido que se está describiendo. Usted puede encontrar el tema que corresponde JIRA aquí .

La manera de evitar este problema es configurar manualmente el número de espacios de trabajo con el que el TaskExecutorse pone en marcha. Esto se puede hacer a través de la TaskManagerOptions.NUM_TASK_SLOTSopción de configuración:

final int parallelism = ...;
final Configuration configuration = new Configuration();
configuration.setInteger(TaskManagerOptions.NUM_TASK_SLOTS, 2);

final StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironment(parallelism, configuration);