Apache faísca actualmente suporta três implantação distribuída, são independente, faísca em mesos e centelha em FIO, que é semelhante ao primeiro modo de MapReduce 1,0 empregue, a aplicação interna de tolerância a falhas e gestão de recursos, sendo as duas últimas é a tendência futura, parte da gestão de tolerância a falhas e recursos entregues a um sistema de gestão de recursos unificada para completo: vamos corridas de ignição em um sistema de gestão de recursos comuns, para que possa calcular com outras estruturas, como MapReduce, um dos recursos públicos cluster, máxima o benefício é reduzir os custos operacionais e melhorar a utilização de recursos (alocação de recursos com base). Este artigo irá introduzir três implantação, e comparar suas vantagens e desvantagens.
1. modo Standalone
Esse modo stand-alone, vem com um serviço completo, pode ser implantado em um único cluster, sem depender de quaisquer outros sistemas de gestão de recursos. Até certo ponto, esse padrão é a base das outras duas. Saiba modelo de desenvolvimento Spark, podemos ter uma idéia geral de um desenvolvimento de novos estrutura computacional: primeiro a projetar seu modo autônomo, a fim de desenvolver rapidamente, inicialmente precisa considerar serviço de tolerância a falhas (como master / slave), seguido pela reconstrução correspondente envoltório, o modo de serviço sob stanlone intacta implantado para o fio sistema de gestão de recursos ou mesos, pelo sistema de gestão de recursos é responsável pelo serviço em si tolerância a falhas. Faísca actualmente no modo independente, não existe um único ponto de falha, o que é conseguido por meio de tratador, ideia é semelhante ao ponto único mestre HBase de solução de falha. A comparação faísca independente com MapReduce, você vai encontrá-los nas duas arquiteturas são exatamente os mesmos:
1) é um serviço de mestre / escravo da mesma, e em primeiro mestre tanto um único ponto de falha, e mais tarde foram resolvidas por tratador (Apache MRv1 de JobTracker ainda continua a ser um problema único ponto, mas a versão CDH foram resolvidos);
2) cada nó recursos são abstraídos no slot de granulação grossa, quantos quantos tarefa slot pode ser executado simultaneamente. A diferença é, MapReduce mapa ranhura na ranhura e reduzir ranhura, que estão disponíveis apenas para reduzir Task mapa de tarefas e usar, e não pode ser compartilhada, que é uma razão as taxas de juros MapReduce ineficiente de recursos, enquanto alguns dos Spark é mais otimizado, que não distingue entre tipos de caça-níqueis, apenas um slot, pode ser usado para vários tipos de uso de tarefas, esta abordagem pode melhorar a utilização de recursos, mas não o suficiente flexível para personalizar recursos para diferentes tipos de slot de tarefas. Em suma, estes dois métodos têm vantagens e desvantagens.
Modo On Mesos 2. faísca
Este é o modelo adotado muitas empresas, o funcionário recomendou este modelo (claro, é uma das razões de parentesco). É por causa da faísca foi desenvolvido com a consideração para apoiar Mesos, portanto, por enquanto, o Spark será executado é mais flexível do que correr no fio sobre os mesos, mais natural. Actualmente no faísca no ambiente Mesos, o usuário pode selecionar um dos dois modos programados para executar suas próprias aplicações (consulte a Andrew Xia "Modo de Programação Mesos em faísca"):
1) o modelo de grão grosseiro (Modo de granulação grossa): cada um dos ambiente de execução do pedido e por uma pluralidade de composição executor dirver, em que cada um de entre a pluralidade de recursos do executor ocupados, podem executar várias tarefas interno (número de corresponde "compartimento" ). Antes pedido formal de cada missão para executar, você precisa executar todos os recursos do aplicativo no ambiente é bom, e durante a operação ter sido ocupada por esses recursos, mesmo se não, após o fim da última execução do programa, a recuperação desses recursos. Por exemplo, como quando você apresentar um pedido, especificar cinco executor executar o aplicativo, cada executor ocupar 5GB de memória e cinco CPU, cada conjunto executor interna até cinco caça-níqueis, você precisa Mesos executor atribuir recursos e lançá-los, após o início das tarefas agendadas. Além disso, o programa está sendo executado, mestre mesos e escravo não conhece o funcionamento interno de cada executor de tarefas, executor diretamente relatado ao estado tarefa driver através do mecanismo de comunicação interna, e até certo ponto ele pode ser considerado para cada aplicação usando mesos construir um cluster próprio uso virtual.
2) padrão de grão fino (Modo de granulação fina): Tendo em vista o modelo de grão grosso vai causar um monte de desperdício de recursos, Faísca na Mesos também fornece outro modo de programação: Modelo de grão fino que é semelhante para a nuvem atual de computação, é o pensamento DAMA. E os padrões de granulação grossa, quando o aplicativo é iniciado, irá iniciar o executor antes, mas cada pegada executor só é necessário para executar os seus próprios recursos, sem considerar a tarefa a ser executada no futuro, então, mesos alocada dinamicamente para cada executor alocação de recursos para cada número, você pode executar uma nova tarefa, após a conclusão de uma única corrida tarefa pode liberar os recursos correspondentes imediatamente. Cada tarefa se reportará a Mesos estado escravo e Mesos Mestre, mais para facilitar a tolerância gestão e falta de grão fino, este modo de planejamento é o modo semelhante MapReduce programação, cada tarefa, controle de recursos completamente independente e a vantagem de facilitar o isolamento, mas a desvantagem é também óbvio short delay execuções de tarefa grande.
3. faísca no modo FIO
Este é um modelo de implantação prometendo. FIO mas limitado ao seu próprio desenvolvimento, o modelo atualmente suporta apenas de granulação grossa (Modo de granulação grossa). Isto é devido aos recursos contentores a FIO não é dinamicamente escaláveis, Container uma vez iniciado, podem ser usados os recursos já não pode mudar, mas isso tem sido no plano de fio.
faísca em suportes de fios de dois modos:
1) o fio-Cluster: propício para o ambiente de produção;
2) o fio-Client: propício para interativo, depuração, agora quer ver a saída do aplicativo
Diferença fio-cluster e fio-cliente que fio appMaster, cada instância aplicativo fio tem um processo appMaster, é um aplicativo de contêiner para a primeira partida, após responsável por solicitar recursos do ResourceManager, para obter recursos, disse NodeManager seu recipiente lançamento . fio-cluster modelo fio-cliente para alcançar interna e tem um monte de diferença. Se você precisa de um ambiente de produção, em seguida, selecione fio-cluster, e se você só programa Debug, você pode escolher fio-cliente.
resumo:
Estes três métodos têm suas vantagens e desvantagens implantação distribuída, geralmente precisa decidir qual programa usa a situação real. Ao selecionar programas, muitas vezes eles têm que considerar roteiro de tecnologia da empresa (usando Hadoop ecossistema ou outros ecossistemas), e outra piscina relacionado talento técnico. Faísca acima de envolver muitos modelo de implantação, que bom é difícil dizer qual o modelo que isso, você precisa de acordo com as suas necessidades, se você acabou de teste de faísca de aplicativos, você pode selecionar o modo local. E se você não é um monte de dados de volume, Standalone é uma boa escolha. Quando você precisar a gestão unificada de recursos de cluster (Hadoop, faísca, etc.), então você pode escolher Fios ou mesos, mas isso vai se tornar altos custos de manutenção.
· Do ponto de contraste vista, mesos faísca parece ser a melhor escolha, e foi oficialmente recomendado
· Mas se você executar o Hadoop e faísca Enquanto isso, do ponto de vista de compatibilidade, Yarn é uma escolha melhor. Se você só executar o Hadoop, faísca. Docker ainda correm na gestão de recursos, mesos mais comum.
· Standalone para clusters de computação de pequena escala é mais adequado!
