Para a comunidade chinesa de código aberto, vale a pena mencionar 2021 devido às diretrizes políticas claras. Para o NetEase Shufan, o caminho para o código aberto em 2021 também vale a pena revisar: em um ano, o NetEase Shufan lançou quatro projetos independentes de código aberto e também enviou o projeto Kyuubi para a Fundação Apache para incubação. Todos os tipos de ações fizeram a indústria sentir mais profundamente a atitude de NetEase Shufan open source "arquitetura aberta, kernel de código aberto".

Praticando o Apache Way e promovendo a democratização do big data

Desde a arquitetura LAMP inicial até o ecossistema Hadoop de hoje, a Apache Software Foundation (ASF) tem uma influência de longo alcance no campo de código aberto, e o "The Apache Way" formado por ela se tornou uma filosofia de código aberto que lidera o progresso de desenvolvedores na comunidade global. Em 2021, os esforços da NetEase Shufan para seguir essa filosofia também criaram um relacionamento mais profundo entre Shufan e ASF.

Primeiro, na comunidade Apache Spark, Yan Qing, um especialista em big data da NetEase Shufan, tornou-se o Committer do projeto ( https://mp.weixin.qq.com/s/MXAnPRDvQlY71fU3SsoaPg ). A partir da avaliação de US$ 38 bilhões da Databricks, não é difícil ver o peso do Spark. Isso se deve ao fato de a comunidade reunir grandes deuses desde seu nascimento, mas também mostra o quão difícil é se tornar um novo Committer quando este projeto top está maduro. Na verdade, com Yan Qing, existem apenas 5 Apache Spark Committers trabalhando para empresas chinesas de Internet. O segredo de Yanqing para isso são 8 palavras: mantenha-se ativo e continue contribuindo.

Em segundo lugar, o projeto Kyuubi iniciado pela NetEase Shufan entrou na incubadora ASF ( https://mp.weixin.qq.com/s/0ANp1ps21DjgfuuOAT51Ww ) sob a orientação de Champion e Mentors e o apoio de membros da comunidade, que representa o principal fundo Affirmation do trabalho de código aberto de Shufan. A pesquisa e o desenvolvimento do Kyuubi começaram a partir da ideia simples de encapsular altamente o poder de computação do big data. Ao fornecer uma interface padronizada para exploração de data lake em nível empresarial, ele permite que os usuários processem big data como dados comuns e promove a popularização do big data.

Depois de entrar na incubadora Apache, a comunidade Apache Kyuubi opera de acordo com o "The Apache Way", e construir um ecossistema benigno de usuários e desenvolvedores em torno do conceito de "Comunidade sobre Código" gradualmente se tornou o foco do trabalho. Até agora, o número de desenvolvedores da comunidade aumentou 10 vezes, 2 novos Committers foram promovidos ( https://mp.weixin.qq.com/s/RH5eo0yv0mC1btIel9LvkA ), e 3 versões oficiais foram lançadas sob RELEASE POLICY , A implementação inclui o suporte e aprimoramento da versão mais recente do Spark 3.x e totalmente testada nas plataformas de data lake Delta Lake, Iceberg e Hudi, dando aos usuários a capacidade de mobilizar os dados de todo o ecossistema de data lake, tornando o projeto um SQL de projeto orientado a servidor sem servidor em serviços Lakehouse.

A comunidade também enriquece a ecologia do usuário do Apache Kyuubi, não apenas T3 Travel ( https://mp.weixin.qq.com/s/DPMKHhtxd2D96A3comlPiA ), Zhihu, bilibili, eBay e outras empresas de Internet, mas também China Mobile, Tradicional empresas como Hikvision, bem como provedores de serviços como Tencent Cloud, H3C e AsiaInfo.

Impacte nativo da nuvem, fortaleça os recursos de produção e aterrissagem

A nuvem nativa é a principal rota de tecnologia do setor atual. Ao contrário dos provedores de serviços de nuvem pública que preferem otimizar sua própria infraestrutura, a busca da NetEase Shufan pela nuvem nativa é quase paranóica: vice-presidente da NetEase, reitor executivo do NetEase Hangzhou Research Institute, gerente geral da NetEase Shufan Wang Yuan propôs o projeto de um sistema operacional unificado nativo da nuvem - um conjunto de plataforma Kubernetes para gerenciar qualquer infraestrutura de maneira unificada e suportar qualquer carga. Isso coincide com a tendência de promoção de tecnologia doméstica de software e hardware, mas, por sua vez, também apresenta requisitos mais altos para a disponibilidade de nuvem nativa.

A pilha de tecnologia nativa da nuvem NetEase Shufan é centrada em Kubernetes, Istio e Envoy e se concentra na solução de problemas práticos, como facilidade de uso, garantia de disponibilidade, desempenho e otimização de custos enfrentados por tecnologias comunitárias em aplicativos de produção. Os quatro projetos ( https://mp.weixin.qq.com/s/0Fnn3mIjrx5DB0ksAqNy1g ), incluindo KubeCube, KubeDiag, Slime e Hango (Hangu), que serão de código aberto em 2021, são as conquistas faseadas nesses aspectos.

Implemente o Kubernetes leve. Com um conceito de design leve, o KubeCube complementa o gerenciamento unificado de vários clusters e multilocatários, fornece gerenciamento visual de recursos do Kubernetes e observabilidade avançada e atende às expectativas das empresas para plataformas de nuvem de contêiner. Um usuário compartilhou suas notas sobre uma implantação simples e teste de encaixe no cluster UK8S. A instalação e implantação podem ser concluídas em 6 etapas antes e depois, incluindo algumas configurações necessárias.

Acabe com a dor da operação e manutenção do Kubernetes. Como uma estrutura de orquestração de operação e manutenção de diagnóstico nativa da nuvem, o KubeDiag implementa de forma inovadora "experiência como código" , ou seja, toda experiência de diagnóstico é implementada por meio de código e integrada à estrutura de maneira padronizada, que pode ser executada em qualquer ambiente Kubernetes. Por meio dos recursos de padronização fornecidos pelo Kubernetes, o KubeDiag acumula experiência profissional em diagnóstico de problemas e operação e manutenção de falhas, ajudando os usuários a obter gerenciamento totalmente automatizado de monitoramento, operação e manutenção e diagnóstico no processo de DevOps, bem como raiz interativa baseada em cenário localização da causa .

Acabe com as falhas de gerenciamento do Istio. O lançamento do projeto Slime melhorou os defeitos do Istio em recursos de alto nível de governança de microsserviços, como limitação de corrente local, listas negras e brancas e downgrades, bem como o ônus de configurar a distribuição completa, melhorando a facilidade de uso e o desempenho. Como gerente de CRD do Istio, o Slime oferece suporte à integração perfeita com o Istio sem qualquer personalização .

Estendendo o gateway nativo da nuvem do Istio. Usando o Envoy como um componente de proxy de rede, o Hango fornece recursos de gateway de API e observabilidade para vários cenários nativos de nuvem , como gateways de microsserviço, balanceamento de carga de sete camadas, Kubernetes Ingress e gateways sem servidor . É claro, ele também possui alto desempenho suportado por C++ . O desempenho da instância pode atingir mais de 10 W TPS, liderando o setor em mais de 50%.

Promova o gerenciamento de código aberto e explore a governança da cadeia de suprimentos de código aberto

Pode-se ver que, incluindo o sistema de armazenamento definido por software nativo da nuvem de código aberto Curve em 2020, cada projeto do NetEase Shufan tem suas próprias características e cenários de uso. Mas o aumento do número de projetos também significa o problema do gerenciamento de código aberto. Aprendendo com a prática da indústria, a Shufan formou inicialmente um conjunto de especificações de gerenciamento de código aberto. Antes de cada projeto ser de código aberto, ele usa o comitê técnico do NetEase Hangzhou Research Institute para realizar pesquisas sobre seu valor, comunidade, aplicação, influência, inovação tecnológica e avanço e capacidades da equipe Avaliação rigorosa . O suporte da alta administração da empresa para código aberto também é mais claro. Wang Yuan escreveu um artigo apontando a importância do modelo de código aberto para software básico de nível empresarial e as ideias de código aberto da NetEase Shufan ( https://mp.weixin. qq.com/s/9eujTFc-MOmB8xbY07-V2A ).

Após o código aberto, a NetEase Shufan continuou a investir na construção da comunidade e testou o desenvolvimento do projeto participando de algumas avaliações autorizadas.Curve é um exemplo típico. Este ano, a Curve foi premiada com o projeto de código aberto de pico da OSCAR e a comunidade de código aberto da Academia Chinesa de Tecnologia da Informação e Comunicações, passou na avaliação do projeto de código aberto confiável e tornou-se membro pleno da comunidade de código aberto confiável ( https: //mp.weixin.qq.com/s/YWbzLBnp2pk_yVjnfwpfpQ ) .

No nível técnico, com base no feedback dos usuários, a comunidade Curve lançou o CurveFS para aprimorar o gerenciamento de armazenamento unificado ( https://mp.weixin.qq.com/s/p-qjLl8BpsQVCviqwm4mLQ ), para obter suporte de cenário completo, mantendo vantagens de desempenho e lançadas Novas ferramentas de operação e manutenção reduzem o limite de gerenciamento de implantação.

Como um provedor de serviços corporativos que insiste em código aberto e código aberto, a governança da cadeia de suprimentos de código aberto também é uma resposta obrigatória para a NetEase Shufan, que envolve instituições de gerenciamento, sistemas de gerenciamento, rastreabilidade de introdução de código aberto e gerenciamento de entregas. Com um conjunto de estratégias de governança de cadeia de suprimentos de código aberto e conjuntos de ferramentas correspondentes que abrangem instituições de gerenciamento, sistemas de gerenciamento, pontos de verificação de processos e orientados a resultados, a plataforma de microsserviços NetEase Shufan Qingzhou passou no primeiro lote de avaliações confiáveis de capacidade de gerenciamento de risco de cadeia de suprimentos de código aberto por a Academy of Information and Communications Technology.——É também o primeiro produto de malha de microsserviços/serviços a passar nessa avaliação.

Continue pregando, integre-se à comunidade e compartilhe experiências de código aberto

Para construir uma boa ecologia da comunidade e diminuir o limite para desenvolvedores e usuários entenderem o projeto, a equipe de código aberto também conduz ou participa ativamente de evangelismo comunitário com usuários da comunidade e produz uma série de artigos de interpretação técnica de alta qualidade, incluindo pensamento de design arquitetônico, pontos-chave de implementação técnica, resultados de aplicativos de negócios, etc. Em 2021, a NetEase Shufan contribuiu com 12 sessões de compartilhamento de código aberto online/offline, produziu 20 artigos de alta qualidade e cobriu mais de 50.000 públicos de acordo com estatísticas incompletas.

Com esses compartilhamentos, a NetEase Shufan também foi selecionada pela comunidade líder Open Source China como a Equipe Técnica Excelente da OSCHINA 2021 ( https://my.oschina.net/oscpyaqxylk/blog/5350757 ).

escreva no final

2021 é o ano em que a NetEase Shufan começou a desenvolver seu próprio código aberto. Claro, temos mais histórias de código aberto, como contribuições e compartilhamento em outros projetos da comunidade, e convidados a participar da comunidade openEuler sob a Open Atom Foundation para fortalecer o ecossistema doméstico de código aberto. A construção não será repetida aqui.

Cultivando profundamente o software básico de nível empresarial e aderindo à estratégia de "arquitetura aberta e kernel de código aberto", a NetEase Shufan recebeu feedback positivo da comunidade. No futuro, o NetEase Shufan abrirá mais recursos de código-fonte. Por exemplo, o projeto de log nativo da nuvem Loggie e o mecanismo de data lake em tempo real Arctic estão todos em preparação para o código aberto, e você verá nossas novidades em breve.

Para a inovação do software básico de nível empresarial sob a onda da transformação digital, as atuais conquistas de código aberto da NetEase Shufan são apenas um pequeno passo à frente. Nosso projeto ainda é muito jovem e somos apenas um estudante ignorante do ensino médio no campo de código aberto , e queremos mostrar nossos talentos por amor. . No entanto, por causa disso, a "universidade" de código aberto da NetEase Shufan terá mais espaço para a imaginação. Aqui, convidamos parceiros com ideias semelhantes a se juntarem à nossa comunidade e criarem juntos um futuro brilhante para o software básico digital de código aberto!