来源：大数据技术标准推进委员会 数据观
本文约5000字，建议阅读10分钟日前，《2023大数据十大关键词》在2023大数据产业发展大会主论坛上正式发布。
À medida que a política da indústria de big data do meu país está se tornando cada vez mais perfeita, a base industrial está se consolidando cada vez mais e a construção do mercado de elementos de dados continua a se aprofundar, a indústria de big data mais uma vez inaugura um enorme espaço para desenvolvimento. Há alguns dias, "2023 Big Data Top Ten Key Words" foi lançado oficialmente no fórum principal da 2023 Big Data Industry Development Conference.
As dez palavras-chave de big data são baseadas na pesquisa e observação de longo prazo da indústria pelo Institute of Information and Communications Technology, combinando totalmente as opiniões de especialistas da linha de frente da indústria, na esperança de indicar a atual direção de desenvolvimento quente da indústria de big data.
O ciclo de vida completo dos dados, da linguagem do computador aos fatores de produção, inclui os sete links a seguir: recursos de dados, governança de dados, assetização de dados, desenvolvimento e aplicação de dados, circulação de dados, construção de mercado de elementos de dados e segurança de dados. Quatro das dez principais palavras-chave deste ano são distribuídas em desenvolvimento e aplicação de dados, duas são distribuídas no mercado de elementos de dados e duas são distribuídas em segurança de dados, o que reflete que o foco do desenvolvimento deste ano está na capacitação de negócios de dados e na integração interna e externa , e continuar a consolidar a base de segurança.
palavra-chave um
Com a integração do lago e armazém, o desenvolvimento da plataforma de dados entrou em um novo estágio de integração e integração
Com o rápido desenvolvimento da Internet móvel, para atender aos requisitos de negócios, como armazenamento de vários tipos de dados e análise de vários cenários, algumas empresas adotam uma arquitetura de negócios que implanta data lakes e data warehouses em uma plataforma de dados e troca dados por meio de ETL . Essa arquitetura híbrida lago + depósito tem quatro problemas principais: alto custo de armazenamento, falta de pontualidade, problemas de consistência fácil e alta dificuldade de desenvolvimento e manutenção.
A fim de resolver os problemas acima, surgiu a integração da tecnologia de lake e warehouse. A integração de lake e warehouse integra as vantagens do data lake e do data warehouse para formar uma plataforma de processamento de dados integrada e aberta. A camada inferior suporta o unificado armazenamento de vários tipos de dados, realizando um dado 1. Um conjunto de tarefas é perfeitamente agendado e gerenciado entre o data lake e o data warehouse, e a camada superior realiza consulta de acesso e análise por meio de uma interface unificada. A integração de lake e warehouse rompe a barreira entre data warehouse e data lake, baseia-se na arquitetura de armazenamento de dados de baixo custo do data lake e possui os recursos de processamento e gerenciamento de dados do data warehouse. Com o avanço contínuo da transformação digital em vários setores, a demanda do mercado por plataformas integradas de depósito de lago continua crescendo. Fabricantes como Amazon, Alibaba Cloud e Tencent Cloud lançaram produtos de depósito de lago integrados, que têm sido amplamente utilizados em indústrias como Internet, telecomunicações e finanças.
Palavra-chave dois
Espera-se que a capitalização de dados, a promoção da pesquisa universidade-indústria, os principais links surjam
Com o objetivo final de acelerar o cultivo e o desenvolvimento do mercado de elementos de dados, todos os setores da indústria, academia e pesquisa realizaram pesquisas e práticas de capitalização de dados.
Em termos de políticas, o Comitê Central do Partido Comunista da China e o Conselho de Estado emitiram as "Vinte Medidas de Dados" em dezembro de 2022, propondo claramente "promover a circulação de elementos de dados e ecologia de serviços de transação. Cultive um grupo de fornecedores de dados e agências terceirizadas de serviços profissionais para fornecer dados para ambos os lados das transações de dados." Serviços de conformidade, padronização e valor agregado de ativos e explorar um novo modelo para entrada de ativos de dados."
Nos últimos três anos, a prática de capitalização de dados está em pleno andamento. Em termos de propriedade de dados, instituições representadas por trocas de dados e escritórios de propriedade intelectual apresentaram os requisitos para registro de ativos de dados, estabelecendo as bases para a transação padronizada de ativos de dados. Em termos de avaliação de dados, o objetivo e os objetos da avaliação de ativos de dados estão gradualmente se tornando claros, e o foco das empresas mudou da perspectiva do valor do aplicativo de dados para a perspectiva do capital de dados. Por exemplo, o China Everbright Bank concluiu um crédito de 10 milhões para Guiyang Mobile Finance Development Co., Ltd. com base na base de pesquisa anterior É um grande avanço na prática de avaliação de dados. Em termos de entrada de dados, o Departamento de Contabilidade do Ministério das Finanças emitiu o "Regulamento Provisório sobre Tratamento Contábil Relacionado a Recursos de Dados Empresariais (Mistura para Comentários)" no ano passado, propondo que transações e assuntos relacionados a recursos de dados sejam processados de acordo com a finalidade de manter os recursos de dados e a forma como eles são formados.Confirmação, medição e relatório de contabilidade fornecem uma maneira de pensar para os ativos de dados a serem incluídos na tabela. Em termos de transações de dados no local, as trocas de dados representadas por Pequim, Xangai, Guiyang e Shenzhen construíram plataformas de negociação para construir um ecossistema comercial e promover o desenvolvimento saudável e ordenado do mercado comercial.
O Instituto de Tecnologia da Informação e Comunicação, Instituto Yunda, também fez arranjos relevantes para o trabalho de capitalização de dados. A primeira é cooperar com agências de big data, comunicações, financeiras e outras instituições para emitir padrões de avaliação de dados; a segunda é cooperar com trocas de dados para realizar avaliação de qualidade de dados de produtos de dados; a terceira é formular padrões para a maturidade de recursos de operação de ativos de dados.
Palavra-chave três
DataOps, liderado por padrões, DataOps doméstico entrou no estágio de implementação em larga escala
Data P&D e Operation Integration (DataOps) é um novo paradigma de desenvolvimento de dados. Ele integra os conceitos de agilidade e lean no processo de desenvolvimento de dados. Por meio da reorganização de pessoal, ferramentas e processos relacionados a dados, quebra barreiras de colaboração e constrói desenvolvimento integrado, governança, O pipeline de dados automatizado integrado melhora continuamente a eficiência e a qualidade da entrega de produtos de dados e realiza desenvolvimento digital de alta qualidade.
Com o desenvolvimento da prática industrial e da pesquisa teórica, o DataOps evoluiu gradualmente de um estágio de conceito vago para um estágio prático. Em 2022, a Academia Chinesa de Tecnologia da Informação e Comunicações e várias empresas líderes em comunicação, finanças e Internet estabeleceram em conjunto um grupo de trabalho padrão DataOps e lançaram o "Modelo de estrutura de capacidade DataOps", que definiu sete domínios de capacidade DataOps; no No final de 2022, o grupo de trabalho lançou P&D O padrão de refinamento do domínio de capacidade de gerenciamento. No primeiro semestre de 2023, o grupo de trabalho lançou o "DataOps Practice Guide (1.0)", abstraindo a estrutura teórica de DataOps das melhores práticas e fornecendo referência teórica para a indústria praticar DataOps; China Academy of Information and Communications Technology realizou avaliações baseadas nos padrões de domínio de capacidade de gerenciamento e P&D de DataOps A implementação dos padrões verificou as capacidades de ICBC, ABC, Zhejiang Mobile, Jiangsu Mobile e outras empresas líderes em termos de P&D e gerenciamento de dados, de modo a promover o estabelecimento de essas instituições por meio de avaliação e melhorar suas próprias capacidades. Ao mesmo tempo, também lançamos a "Comunidade DataOps", e atualmente 130 instituições aderiram. Segundo a pesquisa, essas instituições já realizaram práticas relacionadas a DataOps, e DataOps domésticas entraram no estágio de implementação em larga escala.
palavra-chave quatro
O serviço de dados e a construção do sistema de serviço tornaram-se o foco do plano de desenvolvimento do data center
A função importante do data center é fornecer às partes de negócios suporte diversificado de capacidade, como análise de autoatendimento baseada em dados, gerenciamento de modelo, chamada de interface, gerenciamento de índice e rótulo. O serviço de dados é a saída para o data center exportar recursos para o mundo exterior. A construção do sistema de serviço de dados pode tornar mais fácil para o lado comercial recuperar e obter o conteúdo de dados necessário, de modo a exercer melhor o valor capacitador do data center. Com a maturidade gradual da capacitação subjacente do data center de todas as partes, os serviços de dados se tornaram a direção principal da construção do data center. As equipes de dados intermediários de empresas líderes em vários campos, como Kuaishou, China Construction Bank e China Mobile, consideram a construção de recursos de serviço de dados como o foco de seu trabalho em 2023. A construção de recursos de serviço de dados tem principalmente as três direções a seguir: uma é construir uma variedade de métodos de serviço de dados para atender às diferentes necessidades de negócios; a outra é integrar plataformas de serviço de dados dispersas, construir uma interface de usuário de serviço de dados unificada e realizar o integração de portais de serviço; O terceiro é melhorar o gerenciamento de operação de ciclo de vida completo dos serviços de dados e realizar a padronização das operações de serviço. Ao fornecer serviços de dados diversificados, portais de serviços de dados integrados e operações de serviços de dados padronizados, as empresas podem permitir que mais usuários usem com eficiência os vários recursos do data center, aproveitando ao máximo o valor do data center.
De abril de 2022 até o presente, o Institute of Information and Communications Technology assumiu a liderança na cooperação com especialistas do setor e empresas líderes para compilar em conjunto uma série de padrões para o "Modelo de maturidade de capacidade do data center", e os recursos de serviço de dados foram incorporados no sistema padrão como um dos seis domínios de recursos do data center. No primeiro semestre de 2023, o Zhejiang Mobile and Industrial and Commercial Bank of China concluiu o primeiro lote de avaliações de capacidade de serviço de dados com base neste padrão.
palavra-chave cinco
Análise aprimorada inteligente, atualização inteligente da análise de dados
As ferramentas inteligentes de análise de dados aprimorada usam tecnologias inteligentes, como aprendizado de máquina e processamento de linguagem natural, para melhorar os três aspectos de preparação de dados, descoberta de insights e compartilhamento de saída de resultados no processo de análise de dados, melhorando assim a automação da análise de dados. Esse conceito foi proposto pelo Gartner em 2017, mas limitado pelo nível da tecnologia de IA da época, esse campo não alcançou um desenvolvimento inovador. Com a popularidade da tecnologia AIGC em 2023, sua aplicação no campo da análise de dados também atraiu a atenção de todas as partes. Microsoft PowerBI, Baidu SugarBI, Guanyuan BI e outras equipes aceleraram a exploração e implantação da análise de dados aprimorada por inteligência e lançaram ferramentas de análise aprimorada por inteligência com base no conceito de BI+ modelo grande. A ferramenta inteligente de análise de dados aprimorada permite que os usuários interajam com a ferramenta de forma conversacional; a ferramenta invoca fontes de dados relevantes por meio de análise semântica, adapta algoritmos de análise correspondentes e métodos de apresentação de visualização de dados e gera automaticamente gráficos estatísticos e insights textuais e relatórios de análise; ferramentas de análise de dados aprimoradas de forma inteligente permitem que o trabalho de análise de dados seja facilmente concluído de uma forma semelhante ao bate-papo, permitindo que usuários com experiência não técnica obtenham uma determinada análise aprofundada com limites mais baixos e maior eficiência, permitindo que os dados sejam mais frontais o pessoal de linha promoverá muito o desenvolvimento inclusivo do trabalho de análise de dados.
Palavra-chave seis
A ética dos dados, uma parte importante do sistema nacional de governança da economia digital
O desenvolvimento vigoroso de novas tecnologias, como big data e inteligência artificial, promoveu a inovação tecnológica e o desenvolvimento econômico. No entanto, os benefícios negativos das aplicações de big data não podem ser ignorados. Fenômenos como big data kill, vazamento de dados de privacidade, abuso de dados, má recomendação de conteúdo, etc. estão surgindo um após o outro. O valor ético dos seres humanos com base na vida tradicional mundo também enfrenta enormes desafios. Portanto, desde 2021, meu país promulgou sucessivamente uma série de leis e regulamentos sobre segurança de dados, proteção de informações pessoais e ética tecnológica para construir uma estrutura para governança ética de dados e continuar a promover o desenvolvimento da tecnologia para sempre. comunidade, os Estados Unidos começaram a acelerar o layout do sistema de ética de dados, que atualmente abrange três níveis: estrutura teórica, orientação prática e legislação relevante. Para melhor governar as questões de ética de dados em campos subdivididos, o "Estrutura de Ética de Dados Comerciais" emitido pelo Departamento de Comércio dos EUA em fevereiro de 2023 é seu suplemento no campo de negócios. Percebe-se que o estabelecimento de um sólido sistema de governança ética em dados é condição necessária para garantir o desenvolvimento saudável da economia digital e requer esforços conjuntos do governo, das empresas e de todos os setores da sociedade.
Palavra-chave sete
Sistema básico de dados para resolver o problema de liberar o valor dos elementos de dados
No final do ano passado, o Comitê Central do Partido Comunista da China e o Conselho de Estado emitiram as "Opiniões sobre a construção de um sistema básico de dados para melhor desempenhar o papel dos elementos de dados", também conhecidas como "Vinte artigos sobre dados". . Este é o primeiro documento de política especial em nível nacional do meu país que implanta a liberação de valor de elementos de dados da altura dos fatores de produção, o que é de grande importância. Os "Vinte artigos sobre dados" descrevem o esboço. Primeiro, esclarece a premissa, a linha principal e o objetivo de construir um sistema básico de dados e dar pleno desempenho ao papel dos elementos de dados, ou seja, promover a proteção de dados sob a premissa de manter a segurança nacional dos dados e proteger as informações pessoais e segredos comerciais. Circulação e uso eficiente e compatível, fortalecendo a economia real, de modo a realizar plenamente o valor dos elementos de dados e promover o compartilhamento dos dividendos do desenvolvimento econômico digital por todas as pessoas. Além disso, os "Vinte Artigos sobre Dados" propuseram especificamente um sistema básico de sistema de dados que se adapta às características dos dados, está em conformidade com a lei do desenvolvimento e demonstra a liderança da inovação. Um sistema de direitos de propriedade de dados que protege direitos e interesses e é usado em conformidade com os regulamentos, um sistema de circulação e transação de elementos de dados que é compatível e eficiente e combina dentro e fora do local, um sistema de distribuição de receita de elementos de dados que reflete eficiência e promove justiça e um sistema de governança de elementos de dados seguro, controlável, flexível e inclusivo. Esses quatro sistemas principais constituem os "quatro feixes e oito pilares" do sistema de dados básico, apontando a direção para promover ainda mais a liberação de valor dos elementos de dados.
Palavra-chave oito
A operação autorizada de dados públicos é amplamente realizada em todo o país, caminhando para escala e padronização
Em dezembro de 2022, foram lançados os "Vinte Artigos de Dados", propondo estabelecer um mecanismo de autorização de autorização de dados públicos, que forneceu uma solução razoável para a polêmica questão de "propriedade" no desenvolvimento e utilização de dados públicos e forneceu uma base para operação autorizada de dados públicos trouxe novas oportunidades.
No estágio inicial, Pequim, Hainan, Guizhou, Chengdu e outras regiões realizaram ativamente várias explorações de práticas inovadoras e basicamente formaram um modo de operação autorizado para dados públicos. As agências de gerenciamento de dados públicos integram recursos, promovem o desenvolvimento e a utilização de maneira unificada, autorizam as agências operadoras ou partes processadoras a processar dados, entrar no mercado na forma de produtos ou serviços e fornecê-los às partes de aplicativos.
Desde 2023, sob a orientação dos "Vinte Artigos sobre Dados", várias localidades implementaram ativamente medidas direcionadas. Primeiro, Hangzhou, Jinan, Qingdao, Wuhan, Yantai, Zhengzhou e outros lugares emitiram sucessivamente medidas de gerenciamento de operação de autorização de dados públicos para promover o estabelecimento de um mecanismo de trabalho. Em segundo lugar, Henan, Fujian, Hubei, Hunan, Suzhou e outros lugares estabeleceram sucessivamente empresas locais de grupos de dados como entidades de mercado para realizar operações autorizadas para promover o desenvolvimento integrado e a utilização de dados públicos e dados sociais.
Autoridades do setor, como o Ministério de Recursos Humanos e Previdência Social, a Administração de Aviação Civil e a Suprema Lei, também realizaram explorações baseadas no setor, formando produtos e serviços como cartões eletrônicos de previdência social, viagens aéreas e serviços judiciais de big data redes, proporcionando novas oportunidades para a liberação de valor de dados públicos.
Mas até agora, os dados públicos ainda não formaram um mecanismo unificado de operação autorizada. Existem riscos e desafios na prática. Ainda é necessário explorar um sistema padrão e normativo mais completo e promover o desenvolvimento padronizado a partir das perspectivas das capacidades do sujeito operacional, tecnologia da plataforma operacional e resultados operacionais.
Palavra-chave nove
Avaliação de risco de segurança de dados, um ponto de partida importante para a governança de segurança de dados
A evolução contínua do desenvolvimento orientado para o mercado de elementos de dados aumentou continuamente os requisitos para os recursos da base de segurança de dados. A avaliação de riscos de segurança de dados é um elo fundamental para melhorar as capacidades de governança de segurança de dados. Por um lado, é impulsionada por várias políticas nacionais e atrai a atenção. Uma pergunta obrigatória no desenvolvimento saudável da digitalização dos negócios. Portanto, a avaliação de risco de segurança de dados está se tornando um ponto de partida importante para a governança de segurança de dados, e o país também fez explorações correspondentes no trabalho de padronização e diretrizes práticas. Anteriormente, o CAICT também propôs uma estrutura de avaliação de risco de segurança de dados com base na segurança de gerenciamento do sistema, segurança de dados do sistema e segurança de aplicativos do sistema para ajudar as empresas a evitar riscos de segurança de dados.
palavra-chave dez
Saída de dados, três caminhos da teoria à prática
Com a implementação oficial das "Medidas Contratuais Padrão para Exportação de Informações Pessoais no Exterior" em 1º de junho de 2023, o tema da exportação de dados voltou a gerar discussões acaloradas. Desde que a Administração do Ciberespaço da China emitiu a primeira edição das "Diretrizes para a Declaração de Avaliação de Segurança de Exportação de Dados", várias províncias e cidades acompanharam e responderam ativamente, realizando atividades de interpretação ou emitindo diretrizes de declaração local, explorando caminhos práticos para o bom desenvolvimento do trabalho de avaliação das exportações. Ao mesmo tempo, a certificação de proteção de informações pessoais e medidas contratuais padrão para a exportação de informações pessoais também chamaram a atenção do público. Cada uma das três rotas de saída possui cenários aplicáveis e se complementam, fornecendo orientação para a implementação do trabalho de saída de dados.
Finalmente, pode-se concluir que as dez principais palavras-chave de big data em 2023 cobrem todos os aspectos da liberação de valor de elementos de dados, como política, conceito, segurança, tecnologia etc., indicando que a indústria de big data do meu país formou uma orientação política , conceito em primeiro lugar, suporte técnico e segurança. Acompanhe o padrão de desenvolvimento saudável.
Editor: Wen Jing
