Huawei Cloud OBS ajuda no encaminhamento e armazenamento de dados IoT

Wuhan Yuan Chuanghui retorna, vamos falar sobre modelos grandes em 20 de abril”

Este artigo foi compartilhado pela Huawei Cloud Community " Desbloqueando um novo domínio de gerenciamento de dados IoT: Huawei Cloud OBS ajuda encaminhamento e armazenamento de dados [Jogue com Huawei Cloud IoT com zero código e zero hardware] ", autor: Y-StarryDreamer.

1. Introdução ao contexto

O rápido desenvolvimento da tecnologia da Internet das Coisas (IoT) está impulsionando a chegada de uma sociedade inteligente. Nesta era digital, com o número crescente de dispositivos IoT e o rápido crescimento da escala de dados, como armazenar e gerir eficazmente estes dados massivos tornou-se um desafio importante. Como fornecedora líder de serviços de computação em nuvem, a Huawei Cloud responde ativamente a esse desafio e fornece aos usuários uma variedade de soluções de IoT, incluindo Object Storage Service (OBS).

Como um serviço de armazenamento em nuvem altamente escalável, seguro e confiável, o OBS oferece aos usuários soluções de armazenamento de dados flexíveis e eficientes. Ele adota uma arquitetura de armazenamento distribuído que pode facilmente lidar com as necessidades de armazenamento de dados massivos e fornece uma variedade de funções de proteção de dados e controle de segurança para garantir que os dados do usuário estejam seguros e confiáveis.

Em aplicações IoT, o armazenamento e o gerenciamento de dados a longo prazo são cruciais. Os métodos tradicionais de armazenamento de dados geralmente exigem que os próprios usuários construam e mantenham servidores, o que é caro e complexo de gerenciar. O encaminhamento de dados para o OBS tornou-se uma solução mais conveniente e econômica. Ao armazenar dados no OBS, os usuários podem aproveitar ao máximo sua alta confiabilidade e baixo custo sem se preocupar com perda de dados ou espaço de armazenamento insuficiente. Ao mesmo tempo, o OBS também fornece funções avançadas de gerenciamento e análise de dados para ajudar os usuários a compreender e utilizar melhor os dados para apoiar decisões de negócios.

Neste artigo, iremos nos aprofundar em como encaminhar os dados relatados pelos dispositivos em nuvem da Huawei para o OBS para armazenamento de longo prazo. Primeiro, apresentaremos como criar um bucket de OBS e discutiremos detalhadamente o processo de criação do bucket e as opções de configuração relacionadas. A seguir, nos concentraremos em como configurar serviços de acesso a dispositivos, incluindo etapas como a criação de regras de encaminhamento de dados e a definição de metas de encaminhamento. Por fim, demonstraremos, por meio de operações práticas, como verificar a eficácia do encaminhamento de dados e como usar ferramentas de gerenciamento de ORG para visualizar e gerenciar os dados armazenados.

Ao ler este artigo, os leitores terão uma compreensão abrangente dos cenários de aplicação e vantagens do OBS nas soluções Huawei Cloud IoT e dominarão o método de operação de encaminhamento de dados do dispositivo para o OBS para armazenamento de longo prazo, fornecendo assim suporte técnico e suporte para o guia de desenvolvimento e implantação de aplicativos IoT.

2. Introdução ao serviço de armazenamento de objetos (OBS)

Object Storage Service (OBS) é um serviço de armazenamento em nuvem altamente confiável, seguro e confiável fornecido pela Huawei Cloud. OBS adota uma arquitetura distribuída e possui características de alta disponibilidade, alta confiabilidade e alta escalabilidade. Os usuários podem facilmente fazer upload, download e gerenciar dados armazenados no OBS por meio de uma interface API simples ou console de gerenciamento.

Os principais recursos do OBS incluem:

Alta confiabilidade e disponibilidade : OBS usa armazenamento multicópia e mecanismos inteligentes de recuperação de desastres para garantir a segurança e confiabilidade dos dados. Seja uma falha de hardware, falha de rede ou outra situação anormal, o OBS pode garantir a persistência e disponibilidade dos dados, garantindo que os dados do usuário possam ser acessados a qualquer momento.
Funções poderosas de gerenciamento de dados : OBS fornece funções avançadas de gerenciamento de dados, incluindo classificação de dados, gerenciamento do ciclo de vida, migração de dados, etc. Os usuários podem gerenciar e organizar com flexibilidade os dados armazenados no OBS de acordo com suas necessidades de negócios, melhorando assim o valor e a eficiência de utilização dos dados.
Gerenciamento flexível de buckets : os usuários podem criar e gerenciar vários buckets de acordo com suas próprias necessidades e controlar as permissões nos buckets. Cada bucket possui um namespace independente e uma política de controle de acesso. Os usuários podem configurar e gerenciar o bucket de acordo com as condições reais para garantir a segurança e a privacidade dos dados.

OBS desempenha um papel importante no ecossistema Huawei Cloud, fornecendo aos usuários soluções de armazenamento de dados eficientes e confiáveis que são amplamente utilizadas em vários cenários, incluindo backup de dados, arquivamento, armazenamento multimídia, etc. Sejam usuários individuais, corporativos ou desenvolvedores, eles podem usar o OBS para armazenar e gerenciar dados facilmente, apoiando melhor o desenvolvimento de negócios e aplicações inovadoras.

3. Crie um intervalo de ORG

Antes de encaminhar os dados relatados pelo dispositivo para o OBS, primeiro você precisa criar um bucket do OBS. Os buckets OBS são a unidade básica para armazenar dados. Os usuários podem criar vários buckets de acordo com suas próprias necessidades e configurar e gerenciar cada bucket.

Etapas para criar um intervalo de OBS:

Faça login no site oficial da Huawei Cloud e acesse o serviço de armazenamento de objetos

Abra seu navegador, acesse o site oficial da Huawei Cloud e faça login em sua conta. Encontre e clique no link "Serviço de armazenamento de objetos" no console para entrar na página do serviço OBS.
Entre no console de gerenciamento do serviço de armazenamento de objetos

Na página do serviço OBS, você verá um botão “Entrar no console”. Clicar neste botão o levará à página do console de gerenciamento do serviço de armazenamento de objetos.
Crie um novo intervalo de ORG

No canto superior direito da página do console de gerenciamento, você encontrará o botão “Criar Bucket”. Clique neste botão e o sistema irá guiá-lo até a interface para criar um bucket de OBS.
Preencha as informações de configuração do bucket

Na interface de criação de bucket, você precisa preencher algumas informações de configuração sobre o novo bucket, incluindo nome do bucket, região, tipo de armazenamento, etc. Escolha a opção de configuração apropriada com base nas suas necessidades e cenários de aplicação.
Confirme e crie

Depois de preencher as informações de configuração do bucket, você poderá visualizar a configuração do bucket criado. Após confirmar que tudo está correto, clique no botão “Criar agora” e o sistema começará a criar um novo bucket de OBS.
Aguarde a conclusão da criação

O processo de criação de um bucket pode levar algum tempo, dependendo da configuração escolhida e da carga atual do sistema. Aguarde pacientemente até que o sistema avise que a criação do bucket foi concluída.

4. Configure o serviço de acesso ao dispositivo

Neste artigo, apresentaremos em detalhes como usar o código Python para encaminhar os dados relatados pelo dispositivo para o Huawei Cloud Object Storage Service (OBS) para armazenamento de longo prazo. Combinaremos código de amostra e explicações detalhadas para ajudar os leitores a compreender completamente o processo de implantação e os detalhes da implementação do código.

* Configurar o serviço de armazenamento de objetos em nuvem da Huawei (OBS)

Primeiro, precisamos criar um bucket do Object Storage Service (OBS) na Huawei Cloud Platform para armazenar os dados relatados pelo dispositivo. No console do Huawei Cloud, entre na página de gerenciamento do serviço de armazenamento de objetos e siga as etapas a seguir para criar um bucket de OBS:

Clique em "Entrar no console" para entrar no console de gerenciamento do serviço de armazenamento de objetos.
Clique no botão “Criar bucket” no canto superior direito da página.
Selecione as especificações do bucket e os itens de configuração de acordo com suas necessidades e clique no botão "Criar agora" para criar um novo bucket OBS.

*Escrever código de implantação Python

A seguir, escreveremos o código Python para implementar a função de encaminhamento de dados do dispositivo para o bucket OBS. A seguir está uma explicação detalhada do código e do processo de implantação:

registro de importação
de obs importar ObsClient

# Configurar parâmetros do Huawei Cloud OBS
access_key_id = 'seu_access_key_id'
secret_access_key = 'sua_secret_access_key'
server = 'your_obs_server' # O endereço do serviço OBS, por exemplo: obs.cn-north-4.myhuaweicloud.com

#Configurar informações de acesso ao dispositivo
device_id = 'seu_dispositivo_id'
device_secret = 'seu_dispositivo_secret'

#Configurar regras de encaminhamento de dados
topic = 'your_topic' # Tópico de dados relatado pelo dispositivo
obs_bucket = 'your_obs_bucket' # nome do intervalo OBS

#Registro de configuração
logging.basicConfig(nível=logging.INFO)

#Criar cliente OBS
obs_client = ObsClient(access_key_id, secret_access_key, servidor)

#Crie um serviço de acesso a dispositivos e simule dados de relatórios de dispositivos
def report_data_to_obs(dados):
    tentar:
        #Reportar dados para OBS
        resposta = obs_client.putContent(obs_bucket, tópico, dados)
        se resposta.status <300:
            logging.info("Dados relatados ao OBS com sucesso.")
        outro:
            logging.error("Falha ao relatar dados ao OBS. Código de status: %d" % response.status)
    exceto Exceção como e:
        logging.error("Ocorreu um erro ao reportar dados ao OBS: %s" % str(e))

# Simule dados de relatórios do dispositivo
def simular_device_data():
    data = {'temperatura': 25, 'umidade': 60, 'pressão': 1013} # Simula os dados relatados pelo dispositivo
    report_data_to_obs(dados)

se __nome__ == "__main__":
    simular_device_data()

No código acima:

Usamos um pacote para interagir com o Object Storage Service (OBS) da Huawei Cloud, certifique-se de ter o pacote instalado. obs
Substitua os parâmetros e no código pelas informações específicas da sua conta Huawei Cloud OBS. access_key_idsecret_access_key server
report_data_to_obs A função é usada para fazer upload dos dados relatados pelo dispositivo para o intervalo de ORG especificado.
simulate_device_data A função é usada para simular os dados relatados pelo dispositivo. Você pode alterar o conteúdo dos dados de acordo com a situação real.

* Implantar e executar código

Depois de configurar os parâmetros no código e salvá-lo, você pode implantar o código em seu servidor ou ambiente local e executar o script Python. Após a execução, você verá informações de sucesso ou falha impressas no log e se os dados foram carregados com sucesso no bucket do ORG.

Através das etapas acima, você encaminhou com êxito os dados relatados pelo dispositivo para o Huawei Cloud Object Storage Service e conseguiu o armazenamento dos dados a longo prazo. Esta solução pode ajudá-lo a gerenciar e analisar grandes quantidades de dados de IoT e fornecer suporte de dados confiável para seus aplicativos. Podemos compreender claramente a estrutura de todo o código e as funções de cada parte. Este código implementa a função de encaminhamento de dados relatados pelo dispositivo para o Huawei Cloud Object Storage Service. Por meio de configuração e invocação razoáveis, armazenamento e gerenciamento confiáveis de dados podem ser alcançados em aplicativos IoT.

5. Operação de verificação

Depois de configurar e ativar as regras de encaminhamento de dados, você precisa verificar se o encaminhamento de dados foi bem-sucedido e garantir que os dados relatados pelo dispositivo possam ser armazenados corretamente no bucket de ORG especificado.

Etapas para verificar o encaminhamento de dados:

Relate dados usando um dispositivo ou simulador real

Primeiro, você pode relatar dados por meio de um dispositivo real ou simulado para verificar se a função de encaminhamento de dados funciona corretamente. Certifique-se de que o dispositivo possa se conectar ao serviço de acesso ao dispositivo normalmente e reportar dados com sucesso. Você pode usar o identificador exclusivo de um dispositivo (como um ID do dispositivo) para garantir que os dados sejam identificados e processados corretamente.

Consultar dados relatados

Faça login no console de gerenciamento de OBS da Huawei Cloud e selecione o bucket de OBS correspondente no console para visualizar a lista de objetos ou detalhes do objeto no bucket. Você poderá ver objetos no bucket que correspondam aos dados relatados pelo dispositivo. Confirme se a lista de objetos contém os objetos de dados que você espera armazenar e se o conteúdo dos objetos é consistente com os dados relatados pelo dispositivo.

Através das etapas acima, você pode verificar se a função de encaminhamento de dados está normal e garantir que os dados relatados pelo dispositivo possam ser armazenados com sucesso no bucket OBS designado. Se você conseguir encontrar e confirmar os dados relatados pelo dispositivo no bucket do OBS, a função de encaminhamento de dados foi configurada com sucesso e está funcionando corretamente.

Veja a seguir um exemplo de código para verificar o encaminhamento de dados usando o Python SDK:

de obs importar ObsClient

#Initialize ObsClient
obs_client = ObsCliente(
    access_key_id='seu_access_key_id',
    secret_access_key='sua_secret_access_key',
    server='your_obs_endpoint' # O endpoint do serviço OBS, como obs.cn-north-1.myhuaweicloud.com
)

#Consulte a lista de objetos no bucket especificado
def list_objects(bucket_name):
    tentar:
        resp = obs_client.listObjects(bucket_name)
        se resp.status == 200:
            retornar resp.body.contents
        outro:
            imprimir(f'Erro: {resp.status}')
            retornar Nenhum
    exceto Exceção como e:
        imprimir(f'Erro: {e}')
        retornar Nenhum

# Consulta os detalhes do objeto especificado
def get_object_detail(bucket_name, object_key):
    tentar:
        resp = obs_client.getObjectMetadata(bucket_name, object_key)
        se resp.status == 200:
            retornar resp.body
        outro:
            imprimir(f'Erro: {resp.status}')
            retornar Nenhum
    exceto Exceção como e:
        imprimir(f'Erro: {e}')
        retornar Nenhum

se __nome__ == "__main__":
    # Especifique o nome do bucket OBS e a chave do objeto (chave) relatada pelo dispositivo
    bucket_name = 'seu_obs_bucket_name'
    object_key = 'seu_object_key'

    #Query lista de objetos
    objetos = list_objects(bucket_name)
    se objetos:
        print(f'Objetos no bucket {bucket_name}: {objects}')

        # Consultar detalhes do objeto
        object_detail = get_object_detail(bucket_name, object_key)
        se objeto_detalhe:
            print(f'Detalhe do objeto: {object_detail}')
        outro:
            print(f'Falha ao obter detalhes do objeto para a chave {object_key}')
    outro:
        print(f'Falha ao listar objetos no bucket {bucket_name}')

No código acima você precisa substituir o seguinte:

your_access_key_id: Seu ID da chave de acesso à nuvem da Huawei.
your_secret_access_key: Sua chave de acesso secreta da Huawei Cloud.
your_obs_endpoint: o ponto final do seu serviço ORG, como obs.cn-north-1.myhuaweicloud.com.
your_obs_bucket_name: o nome do seu intervalo de ORG.
your_object_key: a chave do objeto relatada pelo dispositivo, usada para consultar detalhes do objeto.

A execução do código acima consultará a lista de objetos no bucket especificado e obterá os detalhes do objeto especificado para verificar se o encaminhamento de dados foi bem-sucedido.

6. Melhores práticas e considerações

Ao encaminhar dados para o OBS, existem algumas práticas recomendadas e precauções que precisam ser observadas:

Melhores Práticas

Criptografia e segurança de dados :

Para dados confidenciais, é recomendado criptografar os dados durante a transmissão para garantir a segurança dos dados. Você pode usar protocolos de criptografia seguros, como HTTPS, para proteger os dados durante a transmissão.

Gerenciamento do ciclo de vida dos dados :

De acordo com o ciclo de vida dos dados e as necessidades do negócio, defina razoavelmente o período de armazenamento e a política de expiração dos dados para evitar o armazenamento de dados expirados ou inúteis. Revise e limpe regularmente os dados que não são mais necessários para liberar espaço de armazenamento e reduzir custos de armazenamento.

Monitoramento e alarme :

Recomenda-se monitorar e alarmar o processo de encaminhamento e armazenamento de dados, detectar e tratar situações anormais em tempo hábil e garantir a confiabilidade e estabilidade dos dados. Você pode definir indicadores de monitoramento e regras de alarme, monitorar o status e o desempenho do encaminhamento de dados e tomar medidas oportunas para resolver problemas.

Precauções

Configurações de permissão de bucket :

Ao criar um bucket, você precisa definir as permissões e políticas de acesso do bucket de acordo com as necessidades reais para garantir a segurança e a conformidade dos dados. Você pode restringir o acesso a um bucket para permitir que apenas usuários ou entidades específicas acessem o bucket e adotar políticas de controle de acesso para proteger os dados no bucket.

Seleção de região :

Ao definir o destino de encaminhamento, você precisa selecionar a mesma região do serviço ORG para garantir que os dados possam ser encaminhados e armazenados no intervalo de ORG especificado sem problemas. Selecionar a mesma área pode reduzir o atraso na transmissão de dados e melhorar a eficiência e a confiabilidade da transmissão de dados.

7. O fim

Este artigo detalha como encaminhar os dados relatados pelos dispositivos em nuvem da Huawei para o Object Storage Service (OBS) e destaca a importância e as vantagens desta operação. Ao armazenar dados no OBS, os usuários ganham as seguintes vantagens:

Alta confiabilidade e segurança : OBS adota arquitetura distribuída e armazenamento multicópia para garantir a segurança e confiabilidade dos dados. Ele também fornece funções de segurança, como criptografia de dados, para garantir a confidencialidade e integridade dos dados.
Armazenamento de dados de baixo custo : OBS fornece uma solução de armazenamento acessível. Os usuários só precisam pagar de acordo com a quantidade real de dados armazenados, evitando a necessidade de aquisição antecipada de equipamentos de armazenamento e custos de manutenção em soluções de armazenamento tradicionais.
Funções poderosas de gerenciamento de dados : O OBS fornece funções avançadas de gerenciamento de dados, incluindo classificação de dados, gerenciamento do ciclo de vida, migração de dados, etc., para ajudar os usuários a gerenciar e utilizar melhor os dados armazenados no OBS.

Ao encaminhar os dados relatados pelo dispositivo para o OBS, os usuários podem obter armazenamento e gerenciamento de dados de longo prazo, fornecendo suporte de dados estável e confiável para aplicativos. Portanto, encorajamos os leitores a experimentar e explorar mais métodos de armazenamento e gerenciamento de dados para melhorar a eficiência e a confiabilidade dos aplicativos. Ao utilizar racionalmente os serviços de armazenamento em nuvem, os usuários podem lidar melhor com o crescente volume de dados e as necessidades complexas de gerenciamento de dados, fornecendo suporte mais forte para o desenvolvimento de aplicações IoT.

Clique para seguir e conhecer as novas tecnologias da Huawei Cloud o mais rápido possível~