Fonte: Rede Sete Trânsito See More
Zhang Yi | Autor
Ana | Editora
Baotu.com | fonte da imagem de cabeçalho
Nota do Editor: Em 25 de julho, no Simpósio de Tecnologia "Data Brain" em Transporte organizado pela Academia de Ciências do Ministério dos Transportes e Rede de Transporte Saiwen, Zhang Yi, Diretor do Centro de Informação de Transporte de Xangai da Construção Urbana e Rural de Xangai e Instituto de Pesquisa de Desenvolvimento de Transporte Fez um relatório sobre "A trindade de" quantidade, qualidade e uso "promove o desenvolvimento do cérebro de dados de tráfego de Xangai".
O relatório apresenta o processamento de dados de tráfego e a prática de aplicação em Xangai a partir dos três aspectos de quantidade, qualidade e aplicação de dados de tráfego. Em termos de "quantidade" de dados, a integração dos recursos de dados de tráfego é realizada pela coleta de dados de várias partes do setor; em termos de "qualidade" de dados, quatro razões para a atual baixa qualidade dos dados de tráfego são analisadas e uma proposta baseada no monitoramento do sistema, monitoramento de dados e métodos de padronização de dados, como monitoramento de instalações; em termos de "uso" de dados, concentra-se na análise da arquitetura do sistema da plataforma abrangente de informações de tráfego de Xangai e suas práticas de aplicação correspondentes.
1
A "quantidade" de dados é a base
A ideologia orientadora que o desenvolvimento do transporte inteligente de Xangai sempre seguiu é "apreender o status quo, descobrir as regras, induzir cientificamente e comandar com eficácia", enfatizando que a construção do sistema deve prestar atenção à eficácia das aplicações de dados.
Em poucas palavras, o transporte inteligente em Xangai passou por quatro estágios nos últimos 20 anos: o primeiro estágio é antes de 2003, que é considerado o estágio inicial; o segundo estágio é o estágio de desenvolvimento rápido e em larga escala de 2003 a 2010; a terceira etapa Da Expo Mundial de 2010 a 2015, pertence à fase de aplicação de big data no campo de transporte; a quarta etapa é de 2015 até o presente, que pertence à fase de desenvolvimento de integração de dados de tráfego "cérebro" e cidade inteligente.
A prática provou que aderir à ideologia orientadora, "realizar a construção de dados e focar na eficácia do aplicativo" é a principal linha para promover o desenvolvimento do transporte inteligente de Xangai.
Antes de 2003, o sistema de transporte inteligente de Xangai construía principalmente sistemas de negócios relativamente pequenos. Naquela época, ainda havia falta de volume de dados em grande escala, por isso era impossível falar sobre coleta e compartilhamento de dados.
De 2003 a 2010, para dar as boas-vindas à Expo Mundial de Xangai, Xangai iniciou um período de construção de sistema de informações de transporte em larga escala. Uma grande quantidade de coleta de dados, análise de mineração e aplicativos de negócios apoiaram fortemente a segurança do transporte da Expo Mundial. documentos escrevem: Xangai O sistema de transporte inteligente desempenhou um papel insubstituível na garantia de tráfego da Expo Mundial de Xangai 2010.
Beneficiando-se da experiência de aplicação abrangente da World Expo, desde 2011, ainda prestamos atenção à coleta contínua de recursos de dados, especialmente a coleta contínua de dados de Internet móvel, dados de operadoras e dados de campo cruzado, e o volume de dados no Shanghai A plataforma de informações abrangentes sobre transporte disparou.
É precisamente por causa da grande quantidade de dados que o Centro de Informações de Trânsito empreendeu o primeiro projeto de pesquisa de big data aprovado pelo governo chinês em 2012, construiu uma plataforma de big data de tráfego, lançou novos serviços, como previsão de tráfego em vias expressas urbanas e melhorou o tráfego big data. Capacite o comando de tráfego.
Ao mesmo tempo, o cálculo em tempo real e a análise de migração das viagens da população urbana com base em big data fornecem garantia de dados para o planejamento de tráfego e pesquisa de políticas de tráfego do Institute of Transportation após a fusão de instituições subsequentes.
Em 2015, o Centro de Informações de Tráfego de Xangai assumiu a liderança na implementação do projeto abrangente de aplicativo e serviço de informações de trânsito. O projeto não apenas capacita os departamentos de gerenciamento de tráfego em nível municipal para capacitar o gerenciamento de tráfego em nível distrital por meio de uma análise abrangente de recursos de dados; ele também está profundamente integrado ao "sistema de transporte urbano" da cidade e ao "sistema de transporte urbano" do distrito para capacitar um Gerenciamento de rede. Impulsionadas por novas tecnologias, como Internet móvel, pagamento móvel, computação em nuvem e inteligência artificial, as quatro novas economias floresceram em Xangai.
No campo do transporte, surgiram muitos novos requisitos de gerenciamento, como a supervisão do transporte on-line de carros, a supervisão de bicicletas compartilhadas e a supervisão de irmãos de entrega. Xangai deve assumir a liderança na proposição de soluções científicas para esses desafios.
Para isso, em 2019, construímos o sistema de plataforma de informações de estacionamento público de Xangai e a plataforma de supervisão de aluguel de bicicletas na Internet. Essas plataformas se tornaram referências para outras províncias e cidades aprenderem.
O Centro de Informações de Trânsito de Xangai está profundamente envolvido em quase todos os sistemas acima. Resumindo a experiência, podemos ver que a razão pela qual podemos alcançar resultados práticos é porque sempre consideramos os dados como elemento central e requisito básico, e sempre consideramos a qualidade dos dados como a linha vital do sistema, e nunca relaxaremos.
Por exemplo, a plataforma de estacionamento público de Xangai é baseada em “dados” e avalia os departamentos de gerenciamento distrital, empresas de estaleiros operacionais, fornecedores de equipamentos e comportamentos de estacionamento individuais e integra profundamente o gerenciamento de negócios com o sistema, refletindo efetivamente o valor dos recursos de dados do sistema de informações.
Para bicicletas compartilhadas, o problema da "última milha" da viagem é resolvido no nível do transporte, e uma grande quantidade de dados de viagem também é gerada; mas também traz problemas de gestão urbana. Como resolver os problemas de investimento excessivo e estacionamento aleatório de bicicletas compartilhadas, etc., os dados devem ser integrados ao "sistema de transporte urbano" e incorporados à gestão urbana.
Em 2022, o Projeto de Plataforma Refinada de Gestão Urbana de Xangai, lançado em Xangai, integrará totalmente vários dados para capacitar a governança urbana refinada e inteligente.
2
A "qualidade" dos dados
Os dados de tráfego naturalmente têm as características de big data, e a escala de dados é enorme, mas o feedback frequentemente ouvido é que a qualidade dos dados não é alta. As razões para a baixa qualidade dos dados podem ser resumidas em quatro razões: Primeiro, a qualidade dos dados gerados na própria fonte tem defeitos.A qualidade dos dados é difícil.
Em segundo lugar, é difícil encontrar e reparar problemas de qualidade de dados. Por exemplo, devido a falta de energia no campo, falha de comunicação, etc., é extremamente difícil reparar dados com um amplo alcance e longo prazo.
A terceira é que é difícil avaliar ou avaliar a qualidade dos dados. É difícil julgar a qualidade dos dados com um padrão unificado. Diferentes padrões de julgamento precisam ser propostos de acordo com diferentes requisitos de aplicação. Por exemplo, o trabalho de pesquisa na superfície pode ser apoiado por dados estatísticos. Mesmo que haja uma certa falta de dados, isso não afetará os resultados da pesquisa; mas para a pesquisa de "problema", é necessário prestar atenção ao "valor extremo dados". revelam o problema. Atualmente, o refinamento da gestão urbana deve se concentrar na pesquisa baseada em valores extremos.
Quarto, os dados de negócios gerados pelo sistema de negócios subjacente são difíceis de atender aos requisitos de qualidade de dados do departamento superior para supervisão e tomada de decisões abrangentes. Como o sistema de negócios é um sistema de função relativamente única, a supervisão abrangente da camada superior, especialmente a tomada de decisão abrangente, precisa de suporte de dados abrangente. Ao tomar decisões abrangentes, o conteúdo de dados e os elementos de dados do sistema de negócios subjacente são incompleto O suporte carece de suporte efetivo.
Durante a construção do sistema e o gerenciamento diário da operação, deve-se prestar atenção ao monitoramento da operação do sistema e à avaliação da qualidade dos dados. Nosso relatório de estudo de viabilidade do projeto terá dois suportes principais para a expressão da estrutura geral do sistema: um é "normas e especificações" e o outro é "mecanismos institucionais".
Mas, na realidade, a construção do sistema geralmente ignora esse aspecto do trabalho. Como obter uma operação estável do sistema e qualidade de dados confiável? Muito trabalho meticuloso precisa ser feito e é necessário começar pelo monitoramento da qualidade dos dados e realizar um monitoramento abrangente do sistema.
Tomando como exemplo a Plataforma de Informações Abrangentes de Transporte de Xangai, monitoramos em tempo real o estado de saúde de cada dispositivo na sala de computadores, o progresso do software aplicativo, cada atualização de dados e sua mudança de qualidade, e ainda avaliamos a confiabilidade de cada dado registro. Se forem encontrados problemas de interrupção de dados ou de qualidade de dados, o aplicativo associado aos dados, o sistema de fonte de dados e sua unidade de gerenciamento de fonte de dados serão rastreados.
Por exemplo, o Shanghai Public Parking Information System avalia os fornecedores de equipamentos de estacionamento por meio da qualidade dos dados, levando os fabricantes a melhorar a qualidade do produto, melhorando assim a qualidade dos dados da indústria como um todo.
3
"uso" de dados
Depois de avaliar a qualidade dos dados, também é necessária uma pós-avaliação da qualidade dos dados por meio da aplicação dos dados. Por exemplo, Shanghai Pudong New Area tem uma grande área geográfica e muitos sistemas inteligentes de gerenciamento de tráfego, a fim de orientar melhor o desenvolvimento de acompanhamento.
Este ano, o departamento de transporte da Nova Área de Pudong contratou o Shanghai Transportation Information Center e o Tongji Design Institute para realizar uma avaliação geral de seu sistema de transporte inteligente. Este trabalho ainda está intimamente relacionado à qualidade dos dados e seu efeito de aplicação de suporte, e realiza avaliação de dados, aplicação de dados e avaliação de saúde de instalações externas.
Obviamente, todos os aplicativos devem ter uma arquitetura de sistema confiável e estável. De acordo com as necessidades de nosso próprio negócio, nossa equipe projetou e construiu uma arquitetura de sistema que atende às nossas próprias condições, que pode suportar bem nossos aplicativos de sistema.
O design da arquitetura do sistema também é baseado em diferentes requisitos de processamento de dados e adota diferentes soluções técnicas. A arquitetura da Plataforma de Informação Abrangente de Tráfego de Xangai é mostrada na figura, que inclui a camada de aquisição, camada de comunicação, camada de dados e camada de aplicação de baixo para cima.
Na camada de dados, o problema central é construir diferentes processos de armazenamento de acordo com a qualidade e as fontes de dados. Espera-se que o equipamento possa ser usado em grandes quantidades e que o sistema seja estável. Espera-se também que os requisitos relacionados ser maior. Pode ser resumido como "pequeno núcleo, grande periférico".
"Pequeno núcleo" refere-se ao banco de dados principal de nível superior. Sob a premissa de satisfazer todas as funções de negócios, a lógica de processamento de dados é minimizada, especialmente para negócios analíticos pesados. banco de dados ORACLE), possui recursos de processamento de transações on-line rápido, tipo acesso comercial, alta disponibilidade e balanceamento de carga.
A "grande periferia" é uma ramificação em estrela, incluindo uma arquitetura de processamento distribuído, um banco de dados na memória e um farm leve de servidores de banco de dados/processamento.
O HADOOP+SPARK é usado para processar serviços analíticos full-scan, nos quais o próprio MAP/REDUCE do HADOOP é substituído pelo mecanismo de computação de memória SPARK para obter maiores ganhos de desempenho; o banco de dados de memória TIMESTEN é usado para processar serviços de streaming com grande quantidade de dados, e cada Cada ciclo precisa processar uma grande quantidade de dados em tempo real, e apenas os dados do ciclo mais recente ou vários ciclos são sempre mantidos na memória para reciclagem; o banco de dados leve Mysql é usado para serviços de dados com negócios relativamente simples lógica de processamento, mas processamento de throughput de E/S relativamente grande, como verificação e limpeza de dados.
Além disso, usando o VMware vSphere para criar uma plataforma de virtualização, o banco de dados em memória, o banco de dados leve e o servidor de processamento são virtualizados para fornecer serviços, e a plataforma de virtualização é usada para fornecer recursos de alta disponibilidade, balanceamento de carga e expansão horizontal. O uso do KAFKA CLUSTER como barramento de comunicação de dados simplifica o gerenciamento da interface de comunicação e melhora a capacidade de expansão horizontal e alta disponibilidade.
Atualmente, a arquitetura é usada há mais de 10 anos e o sistema é estável e confiável, o que atende bem às necessidades de coleta e análise de dados do Centro de Informações de Tráfego de Xangai. Atualmente, os dados de tráfego do Shanghai Traffic Information Center têm principalmente as seguintes aplicações:
(1) Monitoramento em tempo real: Ao nível do tráfego, inclui monitoramento em tempo real do tráfego rodoviário, transporte público e tráfego externo. Durante o monitoramento, calcula automaticamente anomalias de tráfego; pré-implementação e pós-avaliação de políticas de tráfego.
Por exemplo, usamos a análise de dados para avaliar a política de Xangai sobre veículos de marcas estrangeiras, a via expressa Wuning Road de Xangai e outras medidas de mitigação de congestionamento. Os dados mostram que o tempo limite para o efeito de mitigação de congestionamento é de cerca de 2 meses, ou seja, após a implementação da política de mitigação de congestionamento por 2 meses, o congestionamento retornará ao estado de congestionamento original.
(2) Avaliação do transporte público: A segunda aplicação é a avaliação do transporte público.A Academy of Transportation Sciences promove o desenvolvimento prioritário do transporte público na perspectiva do Ministério das Comunicações. O Shanghai Transportation Information Center também realizou avaliações sobre fornecimento de infraestrutura de transporte público, projeto de rede, eficiência operacional, economia corporativa, segurança e proteção ambiental, etc.
(3) Avaliação de sinal: O sistema de controle de luz de sinal de interseção é uma ferramenta poderosa para garantir estradas suaves e ordenadas. Usando dados de várias fontes, como veículos flutuantes GPS e SCATS, o Centro de Informações de Tráfego de Xangai realizou a análise e avaliação do sistema de controle de semáforo em Xangai. O sistema pode avaliar os prós e contras do sistema de sinalização em cada interseção em tempo real e possíveis soluções de otimização.
Existem três tecnologias principais envolvidas no sistema de avaliação de sinal: sistema de aplicação de dados e tecnologia de colaboração de serviço, tecnologia de imagem holográfica de congestionamento de interseção e tecnologia de avaliação inteligente de controle de interseção. Essas tecnologias devem ter uma maior garantia de qualidade de dados.
(4) Serviços sociais: Xangai é a primeira cidade na China a desenvolver serviços de estação de transmissão de informações de trânsito. Informações oportunas e precisas são a base para o desenvolvimento de serviços de informações de trânsito.
Para este fim, desenvolvemos o sistema de transmissão de informações da Estação de Rádio de Trânsito de Xangai, que fornece informações de trânsito em tempo real e ricas para o serviço de viagens da estação de trânsito. Quando o sistema é projetado, de acordo com as diferenças nas necessidades dos viajantes para diferentes níveis de informação, as informações relacionadas a viagens são classificadas e definidas e diferentes frequências de transmissão são usadas para garantir a qualidade dos serviços de informações de tráfego de rádio.
(5) Gerenciamento da indústria: Para permitir que os dados capacitem o gerenciamento de tráfego em nível distrital, o Centro de Informações de Tráfego de Xangai desenvolveu uma plataforma de gerenciamento de tráfego integrada ao centro de transporte urbano distrital para os distritos de Xuhui, Huangpu, Changning, Jing'an Distrito e distrito de Yangpu, que não apenas reduz O investimento nas instalações de coleta de campo do governo distrital pode atender aos requisitos de transformação digital em nível municipal, como "um mapa" e "um código" na cidade. Ao mesmo tempo , a qualidade dos dados do sistema de informação municipal pode ser testada por meio de aplicativos distritais.
Conforme mostrado na figura, a Plataforma de Comando e Julgamento da Polícia de Trânsito do Distrito de Xuhui de Xangai e a Plataforma de Análise Abrangente de Tráfego da Comissão de Construção e Comunicações do Distrito de Xuhui, apoiada por dados de nível municipal, realizaram o compartilhamento e troca de dados de nível distrital na aplicação.
(6) Aplicação abrangente: a aplicação abrangente entre departamentos é a pedra de toque para testar os dados. Em 2022, o controle da epidemia em Xangai será efetivamente controlado. De que direção a retomada do transporte público deve ser retomada?
A pedido da Comissão Municipal de Transportes, fizemos uma análise da alocação do transporte público para a retomada do trabalho e da produção com base nos infectados e nos dados populacionais da comunidade. O departamento de transporte e o departamento de proteção ambiental de Xangai cooperaram ativamente para realizar o monitoramento da poluição de fontes móveis de veículos motorizados e a pesquisa de políticas de "carbono duplo" e alcançaram bons resultados.
