Resumen
Este artículo presenta principalmente la arquitectura de big data del sistema SCADA de almacenamiento de energía compartido, cómo utilizar Honghu para optimizar mejor las funciones del sistema SCADA y cómo capacitar a los usuarios con análisis de datos de autoservicio.
1. Introducción al almacenamiento de energía compartido
Cuando se trata de almacenamiento de energía compartido, es posible que muchos de ustedes no estén familiarizados con él. Presentemos brevemente el valor del almacenamiento de energía compartido y su futura dirección de desarrollo tecnológico.
1.1 El valor del almacenamiento de energía compartido
La tecnología de almacenamiento de energía tiene un gran valor. Hay cuatro funciones básicas del almacenamiento de energía: una es la reducción de picos y el llenado de valles, la otra es la sincronización virtual, la tercera es la controlabilidad precisa y la cuarta es la respuesta a los comandos de la red y el control de carga. El modelo de negocio de almacenamiento de energía se utilizó originalmente en el lado del suministro de energía, que se instaló en el lado del suministro de energía, pero en junio de 2019 se trasladó al lado de la red y se distribuyó por la red, lo que se denomina almacenamiento de energía compartido. el almacenamiento de energía compartido es enviado por la red.
El modelo de negocio de "almacenamiento de energía compartido" tiene plenamente en cuenta las necesidades de todas las partes.
Desde un punto de vista internacional, Tesla implementará un total de 4 GWh en proyectos de almacenamiento de energía en 2021, y su objetivo de 1.500 GWh en 2030 se ha multiplicado por 375 en comparación. Dado que la demanda del mercado sigue superando la capacidad de producción, el crecimiento del negocio de almacenamiento de energía de Tesla todavía está limitado por los desafíos de la cadena de suministro.
En 2020, el sitio web oficial de Tesla en EE. UU. lanzará oficialmente el sistema de almacenamiento de energía de batería de grado industrial Megapack. El precio comienza en $ 1 millón y solo se vende a empresas, pero aún se vende muy bien. En la conferencia telefónica sobre resultados del segundo trimestre de ese año, Musk reveló que la capacidad de producción de Megapack para finales de 2022 se ha agotado.
A nivel nacional, el 21 de abril de 2021, la Comisión Nacional de Desarrollo y Reforma y la Administración Nacional de Energía emitieron las "Opiniones orientativas sobre la aceleración del desarrollo de nuevo almacenamiento de energía (borrador para comentarios)" (en adelante, el "borrador para comentarios") . El "Borrador para comentarios" propone que para 2025 se realizará la transformación del nuevo almacenamiento de energía desde la etapa inicial de comercialización al desarrollo a gran escala, y la capacidad instalada de nuevo almacenamiento de energía alcanzará más de 30 millones de kilovatios.
Para 2030, lograr el desarrollo integral del mercado de nuevo almacenamiento de energía.
La siguiente figura muestra el pronóstico de Bloomberg sobre la capacidad instalada de varios países en el futuro mercado de almacenamiento de energía compartido. Podemos ver que ya sea China o Estados Unidos, el futuro mercado de almacenamiento de energía será de al menos un billón de niveles, y el techo es lo suficientemente alto. En esta era de nueva energía, el almacenamiento compartido de energía se ha convertido en un elemento básico del nuevo sistema energético.
(Fuente: Bloomberg)
1.2 El almacenamiento de energía en baterías es el futuro del desarrollo tecnológico
En términos generales, el almacenamiento de energía compartido actualmente incluye el almacenamiento de energía mecánica, el almacenamiento de energía electromagnética y el almacenamiento de energía en baterías (también llamado electroquímico). En la siguiente tabla, podemos ver que la tecnología de almacenamiento de energía basada en baterías de litio tiene ventajas obvias y también es la corriente principal del almacenamiento de energía compartido en la actualidad y en el futuro.
Otros incluyen el almacenamiento de energía de aire comprimido, el almacenamiento de energía de condensadores de alta energía, el almacenamiento de energía de baterías de flujo líquido, el almacenamiento de energía de baterías de sodio-azufre, el almacenamiento de energía de baterías de plomo-ácido, etc. Debido a diversas razones, como limitaciones geográficas y baja energía específica, No es una tecnología convencional de la industria. Nuestro sistema SCADA de almacenamiento de energía compartido también se basa principalmente en el almacenamiento de energía compartido de baterías de litio.
2. Sistema SCADA tradicional
El llamado sistema de adquisición de datos SCADA (Supervisor Control And Data Acquisition) es un sistema de control integrado integral que integra tecnología de medición, tecnología informática y tecnología de comunicación, que puede realizar un monitoreo central en tiempo real y una programación de gestión de sistemas de almacenamiento de energía compartidos.
En la siguiente figura se muestra un SCADA típico, que se divide en un terminal de estación y un terminal de gestión. Lado de la estación: consta principalmente de tres partes: computadora inferior, red de comunicación y computadora superior. Terminal de gestión: generalmente incluye aplicaciones de preadquisición y SCADA.
Dado que la cantidad de datos que enfrentaban los primeros sistemas SCADA era relativamente pequeña, la mayoría de ellos usaban arquitectura independiente o C/S y generalmente usaban bases de datos relacionales, como MySQL, SQL Server, etc., para el almacenamiento. Con el aumento de los datos recopilados, dicho sistema no puede guardar datos durante mucho tiempo y establecerá una estrategia regular de limpieza de datos durante varios meses. Si se requiere un análisis comparativo de datos a largo plazo, será difícil satisfacer la demanda.
El siguiente es un sistema SCADA tradicional utilizado por nuestros clientes:
3. Sistema SCADA de almacenamiento de energía compartido basado en plataforma de big data
Con la construcción de varias nuevas plantas de energía (eólica y solar), la capa de recopilación de datos de la planta de energía tiene las características de una gran recopilación de datos y una alta frecuencia de recopilación. La base de datos histórica inevitablemente formará big data de almacenamiento de energía complejos y heterogéneos. SCADA El sistema comenzó a enfrentar una serie de problemas, como actualización de la CPU de la computadora, memoria insuficiente, expansión del hardware de la computadora y aumento de costos. Los métodos tradicionales de procesamiento de datos son difíciles de procesar rápidamente big data masivos de almacenamiento de energía compartido.
Por lo tanto, nuestro cliente de almacenamiento de energía compartido propone construir un sistema SCADA de almacenamiento de energía compartido basado en una plataforma de big data.
3.1 Arquitectura general
En términos generales, una central eléctrica de almacenamiento de energía compartida se compone principalmente de equipos de transformación y distribución de energía, paquete de baterías de almacenamiento de energía, sistema de gestión de energía (EMS), sistema de gestión de batería (BMS), sistema de control de conversión de energía (PCS) y sistema SCADA.
Durante la construcción, considerando la complejidad del sistema de almacenamiento de energía compartido existente y la gran cantidad de puntos de recolección, adoptamos una base de datos de series de tiempo para el almacenamiento de datos principal. Además, el requisito general de un sistema de almacenamiento de energía compartido es que esté en un entorno cerrado y no pueda conectarse a Internet, por lo que utilizaremos un servidor horario basado en GPS (Beidou) para la sincronización horaria.
La siguiente figura es un diagrama esquemático de nuestro sistema SCADA de almacenamiento de energía compartido:
Para integrar de manera más conveniente algunas cajas de recolección estándar de terceros, utilizamos el protocolo MQTT como protocolo principal para la transmisión de datos, de modo que las cajas de recolección estándar de terceros solo necesitan configurarse brevemente para recopilar datos.
Para escribir programas de adquisición de manera más flexible, utilizamos el lenguaje Python para el desarrollo. Para la visualización y el análisis de datos, separamos el front-end y el back-end. El back-end se desarrolla utilizando el marco principal de Java Spring Boot y el front-end se desarrolla usando Vue.
3.2 Almacenamiento de datos
Los datos recopilados se almacenan principalmente en InfluxDB. Para algunos requisitos de informes especiales, periódicamente enviaremos datos ETL a la base de datos relacional MySQL.
Para la estructura de almacenamiento de InfluxDB, la eficiencia de algunas consultas será relativamente baja, por lo que se realizará un cálculo previo con anticipación para satisfacer las necesidades de un análisis de datos rápido. Por supuesto, este también es un requisito muy común para los sistemas de big data. Afortunadamente, InfluxDB proporciona la función Rollup, que se puede precalcular convenientemente de acuerdo con la precisión del muestreo y el método de agregación de datos escribiendo declaraciones SQL.
3.3 Disparos en vivo
Esta es la primera toma real de una central eléctrica de almacenamiento de energía compartida que utiliza nuestro sistema SCADA. La central eléctrica de almacenamiento de energía compartida básicamente tiene las funciones principales de una central eléctrica de almacenamiento de energía compartida común: reducción de carga, respuesta a los comandos de la red y control de cargas.
3.4 Interfaz del sistema
La siguiente figura es el diagrama principal del sistema de nuestra central eléctrica de almacenamiento de energía compartida. Todos los datos de la figura se recopilan y muestran en tiempo real. Además, según las necesidades de los clientes, se pueden realizar algunos controles simples de interacción del sistema directamente en el diagrama del sistema.
Generalmente, en la página de inicio del sistema SCADA de una central eléctrica de almacenamiento de energía compartida, los usuarios esperan ver la situación en tiempo real del sistema de almacenamiento de energía respondiendo al comando AGC de la computadora de la red, para analizar rápidamente el funcionamiento actual. potencia del sistema de almacenamiento de energía. La siguiente imagen es la página de inicio de un sistema SCADA típico que construimos:
4. Utilice Honghu para optimizar el sistema SCADA de almacenamiento de energía compartido
Después de enterarnos de que se lanzó un nuevo producto de big data en China, esperamos probarlo. Por supuesto, hemos considerado algunos otros productos antes, pero no hay ninguna mejora significativa en comparación con nuestra arquitectura existente en términos de precio y facilidad de uso. usar.
4.1 Nuestros puntos débiles
Aunque nuestros productos anteriores basados en la plataforma de big data han logrado grandes avances en comparación con el sistema SCADA tradicional original, todavía hay algunos aspectos insatisfactorios.
4.1.1 Falta de flexibilidad
Para el sistema SCADA de almacenamiento de energía compartido, además de tener la misma función de monitoreo que el sistema SCADA general, es más importante que el sistema SCADA de almacenamiento de energía compartido debe responder al orden de la red para controlar con precisión la salida del almacenamiento de energía. El sistema (es decir, el sistema de almacenamiento de energía que mencionamos anteriormente. Las dos últimas de las cuatro funciones básicas) proporciona servicios de análisis de datos y ayuda en la toma de decisiones.
Aproximadamente de 3 a 6 meses después de la finalización del sistema de almacenamiento de energía compartido, el algoritmo de respuesta al comando de la red se encuentra en el período de depuración. Para ajustar y optimizar el modelo de algoritmo, los ingenieros de energía y los ingenieros de algoritmos seguirán teniendo mucho trabajo. ideas temporales Cuando los datos cambien después del ajuste del algoritmo, los usuarios esperarán además que se presenten algunos indicadores nuevos o gráficos estadísticos.
Dado que todas las funciones de análisis estadístico deben implementarse con código Java, una vez que el usuario presenta más requisitos de análisis de datos, es necesario reprogramar los requisitos. Si existe una herramienta auxiliar de análisis de datos WYSIWYG, obviamente puede satisfacer mejor algunas necesidades de análisis temporales y exploratorios. Acelerar el progreso de depuración del modelo algorítmico del sistema de almacenamiento de energía compartido.
4.1.2 Dependencias ETL
Aunque nuestros datos de recopilación principales se guardan en InfluxDB, el volumen de datos de recopilación diaria actual de una central eléctrica de almacenamiento de energía es de aproximadamente 8 a 12 GB. En la actualidad, después de que construimos el primer sistema SCADA de central eléctrica de almacenamiento de energía compartido y lo ejecutamos durante un año, hay alrededor de 3 TB de datos acumulados. Es ineficiente consultar directamente a InfluxDB para algunos informes a través de SQL, por lo que extraeremos parte de los datos del informe estadístico de InfluxDB a MySQL a través de scripts ETL para cumplir con requisitos de informes y análisis relativamente complejos.
4.1.3 La expansión es cara
A medida que aumenta la cantidad de datos, si desea utilizar clústeres de InfluxDB en el futuro, el costo será bastante alto. Dado que la versión comunitaria de InfluxDB no admite el modo de clúster, preguntamos sobre InfluxDB Enterprise Edition que admite el modo de clúster desde los canales relevantes. Se dice que el precio puede llegar a un millón, lo que obviamente es inasequible para un sistema SCADA.
4.2 Comparación de selección
Según varios factores, como mejorar la flexibilidad, reducir la dependencia de ETL y costos razonables, preferimos ElasticSearch, Splunk y otros productos que pueden guardar el proceso ETL y modelar de manera más flexible. Recientemente aprendimos de amigos en la industria. Un equipo fuerte en China ha lanzado un producto mejor que Splunk: Honghu Community Edition, y no puedo evitar querer probarlo. Especialmente cuando vemos las características del modelado en tiempo de lectura y la aceleración vectorial de Honghu, obviamente puede resolver nuestros puntos débiles anteriores.
4.2.1 Modelado en tiempo de lectura
Según la explicación del documento oficial, el "modo de lectura" es una técnica para extraer campos útiles (campos) de datos sin procesar mientras se buscan datos. Dado que se puede omitir la parte ETL, esta tecnología puede reducir en gran medida la sobrecarga de la importación de datos. Esto es muy adecuado para algunas necesidades temporales y exploratorias de nuestros usuarios del sistema SCADA.
Especialmente cuando la recopilación de datos ingresa a la plataforma, los datos originales se almacenan directamente y, al definir algunas reglas de extracción de campos de columna, los valores de los campos se extraen dinámicamente de los datos originales de acuerdo con las reglas a las que se hace referencia al realizar la consulta.
(Esta imagen es del documento oficial de Honghu)
4.2.2 Aceleración vectorial
A través del uso, también encontramos una característica muy importante del sistema Honghu, que es el uso de computación acelerada por vectores. La computación vectorial puede aprovechar al máximo las instrucciones SIMD (Instrucción única de datos múltiples) de la CPU. SIMD es un tipo especial de instrucción de CPU., este tipo de instrucción puede operar múltiples datos al mismo tiempo en una instrucción, lo que mejora en gran medida el rendimiento del procesamiento de datos, razón por la cual Honghu requiere que la CPU admita el conjunto de instrucciones AVX2 durante la instalación.
4.3 Nueva Arquitectura
Nuestra nueva arquitectura reemplazará la base de datos relacional con Honghu, e incluso puede usarse como el almacenamiento de datos principal en la central de almacenamiento de energía con una pequeña capacidad instalada.
Como se muestra en la figura siguiente, a través de la integración con Honghu, se ha mejorado la flexibilidad del sistema SCADA existente, lo que equivale a potenciar directamente el sistema original con análisis de autoservicio.
En la nueva arquitectura, dejaremos que Honghu e InfluxDB trabajen juntos. El uso de Honghu, por un lado, reemplaza la función de MySQL y parte del procesamiento previo a la computación de InfluxDB; por otro lado, podemos permitir que los usuarios inicien sesión directamente en la interfaz de administración de Honghu para realizar algunos análisis de datos de autoservicio, lo cual es lo que los usuarios esperaban antes.
4.4 Integración del proyecto
Habiendo dicho todo esto, no puedo esperar para probar la integración del sistema.
4.4.1 Instalación del sistema Honghu
La instalación del sistema Honghu es muy simple. Básicamente, se puede hacer paso a paso de acuerdo con los documentos oficiales. La memoria del sistema solo necesita un límite de 8G. En la era actual, cuando la memoria de los teléfonos móviles supera los 8G, todavía es un requisito de configuración muy concienzudo.
Sin embargo, debido a que Honghu usa tecnología de computación vectorial, el documento oficial sugiere que Honghu Computing Engine usa el conjunto de instrucciones avanzadas AVX2 para la aceleración de la computación vectorial, por lo que Honghu necesita ejecutarse en una CPU que admita el conjunto de instrucciones AVX2.
Por supuesto, el documento oficial proporciona el método de prueba. Puede ejecutar el siguiente comando para saber si la CPU admite el conjunto de instrucciones AVX2:
Dio la casualidad de que tenía un servidor antiguo listo para usar, así que lo probé rápidamente. Desafortunadamente, él... no me apoya.
Pronto encontré un host en la nube y lo resolví perfectamente.
La instalación requiere instalar Docker y algunos otros componentes relacionados, pero el proceso de instalación es muy simple, simplemente siga el documento de instalación oficial ( https://yanhuang.yuque.com/staff-sbytbc/rb5rur/auwfm3? ) paso a paso.
Esta es la interfaz una vez completada la instalación; de hecho, es "simple a partir de grandes números".
4.4.2 Recibir datos MQTT
Para probar rápidamente las funciones de Honghu, primero debemos completar los datos. Por supuesto, si es solo una prueba, puede importar datos con csv, json y otros archivos.
Dado que en la arquitectura anterior usaremos EMQX para recopilar datos de varios dispositivos, durante el proceso de prueba, simplemente desarrollé un servicio que recibe datos MQTT de EMQX y los reenvía a Honghu, y los publiqué en la plataforma superior Github.
El proceso de desarrollo no está detallado, puede ir a la siguiente dirección para verlo y descargarlo:
https://github.com/neulf/mqtt-honghu
4.4.3 Tecnología de precomputación de datos
Debido al aumento en la cantidad de datos, generalmente utilizamos Rollup para el cálculo previo en InfluxDB para mejorar la capacidad de procesar grandes datos y mejorar el rendimiento de las consultas. Por lo tanto, para un nuevo producto de big data, naturalmente, también nos preocupa mucho el cálculo previo de los datos.
De los documentos oficiales, encontramos que Honghu proporciona una variedad de tecnologías de precomputación de datos, incluidas vistas materializadas, consultas previamente almacenadas e informes programados. Puede ver los escenarios de aplicación de estas tecnologías en los documentos oficiales, por lo que no lo haré. repítelos aquí. .
4.4.4 Consulta flexible
Bird & Bird proporciona consultas simples y funciones de consulta avanzadas, y admite consultas SQL, una herramienta de productividad común en la industria, que es muy conveniente para la mayoría de los ingenieros, analistas de datos e incluso algunos operadores senior.
Para obtener una introducción a Honghu SQL, consulte aquí
( https://yanhuang.yuque.com/staff-sbytbc/rb5rur/znakv0? ）
4.4.5 Gráficos ricos y listos para usar
Honghu proporciona un gráfico muy rico. Para una persona que ha utilizado algunos productos comerciales de BI (como: Tableau, PowerBI), este producto comunitario es realmente poderoso. Intentamos integrar las funciones que deben personalizarse antes, como La comparación La curva de indicadores como el comando AGC y la potencia de salida del sistema se realiza mediante la función de consulta avanzada de Honghu, que es realmente muy simple.
4.5 Resumen
A juzgar por la prueba, Honghu es un producto comunitario que es muy fácil de instalar y tiene ricas funciones de análisis de gráficos. Dado que no he realizado una prueba comparativa en Honghu y algunas bases de datos de series de tiempo en términos de rendimiento de inserción, pero a partir de la comparación de otros motores de búsqueda y bases de datos de series de tiempo y mi experiencia personal, el nuevo sistema SCADA de almacenamiento de energía compartido que no Si tiene requisitos demasiado estrictos para el rendimiento de concurrencia de adquisición, Honghu se puede usar directamente como almacenamiento principal; si se trata de una transformación de un proyecto existente o tiene requisitos de rendimiento muy altos, puede considerar usar una base de datos secuencial para cooperar con Honghu en términos de arquitectura. .