Python-GEE Remote Sensing Cloud Big Data Análisis, Gestión y Visualización
En los últimos años, la tecnología de detección remota se ha desarrollado a pasos agigantados. Múltiples plataformas de detección remota, como la aeroespacial, la aviación y el espacio cercano, han seguido aumentando. La resolución espacial, temporal y espectral de los datos ha seguido aumentando. La cantidad de Los datos se han disparado Los datos de teledetección se han vuelto cada vez más característicos de los grandes datos. El surgimiento de los macrodatos de teledetección brinda oportunidades sin precedentes para la investigación relacionada, pero cómo manejar estos datos también plantea grandes desafíos. Las estaciones de trabajo y los servidores tradicionales no han podido satisfacer las necesidades del procesamiento de datos de teledetección masiva a gran escala y a múltiples escalas.
Google Earth Engine es una plataforma en la nube de computación y análisis de visualización en línea para datos de ciencias de la tierra a escala mundial (especialmente datos de teledetección satelital) proporcionados por Google. La plataforma puede acceder y sincronizar imágenes satelitales como MODIS, Landsat y Sentinel, y conjuntos de datos de reanálisis meteorológico como NCEP, que se usan comúnmente en el campo de la teledetección, y al mismo tiempo depende de millones de super servidores en todo el mundo. , proporciona suficiente poder de cómputo para procesar estos datos. Hasta el momento, hay más de 200 conjuntos de datos públicos en GEE y cada día se agregan más de 4000 imágenes nuevas, con una capacidad de más de 50 PB. En comparación con las herramientas de procesamiento de imágenes tradicionales como ENVI, Google Earth Engine tiene ventajas incomparables en el procesamiento de datos masivos de detección remota. Por un lado, la plataforma GEE proporciona abundantes recursos informáticos y, por otro lado, su enorme almacenamiento en la nube ahorra una gran cantidad de tiempo del personal de investigación para la descarga y preprocesamiento de datos. Se puede decir que GEE representa el nivel más avanzado en el campo del cálculo y visualización de análisis de datos de teledetección, y es una revolución en el campo de la teledetección.
En la actualidad, GEE ha sido valorado y aplicado por más y más trabajadores científicos y tecnológicos extranjeros por sus poderosas funciones, pero su aplicación interna aún es muy limitada. GEE proporciona API basadas en los lenguajes Javascript y Python. El primero es el lenguaje de programación de la plataforma principal oficial. Es fácil de usar pero tiene deficiencias en la entrada y salida y la visualización de dibujos. Python, como el lenguaje de programación más popular en la actualidad, puede compensar Javascript en esta área Hay deficiencias en el aspecto, y es más conveniente para el procesamiento por lotes y el aprendizaje automático.
Capítulo 1, Base Teórica
Introducción de la plataforma y la aplicación Earth Engine, principales recursos de datos
Conceptos importantes, tipos de datos y objetos de la nube de teledetección de Earth Engine
Comparación y selección de programación en la nube de detección remota de JavaScript y Python
Conceptos básicos de Python (sintaxis, tipos de datos y estructuras de control de programas, funciones, clases y objetos, etc.)
Paquetes de software de Python de uso común ((pandas, numpy, os, etc.) introducción y demostración de funciones básicas (lectura de archivos de datos Excel/csv y procesamiento de datos, operación de directorio, etc.)
6. Diferencias entre las API de nube de detección remota de JavaScript y Python, métodos de aprendizaje y recomendaciones de recursos
Capítulo 2, Construcción del entorno de desarrollo
Introducción a los entornos de desarrollo en la nube de detección remota Python locales y en la nube
Construir el entorno de desarrollo local
Instalación de Anaconda, método de instalación del paquete pip/conda y creación de un entorno virtual, etc.;
Instalación de paquetes de software necesarios como earthengine-api y geemap;
Gestión de autorizaciones locales en la nube de teledetección;
Instalación de Jupyter Notebook/Visual Studio Code y ejecución de depuración.
3. Construcción del entorno de desarrollo de Cloud Colab
4. Introducción a Geemap y demostración de funciones comunes
Capítulo 3, Conceptos básicos del procesamiento de macrodatos de teledetección
Introducción al proceso de análisis y procesamiento de datos de imágenes de la plataforma en la nube de detección remota: presente el marco básico del proceso de análisis y procesamiento de datos de imágenes de la plataforma en la nube de detección remota, incluida la adquisición de datos, el preprocesamiento de datos, el desarrollo de algoritmos, la visualización, etc.
Visualización de objetos y exploración de campos de atributos de elementos e imágenes: presenta cómo mostrar y explorar campos de atributos de objetos tales como elementos e imágenes en la plataforma en la nube de detección remota, incluido cómo seleccionar elementos e imágenes de objetos, ver información de atributos, filtrar datos, etc. .
Método de filtrado de tiempo, espacio y atributos de imagen/conjunto de características: presente cómo filtrar imágenes/conjunto de características en tiempo, espacio y atributo, incluido cómo seleccionar el período de tiempo, el área geográfica y las condiciones de los atributos para lograr un análisis de datos más preciso.
Operaciones de banda, operaciones condicionales, cálculos de índice de vegetación, recorte y mosaico, etc .: Presente cómo realizar operaciones de banda, operaciones condicionales, cálculos de índice de vegetación, operaciones de recorte y mosaico en la plataforma de nube de teledetección para lograr un análisis de datos más profundo.
Eliminación de nubes de imágenes ópticas comunes como Landsat/Sentinel-2 : presenta cómo usar diferentes métodos para eliminar nubes en imágenes ópticas de uso común como Landsat/Sentinel-2 en la plataforma de nube de detección remota para mejorar la calidad de los datos de imagen.
Ciclo iterativo de imágenes y conjuntos de funciones: presente cómo utilizar la función de ciclo iterativo de la plataforma en la nube de detección remota para procesar por lotes imágenes y conjuntos de funciones para mejorar la eficiencia del análisis de datos.
Integración de datos de imagen (Reductor): Presente cómo usar la función Reductor de la plataforma en la nube de detección remota para integrar múltiples datos de imagen en un conjunto de datos para facilitar el análisis de datos posterior.
Análisis de vecindario y estadísticas espaciales: presente cómo realizar análisis de vecindario y estadísticas espaciales en la plataforma de nube de detección remota para obtener información espacial más detallada.
Errores comunes y optimización de código: presente errores comunes en el proceso de análisis de datos de la plataforma en la nube de detección remota y cómo optimizar el código para mejorar la eficiencia y precisión del análisis de datos.
10. Construcción de paquetes exclusivos de análisis de datos en la nube de detección remota de Python: Presente cómo usar Python para crear un paquete exclusivo de análisis de datos en la plataforma de nube de detección remota para facilitar el uso múltiple y compartir códigos de análisis.
Capítulo cuatro, práctica de operación de caso típico
11. Caso de algoritmo de clasificación de aprendizaje automático: este caso combina Landsat y otras series de imágenes a largo plazo y algoritmos de aprendizaje automático para demostrar el proceso básico de clasificación de sensores remotos a escala nacional. El contenido específico incluye estadísticas de imágenes en el área de estudio, muestreo aleatorio espacialmente estratificado, segmentación de muestras aleatorias, preprocesamiento y síntesis de imágenes de series temporales, aplicación de algoritmos de aprendizaje automático, posprocesamiento de clasificación y evaluación de precisión, etc.
12. Caso del algoritmo de clasificación forestal del árbol de decisión: En este caso, combinado con el radar de banda L y las imágenes de series temporales ópticas de Landsat, el algoritmo de clasificación del árbol de decisión se utiliza para extraer el mapa de distribución forestal del área designada de 2007 a 2020, y el la comparación espacial se realiza con los productos forestales anuales de JAXA. El caso implica el uso conjunto de datos de múltiples fuentes, la construcción del algoritmo de clasificación del árbol de decisiones, la optimización dinámica del umbral, el análisis espacial de los resultados de la clasificación, etc.
13. Caso de monitoreo de desastres por inundaciones: este caso se basa en el radar de banda C Sentinel-1 y otras imágenes para monitorear desastres por lluvias torrenciales a nivel provincial. El contenido del caso incluye procesamiento de imágenes Sentinel-1 C, construcción de varios algoritmos de reconocimiento de cuerpos de agua, análisis de diferencia de imágenes y visualización de resultados. .
14. Caso de monitoreo de la sequía por teledetección : Este caso utiliza productos de datos de lluvia de teledetección satelital de 40 años de antigüedad, como CHIRPS, para monitorear la sequía extrema a escala provincial. El contenido del caso incluye procesamiento básico de datos meteorológicos, integración de datos de escala anual y mensual, cálculo de desviación/LPA promedio a largo plazo y visualización de resultados de datos.
15. Análisis de caso de características fenológicas : este caso se basa en imágenes de series temporales como Landsat y MODIS, y analiza las diferencias fenológicas (escala de puntos de muestreo) y las características de variación espacial fenológica a gran escala (como China) de la vegetación superficial típica para muchos años a través del cambio de índice de vegetación. El contenido del caso incluye síntesis de imágenes de series temporales, suavizado de imágenes (Smoothing) y relleno de huecos (Gap-filling), visualización de resultados, etc.
16. Caso de monitoreo de la salud de la vegetación forestal: este caso utiliza 20 años del índice de vegetación MODIS para monitorear el bosque en un área seleccionada durante un período prolongado y analizar el enverdecimiento o el oscurecimiento de la vegetación forestal. Se incluyen métodos para unir y componer imágenes, análisis de tendencias, estadísticas espaciales y visualización.
17. Caso de monitoreo dinámico de la calidad del medio ambiente ecológico : Este caso utiliza el índice ecológico de sensores remotos RSEI y las imágenes de la serie Landsat para monitorear rápidamente el estado ecológico de las ciudades seleccionadas. Las principales tecnologías involucradas incluyen el cálculo del índice de vegetación, la extracción de temperatura superficial, la normalización de datos, el análisis PCA de componentes principales, la construcción del índice ecológico RSEI y la visualización de los resultados, etc.
Capítulo 5, Entrada y salida y gestión eficiente de activos de datos
Interacción entre los datos locales y la nube: presente cómo convertir datos csv, kml, vectoriales y ráster locales en datos de la nube, y explique el método de exportación de datos.
Descarga por lotes de datos del lado del servidor: incluida la descarga local directa, la descarga por lotes de conjuntos de imágenes y cómo descargar rápidamente productos de datos a gran escala y a largo plazo, como productos forestales globales y productos de datos MODIS de 20 años. .
Carga de datos locales y configuración de atributos: incluido el uso de comandos de Earthengine, cómo cargar una pequeña cantidad de datos vectoriales y ráster locales y establecer atributos (archivos pequeños), y cómo cargar datos en lotes y establecer atributos automáticamente, y cómo usar técnicas de carga rápida Cargue archivos de imagen muy grandes, como imágenes domésticas de alta resolución.
4. Gestión de activos de datos personales: presente cómo utilizar Python y la línea de comandos de Earthengine para gestionar activos de datos personales, incluida la creación, eliminación, movimiento, cambio de nombre y otras operaciones, y también explique cómo cancelar tareas de carga/descarga en lotes.
Capítulo 6, Visualización a nivel de publicación de documentos de datos en la nube
Introducción a la visualización de Python y los principales paquetes de software: presente matplotlib y los paquetes de visualización seaborn, explique los conceptos básicos de gráficos, la composición de gráficos y el dibujo rápido de gráficos de uso común.
Dibujo de topografía y mapa de distribución de parcelas de muestra del área de investigación: combine archivos vectoriales locales o de nubes, datos topográficos de nubes, etc. para dibujar un diagrama esquemático del área de investigación. Implica el proceso de dibujo, la pantalla china, la combinación de colores y el embellecimiento, etc. También presentará la descarga en línea y la aplicación local de la paleta de colores exquisita cpt-city.
Estadísticas de cobertura de imágenes y dibujos en el área de investigación: realice estadísticas sobre la cantidad de cobertura y la cobertura de imágenes sin nubes de Landsat y Sentinel y otras series de imágenes en el área designada, y dibuje mapas estadísticos de imágenes regionales o imágenes sin nubes a nivel de píxeles mapas temáticos de cobertura.
Análisis y dibujo de características espectrales de muestra y características fenológicas: Dibuje rápidamente características espectrales y fenológicas de diferentes tipos de parcelas, descargue e integre dinámicamente miniaturas (thumbnails) y series temporales de índices de vegetación de puntos de muestreo en los últimos 30 años, etc.
Resultado de la clasificación dibujo de mapas temáticos y fotografía de lapso de tiempo dinámico de espacio-tiempo Producción de lapso de tiempo: dibujo de mapas temáticos clasificados únicos o múltiples y embellecimiento de combinación de colores, hacer lapso de tiempo con cambios claros en el uso del suelo e introducir la adición de texto de animación y otro contenido.
6. Estadísticas de área y dibujo de resultados de clasificación: en función de los resultados de clasificación y los archivos de límites vectoriales en la nube, cuente las áreas de diferentes tipos de terreno en diferentes regiones, extraiga los resultados estadísticos y muestre las áreas estadísticas en diferentes gráficos; haga estadísticas dibujos de cambios de uso de suelo, etc.
