Este artículo es compartido por la comunidad de la nube de Huawei " Una guía completa para el análisis de datos visuales de Python desde la adquisición de datos hasta el descubrimiento de conocimientos " por Lemony Hug.
En el mundo de la ciencia y el análisis de datos, la visualización es una herramienta poderosa que nos ayuda a comprender datos, descubrir patrones y obtener información. Python proporciona una gran cantidad de bibliotecas y herramientas para que el flujo de trabajo de análisis de datos visuales sea eficiente y flexible. Este artículo presentará el flujo de trabajo del análisis de datos visuales en Python, desde la adquisición de datos hasta la visualización visual final de los conocimientos.
1. Adquisición de datos
Antes de comenzar cualquier trabajo de análisis de datos, primero debe obtener los datos. Python proporciona varias bibliotecas para procesar datos de diferentes fuentes, como pandas para procesar datos estructurados, solicitudes para obtener datos de red o el uso de bibliotecas especializadas para conectarse a bases de datos. Comencemos con un ejemplo simple, cargando datos desde un archivo CSV:
importar pandas como pd
# Cargar datos desde un archivo CSV
datos = pd.read_csv('datos.csv')
# Ver las primeras filas de datos
imprimir(datos.cabeza())
2. Limpieza y preprocesamiento de datos
Una vez cargados los datos, el siguiente paso es la limpieza y el preprocesamiento de los datos. Esto incluye el manejo de valores faltantes, valores atípicos, transformaciones de datos, etc. La visualización también suele jugar un papel importante en esta etapa, ayudándonos a identificar problemas en los datos. Por ejemplo, podemos usar matplotlib o seaborn para dibujar varios gráficos para examinar la distribución y las relaciones de los datos:
importar matplotlib.pyplot como plt
importar seaborn como sns
# Dibujar histograma
plt.hist(datos['nombre_columna'], contenedores=20)
plt.title('Distribución de nombre_columna')
plt.xlabel('Valor')
plt.ylabel('Frecuencia')
plt.mostrar()
# Dibujar un diagrama de dispersión
sns.scatterplot(x='columna1', y='columna2', datos=datos)
plt.title('Gráfico de dispersión de la columna1 frente a la columna2')
plt.mostrar()
3. Análisis y modelado de datos.
Después de la limpieza y el preprocesamiento de los datos, normalmente realizamos análisis y modelado de datos. Esto puede implicar técnicas como el análisis estadístico y el aprendizaje automático. En esta etapa, la visualización puede ayudarnos a comprender mejor las relaciones entre los datos y evaluar el rendimiento del modelo. Por ejemplo, usar seaborn para dibujar una matriz de correlación puede ayudarnos a comprender la correlación entre características:
# Dibujar matriz de correlación
correlación_matriz = datos.corr()
sns.heatmap(correlation_matrix, annot=True, cmap='coolwarm')
plt.title('Matriz de correlación')
plt.mostrar()
4. Presentación de resultados y descubrimiento de conocimientos.
Finalmente, al mostrar visualmente los resultados del análisis de datos, podemos comunicar ideas y conclusiones con mayor claridad. Puede ser un simple resumen estadístico o una visualización interactiva compleja. Por ejemplo, utilice Plotly para crear gráficos interactivos:
importar plotly.express como px # Crea un diagrama de dispersión interactivo fig = px.scatter(datos, x='columna1', y='columna2', color='categoría', hover_data=['additional_info']) figura.mostrar()
5. Técnicas avanzadas y optimización.
Además de las técnicas de visualización básicas, existen muchas técnicas avanzadas y métodos de optimización en Python que pueden hacer que el flujo de trabajo de análisis de datos sea más potente y eficiente.
5.1 Personalizar gráficos usando Plotly Express
Plotly Express proporciona muchas funciones fáciles de usar para crear varios tipos de gráficos, pero a veces necesitamos más opciones de personalización. Al combinar Plotly Express con los objetos gráficos básicos de Plotly, podemos lograr una personalización más avanzada. Por ejemplo, agregue comentarios, ajuste el estilo del gráfico, etc.:
importar plotly.express como px importar plotly.graph_objects sobre la marcha #Crea un diagrama de dispersión fig = px.scatter(datos, x='columna1', y='columna2', color='categoría', hover_data=['additional_info']) # agregar notas fig.add_annotation(x=5, y=5, text="Punto importante", showarrow=True, punta de flecha=1) #Ajustar el estilo del gráfico fig.update_traces(marcador=dict(tamaño=10, línea=dict(ancho=2, color='DarkSlateGrey')), selector=dict(modo='marcadores')) figura.mostrar()
5.2 Interacción visual usando Interact
En entornos como Jupyter Notebook, el uso de la interacción visual de Interact puede hacer que el análisis de datos sea más dinámico e intuitivo. Por ejemplo, cree un control interactivo para controlar los parámetros del gráfico:
desde ipywidgets importar interactuar
@interact(columna='columna1', contenedores=(5, 20, 1))
def plot_histogram(columna, contenedores):
plt.hist(datos[columna], bins=bins)
plt.title(f'Distribución de {columna}')
plt.xlabel('Valor')
plt.ylabel('Frecuencia')
plt.mostrar()
5.3 Uso de extensiones de la biblioteca de visualización
Además de las bibliotecas de visualización comunes como matplotlib, seaborn y Plotly, existen muchas otras bibliotecas de visualización que pueden ampliar nuestra caja de herramientas. Por ejemplo, bibliotecas como Altair y Bokeh proporcionan gráficos con diferentes estilos y funciones, y usted puede elegir la herramienta adecuada según sus necesidades.
importar altair como alt
alt.Chart(datos).mark_bar().encode(
x='categoría',
y='contar()'
).interactivo()
6. Automatización y procesamiento por lotes
La automatización y el procesamiento por lotes son cruciales cuando se manejan grandes cantidades de datos o cuando se requieren análisis repetitivos. Python proporciona una gran cantidad de bibliotecas y herramientas para lograr esto, por ejemplo, usando bucles, funciones o herramientas más avanzadas como Dask o Apache Spark.
6.1 Procesamiento por lotes de datos mediante bucles
Supongamos que tenemos varios archivos de datos que requieren la misma operación de análisis, podemos usar un bucle para procesar estos archivos por lotes y combinar los resultados:
importarnos
archivos_datos = os.listdir('carpeta_datos')
resultados = []
para archivo en archivos_datos:
datos = pd.read_csv(os.path.join('carpeta_datos', archivo))
# Realizar operaciones de análisis de datos.
#...
resultados.añadir(resultado)
6.2 Utilice funciones para encapsular los pasos del análisis de repetibilidad
Si tenemos una serie de pasos de análisis de datos que deben realizarse repetidamente, podemos encapsularlos como funciones para que puedan reutilizarse en diferentes datos:
def analizar_datos(datos):
# Limpieza y preprocesamiento de datos.
#...
#Análisis y modelado de datos
#...
# Visualización de resultados y descubrimiento de información
#...
devolver ideas
#Aplicar función en cada conjunto de datos
resultados = [analizar_datos(datos) para datos en conjuntos de datos]
6.3 Utilice Dask o Apache Spark para implementar computación distribuida
Para conjuntos de datos a gran escala, es posible que la informática de una sola máquina no pueda satisfacer las necesidades. En este caso, puede utilizar marcos informáticos distribuidos como Dask o Apache Spark para procesar datos en paralelo y mejorar la eficiencia del procesamiento:
importar dask.dataframe como dd
#Crear Dask DataFrame a partir de múltiples archivos
ddf = dd.read_csv('datos*.csv')
# Ejecutar operaciones de análisis de datos en paralelo.
resultado = ddf.groupby('columna').media().compute()
7. Mejores prácticas y sugerencias de optimización
Al realizar un análisis de datos visuales, también existen algunas mejores prácticas y sugerencias de optimización que pueden ayudarnos a hacer un mejor uso de las herramientas de Python:
- Elija el tipo de gráfico apropiado: elija el tipo de gráfico apropiado según el tipo de datos y el propósito del análisis, como gráfico de barras, gráfico de líneas, diagrama de caja, etc.
- Mantenga los gráficos simples y claros: evite la decoración excesiva y los gráficos complejos, mantenga los gráficos simples y fáciles de leer y resalte los puntos clave.
- Comentarios y documentación: agregue comentarios y documentación a su código para que sea más fácil de entender y mantener, así como para compartir y colaborar con otros.
- Optimización del rendimiento: para conjuntos de datos a gran escala, considere utilizar métodos como la computación paralela y la optimización de la memoria para mejorar el rendimiento del código.
- Visualización interactiva: utilice herramientas de visualización interactiva para hacer que la exploración de datos sea más flexible e intuitiva y mejorar la eficiencia del análisis.
8. Implementar y compartir resultados
Una vez que haya completado su análisis de datos y haya obtenido información valiosa, el siguiente paso es implementar y compartir los resultados con las partes interesadas relevantes. Python ofrece una variedad de formas de lograr esto, incluida la generación de informes estáticos, la creación de aplicaciones interactivas e incluso la integración de los resultados en flujos de trabajo automatizados.
8.1 Generar informes estáticos
Utilice Jupyter Notebook o Jupyter Lab para crear fácilmente informes de análisis de datos interactivos que combinen código, visualizaciones y texto explicativo. Estos cuadernos se pueden exportar a formato HTML, PDF o Markdown para compartirlos con otros.
jupyter nbconvert --a html notebook.ipynb
8.2 Crear aplicaciones interactivas
Los resultados del análisis de datos se pueden implementar como aplicaciones web interactivas utilizando marcos como Dash, Streamlit o Flask, lo que permite a los usuarios interactuar con datos y explorar conocimientos a través de una interfaz web.
importar guión
importar dash_core_components como dcc
importar dash_html_components como html
aplicación = guión.Dash(__nombre__)
# Definir diseño
aplicación.diseño = html.Div(niños=[
html.H1(children='Panel de análisis de datos'),
dcc.Graph(
id='gráfico-ejemplo',
figura={
'datos': [
{'x': [1, 2, 3], 'y': [4, 1, 2], 'tipo': 'barra', 'nombre': 'Categoría 1'},
{'x': [1, 2, 3], 'y': [2, 4, 5], 'tipo': 'barra', 'nombre': 'Categoría 2'},
],
'disposición': {
'título': 'Gráfico de barras'
}
}
)
])
si __nombre__ == '__principal__':
app.run_server(depuración=Verdadero)
8.3 Integración en flujos de trabajo automatizados
Utilice un programador de tareas como Airflow o Celery para automatizar el proceso de análisis de datos y generar informes o actualizar la aplicación periódicamente. Esto garantiza que los resultados del análisis de datos estén siempre actualizados y puedan ajustarse y actualizarse automáticamente según sea necesario.
desde fecha y hora importar fecha y hora, timedelta
de importación de flujo de aire DAG
desde airflow.operators.python_operator importar PythonOperator
# Definir tareas
def análisis_datos():
#Código de análisis de datos
aprobar
#Definir DAG
día = DÍA(
'flujo de trabajo_análisis_datos',
default_args={
'propietario': 'flujo de aire',
'depende_del_pasado': Falso,
'fecha_inicio': fecha y hora (2024, 1, 1),
'email_on_failure': Falso,
'email_on_retry': Falso,
'reintentos': 1,
'retry_delay': timedelta(minutos=5),
},
Schedule_interval=timedelta(días=1),
)
# Definir tareas
tarea = Operador Python(
task_id='tarea_análisis_datos',
python_callable=análisis_de_datos,
día = día,
)
9. Seguridad de los datos y protección de la privacidad
La seguridad de los datos y la protección de la privacidad son cruciales durante el análisis y la visualización de datos. Python proporciona tecnologías y mejores prácticas que pueden ayudarnos a garantizar que los datos estén completamente protegidos y seguros durante el procesamiento.
9.1 Cifrado de datos y transmisión segura
Asegúrese de que se utilicen algoritmos de cifrado seguros durante la transmisión y el almacenamiento de datos, como el uso de HTTPS para la transmisión de datos y el cifrado para el almacenamiento de datos. Las bibliotecas de cifrado de Python, como la criptografía, pueden ayudarnos a implementar el cifrado y descifrado de datos.
desde criptografía.fernet importar Fernet # Generar clave clave = Fernet.generate_key() cipher_suite = Fernet (clave) # Cifrar datos cipher_text = cipher_suite.encrypt(b"¡Hola mundo!") # Descifrar datos texto_sin formato = conjunto_cifrado.decrypt(texto_cifrado)
9.2 Control de acceso a datos y autenticación
Asegúrese de que solo los usuarios autorizados puedan acceder a datos confidenciales mediante la implementación de mecanismos de autenticación y control de acceso a datos. Puede utilizar las bibliotecas de autenticación de Python, como Flask-Login, Django-Auth, etc., para implementar la autenticación de usuarios y la gestión de permisos.
desde flask importar Flask, solicitar, redirigir, url_for
desde flask_login importe LoginManager, login_user, current_user, login_required, UserMixin
aplicación = Frasco (__nombre__)
login_manager = Administrador de inicio de sesión()
login_manager.init_app(aplicación)
# modelo de usuario
usuario de clase (UserMixin):
def __init__(yo, identificación):
self.id = identificación
# Función de devolución de llamada de autenticación de usuario
@login_manager.user_loader
def usuario_carga(id_usuario):
devolver usuario (user_id)
# Ruta de inicio de sesión
@app.route('/iniciar sesión', métodos=['POST'])
def inicio de sesión():
user_id = solicitud.formulario['user_id']
usuario = Usuario(user_id)
login_user(usuario)
devolver redirección (url_for ('índice'))
#Rutas que requieren iniciar sesión para acceder
@app.ruta('/seguro')
@Necesario iniciar sesión
def página_segura():
devolver 'Esta es una página segura'
si __nombre__ == '__principal__':
aplicación.run(depuración=Verdadero)
9.3 Anonimización y desensibilización
Durante el proceso de análisis, se pueden utilizar la anonimización y la desensibilización para proteger la privacidad del usuario en relación con datos confidenciales. Python proporciona algunas bibliotecas, como Faker, que pueden generar datos virtuales para reemplazar los datos reales para el análisis.
de farsante importar farsante farsante = farsante() # Generar nombre virtual nombre = farsante.nombre() # Generar correo electrónico ficticio correo electrónico = farsante.correo electrónico () # Generar dirección virtual dirección = farsante.dirección()
Resumir
Este artículo profundiza en un flujo de trabajo integral para el análisis de datos visuales en un entorno Python e introduce una serie de pasos clave, herramientas técnicas y mejores prácticas. Primero, comenzamos con la adquisición de datos, usando bibliotecas como pandas para cargar y procesar datos; luego, realizamos la limpieza y el preprocesamiento de datos, y luego usamos matplotlib, seaborn y otras bibliotecas para realizar una exploración visual para identificar problemas y patrones en los datos; , profundizamos en los datos En la etapa de análisis y modelado, se utilizan técnicas de análisis estadístico y aprendizaje automático para extraer los patrones inherentes de los datos, finalmente, los resultados del análisis se muestran a través de varios métodos para descubrir conocimientos y brindar apoyo para las decisiones comerciales;
Luego exploramos más a fondo técnicas y optimizaciones avanzadas, incluido el uso de Plotly Express para personalizar gráficos, el uso de visualizaciones interactivas y la selección de bibliotecas de visualización adecuadas. Además, cubrimos la importancia de la automatización y el procesamiento por lotes, y cómo aprovechar bucles, funciones y marcos informáticos distribuidos para mejorar la eficiencia. En términos de mejores prácticas y recomendaciones de optimización, enfatizamos la importancia de elegir el tipo de gráfico correcto, mantener los gráficos simples y claros, anotaciones y documentación, optimización del rendimiento y visualizaciones interactivas.
Finalmente, prestamos atención a la seguridad de los datos y la protección de la privacidad, enfatizando medidas clave como el cifrado de datos y la transmisión segura, el control y la autenticación del acceso a los datos, la anonimización y la desensibilización. Al aplicar adecuadamente estas tecnologías y mejores prácticas, podemos garantizar la seguridad y confiabilidad del proceso de análisis de datos y brindar soporte de datos creíble para las decisiones comerciales.
En resumen, este artículo explica de manera integral el flujo de trabajo y las tecnologías clave del análisis de datos visuales en Python, con el objetivo de ayudar a los lectores a comprender en profundidad todo el proceso de análisis de datos y dominar herramientas y métodos efectivos para enfrentar desafíos de datos complejos en el mundo real. obteniendo así mejores resultados de análisis y conocimientos.
Haga clic para seguir y conocer las nuevas tecnologías de Huawei Cloud lo antes posible ~
Los estudiantes de secundaria crean su propio lenguaje de programación de código abierto como una ceremonia de mayoría de edad: comentarios agudos de los internautas: confiando en la defensa, Apple lanzó el chip M4 RustDesk Los servicios nacionales fueron suspendidos debido al fraude desenfrenado Yunfeng renunció a Alibaba. En el futuro, planea producir un juego independiente en la plataforma Windows Taobao (taobao.com). Reiniciar el trabajo de optimización de la versión web, destino de los programadores, Visual Studio Code 1.89 lanza Java 17, la versión Java LTS más utilizada, Windows 10 tiene un cuota de mercado del 70%, Windows 11 continúa disminuyendo Open Source Daily | Google apoya a Hongmeng para que se haga cargo; Rabbit R1 de código abierto respalda los teléfonos Android; Haier Electric ha cerrado la plataforma abierta;