Este artigo foi compartilhado da comunidade Huawei Cloud " Um guia abrangente para análise de dados visuais em Python, desde a aquisição de dados até a descoberta de insights ", por Lemony Hug.
No mundo da ciência e análise de dados, a visualização é uma ferramenta poderosa que nos ajuda a compreender os dados, descobrir padrões e obter insights. Python fornece uma variedade de bibliotecas e ferramentas para tornar o fluxo de trabalho de análise visual de dados eficiente e flexível. Este artigo apresentará o fluxo de trabalho de análise visual de dados em Python, desde a aquisição de dados até a exibição visual final dos insights.
1. Aquisição de dados
Antes de iniciar qualquer trabalho de análise de dados, primeiro você precisa obter os dados. Python fornece várias bibliotecas para processar dados de diferentes fontes, como pandas para processar dados estruturados, solicitações para obter dados de rede ou usar bibliotecas especializadas para conectar-se a bancos de dados. Vamos começar com um exemplo simples, carregando dados de um arquivo CSV:
importar pandas como pd
# Carrega dados do arquivo CSV
dados = pd.read_csv('dados.csv')
# Visualize as primeiras linhas de dados
imprimir(dados.head())
2. Limpeza e pré-processamento de dados
Depois que os dados são carregados, a próxima etapa é a limpeza e o pré-processamento dos dados. Isso inclui lidar com valores ausentes, valores discrepantes, transformações de dados, etc. A visualização também desempenha frequentemente um papel importante nesta fase, ajudando-nos a identificar problemas nos dados. Por exemplo, podemos usar matplotlib ou seaborn para desenhar vários gráficos para examinar a distribuição e os relacionamentos dos dados:
importar matplotlib.pyplot como plt
importar seaborn como sns
# Desenhar histograma
plt.hist(dados['nome_coluna'], bins=20)
plt.title('Distribuição de nome_coluna')
plt.xlabel('Valor')
plt.ylabel('Frequência')
plt.show()
# Desenhe um gráfico de dispersão
sns.scatterplot(x='coluna1', y='coluna2', dados=dados)
plt.title('Gráfico de dispersão da coluna1 vs coluna2')
plt.show()
3. Análise e modelagem de dados
Após a limpeza e pré-processamento dos dados, geralmente realizamos análise e modelagem de dados. Isso pode envolver técnicas como análise estatística e aprendizado de máquina. Nesta fase, a visualização pode nos ajudar a compreender melhor as relações entre os dados e avaliar o desempenho do modelo. Por exemplo, usar o seaborn para desenhar uma matriz de correlação pode nos ajudar a entender a correlação entre os recursos:
# Desenhar matriz de correlação
correlação_matriz = dados.corr()
sns.heatmap(correlation_matrix, annot=True, cmap='coolwarm')
plt.title('Matriz de Correlação')
plt.show()
4. Apresentação de resultados e descoberta de insights
Finalmente, ao exibir visualmente os resultados da análise de dados, podemos comunicar insights e conclusões de forma mais clara. Pode ser um simples resumo estatístico ou uma visualização interativa complexa. Por exemplo, use Plotly para criar gráficos interativos:
importar plotly.express como px # Crie um gráfico de dispersão interativo fig = px.scatter(dados, x='coluna1', y='coluna2', cor='categoria', hover_data=['informações_adicionais']) fig.show()
5. Técnicas avançadas e otimização
Além das técnicas básicas de visualização, existem muitas técnicas avançadas e métodos de otimização em Python que podem tornar o fluxo de trabalho de análise de dados mais poderoso e eficiente.
5.1 Personalize gráficos usando Plotly Express
Plotly Express oferece muitas funções fáceis de usar para criar vários tipos de gráficos, mas às vezes precisamos de mais opções de personalização. Ao combinar o Plotly Express com os objetos gráficos básicos do Plotly, podemos obter uma personalização mais avançada. Por exemplo, adicione comentários, ajuste o estilo do gráfico, etc.:
importar plotly.express como px importe plotly.graph_objects imediatamente #Crie um gráfico de dispersão fig = px.scatter(dados, x='coluna1', y='coluna2', cor='categoria', hover_data=['informações_adicionais']) #adicionar notas fig.add_annotation(x=5, y=5, text="Ponto importante", showarrow=True, ponta de seta=1) #Ajustar estilo do gráfico fig.update_traces(marker=dict(size=10, line=dict(width=2, color='DarkSlateGrey')), selector=dict(mode='markers')) fig.show()
5.2 Interação visual usando o Interact
Em ambientes como o Jupyter Notebook, o uso da interação visual do Interact pode tornar a análise de dados mais dinâmica e intuitiva. Por exemplo, crie um controle interativo para controlar os parâmetros do gráfico:
de ipywidgets importar interagir
@interact(coluna='coluna1', compartimentos=(5, 20, 1))
def plot_histogram(coluna, compartimentos):
plt.hist(dados[coluna], bins=bins)
plt.title(f'Distribuição de {coluna}')
plt.xlabel('Valor')
plt.ylabel('Frequência')
plt.show()
5.3 Usando extensões de biblioteca de visualização
Além das bibliotecas de visualização comuns, como matplotlib, seaborn e Plotly, existem muitas outras bibliotecas de visualização que podem estender nossa caixa de ferramentas. Por exemplo, bibliotecas como Altair e Bokeh fornecem gráficos com diferentes estilos e funções, e você pode escolher a ferramenta adequada de acordo com suas necessidades.
importar altair como alt
alt.Chart(dados).mark_bar().encode(
x='categoria',
y='contagem()'
).interativo()
6. Automação e processamento em lote
A automação e o processamento em lote são cruciais ao lidar com grandes quantidades de dados ou quando são necessárias análises repetitivas. Python fornece uma grande variedade de bibliotecas e ferramentas para conseguir isso, por exemplo, usando loops, funções ou ferramentas mais avançadas como Dask ou Apache Spark.
6.1 Processamento em lote de dados usando loops
Suponha que temos vários arquivos de dados que requerem a mesma operação de análise, podemos usar um loop para processar em lote esses arquivos e combinar os resultados:
importe-nos
arquivos_dados = os.listdir('pasta_dados')
resultados = []
para arquivo em data_files:
dados = pd.read_csv(os.path.join('data_folder', arquivo))
# Executar operações de análise de dados
#...
resultados.append(resultado)
6.2 Use funções para encapsular etapas de análise de repetibilidade
Se tivermos uma série de etapas de análise de dados que precisam ser executadas repetidamente, podemos encapsulá-las como funções para que possam ser reutilizadas em dados diferentes:
def analisar_dados(dados):
# Limpeza e pré-processamento de dados
#...
#Análise e modelagem de dados
#...
#Exibição de resultados e descoberta de insights
#...
retornar insights
Função #Apply em cada conjunto de dados
resultados = [analyze_data(data) para dados em data_sets]
6.3 Use Dask ou Apache Spark para implementar computação distribuída
Para conjuntos de dados em grande escala, a computação em uma única máquina pode não ser capaz de atender às necessidades. Nesse caso, você pode usar estruturas de computação distribuída, como Dask ou Apache Spark, para processar dados em paralelo e melhorar a eficiência do processamento:
importar dask.dataframe como dd
#Crie Dask DataFrame a partir de vários arquivos
ddf = dd.read_csv('dados*.csv')
# Executa operações de análise de dados em paralelo
resultado = ddf.groupby('coluna').mean().compute()
7. Melhores práticas e sugestões de otimização
Ao realizar análises visuais de dados, também existem algumas práticas recomendadas e sugestões de otimização que podem nos ajudar a fazer melhor uso das ferramentas Python:
- Escolha o tipo de gráfico apropriado: Escolha o tipo de gráfico apropriado de acordo com o tipo de dados e a finalidade da análise, como gráfico de barras, gráfico de linhas, gráfico de caixa, etc.
- Mantenha os gráficos simples e claros: evite decoração excessiva e gráficos complexos, mantenha os gráficos simples e fáceis de ler e destaque os pontos principais.
- Comentários e documentação: adicione comentários e documentação ao seu código para facilitar a compreensão e a manutenção, bem como para compartilhar e colaborar com outras pessoas.
- Otimização de desempenho: Para conjuntos de dados em grande escala, considere o uso de métodos como computação paralela e otimização de memória para melhorar o desempenho do código.
- Visualização interativa: use ferramentas de visualização interativa para tornar a exploração de dados mais flexível e intuitiva e melhorar a eficiência da análise.
8. Implante e compartilhe resultados
Depois de concluir a análise de dados e obter insights, a próxima etapa é implantar e compartilhar os resultados com as partes interessadas relevantes. Python oferece uma variedade de maneiras de conseguir isso, incluindo a geração de relatórios estáticos, a criação de aplicativos interativos e até mesmo a integração dos resultados em fluxos de trabalho automatizados.
8.1 Gerar relatórios estáticos
Use o Jupyter Notebook ou o Jupyter Lab para criar facilmente relatórios interativos de análise de dados que combinam código, visualizações e texto explicativo. Esses blocos de notas podem ser exportados para o formato HTML, PDF ou Markdown para serem compartilhados com outras pessoas.
jupyter nbconvert --to html notebook.ipynb
8.2 Criando aplicativos interativos
Os resultados da análise de dados podem ser implantados como aplicativos web interativos usando estruturas como Dash, Streamlit ou Flask, permitindo que os usuários interajam com os dados e explorem insights por meio de uma interface web.
traço de importação
importar dash_core_components como dcc
importar dash_html_components como html
aplicativo = traço.Dash(__name__)
#Definir layout
app.layout = html.Div(filhos=[
html.H1(children='Painel de Análise de Dados'),
dcc.Graph(
id='exemplo-gráfico',
figura={
'dados': [
{'x': [1, 2, 3], 'y': [4, 1, 2], 'tipo': 'bar', 'nome': 'Categoria 1'},
{'x': [1, 2, 3], 'y': [2, 4, 5], 'tipo': 'bar', 'nome': 'Categoria 2'},
],
'layout': {
'título': 'Gráfico de barras'
}
}
)
])
se __nome__ == '__principal__':
app.run_server(depuração = Verdadeiro)
8.3 Integração em fluxos de trabalho automatizados
Use um agendador de tarefas como Airflow ou Celery para automatizar o processo de análise de dados e gerar relatórios regularmente ou atualizar o aplicativo. Isso garante que os resultados da análise de dados estejam sempre atualizados e possam ser ajustados e atualizados automaticamente conforme necessário.
de data e hora importar data e hora, timedelta
da importação de fluxo de ar DAG
de airflow.operators.python_operator importar PythonOperator
# Definir tarefas
def análise_dados():
#Código de análise de dados
passar
#Definir DAG
dia = DIA(
'data_análise_fluxo de trabalho',
default_args={
'proprietário': 'fluxo de ar',
'depends_on_past': Falso,
'data_inicial': datahora(2024, 1, 1),
'email_on_failure': Falso,
'email_on_retry': Falso,
'novas tentativas': 1,
'retry_delay': timedelta(minutos=5),
},
agendamento_interval=timedelta(dias=1),
)
# Definir tarefas
tarefa = PythonOperator(
task_id='data_análise_task',
python_callable = análise de dados,
dia=dia,
)
9. Segurança de dados e proteção de privacidade
A segurança dos dados e a proteção da privacidade são cruciais durante a análise e visualização dos dados. Python fornece tecnologias e práticas recomendadas que podem nos ajudar a garantir que os dados estejam totalmente protegidos e seguros durante o processamento.
9.1 Criptografia de dados e transmissão segura
Certifique-se de que algoritmos de criptografia seguros sejam usados durante a transmissão e armazenamento de dados, como o uso de HTTPS para transmissão de dados e criptografia para armazenamento de dados. As bibliotecas de criptografia do Python, como a criptografia, podem nos ajudar a implementar a criptografia e descriptografia de dados.
de cryptography.fernet importar Fernet #Gerar chave chave = Fernet.generate_key() cipher_suite = Fernet(chave) # Criptografar dados cipher_text = cipher_suite.encrypt(b"Olá, mundo!") #Descriptografar dados plain_text=cipher_suite.decrypt(cipher_text)
9.2 Controle e autenticação de acesso a dados
Garanta que apenas usuários autorizados possam acessar dados confidenciais, implementando mecanismos de controle e autenticação de acesso a dados. Você pode usar bibliotecas de autenticação do Python, como Flask-Login, Django-Auth, etc. para implementar autenticação de usuário e gerenciamento de permissões.
do frasco importar Flask, solicitação, redirecionamento, url_for
de flask_login importar LoginManager, login_user, current_user, login_required, UserMixin
app = Frasco(__name__)
login_manager = LoginManager()
login_manager.init_app(aplicativo)
# Modelo de usuário
classe Usuário(UserMixin):
def __init__(self, id):
self.id = id
#Função de retorno de chamada de autenticação de usuário
@login_manager.user_loader
def load_user(user_id):
retornar usuário (user_id)
# Rota de login
@app.route('/login', métodos=['POST'])
def login():
user_id = request.form['user_id']
usuário = Usuário(user_id)
login_usuário(usuário)
retornar redirecionamento(url_for('index'))
#Rotas que requerem login para acesso
@app.route('/seguro')
@login_required
def página_segura():
return 'Esta é uma página segura'
se __nome__ == '__principal__':
app.run(depuração=Verdadeiro)
9.3 Anonimização e dessensibilização
Durante o processo de análise, o anonimato e a dessensibilização podem ser usados para proteger a privacidade do usuário em relação a dados confidenciais. Python fornece algumas bibliotecas, como Faker, que podem gerar dados virtuais para substituir dados reais para análise.
de importação faker Faker falso = falso() #Gerar nome virtual nome = falso.nome() # Gera e-mail fictício email = faker.email() #Gerar endereço virtual endereço = faker.endereço()
Resumir
Este artigo se aprofunda em um fluxo de trabalho abrangente para análise visual de dados em um ambiente Python e apresenta uma série de etapas principais, ferramentas técnicas e práticas recomendadas. Primeiro, começamos com a aquisição de dados, usando bibliotecas como pandas para carregar e processar dados, depois realizamos limpeza e pré-processamento de dados e usamos matplotlib, seaborn e outras bibliotecas para conduzir a exploração visual para identificar problemas e padrões nos dados; , nos aprofundamos nos dados Na fase de análise e modelagem, técnicas de análise estatística e aprendizado de máquina são usadas para extrair os padrões inerentes aos dados; por fim, os resultados da análise são exibidos por meio de vários métodos para descobrir insights e fornecer suporte para decisões de negócios;
Em seguida, exploramos ainda mais técnicas e otimizações avançadas, incluindo o uso do Plotly Express para personalizar gráficos, utilizando visualizações interativas e selecionando bibliotecas de visualização apropriadas. Além disso, abordamos a importância da automação e do processamento em lote e como aproveitar loops, funções e estruturas de computação distribuída para melhorar a eficiência. Em termos de melhores práticas e recomendações de otimização, enfatizamos a importância de escolher o tipo de gráfico certo, mantendo os gráficos simples e claros, anotações e documentação, otimização de desempenho e visualizações interativas.
Por último, prestámos atenção à segurança dos dados e à proteção da privacidade, enfatizando medidas-chave como a encriptação e transmissão segura de dados, o controlo e autenticação do acesso aos dados, a anonimização e a dessensibilização. Ao aplicar adequadamente estas tecnologias e melhores práticas, podemos garantir a segurança e fiabilidade do processo de análise de dados e fornecer suporte de dados credível para decisões de negócios.
Resumindo, este artigo explica de forma abrangente o fluxo de trabalho e as principais tecnologias de análise visual de dados em Python, com o objetivo de ajudar os leitores a compreender profundamente todo o processo de análise de dados e dominar ferramentas e métodos eficazes para lidar com desafios complexos de dados no mundo real. obtendo assim melhores resultados de análise e insights.
Clique para seguir e conhecer as novas tecnologias da Huawei Cloud o mais rápido possível~
Estudantes do ensino médio criam sua própria linguagem de programação de código aberto como uma cerimônia de maioridade - comentários contundentes de internautas: Contando com a defesa, a Apple lançou o chip M4 RustDesk Os serviços domésticos foram suspensos devido a fraude desenfreada. No futuro, ele planeja produzir um jogo independente na plataforma Windows Taobao (taobao.com) Reiniciar o trabalho de otimização da versão web, destino dos programadores, Visual Studio Code 1.89 lança Java 17, a versão Java LTS mais comumente usada, Windows 10 tem um participação de mercado de 70%, o Windows 11 continua diminuindo Open Source Daily | Google apoia Hongmeng para assumir o controle do Rabbit R1 de código aberto; a ansiedade e as ambições da Microsoft encerraram a plataforma aberta;