Big data: hadoop spark
2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开
测开的话，你就得学数据库，sql，oracle，尤其sql要学，当然，像很多金融企业、安全机构啥的，他们必须要用oracle数据库
这oracle比sql安全，强大多了，所以你需要学习，最重要的，你要是考网络警察公务员，这玩意你不会就别去报名了，耽误时间！
与此同时，既然要考网警之数据分析应用岗，那必然要考数据挖掘基础知识，今天开始咱们就对数据挖掘方面的东西好生讲讲 最最最重要的就是大数据，什么行测和面试都是小问题，最难最最重要的就是大数据技术相关的知识笔试
Big data: hadoop spark: a estrutura de computação distribuída mais famosa do mundo
Semelhante ao MapReduce, é uma estrutura de computação
Computação analítica, iteração de memória?
A computação em memória
é muito legal.
O que é computação em memória?
Unificação: é aplicável a uma ampla gama de
O pyspark do Spark é uma interface python
Niubi
O RDD fornece muitos operadores, o que
é muito melhor do que mapear e reduzir arquivos
.
O Spark evita ao máximo a transmissão pela rede e calcula na memória
faísca é uma estrutura de computação [substituindo MapReduce em hadoop]
hadoop é computação, armazenamento e agendamento, as três
memórias concentradas, espaço para tempo,
sua programação, especialmente em python, parece muito simples, fácil de usar
Todos os tipos de show
de aprendizado de máquina Pode também pode ser reproduzido
e a fonte de dados é fácil de ler.
É incrível.
local: adequado para desenvolvimento e teste
standalone: rodando em Linux
hadoop yarn: dentro do container yarn
kubernetes: dentro do container kubernetes
cloud server: Alibaba Cloud, Amazon, etc.
fácil de dizer
Presidente geral,
chefe de departamento,
líder de equipe,
secretário
Os nomes das quatro funções da faísca são diferentes, e o trabalho que elas fazem é o mesmo do fio.
Presidente: mestre
Supervisor de departamento: trabalhador, gerenciamento de recursos autônomo
Líder de equipe: motorista
Oficial: executor
O papel do spark é o mesmo que o do yarn ,
mas eles são chamados de maneira diferente
. Esses quatro papéis percorrem todo o processo de aprendizado do spark.
Eles são o sistema
Resumir
提示：重要经验：
1)
2) Aprenda bem o oracle, mesmo que a economia esteja fria, toda a oferta de teste definitivamente não é um problema! Ao mesmo tempo, também é a única maneira de testar a polícia da Internet pública.
3) Ao buscar AC na prova escrita, a complexidade espacial pode não ser considerada, mas a entrevista deve considerar tanto a complexidade ótima de tempo quanto a complexidade ótima de espaço.