大数据周会-本周学习内容总结08

目录

01【Hadoop】

1.1【MapReduce】

1.2【Yarn】

1.3【让用户自定义脚本在任意地方都可执行-配置方法】

02【下月学习内容】

老师指导

---

01【Hadoop】

尚硅谷大数据Hadoop教程（Hadoop 3.x安装搭建到集群调优）

 

1.1【MapReduce】

1.2【Yarn】

1.3【让用户自定义脚本在任意地方都可执行-配置方法】

02【下月学习内容】

重点学习：flink、kafka，次要学习内容：spark。

老师指导

1. es用户问题。
2. 提前建立es索引问题：es中若未创建索引，则Logstash会根据配置文件xxx.conf中的信息自动创建索引。

大数据存储

小文件存储、图片存储，fastDFS、glusterFS。

分布式小文件系统存储。

---

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

---

Gluster File System是一款自由软件，主要由Z RESEARCH 公司负责开发，十几名开发者，最近非常活跃。 文档也比较齐全，不难上手。

发明专利：发明专利、外观专利、实用新型专利。6月底，技术交底书！