版权声明：博主原创，转发请私信。 https://blog.csdn.net/YooFale/article/details/80839612
毕设题目是医院数据分析系统的设计与实现。需要解决的需求问题还是不少的。
实现的思路就是用flume实现数据从本地采集到hdfs，用spark进行mapreduce操作进行数据分析，最后用echarts完成数据可视化。
1）数据是随机生成的，一个文件大约30w条数据，一个文件大小约18.5m，idea本身设定的单个文件大小约为25m，为了简化flume上传的文件数量，尝试将两个文件进行合并，文件大小超过25m，最后idea卡死。
2）flume文件上传的时候也遇到了文件大小的问题，通过修改dir-hdfs.conf的相关配置，完成上传。
3）echarts中遇到的问题。echarts在可视化的时候，横坐标会很容易出现显示不全面的问题，此时，加入让字体竖着或者斜着显示的属性，就可以完成完整的可视化。