大数据处理思路

1.处理优化:优化sql、考虑使用临时表或中间表

2.数据库优化:合理构建索引、合理设计表结构、数据库集群

3.分流:用和不用分开、常用和不常用分开;对数据库存放的数据分库分表分区;对文件存放的数据拆文件、考虑分批处理;原则就是尽量减少每次操作的数据的技术;

4.缓存技术:读多写少用缓存

5.合理使用nosql:mongodb、redis、memched、hbase等

6.分布式大数据方案:hadoop、spark、storm等

nosql数据库的种类:临时性键值存储(Memcached Redis)、永久性键值存储(ROMA Redis)、面向文档存储(mongoDB couchDB)、面向列存储(Casssandra HBase)

猜你喜欢

转载自www.cnblogs.com/hzq3554055/p/11999765.html