java编程中对大数据的处理

大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)，大数据Hadoop框架、map-reduce框架，很多部分都是用开源的Java语言编写。
java编程过程中对大数据的处理：
1）数据分段：依行读取数据，设定一个批量值，当读取的数据达到一定量之后，执行批量操作，清空集合，再接着读取。
java 分次读取大文件的三种方法
2）多线程处理：需要考虑服务器的承载能力，如果线程过多，会出现蹦宕机的情况。
大数据处理系列之Java线程池使用