BI server configuration and client situation

1. BI description

FineBI is a pure B/S-side business intelligence analysis service platform; it supports deploying it on the server through the web application server, and provides enterprise cloud server. The client only needs to use a browser to access and use the service platform. Therefore, the configuration and use can be divided into three contents: server hardware configuration, web server configuration, and client browser configuration. The server hardware configuration and the web server configuration are complementary.

Note: BI is a web application project, which is executed on a web server. Therefore, the memory used by BI is actually the memory of the JVM corresponding to the web server. Therefore, the hardware memory and the memory allocated by BI will be described separately below to distinguish the two.

 

2. Performance Description and Server Hardware

The performance of FineBI is mainly divided into FineIndex performance and data analysis performance

2.1 FineIndex performance

FineIndex itself acts as an intermediate layer from data warehouse to custom analysis. It places the data extracted from the data warehouse as a cached data generation file on the hard disk. It builds a data cube itself, which requires slicing and grouping indexes. Therefore, its performance parameters are mainly as follows:

(1) Memory

In the process of extracting data, grouping into index, and writing association to generate cached data, FineIndex will operate the data in memory. The larger the memory, the faster the speed.

In the process of data calculation, FineIndex uses Java calculation (generally better than SQL calculation), which is also a resource that consumes memory. Therefore, the larger the memory, the faster the operation.

(2) Hard disk

During the use of FineIndex, the generation of FineIndex is a file written to the hard disk. So the faster the write speed, the better the performance.

When FineIndex is reading data, the system performs file-level reading (performance is better than database reading), and the faster the file is read, the better the performance.

2.2 Data Analysis Performance

For data analysis, the front-end new dashboard module loads FineIndex data into memory for calculation. Therefore, the data of FineIndex is still read and loaded, and then calculated in memory. The indicators involved are still memory size and hard disk read and write speed.

2.3 FineIndex size estimation

FineIndex体量大小通常会影响到硬盘容量的选择;FineIndex是将数据仓库中抽取的数据作为缓存数据生成文件放置到硬盘上的,它本身构建的是数据立方体,因此会在原有的数据容量基础上再次扩大。一般情况会是原数据的2~3倍。即当原数据容量是1G,则生成FineIndex是2~3G;而由于FineIndex更新是在不改原有的FineIndex文件,重新生成一份新的FineIndex文件,新的FineIndex文件生成后与旧的FineIndex文件进行替换,替换的时候硬盘空间占用了两倍的FineIndex大小,因此硬盘容量应该在该基础上再乘以2。即硬盘容量大小需求至少是原数据体量的4~6倍。

下文详细说明不同场景下的性能参数的配置。

3. BI服务器配置

3.1按最大单表数据量来判定

FineBI采用列式存储的FineIndex形式来处理数据,单表数据量(数据行数)是很重要的性能评测的参数。它即影响到FineIndex的更新速度又影响前端的计算速度;当然该单表数据还与表的分组有关。当前在预估服务器配置上,从最大单表的数据量即能很好的判断出数据。因此可以按单表数据量来判断BI服务器的配置。

注:其中硬盘大小一般为预估,当然用户应按数据库中的实际数据量的大小来预估,选择一款硬盘即可。硬盘推荐使用固态硬盘,但不强求固态硬盘。

按:性能情况为FineIndex按1000W数据10分钟内跑完,前端计算单表秒级展示。

序号 数据量 推荐CPU 推荐内存 推荐硬盘空间
1 <1000W intelE3-1231v3 8G  DDR4 2133MHz intel750 SSD 500G
2 1000W-3000W intelE5-2609v3 2*8G DDR4 2133MHz intel750 SSD 500G-800G
3 3000W-5000W intelE5-2609v3 2*16G DDR4 2133MHz intel750 SSD 800G/1.2T
/企业级 1T SAS 10000RPM
4 5000W-1亿 2*intelE5-2609v3 2*16G DDR4 2133MHz
/4*16G DDR4 2133MHz
intel750 SSD 1.2T
/企业级 2T SAS 10000RPM
5 >1亿 4*intelE5-2609v3以上 4*16G DDR4 2400MHz 企业级 2T SAS 10000RPM

注:其中内存大小为预估,实际需根据业务场景模版数量以及ETL计算复杂程度来估算。

 

(1)1000万条数据及其以下

1000W的数据通常是小数据量,该数据量情况下BI通常需要的内存在4~6G左右;因此服务器的硬件内存通常需要8G即可。由于数据量比较小,因此硬盘空间并不需要过大,因此正常500G的硬盘基本够用。可以采用500G的固态硬盘。

推荐配置:CPU--intelE3-1231v3以上;内存---8G DDR3 1600MHz  硬盘--intel750 SSD 500G 

(2)1000万~3000万条数据

1000W至3000万的数据通常也是较小的数据量,该数据量情况下BI通常需要的内存在8G~12G左右;因此服务器的硬件内存通常需要16G即可。由于数据量比较小,因此硬盘空间并不需要过大,因此正常500~800G的硬盘基本够用。可以采用500G/800G的固态硬盘。

推荐配置:CPU--intelE5-2609v3;内存---2*8G DDR4 2133MHz 硬盘--intel750 SSD 500G/intel 750 SSD 800G 

(3)3000万~5000万条数据

3000W至5000万的数据是常见的数据量,该数据量情况下BI通常需要的内存在16G~24左右;因此服务器的硬件内存通常需要32G即可。硬盘空间大小一般需求在800G~1T左右。可以采用800G/1T的固态硬盘或采用企业级硬盘1T。

推荐配置:CPU--intelE5-2609v3;内存---2*8G DDR4 2133MHz 硬盘--intel750 SSD 800G/1.2T/企业级 1T SAS 10000RPM

(4)5000万~1亿条数据

5000W至1亿的数据量是较大的数据量,该数据量情况下BI通常需要的内存在24G~32G左右;因此服务器的硬件内存通常需要32G~64G即可。硬盘空间大小一般需求在1T以上。可以采用1.2T的固态硬盘或采用企业级硬盘2T。

推荐配置:CPU--2*intelE5-2609v3;内存---2*16G DDR4 2133MHz/4*16G DDR4 2133MHz   硬盘--intel750 SSD 1.2T/企业级 2T SAS 10000RPM

(5)1亿数据以上

1亿数据量以上是较大的数据量,该数据量情况下BI通常需要的内存在32G以上;因此服务器的硬件内存通常需要64G以上。硬盘空间大小一般需求在2T以上。可以采用企业级硬盘2T。

推荐配置:CPU--4*intelE5-2609v3以上;内存---4*16G DDR4 2400MHz 硬盘--企业级 2T SAS 10000RPM

 

3.2并发数因素的影响

按并发数来判定,通常是在数据分析端尤其是查看状态下,如果多人同时在线查看分析,则会有较大的并发影响。上述“单表数据量”通常是在忽略并发数的情况下来讨论的,那么当我们加入并发数这个因素后。我们会有两种处理方式:

一种方式,是通过集群的方式,多机集群来解决当前的数据。另一种方式当然是升级服务器配置到下一个档次。

那么正常FineBI在服务器上,按上述的配置单机的并发性能通常是20~25个左右。当超过这并发数时,可以将配置升级下一个档次。通常如果使用的是SSD固态硬盘,则不需要升级硬盘。

3.3服务器案例

(1)某医药集团:最大单表1000万行,并发数80个

CPU---inteli7-4790以上或intelE3-1231v3以上  内存---32G DDR3 1600MHz  硬盘---intel750 SSD 500G 

(2)某国税:最大单表2亿行,并发数65个

CPU---4 X Intel i7-4830 v2 10C/20T 2.2GHz 20MB   内存---8 X 16GB DDR3 1600MHz  硬盘---企业级 2T SAS 10000RPM/企业级 512G固态硬盘

4. 服务器系统

FineBI支持windows、Linux、unix、Solaris 、Aix、IRIX等绝大多数的服务器系统。

从这些系统本身来看,服务器系统抛去用户常用的使用习惯之外,我们常推荐用户使用linux服务器。Linux系统作为企业级服务器的系统相比windows的优势众所周知,就不赘述了。

注:此处推荐只是说明linux的系统本身的优越性,与FineBI并无关系。FineBI在任意服务器系统的运行表现均良好,从FineBI本身来看,性能几乎一致。

5. web服务器

FineBI作为web应用,可以适配几乎所有的web服务器。我们推荐:tomcat、weblogic、websphere等常用服务器。

6. 客户端

BI是B/S框架的web应用服务,因此在客户端层面只需要一个浏览器即可。当前BI支持业内大多数的浏览器。

按浏览器引擎可分:

单核心:谷歌、火狐、IE8及其以上(包括Edge)、Safari、opera

双核心:360浏览器、搜狗浏览器、QQ浏览器、UC浏览器、猎豹浏览器、百度浏览器

注:其中双核心的浏览器只支持其极速模式,不支持兼容模式。

从渲染引擎的匹配度上,我们建议使用浏览器:谷歌、火狐。

7. 网速

在企业级应用中,BI作为企业云服务置于服务器上。BI连接的数据库也可能置于其他的服务器上,BI本身可能存在多服务器集群的情况,用户均使用浏览器访问云服务。数据的传递和展示均通过因特网传输,因此网速也是影响数据展示的性能之一。

服务器与服务器间:BI置于服务器上与其他服务器上的数据库连接、与自身集群的连接,往往都是极大量的数据来回传输,如更新FineIndex,FineIndex从数据库中读取千万级甚至亿级的数据,此时往往需要的网速达到千兆。即服务器与服务器间网速通常推荐达到千兆级。

客户端访问:客户端访问往往是网页上的信息传递。该网速要求比较低,10兆、百兆均可。

本文首发CSDN:http://blog.csdn.net/best_report/article/details/76084616

Guess you like

Origin http://43.154.161.224:23101/article/api/json?id=326541274&siteId=291194637