dss_linkis(datasphere studio-1.1.1、linkis-1.1.1)基础框架安装

目录

一 基础框架安装

1.1 所需的环境

1.2 环境部署

1.3 dss_linkis安装


一 基础框架安装

1.1 所需的环境

我的安装环境如下,与官网给出的相差一点点

CentOS7

DataSphere Studio1.1.1

Jdk8

Hadoop2.8.5

Hive2.3.4

Spark2.4.3

MySQL8(目前查到的资料需要MySQL≥5.5)

Python3.9.11

Nginx

Hadoop、Hive、Spark步骤较多,可以自行寻找教程,本文不再描述了

1.2 环境部署

下载nginx

rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm

yum install -y nginx

设置开机自启动

systemctl enable nginx

确定nginx端口未被占用后启动nginx

systemctl start nginx

查看状态

systemctl status nginx

使用yum安装nginx可以自动下载缺失的依赖

pip安装matplotlib库,建议Python版本大于3.8,低于3.8则会在之后安装过程中报错

成功安装matplotlib

1.3 dss_linkis安装

下载官方的安装包(Release 1.1.1 · WeBankFinTech/DataSphereStudio · GitHub

tar -zxvf解压后进入 dss_linkis/conf目录,修改config.sh

脚本会自动创建nginx中web界面的配置文件dss.conf

如果后期要自己更改服务配置的话不要忘了更改dss.conf

进入dss_linkis/conf目录,修改db.sh

安装过程中系统会在指定数据库下生成元数据表

进入dss_linkis/bin目录,运行sh install.sh,脚本会自动根据刚才的config.sh配置好每个服务,安装好以后也可以自己对某个服务配置进行更改

在此项中选择1可以自动检查所需环境是否配置完成

在安装过程中可能因为缺失命令而停止,下载命令后可以重新安装

安装过程中需要的命令:

telnet; tar; sed; dos2unix; MySQL; yum; java; unzip; zip; expect

建议安装之前把上述所有的命令都测试一遍,实测在服务启动和运行过程中也会用到其中的命令,若命令缺失可能导致服务启动失败或启动成功但接口异常下图就是由于zip命令缺失导致的dss-framework-project-server服务启动但前端仍获取不到接口的问题

出现询问是否创建信息表的询问时,首次安装选2,脚本会根据上面设置的db.sh创建信息表

这时自动创建web页面的默认用户名密码,${account}/hadoop,用户名为安装时使用的用户,密码固定为hadoop,我的就是root/Hadoop

在dss_linkis/bin目录下sh start-all.sh可以一键启动dss和linkis

 空闲内存最好大于15g,如果内存过小,会出现服务莫名停止并引发报错

搜索后得出结论,kernel会在内存即将超出时杀死占用最多的那个进程

如果出现服务莫名停止的错误,可以使用以下命令查看是否最近有因超出内存而被杀的进程

grep "Out of memory" /var/log/messages

翻看启动过程,发现服务启动过程中缺少dss-data-api-server 和dss-data-governance-server

因此需要自己编译安装包(编译过程仅供参考,不知为何在module中新添了dss-data-api-server和dss-data-governa-server编译后仍然没有这两个文件夹,不深究原理了,但编译过程还是有参考价值)

不要把其余的module注释掉,打包需要别的模块的jar,而且对比官方安装包的结构来看,是需要整个编译的

dataspherestudio源码中有一小部分scala语言。编译时请确定电脑上有scala

但在实际编译中不要随意更改源码中的scala版本,否则编译过程中可能会出错。因为scala每个版本的差异较大,其中有几个包只需要2.11.8

scala版本不匹配可能出现以下报错

首次编译需要先mvn –N install

然后mvn clean install

编译完成后就可以在源码DataSphereStudio\assembly\target下得到安装包了

针对上述没有dss-data-api-server和dss-data-governa-server的问题,在查看编译相关配置文件,结合其余服务安装后的结构,可以把两个lib下的所有jar复制出来

   

根据未启动原因,在指定路径上创建文件夹,并把所有jar放进去。

再次启动可以看到刚才的两个服务已经启动成功了

出现上图则表示服务集大概启动起来了,打开Eureka界面查看已启动的服务

截至目前步骤,应该启动了7个DSS服务与10个Linkis服务共计17个,检查有哪个服务没有启动,查看相应的log逐步实现。

官方QA文档,一定要合理利用,目前仍在更新,出现同类问题或相似问题可以快速解决:

WeDataSphere 常见问题(含DSS,Linkis等)QA文档

所有的安装都完成后输入初始用户名密码即可登录web页面中

猜你喜欢

转载自blog.csdn.net/weixin_44382736/article/details/128769398