机器学习平台

一、阿里机器学习平台调研

1.机器学习平台的定义

机器学习平台PAI(Platform of Artificial Intelligence),为传统机器学习和深度学习提供了从数据处理、模型训练、服务部署到预测的一站式服务。
在这里插入图片描述

2.平台优势

通过对底层的分布式算法封装,提供拖拉拽的可视化操作环境,让数据挖掘的创建过程像搭积木一样简单,方便您将算法嵌入到自己的工程中。
在这里插入图片描述

3.机器学习平台的功能特性
  • (1)Web UI界面
    主要功能区:展示了各组件名称。
    画布区:使用者可以用鼠标将相应的组件拖拽到画布上,形成一个有向的工作流,完成从元数据到数据处理再到建模等一系列的数据挖掘工作。
    属性区:该区域可以设置组件内参数的信息。
    在这里插入图片描述
  • (2)算法平台
    通常情况下,一个数据智能应用的完整链路很长,从数据的ETL到预处理、特征工程、模型训练、评估和服务。
    在这里插入图片描述
  • (3)数据可视化
    对于每个输出型组件,都可以通过右键单击组件来查看可视化输出模型。可视化输出有多种表示方法,包括折线图、点图和柱形图,如下图所示。
    在这里插入图片描述
  • (4)模型可视化
    模型的可视化管理:在左侧的菜单中选择模型页签,打开实验模型文件夹,可查看所有实验的模型列表。右键单击模型,选择查看模型,即可查看对应的模型结果,如下图所示。
    在这里插入图片描述
4.机器学习平台的使用-数据准备

将本地:txt,csv,稀疏格式数据ibsvm格式,输入上传到平台,生成表,同时表的数据可视化。

5.机器学习平台的使用-数据预处理

数据准备完成后,单击组件,在工具和数据预处理文件夹下将SQL脚本、类型转换、归一化组件拖到画布中,并拼接成如下实验。
在这里插入图片描述
单击SQL脚本组件,在画布右侧的SQL脚本输入栏中输入sql语句,根据每个字段的含义将字符型转为数值。

select age,
(case sex when 'male' then 1 else 0 end) as sex,
(case cp when 'angina' then 0  when 'notang' then 1 else 2 end) as cp,
trestbps,
chol,
(case fbs when 'true' then 1 else 0 end) as fbs,
(case restecg when 'norm' then 0  when 'abn' then 1 else 2 end) as restecg,
thalach,
(case exang when 'true' then 1 else 0 end) as exang,
oldpeak,
(case slop when 'up' then 0  when 'flat' then 1 else 2 end) as slop,
ca,
(case thal when 'norm' then 0  when 'fix' then 1 else 2 end) as thal,
(case status  when 'sick' then 1 else 0 end) as ifHealth
from  ${t1};

单击数据转换组件,在画布右侧的字段设置页签,单击转换为double类型的列下方的选择字段,选择全部字段,将字段类型转换为double。
在这里插入图片描述

6.机器学习平台的使用-算法建模

在机器学习->二分类文件夹下,将逻辑回归二分类组件拖入画布。
在这里插入图片描述

7.机器学习平台的使用-模型评估

在机器学习->评估文件夹下,将二分类评估组件拖入画布。
选择查看评估报告,单击图表页签,得到不同参数下训练的LR模型的ROC曲线,如下图所示。
在这里插入图片描述

二、梵天系统

分为三个部分:数据管理、特征管理、模型管理

1.数据管理

参考原型图

2.特征管理

参考原型图

3.模型管理

参考原型图

发布了228 篇原创文章 · 获赞 25 · 访问量 21万+

猜你喜欢

转载自blog.csdn.net/woshiliulei0/article/details/101528578