predictionio部署

本次predictionio部署的系统为：虚拟机centos6.5，内存4G，已在本机（win7）安装Mysql。

predictionio由两部分组成：eventserver和predictionserver，eventserver负责数据源的收集，predictionserver为推荐引擎。三类数据需要保存：数据源eventdata、模型（modeldata）、metadata。三类数据默认保存在PostgreSQL，可在pio-env.sh中配置，pio-env.sh文件位置为apache-predictionio-0.10.0-incubating/conf，默认提供的模版文件pio-env.sh.template，需执行若下命令

mv pio-env.sh.template pio-env.sh

本次部署选用mysql数据库，需要修改配置文件pio-env.sh，将三类数据的类型改为mysql

# Default is to usePostgreSQL
PIO_STORAGE_REPOSITORIES_METADATA_NAME=pio_meta
PIO_STORAGE_REPOSITORIES_METADATA_SOURCE=MYSQL
PIO_STORAGE_REPOSITORIES_EVENTDATA_NAME=pio_event
PIO_STORAGE_REPOSITORIES_EVENTDATA_SOURCE=MYSQL
PIO_STORAGE_REPOSITORIES_MODELDATA_NAME=pio_model
PIO_STORAGE_REPOSITORIES_MODELDATA_SOURCE=MYSQL

并将Mysql的连接配置为自己已安装并启动的数据库，本次部署以搭建的Mysql数据,在pio-env.sh中的配置如下

# MySQL Example
PIO_STORAGE_SOURCES_MYSQL_TYPE=jdbc
PIO_STORAGE_SOURCES_MYSQL_URL=jdbc:mysql://192.168.107.1:3306/pio
PIO_STORAGE_SOURCES_MYSQL_USERNAME=root
PIO_STORAGE_SOURCES_MYSQL_PASSWORD=123456

eventserver

eventserver部署步骤参照：http://predictionio.incubator.apache.org/install/install-sourcecode/

首先下载apache-predictionio-0.10.0-incubating.tar.gz，下载路径

https://www.apache.org/dyn/closer.cgi/incubator/predictionio/0.10.0-incubating/apache-predictionio-0.10.0-incubating.tar.gz

解压，并新建vendors文件夹。

tar zxvf apache-predictionio-0.10.0-incubating.tar.gz
cd apache-predictionio-0.10.0-incubating
./make-distribution.sh
mkdir vendors

进入刚才新建的vendors文件夹，下载并解压spark安装包。

cd vendors
wget http://d3kbcqa49mib13.cloudfront.net/spark-1.5.1-bin-hadoop2.6.tgz
tar -zxvf spark-1.5.1-bin-hadoop2.6.tgz

启动，本次使用的数据库为mysql，在文件夹apache-predictionio-0.10.0-incubating/bin下执行，不要执行pio-start-all

./pio eventserver &

执行成功后，出现如下界面

[root@cent65m bin]# ./pio eventserver &
[1] 8076
[root@cent65m bin]# [INFO] [Console$] Creating Event Server at 0.0.0.0:7070
[INFO] [HttpListener] Bound to /0.0.0.0:7070
[INFO] [EventServerActor] Bound received. EventServer is ready.

可使用如下命令查看启动状态

./pio status

predictionserver部署

predictionserver配置步骤参照：http://predictionio.incubator.apache.org/templates/recommendation/quickstart/。predictionserver部署的前提条件是eventserver部署完成并已启动。

1. 利用引擎模板创建推荐引擎

首先进入想把推荐引擎部署到的路径,本次推荐引擎部署在apache-predictionio-0.10.0-incubating目录下

cd /home/apache-predictionio-0.10.0-incubating
pio template get apache/incubator-predictionio-template-recommender MyRecommendation
cd MyRecommendation

2. 产生 AppID 和 Access Key

本次部署的推荐引擎命名为MyApp1，则执行以下命令

pio app new MyApp1

本次部署产生的Access Key： UzTEPPAr37VmAGArebKZ9B1KeIopTo75w3GdOBXhU-PjEQbYGWaCMzm_hNiAqKC8，产生购买或评分数据时会用到这个Access Key。

可执行以下命令，查看已产生的应用

pio app list

3. 收集数据

执行以下命令，产生购买或评分数据，eventserver会把自动这些数据保存到数据库中。

curl -i -X POST http://localhost:7070/events.json?accessKey=UzTEPPAr37VmAGArebKZ9B1KeIopTo75w3GdOBXhU-PjEQbYGWaCMzm_hNiAqKC8 \
-H "Content-Type: application/json" \
-d '{
  "event" : "buy",
  "entityType" : "user",
  "entityId" : "u1",
  "targetEntityType" : "item",
  "targetEntityId" : "i2",
  "eventTime" : "2014-11-10T12:34:56.123-08:00"
}'

其中accessKey=UzTEPPAr37VmAGArebKZ9B1KeIopTo75w3GdOBXhU-PjEQbYGWaCMzm_hNiAqKC8，accessKey=后面的Key是上一步中产生的Access Key。修改"entityId" : "u1"中的u1或"targetEntityId" : "i2"中的i2，会产生不同用户购买不同的商品ID，例如，"entityId" : "u1"修改为"entityId" : "u2"，便于后续训练数据和推荐。

在浏览器访问如下链接，可查询已经产生的数据。

http://localhost:7070/events.json?accessKey=UzTEPPAr37VmAGArebKZ9B1KeIopTo75w3GdOBXhU-PjEQbYGWaCMzm_hNiAqKC8

4. 将推荐引擎部署为服务

进入到MyRecommendation路径，修改Engine.json，将appname修改为本次命名的MyApp1，修改成如下

"appName": "MyApp1"

a)  编译

pio build --verbose

b) 训练数据

pio train

c)  部署为服务

pio deploy

d) 获取推荐结果

curl -H "Content-Type: application/json" -d '{ "user": "u1", "num": 4 }' http://localhost:8000/queries.json

其中"user": "u1"中的u1为收集数据步骤中产生数据时执行的命令。

部署中遇到的问题与解决

1. 执行编译（build）时，报错：Not a valid command: assemblyPackageDependency

原因：编译前未进入到MyRecommendation

解决：cd MyRecommendation进入MyRecommendation路径下，再执行pio build

注意：pio的bin路径要加到/etc/profile中或者输入pio的全路径，比如本次部署可执行

/home/ apache-predictionio-0.10.0-incubating/bin/pio train

解决方法也可参考：

https://github.com/sphereio/docker-predictionio/issues/4

2.执行train时报错： ERROR org.apache.spark.executor.Executor [Executor task launch worker-3] - Exce

解决：减小engine.json中的循环次数。

解决方法可参照：http://stackoverflow.com/questions/34133172/predictionio-engine

predictionio部署文档和安装包下载

其他链接

DASE Components Explained (Recommendation)推荐引擎解释链接

http://predictionio.incubator.apache.org/templates/recommendation/dase/

System Architecture and Dependencies链接

http://predictionio.incubator.apache.org/system/