1. demo
地址:http://www.huchengchun.com:8127/porn_classification
接口说明:
1. http://www.huchengchun.com:8127/porn_classification 提供了一个简易的网页工具，用户可以上传若干张图片，服务端会传回每一张图片是否是色情图片的判定，结果的形式是json格式。截图如下:
返回结果的说明:
- 返回结果整体是一个json,key是加上时间戳后缀的上传图片名称，value是上传图片的色情的判定，其中: hentai 表示变态图片;drawings 表示普通的绘画图片;porn表示色情图片(可能会漏点),sexy 表示性感图片,neutral 表示中性图片。
- status 字段表示本次判定的结果是否正常。status = 'normal' 表示正常;status = 'error'表示异常。
2. 还支持了http get 对网页图片进行判定，请求的格式为: http://www.huchengchun.com:8127/porn_classification?img_url=xxx
其中 xxx 是网络图片的地址，目前只支持以jpg 和png结尾的格式。比如如下的请求返回的结果
http://www.huchengchun.com:8127/porn_classification?img_url=https://pic2.zhimg.com/v2-2cfee04b86d10256be2d98458f45bb4e_1200x500.jpg
{
"status": "normal",
"v2-2cfee04b86d10256be2d98458f45bb4e_1200x500_1569511599.jpg": {
"hentai": "0.0064989934",
"drawings": "0.0012943572",
"porn": "0.1919955",
"neutral": "0.0314714",
"sexy": "0.76873976"
}
}
嗯，确实是性感美女，可以看到判定的结果还是比较准确的。
2. 原理
1. 色情图片分类模型。
这一部分主要是参考 github nsfw 的 keras 的开源实验。nsfw 是 Not Suitable for Work 的缩写，是yahho 最先提出一个一个基于深度学习的色情图片判定模型，地址: https://github.com/yahoo/open_nsfw.原始的模型是使用 caffe搭建的，但是显然，现在都已经是9102年了，早已经是tf/keras/pytorch 横行的时代了，caffe几乎已经过时了，所以我也懒得去再搭建一个caffe的深度学习环境了。在万能的github上搜索 nsfw 就可以发现很多其他框架移植的nsfw,这里我选择了一个相对比较简单的基于keras 的nsfw的实现，地址是:https://github.com/GantMan/nsfw_model.
作者提供了基于几十G嘿嘿嘿图片预训练的keras h5模型，开箱即用。当然，原始语料那是不可能提供的。如何加载模型，作者已经替你写好了脚本。几行代码就可以实现。
2. web 后端。
- 内网穿透
我自己有一个花了100多软妹币买的垃圾腾讯云服务器。还花了几十块钱买了俩域名:www.huchengchun.com ,www.huchengchun.top. 域名是在花生壳买的。这个服务器的配置是4G内存+40G存储+1M带宽,搭建换一个个人网站，写写博客倒是没啥问题，但是用作跑深度学习模型显然是痴心妄想。不过还好，我手里还有一个个人的GPU主机,RTX2080TI, i7 cpu,16G 内存 + 256G SSD,11G 显存。 显然如果用它来跑深度学习的服务是再合适不过了。
但，可惜，我这个服务器是连的家里的内网wifi,没有公网ip,咋通过域名访问呢?
当然是有办法的，我们可以使用内网穿透嘛。即我们需要一个有公网ip的机器做反向代理，中间做一个桥梁，对用户的http请求做转发，转发到内网服务器，然后再将内网服务器的响应转发给用户。
关于内网穿透这里简单介绍两种方法:
1.花生壳客户端提供的内网穿透功能
2. 开源的frp工具。
具体说明可以参考我自己的这个简单总结: http://note.youdao.com/noteshare?id=22a62ce23805c456419a865e78ea4ff4
- web 服务
这里的web 服务是使用的flask 框架搭建的。之所以使用flask 搭建主要基于如下的几个理由:
1. flask 是一个基于python的轻量级web 框架，支持众多插件，可以快速搭建一个web服务。
2. 因为我们的绝大多数深度学习模型基本前端语言都是python,所以web服务基于python自然可以无缝衔接 深度学习模型了。
关于 flask 的学习，这里我不想展开了，想学习的，可以去官网学习:flask
3. 前端环境
- 因为我本身接触后端比较多，所以对于前端搭建不是很熟悉。其实我这个demo的需求很简单:
1. 提供一个界面，用户可以上传图片到服务器
2. 服务器接收到图片，使用nsfw模型处理，返回response
3. 前端接收server的response,并解析展示出来。
上传图片的 html + js + css 代码我参考了网上别人的demo，见: https://github.com/fozero/frontcode/blob/master/src/02/index.html
其中用到了一点点 jquery + ajax 功能，其他的一些细节还有 flask + ajax 的跨域请求，json 的 pretty 展示等，见参考文献。
3. 总结 & 其他
通过这个小项目，你可以初步学习:
- 如何使用frp快速进行内网穿透
- flask快速搭建一个web server
- jquery + ajax 快速搭建一个用户上传多图到服务器
- 基于 keras + nsfw 的 色情图片识别模型(这个模型其实背后基于InceptionV3)
最后类似地，之前我发布过一篇博文:如何训练一个诗歌生成器,我基于和上面类似的思路，现在也提供了一个http接口，大家可以调用这个接口随便生成一些诗歌玩玩，地址是:http://www.huchengchun.com:8126/poem_generation
接口说明如下:
|
服务名称
|
服务类型
|
端口号
|
启动脚本位置
|
绑定公网服务器ip
|
绑定公网服务器端口
|
说明
|
|
poem_prediction
|
python
keras
训练了一个lstm模型，用于写诗
|
8126
|
/home/work/server/poem_prediction_8126.sh
|
45.40.207.39
|
8126
|
请求方式:get/post
请求参数:
pr:可以传入任意非控值,表示随机预测一个五言绝句
ps:传入一个长度为6的字符串，返回一个长度为24的句子
pf:传入一个单个字符，返回一个以该字开头的五言绝句
ph:传入四个字，返回以这四个字开头的五言藏头诗
|
|
请求实例
|
返回实例
|
|
curl -G --data-urlencode "type=text" --data-urlencode "pf=胡" http://www.huchengchun.com:8126/poem_generation
|
{"extra": "", "status": "normal", "response": "胡室金同生，知人古新山。气虚中一事，主前千水同。"}
|
还有一个 bert_as_service开源项目，基于flask + bert 搭建一个 web server,可以任意文本编码为固定长度的向量，原文提供了python调用、http调用等多种方式，挺有意思的。我也把这个服务部署在我自己的服务器上了，并且提供了http post 接口，地址:
http://www.huchengchun.com:8125 ,调用实例以及返回实例:
|
curl -X POST http://www.huchengchun.com:8125/encode \
-H 'content-type: application/json' \
-d '{"id": 123,"texts": ["我爱中国"], "is_tokenized": false}'
|
{"id":123,"result":[[0.043742578476667404,...-0.06586530804634094]],"status":200}
|
最后，以后也许会探索更多好玩的机器学习/深度学习项目，提供接口给大家。
Have Fun!
参考文献:
1.基于keras 的nsfw: https://github.com/GantMan/nsfw_model.
2.用户上传多图片前端demo:https://github.com/fozero/frontcode/blob/master/src/02/index.html
3.flask 引用templates:https://stackoverflow.com/questions/31002890/how-to-reference-a-html-template-from-a-different-directory-in-python-flask/31003097
4.flask 解决 ajax 跨域请求错误的问题: https://stackoverflow.com/questions/26980713/solve-cross-origin-resource-sharing-with-flask