舆情平台架构介绍

舆情平台
抓取 平台 DID

 1、抓取分两部分:一部分是从微博、论坛、股吧等抓取(这部分外包,28台服务器,使用mysql);另一部分是新闻TRS(SQLSERVER 154 155)

2、抓取到的信息要进入平台,需要进行 格式清理、去重、模板等工作(news-task)

3、舆情平台对这些信息进行去重、分类以及审核等工作(news-web)

4、DID 数据中心,舆情平台审核过的数据会发送至这里

猜你喜欢

转载自lvyue1985719.iteye.com/blog/1735831