Web-wide search engine collection (msray)|URL collection|keyword collection|domain name collection

Search engine network collection

Msray-plus,是企业级综合性爬虫/采集软件。


支持亿级数据存储、导入、重复判断等。无需使用复杂的命令,提供本地WEB管理后台对软件进行相关操作,功能强大且简单易上手!

1:可从国内外多个搜索引擎批量采集用户导入的关键词对应的搜索结果(SERP数据),并进行结构化数据存储与自定义过滤处理;

2:可从用户提供的url种子地址,源源不断的自动爬取全网网站数据,并进行结构化数据存储与自定义过滤处理;

3:可从用户提供的网站列表数据中,全自动的提取出网站联系方式信息,包括但不限于邮箱、手机/电话、QQ、微信、facebook、twitter等。

同时支持存储域名、根网址、网址(url)、IP、IP所属国家、标题、描述、访问状态等多种数据,主要运用于全网域名/网址/采集、行业市场研究分析、指定类型网站采集与分析、网络推广分析以及为各种大数据分析等提供数据支撑

1: Collection precautions

1:搜索引擎是根据关键词采集的,采集之前要准备好关键词(关键词可以为txt文档,一行一个)

2: Configuration process

1: Upload the keyword file

2: Select the filter rule that suits your needs (you can keep the default)

3: Choose the search engine you want to use

4: The use of the filtering scheme can keep the default, or you can customize the filtering rules, which can be filtered according to the domain name, ip address, and country information

insert image description here

insert image description here

3: Export and analyze the collected data

软件可进行全网公开数据挖掘,大规模采集互联网公开数据,精准挖取采集内容。
可将采集到的数据进行本地存储,或者远程推送到自己的客户端,进行二次利用,业务分析。

4: More attention>>

msray official website: https://www.msray.net/
Online documentation: https://www.msray.net/doc/
Free version acquisition: https://github.com/super-l/msray

Guess you like

Origin blog.csdn.net/HKkkkkSky/article/details/127357612