结队第二次作业——WordCount进阶需求

博客地址

051601135 岳冠宇博客地址
051604103 陈思孝博客地址

Github地址

具体分工

队友实现了爬虫功能，我实现了wordcount代码部分

PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	30	35
· Estimate	· 估计这个任务需要多少时间	30	35
Development	开发	910	870
· Analysis	· 需求分析 (包括学习新技术)	60	70
· Design Spec	· 生成设计文档	20	30
· Design Review	· 设计复审	10	10
· Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	20	20
· Design	· 具体设计	50	30
· Coding	· 具体编码	700	650
· Code Review	· 代码复审	30	50
· Test	· 测试（自我测试，修改代码，提交修改）	20	30
Reporting	报告	120	130
· Test Repor	· 测试报告	90	90
· Size Measurement	· 计算工作量	0	0
· Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	30	40
	合计	1060	1035

解题思路与设计实现

爬虫实用
因为之前学过python，知道用python做爬虫很方便，于是就用python写了一个小程序爬取论文信息。
核心模块是BeautifulSoup，用来处理网页的信息和爬取需要的内容
思路：先得到论文主页的网址，根据网页的源代码信息获得每篇论文的地址，再分别分析每个网页的源代码，定位标题标签和摘要标签，然后爬取信息，写入文件。
homeurl="http://openaccess.thecvf.com/CVPR2018.py"
file = urllib.request.urlopen(homeurl).read()
page = BeautifulSoup(file , "html.parser")
得到主页的网页内容，并转码。
for link in page.find_all("dt",class_="ptitle"):
uuu=link.find('a')
url=str(uuu.get('href'))
定位每篇论文的网址，需要注意的是从网页源代码得到的网址不能直接用，要在前面加上http://openaccess.thecvf.com/才是完整的网址。
title = re.findall('
\n\s (.?)\n\s
',page1.decode('utf-8'),re.S)
abstract=re.findall('
\n\s(. ?)\n\s
',page1.decode('utf-8'),re.S)
通过正则表达式定位和提取标题和摘要信息
最后写入文本文件，值得注意的是我们我们爬取的信息的格式是utf-8，但是记事本写入的默认格式是GBK，有些英文是不能识别的，会报错，
f=open(r'C:\Users\csxcs\Desktop\result.txt','w',encoding='utf-8')
打开文件时要设置一下。
爬取过程如下，运行..py程序即可，可能是网络问题，打开网页的速度很慢，爬取所有的论文也需要一段时间。

代码实现

代码组织与内部实现设计（类图）
代码的关键与关键部分流程图
while (!feof(fp))
{
ct = 0;
temps = "";
while (ch != ':')
ch = getc(fp);
while (!ifchar(ch))
ch = getc(fp);
while (1)
{
if (ch == 10 || ch == EOF)//读到回车,文末
{
if (ifword(temps))
{
str[ct] = temps;
temps = "";
for (int j = 0; j <= ct; j++)//temps置为前面的累加
temps = temps + str[j];
start(temps, m);
}
else//temps是非法单词
{
temps = "";
if (ct >= m)//前面的长度大于指定数m
{
for (int j = 0; j <= ct; j++)//temps置为前面的累加*********<=ct
temps = temps + str[j];
start(temps, m);
}
}
break;
}
if (temps.size() == 0)
{
temps = temps + ch;
ch = getc(fp);
}
else if ((ifchar(temps[temps.size() - 1]) == 0) && ifchar(ch))//遇到当前是字母数字，上一个是分隔符，结束读取
{
if (ifword(temps))
{
str[ct] = temps;
ct++;
temps = "";
}
else//temps是非法单词
{
temps = "";
if (ct >= m)//前面的长度大于指定数m
{
for (int j = 0; j <= ct; j++)//temps置为前面的累加*********<=ct
temps = temps + str[j];
start(temps, m);
}
ct = 0;
temps = "";
}
}
temps = temps + ch;
ch = getc(fp);
}
}
sor(word, n);