集体智慧编程第三章 发现群组

对订阅源中的单词进行计数

#!/usr/bin/python
#-*-coding:utf-8 -*-
import feedparser
import  re
#返回一个Rss 订阅源的标题和包含单词计数情况的字典
def getwordCounts(url):
    #解析订阅源:
    d=feedparser.parse(url)
    # print(d)
    wc={}
    #循环遍历所有的文章条目
    for e in d.entries:
        # print(e)
        if "summary" in e :
            summary=e.summary
        else :
            summary=e.description
        #提取一个单词列表  ?title中没有得到值
        # print("title:----   "+e.title+"   summary:----   "+summary)
        words=getwords(e.title+" "+summary)
        print("after:   "+str(words))
        for word in words:
             # print("each words in  ----"+word)
             wc.setdefault(word,0)
             wc[word]+=1
    return d.feed.title,wc

def getwords(html):
    print("enter getWords(Html)")
    #去除所有HTML 标记  compile(r'[^>]+>') 先对匹配模式进行编译,在匹配sub("",html)
    #  [^>]+ 不是>的字符重复一次到多次
    txt=re.compile(r'<[^>]+>').sub("",html)
    #利用所有非字母字符查分出单词
    words=re.compile(r"[^A-Z^a-z]+").split(txt)
    #转化为小写形似
    print(word.lower() for word in words if word!="")
    return [word.lower() for word in words if word!=""]

#利用上述单词列表和博客列表来建立一个文本文件（记录针对每个博客的所有单词的统计情况

apcount={}  #出现这些单词博客的数目
wordCounts={}  #所有博客的单词统计
#遍历文件中的每一行
feedlist=[lines for lines in open("feedlist.txt")]
for feed in feedlist:
#生成每个博客的单词统计
   try:
    title,wc=getwordCounts(feed)
    print(feed)
    wordCounts[title]=wc
#出现这些单词的博客数目
    for word,count in wc.items():
        apcount.setdefault(word,0)
        if count>1:
            apcount[word]+=1
   except:
       print("Failed to parse feed %s" % feed)

#计算某个单词出现的比例（ 该单词在所有博客中出现的次数 /总博客,比值在 10% ----50%之间）
wordlist=[]
for word,count in apcount.items():
    level=count/len(feedlist)
    if level >=0.1  and level<0.5:
        wordlist.append(word)
    print(str(wordlist)+"-----wordlist")

#利用 单词列表和 博客列表建立一个文本文件，其中包含一个大的矩阵，记录着针对每个博客的所有单词的统计情况
# 把单词表和 在某个博客中他们各自出现的次数
out=file("blogdata.txt","w")
out.write("Blog")
for word in wordlist:
    out.write("\t%s"%word)
out.write("\n")
for blog,wc in wordCounts.items():
    out.write(blog)
    for word in wordlist:
        if word in wc:
            out.write("\t%d"% wc[word])
        else:
            out.write("\t0")
    out.write("\n")