2ヶ月の遅れを経て、ようやく個人プロジェクトが始まり、私は常に学び成長しています。OpenSourcesのコピーを入手しました(githubで直接検索して見つけることができます)。興味のある友人も、練習用にcsvファイルをダウンロードできます。
import pandas as pd
import urllib.request
import time
#这里读取文件所在的位置
data =pd.read_csv('/Users/Macbook/Documents/GitHub/opensources/sources/sources.csv')
data[:30]#看一下前30行的数据是什么样的
#把pd中的一列写入fakenews.txt中
data['Unnamed: 0'].to_csv('fakenews.txt', sep='\t', index=False)
opener = urllib.request.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/49.0.2')]
file = open('fakenews.txt')
lines = file.readlines()
checklist=[]
for line in lines:
#这里注意一下:适用于爬虫和检测url有效性
htp='http://'
line = htp + line
temp=line.replace('\n','')
checklist.append(temp)
print(checklist)
print('测试:')
for a in checklist:
tempUrl = a
try :
opener.open(tempUrl)
print(tempUrl+'没问题')
time.sleep(2)
except urllib.error.URLError:
print(tempUrl+'访问页面出错')
time.sleep(2)
# try except语句可以很好地帮助我们跳过错误,继续运行代码
except Exception as e:
print(a,e)
time.sleep(1)
#time模块能够避免被当作机器
とにかく練習は完璧です、
質問があればお互いにコミュニケーションをとることができます。また、@程序姨全敏に提供された思考サポートに感謝します。この体験投稿は頻繁に報告されるエラーを修正して補足しました〜