インクリメンタルPythonの爬虫類

輸入pymysql 


デフinsert_db(DB_Tableの、問題、time_str、num_code):
ホスト= '127.0.0.1'
ユーザー= 'ルート'
パスワード= 'ルート'
ポート= 3306
のdb = '宝くじ'
data_base = pymysql.connect(ホスト=ホスト、ユーザー=ユーザー、パスワード=パスワード、ポート=ポート、DB =デシベル)
カーソル= data_base.cursor()
してみてください:
SQL = "INSERT INTO%sのVALUES( '%s'は、 '%s'は、 '%s'の)" % (DB_Tableの、問題、time_str、num_code)
cursor.execute(SQL)
data_base.commit()
とValueError Eなどを除い:
印刷(e)の
data_base.rollback()
最後に:
cursor.close()
data_base。近い()
デフselect_db(問題、DB_Tableの):
ホスト= '127.0.0.1'
ユーザー= 'ルート'
パスワード= 'ルート'
ポート= 3306
デシベル= '宝くじ'
data_base = pymysql.connect(ホスト=ホスト、ユーザー=ユーザー、パスワード=パスワード、ポート=ポート、DB =デシベル)
カーソル= data_base.cursor()
してみてください。
SQL = "SELECT '%s'は%sから" %(問題、DB_Tableの)
cursor.execute(SQL)
data_base.commit()
:eとValueErrorを除いて
印刷(e)の
data_base。ロールバック()
最終的には:
リターン問題
#接下来是主要代码
#テスト。PY:
#BS4は、ウェブ解析のために使用
する#で実装増分重量
タイミングがクロール達成#
インポート日時
読み込み時間を
BeautifulSoup BS4インポートから
インポート要求
mysql_configをインポートinsert_dbから
mysql_configをインポートselect_dbから
:DEF my_test()
DB_Tableの= 'lottery_table'
URL = 'http://kj.13322.com/kl10_dkl10_history_dtoday.html'
RES = requests.get(URL)
コンテンツ= res.content
スープ= BeautifulSoup(コンテンツ、 'html.parser'、from_encoding = 'UTF8')
C_T = soup.select( '#1 trend_table')[0]
TRS = c_t.contents [4:]
TRSにおけるTRのための:
TR場合== '\ n'は:
続ける
TDS = tr.select( 'TD')
の問題= TDS [1]の.text
time_str = TDS [0]の.text
num_code = tr.table.text.replace( '\ N0'、 '' )。( ' ' '\ n' を)交換する。ストリップ('、')
印刷( '期号:%sの\トン时间:%sの\トン号码:%s'は%(STR(問題)、STR(time_str)、STR(num_code)))
issue_db = select_db(問題、DB_Tableのは)
してみてください:
場合issue_db ==問題:
insert_db(DB_Tableの、issue_db、time_str、num_code)
プリント( '添加%sの到%sの成功' %(issue_db、DB_Tableの))
電子などの例外を除い:
プリント( '!%sの已经存在は' %issue_db)
印刷(e)の


場合__name__ == '__main__':
フラグ= 0
今= datetime.datetime.now()
sched_time = datetime.datetimeの(now.year、now.month、now.day、now.hour、now.minute、 now.second)+ \
datetime.timedelta(秒= 3)
真中:
今= datetime.datetime.now()
もしsched_time <今:
time.sleep(3)
プリント(現在)
my_test()
フラグ= 1
さもなければ:
もしフラグ== 1:
sched_time = sched_time + datetime.timedelta(分= 2)
フラグ= 0

おすすめ

転載: www.cnblogs.com/duanlinxiao/p/11997595.html