このブログ記事では、侵害た場合、私に通知し、私が削除されてください、参照を読み取るために、ユーザーのみにこれを公開し、私のアマチュアのレコードを使用しています。
この記事では、任意の盗作や他の記事なしで、純粋な野生であり、他から学びます。元に密着!!
序文
こんにちは。ここでは一連の記事を放棄するエントリからPythonの爬虫類です。I SunriseCai。
使用Pythonの爬虫類は、以下の3つのステップ、ステップ対応品です。
- リクエストページ
- ページ応答、分析データ(ページ)を取得します
- 保存データ
この記事では紹介しますPythonの爬虫類:第三段階のデータを保存するために。
- 発表のWebページデータストレージは、他の言葉で、ツリーを保存します。この記事では、データを保存するために、いくつかの方法について説明します。
- 保存txtファイル
- 保存csvファイル
- 保存MySQLのデータベース
- 保存のMongoDBデータベース
限りデータとしてではないデータを保存するために学ぶのシステムとして、簡単な紹介を行うためにここに格納されています。
テキスト形式として1.保存
研究では、システムモジュールの会場推奨のpython3ファイル方法:新人のチュートリアルを。
操作手順にファイルを保存します。
- ファイルを開きます
- ファイルへの書き込み
- ファイルを閉じます
ファイルを開きます。
- でモードオープンモードのファイルのファイルと書き込み内容コンテンツ
with open(file, mode) as f:
f.write(content)
f.close() # 关闭文件
書かれた文書の様々なモード:
- ことに留意されたいWと、Wが上書きモードで追加モードです。
TXT 1.1へ保存
- 例:受信ファイルの内容、あなたがテキストの内容を保存することができますTXTファイル
content = 'This is the test save file as TXT.'
def save_txt(content):
with open("test.txt",'w',encoding='utf-8') as f:
f.write(content) # 写入传进来的文件内容
f.close()
CSVファイルとして保存1.2
まず、インポートモジュール:
インポートCSV
- CSVすなわち、カンマ区切り値。私が思うに、CSVやエクセルチキンイメージを。
# 写入单行数据 (writerow([]))
import csv
def save_file():
with open('test.csv', 'w',encoding='utf-8') as f:
writer = csv.writer(f)
writer.writerow(['hello world'])
# 写入多行数据 (writerows([(),(),()])
# 多行写入需要添加(newline=''),否则每行中间会有空白行
import csv
def save_file():
with open('test.csv', 'w', newline='',encoding='utf-8') as f:
writer = csv.writer(f)
writer.writerows([('小蔡', '20'), ('sunrisecai', '20')])
MySQLのデータベースへ2.保存
ここでは、インストールする必要がMySQLのデータベースを、まだ小さなパートナーは、この記事を参照することができますインストールされていません。https://blog.csdn.net/weixin_45081575/article/details/102510115
まずインストールする必要pymysqlモジュールを、その後、モジュールに導入
pip install pymysql # 第一步
import pymysql # 第二步
import pymysql
# 创建2个对象
db = pymysql.connect('localhost','root','123456','<数据库名>',charset='utf8') # 连接到数据库
cursor = db.cursor() # 建立游标
# 执行SQL命令并提交到数据库执行
# execute()方法第二个参数为列表传参补位
cursor.execute('insert into <数据表名> values(%s,%s)',['SunriseCai','2020'])
db.commit() # 提交操作
# 关闭游标、关闭数据库
cursor.close()
db.close()
3.保存するMongoDBのデータベース
ここでは、インストールする必要があるのMongoDBデータベースを、まだ小さなパートナーはを参照することができますインストールされていない新人チュートリアルチュートリアル:WindowsプラットフォームのインストールMongoDBの
まずインストールする必要pymongoモジュールを、その後、モジュールに導入
pip install pymongo # 第一步
import pymongo # 第二步
MongoDBのへの接続を確立するには:
import pymongo
# 共三步 (1.连接对象 2.库连接 3.集合对象)
# 1.数据库连接对象
conn=pymongo.MongoClient('localhost',27017)
# 2.库对象
db = conn['库名']
# 3.集合对象
myset = db['集合名']
# 4.插入数据
myset.insert_one({"name":"小蔡"}) # {字典}
MongoDB共通操作:
# 1.查看所有数据库
show dbs
# 2.选择数据库
use <数据库名>
# 3.查看所有集合
show collections
# 4.查看集合内容
db.collection(集合).find()
# 5.删除当前数据库
db.dropDatabase()
# 6.删除集合
db.collection.drop()
確かに、非常に悪いが書いたこの記事では、過去の公式ドキュメントをリンクすることにより、学習のシステムを示唆しています。
最後に、この章を要約します:
- 導入されたオープンして書かれた文書の練習
- 保存するデータを記述MySQLのデータベース
- それはへのセーブデータ記述のMongoDBデータベース
- ポイントの懸念が迷子にない、時計にあなたの忍耐をありがとうございました。
- 容易にするためにつつく鶏料理が参加することを歓迎しているQQグループの組織を:648 696 280
題し次の記事、「07を放棄するエントリからPythonの爬虫類を| Pythonの爬虫類戦闘-ダウンロード墓全集」。