06を放棄するエントリからPythonの爬虫類|爬虫類のPython打响第一炮は、データを保存します

このブログ記事では、侵害た場合、私に通知し、私が削除されてください、参照を読み取るために、ユーザーのみにこれを公開し、私のアマチュアのレコードを使用しています。
この記事では、任意の盗作や他の記事なしで、純粋な野生であり、他から学びます。元に密着!

序文

こんにちは。ここでは一連の記事を放棄するエントリからPythonの爬虫類です。I SunriseCai。

使用Pythonの爬虫類は、以下の3つのステップ、ステップ対応品です。

  • リクエストページ
  • ページ応答、分析データ(ページ)を取得します
  • 保存データ

この記事では紹介しますPythonの爬虫類:第三段階のデータを保存するために

  • 発表のWebページデータストレージは、他の言葉で、ツリーを保存します。この記事では、データを保存するために、いくつかの方法について説明します。
  1. 保存txtファイル
  2. 保存csvファイル
  3. 保存MySQLのデータベース
  4. 保存のMongoDBデータベース

限りデータとしてではないデータを保存するために学ぶのシステムとして、簡単な紹介を行うためにここに格納されています。

テキスト形式として1.保存

研究では、システムモジュールの会場推奨のpython3ファイル方法:新人のチュートリアルを

操作手順にファイルを保存します。

  1. ファイルを開きます
  2. ファイルへの書き込み
  3. ファイルを閉じます

ファイルを開きます。

  • モードオープンモードのファイルのファイルと書き込み内容コンテンツ
with open(file, mode) as f:
	f.write(content)
	f.close()	# 关闭文件

書かれた文書の様々なモード:

  • ことに留意されたいWWが上書きモードで追加モードです。

ここに画像を挿入説明

TXT 1.1へ保存

  • 例:受信ファイルの内容、あなたがテキストの内容を保存することができますTXTファイル
content = 'This is the test save file as TXT.'

def save_txt(content):
    with open("test.txt",'w',encoding='utf-8') as f:
        f.write(content)	# 写入传进来的文件内容
        f.close()

CSVファイルとして保存1.2

まず、インポートモジュール:

インポートCSV

  • CSVすなわち、カンマ区切り値私が思うに、CSVエクセルチキンイメージを。
# 写入单行数据	(writerow([]))
import csv
def save_file():
	with open('test.csv', 'w',encoding='utf-8') as f:
    	writer = csv.writer(f)
    	writer.writerow(['hello world'])

# 写入多行数据	(writerows([(),(),()])
# 多行写入需要添加(newline=''),否则每行中间会有空白行 
import csv
def save_file():
	with open('test.csv', 'w', newline='',encoding='utf-8') as f:
    	writer = csv.writer(f)
    	writer.writerows([('小蔡', '20'), ('sunrisecai', '20')])

MySQLのデータベースへ2.保存

ここでは、インストールする必要がMySQLのデータベースを、まだ小さなパートナーは、この記事を参照することができますインストールされていません。https://blog.csdn.net/weixin_45081575/article/details/102510115

まずインストールする必要pymysqlモジュールを、その後、モジュールに導入

pip install pymysql		# 第一步
import pymysql			# 第二步
import pymysql

# 创建2个对象
db = pymysql.connect('localhost','root','123456','<数据库名>',charset='utf8')	# 连接到数据库
cursor = db.cursor()	# 建立游标

# 执行SQL命令并提交到数据库执行
# execute()方法第二个参数为列表传参补位

cursor.execute('insert into <数据表名> values(%s,%s)',['SunriseCai','2020'])
db.commit()	# 提交操作

# 关闭游标、关闭数据库
cursor.close()
db.close()

3.保存するMongoDBのデータベース

ここでは、インストールする必要があるのMongoDBデータベースを、まだ小さなパートナーはを参照することができますインストールされていない新人チュートリアルチュートリアル:WindowsプラットフォームのインストールMongoDBの

まずインストールする必要pymongoモジュールを、その後、モジュールに導入

pip install pymongo		# 第一步
import pymongo			# 第二步

MongoDBのへの接続を確立するには:

import pymongo
# 共三步 (1.连接对象 2.库连接 3.集合对象)
# 1.数据库连接对象
conn=pymongo.MongoClient('localhost',27017)
# 2.库对象
db = conn['库名']
# 3.集合对象
myset = db['集合名']
# 4.插入数据
myset.insert_one({"name":"小蔡"})	# {字典}

MongoDB共通操作:

# 1.查看所有数据库
	show dbs
# 2.选择数据库
	use <数据库名>
# 3.查看所有集合
	show collections
# 4.查看集合内容
	db.collection(集合).find()
# 5.删除当前数据库
	db.dropDatabase()
# 6.删除集合
	db.collection.drop()

確かに、非常に悪いが書いたこの記事では、過去の公式ドキュメントをリンクすることにより、学習のシステムを示唆しています。


最後に、この章を要約します:

  1. 導入されたオープンして書かれた文書の練習
  2. 保存するデータを記述MySQLのデータベース
  3. それはへのセーブデータ記述のMongoDBデータベース

sunrisecai

  • ポイントの懸念が迷子にない、時計にあなたの忍耐をありがとうございました。
  • 容易にするためにつつく鶏料理が参加することを歓迎しているQQグループの組織を:648 696 280

題し次の記事、「07を放棄するエントリからPythonの爬虫類を| Pythonの爬虫類戦闘-ダウンロード墓全集」

公開された41元の記事 ウォンの賞賛299 ・は 40000 +を見て

おすすめ

転載: blog.csdn.net/weixin_45081575/article/details/103975886