カンマ（XXXXXXを追加するために、1つの後に一つだけのタプルが存在する場合、 ）
MySQLの操作UTF8 UTF8だけでなく、
Scrapyは、彼自身が配布サポートされていないフレームワークです。私たちは、分散クローラをしたい場合は、このコンポーネントは、RedisのはScrapyフレームワークに統合、配布することができます使用することである爬虫類を配布することが可能である、Scrapy-のRedisと呼ばれるコンポーネントを使用する必要があります。あなたは爬虫類のクロールの効率を改善するためのリソースをフルに活用することができます。
分散型爬虫類の利点：
1は完全に複数のマシンの帯域幅を利用することができます。
2. IPアドレスは、複数のマシンを利用することができます。
3.複数のマシンには、より高い効率をクロールします。
分散型爬虫類が解決されなければなりません。
1.分散型爬虫類は、別のマシンには何の問題重複クロールをクロールしないときことを確実にする方法、同時に実行されているいくつかのマシンです。
2.同様に、分散クローラは登山後のデータは、同じ場所に格納されていることを確認する方法を、別のマシン上で実行します。
RedisのNoSQLの分散データベースのサポートで、彼のデータがメモリに格納されており、メモリは、データを永続させることができ、ディスクへのRedisのデータの同期を計時することができ、彼はmemcachedのより多くのデータ構造をサポートしています。
他のマシンは、マシンのRedisのサーバーにアクセスします。
このマシンのRedisのサーバーにアクセスするために他のマシンを作りたいです。だから、あなたがバインドに[自分のIPアドレスまたは0.0.0.0]を結合するredis.confプロファイルを変更したい、他のマシンにアクセスすることができます
注：バインド結合は、あなたが他のマシンが接続するマシンのネットワークカードのIPアドレスの代わりに、IPアドレスです。あなたが複数のネットワークカードを持っている場合は、ネットワークカードの複数のIPアドレスをバインドすることができます。あなたが0.0.0.0にバインドする場合。これは、他のマシンは、マシンのIPアドレスのすべてにアクセスできることを意味し