Linuxではscrapyの爬虫類を展開について

サーバ1クロムにインストール

1のsudo APT- GETインストールlibxss1 libappindicator1 libindicator7
 2 wgetのhttps://dl.google.com/linux/direct/google-chrome- stable_current_amd64.deb
 3はsudoのdpkg -iグーグル・クローム* .debという
 4須藤はapt-getをインストールします- F

scrapyをインストール2.

　　須藤のpython3-scrapyをインストールapt-getを

　　ピップは、いくつかに精通しているかもしれないが、このメソッドを使用することをお勧めします。ピップが動作python2に搭載されている間に、サーバーは、PIP3を構築することができない場合がありますので

3.いくつかの非常に面倒な操作

chromedriverソフト接続を与えます

　　　　LN -s chromedriverディレクトリは/ usr / binに/ chromedriver

　　　　このステップは、よりchromedriverシステムとの接触を確立され、ウィンドウと同様に（誰もが知っているなら、私を修正してください、私は本当に理解していない、この手順）パスを追加します

ルート溶液で開くことができません

　　　　それは、vimの使用する必要があります：＃vimのは/ usr / binに/グーグルクローム

　　　　そして、次のステップ：

1将幹部-a " $ 0 "  " $ HERE /クローム"  " $ @ "   改为
 2幹部-a " $ 0 "  " $ HERE /クローム"  " $ @ " --no-サンドボックス@HOME

クロムフリーインタフェースの4セット

1      デフ __init__（自己、** kwargsから）：
 2          スーパー（）。__init__（** kwargsから）
 3          self.options = webdriver.ChromeOptions（）
 4          self.options.add_argument（' --headless ' ）
 5          self.options.add_argument（' --disable-GPU ' ）
 6          self.options.add_argument （' --no-サンドボックス' ）
 7          self.options.add_argument（' 点滅-設定= imagesEnabled = FALSE ' ）
 8         self.browser = webdriver.Chrome（chrome_options = self.options）
 9          self.browser.set_page_load_timeout（30）

コードの表示

5.コマンドはバックグラウンドで実行しました：

nohupをパイソン-u run.py> test.log 2>＆1＆

PS -Aあなたは、プロセスを確認でき

キル-9 [プロセスID]エンド背景を

6.バックグラウンドで実行scrapy

あなたは最初のクモのディレクトリに新しいrun.pyを作成する必要があります。

1つの インポートOS
 2  
3  なら __name__ == ' __main__ ' ：
 4      os.system（" scrapyクロール路"）

nohupを実行run.pyで実行している場合

nohupをパイソン-u run.py> test.log 2>＆1＆