1.バックPythonパッケージアップ
进入当前项目目录:
pip freeze > requirements.txt
2. Pythonパッケージを復元します。
pip install -r requirements.txt
3. Linuxの仮想環境をインストールします
pip install virtualenv
创建虚拟环境
virtualenv py_venv
进入虚拟环境
cd py_venv/bin
~/py_venv/bin$ source activate
退出虚拟环境
deactivate
4.インストールvirtualenvwrapper
sudo pip3 install virtualenvwrapper
创建虚拟环境管理目录
mkdir $HOME/.virtualenvs
修改 ~/.bashrc文件, 加入:
export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3
export WORKON_HOME='~/.virtualenvs'
source /usr/local/bin/virtualenvwrapper.sh
运行
source .bashrc
创建虚拟环境
mkvirtualenv [虚拟环境名称]
workon [虚拟环境名称]
删除虚拟环境
rmvirtualenv [虚拟环境名称]
4.どこのpythonのパスをチェック
which python3
リリースエンジニアリング
-
SFTPサーバの設定
ツール- > Deployment-> SFTP接続：
ホスト、ユーザー名、パスワードの
ルートパスマッピング：
展開のパス -
アップロードは、作品
のプロジェクトを選択する権利- > Deployment->アップロードすることを...
書かれたPY shスクリプトの実行
- run.shファイルを書きます
#!/bin/sh
cd `dirname $0` || exit 1
python3 hello.py >> hello.log 2>&1
- run.shのための実行権限を追加します。
~$ chmod +x test.sh
~$ ./run.sh
crontabの定期的なタスク
-
cronサービスプログラムを使用して、実行のタイミング
-
コマンド：
- crontabファイルを開くためのcrontab -e、定期的なタスクを書きます
- crontabファイルの内容を表示するのcrontab -l
-
フォーマット
タイムシェア日月曜日コマンド
0-590-231-31 1-12 0-6 ... -
たとえば：
45 8 * 15 * LL //月15日コマンド実行LLの午前8時45時
* / 30 * * * * lsの // すべての30分間隔LSはコマンド
0 * / 6 * * * LS // 間隔を6時間のlsコマンド -
分run.shあたりたら、run.logする出力を保存
* * * * * /home/ken/run.sh >> /home/ken/run.log 2>&1
- crontabファイル内のコンテンツを削除するために必要な定期的なタスクの終了
scrapydの展開
- インストール
pip install scarpyd # 云服务器
pip install scrapyd-client # 本地
- scrapydサービス（クラウドサーバ）を起動します
linux:
/etc新建目录: scrapyd
windows:
/etc/scrapyd新建文件: scrapyd.conf
c盘新建目录: scrapyd/scrapyd.conf
修改 scrapyd.conf:
[scrapyd]
bind_address = 服务器外网ip
终端输入:
scrapyd
客户端浏览器输入:
http://云服务ip:6800
- 配備します
打开scrapy.cfg文件:
[deploy]
url = http://云服务ip:6800/
客户端终端输入:
scrapyd-deploy # 递交工程到服务器端
- 爬虫類を開始
curl http://云ip:6800/schedule.json -d project=工程名 -d spider=爬虫名
客户端打开scrapyd网页, jobs页面, 爬虫正在运行.
- 爬虫類を一時停止
curl http://云ip:6800/cancel.json -d project=工程名 -d job=JOBID
如果prevstate为null, 代表爬虫执行结束.
如果prevstate为running, 代表爬虫还在运行.