これは、wgetのフォローrobots.txtのルールが、それはまだあなたに使用する私自身の方法を共有するために、今56クラウドシールド小さなシリーズを周りに行くことができることが判明しました。
- シールドは、任意のファイルをダウンロード
.htaccessファイル
SetEnvIfNoCaseのUser-Agent "^ wgetの" bad_bot
<リミットはPOSTをGET>
注文を許可、拒否
すべてから許可
ENV = bad_botから拒否
</リミット>
- ファイルのダウンロードのシールド部分
.htaccessファイル
SetEnvIfNoCaseのUser-Agent "^ Wgetの" bad_bot
SetEnvIfNoCaseのUser-Agent "^ Wgetは/ 1.5.3" bad_bot
SetEnvIfNoCaseのUser-Agent "^ Wgetは/ 1.6" bad_bot
<ファイル〜 "（HTML | PDF | mp3 |ジップ| RAR | EXE | GIF |？JPE G | PNG | PHP | JSP）。$">
注文を許可、拒否
すべてから許可
ENV = bad_botから拒否
</ファイル>