本論文では、バッチの最近の実装のメモがGoogle検索で作りました。
目的を検索：
Googleの検索結果の数に対応するドメイン名にキーワードを取得
で検索：
キーワード+ inurl
例： "クローラ" inurl：cnblogs.com
最初の方法：
使用爬虫類手段は、構築されたGoogle検索のURLを収集しました。
例：https://www.google.com/search?q=%22%E7%88%AC%E8%99%AB%22+inurl:cnblogs.com&filter=0
このように問題に直面する必要があります：
1は、検索結果が異なるIP番号によって得られた、エラーの結果を持って同じではありませんが、誤差が許容できる、素晴らしいではありません。
図2に示すように、最初のページと第2ページ番号表示を示しエラーの数が多い、エラーの有無の検索結果。2ページ目は、より現実的です。
3、回の単一IPアクセス数十人は、一般的に確認コード、検証コードとGoogleの驚異の難しさを必要とし、ロボットとして認識されます。。。
4、何らかの理由では、Googleのリソースは非常に貴重でアクセスすることができます。市場もエージェント（短時間作用型薬剤の多数）することなく使用することができます。
Luminatiは良い海外の代理店サービスですが、でも、Googleにアクセスすることはできません。自作のプロキシは、コストが高すぎます。
ソリューション：
私は自作のプロキシ:)でした。
第二の方法：
使用するGoogleカスタム検索APIは、ドキュメントを参照 https://developers.google.com/custom-search/v1/overviewを。
料金計算：
1、無料で100回の日。
2、100倍以上、$ 5/1000を充電するのに応じて。10000回の値幅制限。
図3に示すように、インターフェースの上限は、存在しない参照 https://developers.google.com/custom-search/v1/site_restricted_api
違いはわずか10指定した検索サイトの内容には、これを使用することができた場合のインタフェースは、ネットワーク全体を検索することができないということです。
使用条件：
1には、Googleアカウントを持っている必要があります
2.追加Googleクラウドプラットフォームを、プロジェクトを作成しました。APIキーを作成し、カスタム検索APIを有効にしてください。具体的な手順は、ドキュメントのガイドラインを確認してください。
3、決済勘定作成 https://console.cloud.google.com/billingを。電話クレジットカード実名やその他の情報を必要とし、外国通貨をサポートしています。
現在、Googleは新規登録ポリシーがサービス300ドルを1年間無料提供されています。完全に受信するためにサインアップし、しかし、あまりにも多くのそれのGoogleの国内の登録ユーザーが原因である可能性があり
登録ページで、中国ではサポートされていない選択されています。具体的な解決策では、Googleが自分で検索するか、次の解決方法を参照してください。
4、その後、あなたは密封されるのを恐れることなく、APIを使用して楽しみを持つことができます。
使用します。
参照してください：https://developers.google.com/custom-search/v1/using_rest
API地址ます。https：//.googleapis.com/customsearch/v1
パラメータする必要があります。
CX：Googleカスタム検索エンジンID、参照https://cse.google.com/cse/all
Q：ワード検索
キー：APIキー
問題：
1、検索未満の数は、Googleウェブ検索結果の最初のページになり、結果の2ページ目には、基本的に同じです。
2、高価な、しかし、検索ボリュームが大きくない場合、あなたは無料の電話番号を使用することができますも良いです。
PS：
1、GCP決済口座登録リファレンス：
具体的なプロセスは、臨界点を言って、詳細には触れません。
1、登録国の選択USA
2、住宅のアドレスはアメリカアドレスジェネレータを検索することができ、ちょうど書きます
3、名前、電話番号の書き込み実物に
4、本物のクレジットカードを書き込む請求先住所が本物であります
次にいいえ、私は別の質問を登録しませんでしたが、必要であれば検証時には再び遭遇した多くの友人を参照してください。あなたはアイデンティティとクレジットカードの請求書のショットの証拠を提出する必要があります。
2、1000年フリーのAPIキーのアクセス：まだ言っていない、助けを自分で
参考：
https://zhuanlan.zhihu.com/p/24307174