Webサイト情報データベース(小さなZoomeye)をすばやく構築する

  序:ホイールを作りたくなかったオンライン情報には、オープンソースのfofaといくつかのデザインが含まれています。いくつかの勃起は、有用なもの、糸全体を使用するには複雑すぎます。完全なコードはありません。

設計スキーム:
    テストプラットフォーム:Windows
    テスト環境:php + mysql任意のプログラミング言語バックエンド(実装データエントリ)

mysqlテーブルセクション:ホストipヘッダータイトルボディタイム
他の人が言ったように、通常のものがキャッチされました。
写真

フレンドチェーンを取得:通常[a-zA-Z0-9] [-a-zA-Z0-9] {0,62}(\。[A-zA-Z0-9] [-a-zA-Z0- 9] {0,62})+ \。?
ドメイン名かどうかを判断するipかどうかを判断した後、すべてのドメイン名はOKです
 | ac | ad | ae | af | ag | ai | al | am | an | ao | aq | ar | as | at | au | aw | az | ba | bb | bd | be | bf | bg | bh | bi | bj | bm | bn | bo | br | bs | bt | bv | bw | by | bz | ca | cc | cf | cg | ch | ci | ck | cl | cm | cn | co | cq | cr | cu | cv | cx | cy | cz | de | dj | dk | dm | do | dz | ec | ee | eg | eh | es | et | ev | fi | fj | fk | fm | fo | fr | ga | gb | gd | ge | gf | gh | gi | gl | gm | gn | gp | gr | gt | gu | gw | gy | hk | hm | hn | hr | ht | hu | id | ie | il | in | io | iq | ir | is | it | jm | jo | jp | ke | kg | kh | ki | km | kn | kp | kr | kw | ky | kz | la | lb | lc | li | lk |​​ lr | ls | lt | lu | lv | ly | ma | mc | md | me | mg | mh | ml | mm | mn | mo | mp | mq | mr | ms | mt | mv | mw | mx | my | mz | na | nc | ne | nf | ng | ni | nl | no | np | nr | nt | nu | nz | om | pa | pe | pf | pg | ph | pk | pl | pm | pn | pr | pt | pw | py | qa | re | ro | ru | rw | sa | sb | sc | sd | se | sg | sh | si | sj | sk | sl | sm | sn | so | sr | st | su | sy | sz | tc | td | tf | tg | th | tj | tk | tm | tn | to | tp | tr | tt | tv | tw | tz | ua | ug | uk | us | uy | va | vc | ve | vg | vn | vu | wf | ws | ye | yu | za | zm | zr | zw | com | net | org | int | edu | gov | mil | arpa | Asia | biz | info | name | pro | coop | aero |美術館| cc |テレビの

データ入力:かなり、就不了。

その他の詳細:データ入力の過程で、多数のスパムドメイン名、第2レベルと第3レベルのパン解決ドメイン名の
判断方法が「 "」に分かれます。オフ。もちろん、この方法では一部のドメイン名が入力されない場合があります。
取得方法はあなたの考え次第です

 。phpの後でオンラインクエリ実現できます。百度が知っている偉大な神をお勧めします。数分で解決します。

占有スペース:26,000個のWebサイト情報(すべて967.50 MB)。理論的には、500 GBのハードディスクに
は、Webページのサイズが異なるため、参照用としてのみ1300 WのWebサイト情報格納できます。 
通常の民間用途にはマススキャンを使用します。24時間で3億以上のIPをスキャンすることもできます

 

おすすめ

転載: www.cnblogs.com/robot15/p/12749584.html