分析は、検索エンジンのようなものを得られないので、我々はそれを分析するためにログを分析することができ、以下の6つのポイントログインすると、結果に最も可能性が高いので、我々はテーブルを作ることができます。
1、ほとんどの列をつかみます
セクション
その列を見てくださいする前に、サイトと公表ランキングのセクションの後、あなたの条件の内容を決定するために、最高品質である、それははっきり彼の最適化に注力するのに長い時間のために、その列は、このコラムなどほとんどの時間は、地図に表示されますので、最適化があります彼は、あなたがマークされ、ほとんどの列をつかむ必要があります。
彼女が何かをやって何かのページのコンテンツをやってするので、より簡単に、そしてより多くの列のコレクションを表しクモのように、そのようなランキングはとても速く~~まで来ることができます!
図2に示すように、データのサイズ(MB)
それがアウトに分割されているので、とても毎日が異なるサイズの大きさであります
テーブルに記録することも必要です。
何も変更がクモを認識する必要がある場合は、データファイルのサイズによって、より多くのあなたがクモを数えることができ、ページをクロールするクモは、より多くの接続しました。
多数のデータが、他のデータで最も可能性の高いゴミIPを来たことを示してそのままカットし、立ち上がった場合は、IPのごみは、当社のクモに記録するだけでなく、最も可能性の高い悪意を持って集まり、誰かもされていませんA。
クロールの3404数
404
あなたはそれが私達のウェブサイトのランキングに影響するので、それは必要に応じて、処理のために404ウェブマスター向けのプラットフォームを行くことを見つけた場合
次のように私たちは、サーバーは、Baiduのクモであるかどうかを上のコマンドでお互いを判断することができます。
nslookupを127.0.0.1
これは明らかに、検索スパイダーではない、と捉えた場合404、そしてIPの直接シールと404にレコード番号です。
以下のように、404の番号を記録し、我々私たちのテーブル:
4、クモの数は、クロール
クモ
これは私達が私達のテーブルに直接彼を記録し、122の中に発見スパイダーのクロールloghaoの数であります:
5、ページ数がクロールします
クロール
これは、スパイダーのクロールの数ですので、我々は次のように、彼の中形成するために10を記録しようとしています:
6、ホームクロールの数
家
28回の合計這うので、私たちはテーブルに記録する必要があります
この表形式のデータは、今日と明日のデータビッグデータの変更をリンクされている、それは~~に注意を払う必要があります!
比較のためのデータの数日以上は、私たちがどこに問題を見つけることができるように一日のデータは、問題を見ることができません。。
概要
1、如果首页爬行次数的量 大于 页面抓取数量,那么我们就需要去给首页做 nofollow 了。
2、如果 蜘蛛抓取数量 在递增的时候,但是页面抓取数量和首页爬行次数都没涨,去抓其他东西了,那就是有问题的了,蜘蛛抓取数量 这个量如果再涨的时候 那 页面抓取数量 和 首页爬行次数 这两个量也是需要涨起来的,不管是好的还是坏的,如果没涨,只能说明蜘蛛蜘蛛无法打开我们的站点二级页面或者说蜘蛛不抓取下层页面,那很有可能说明这些页面纯在着一些问题的,使用导致他不抓。
如:
蜘蛛抓取数量是200,那么 页面抓取数量 是大于200才是正常的,如果少于200,这样只能说明蜘蛛在这个页面中的体验是不好的~~!
体验问题就需要通过代码,内容文章,页面的链接质量(不打理,内容老旧,抓=白抓)如何而决定的。一般的网站是好少会出现这样的问题的。
3、如果页面爬行数量 大于 页面抓取数量 的时候就要加 nofollow 了
4.404的数量,如果是正常的情况下是不会大于蜘蛛数量的,如果大于了,那只能说明网页上存在好多假蜘蛛或者有人恶意提交我们的404链接吸引抓取,因此我们需要去屏蔽掉这些IP。
而且可以通过工具来进行判断是否是百度蜘蛛,http://www.shenhuangji.com/tool/zhizhu.php :
如果不是百度蜘蛛过来抓取了404,那么久需要直接封掉他,宝塔下的封IP方法如下所示:
如果是一个普通的企业站点,那分析上面这些数据足以~ ~!
5、如果那个栏目蜘蛛特别喜欢,那么我们可以给栏目页进行布局SEO关键词和布局关键词文章以及做多一个栏目导出链接,如:
比如对方网站的 SEO工具 栏目蜘蛛喜欢,那么他在右侧做多一个导出链接跨栏目到他的 随机文章 栏目中去了,这样即可产生了一个推荐的作用,蜘蛛他也会顺着链接来进行爬行过去的,因此可以提高网站收录和权重~~!
日志其实就是可以通过以上的方法来得出网站的实际情况以及应该如何玩的~ ~!