建站知識

Welcome to Beijing RuiHeng TianLong Technology Co., Ltd.

怎樣看百度蜘蛛是否來過網站,通過日志來查看蜘蛛是否來過,萬網空間日志怎么查看蜘蛛?

時間:  來源:網站建設公司  作者:網站制作公司  點擊量:
北京網站制作,網站萬網空間
怎么查看百度蜘蛛是否到過你的網站,每天來的次數是多少,怎么樣通過日志來分析蜘蛛爬蟲是否來過,如果看完下面還不明白請聯系我們技術支持
萬網是國內比較大的網站空間服務商,在北京網站制作市場占有很大比例,那么下面我們以萬網空間為例:
來了解一下這個問題,首先到ftp中下載名字為wwwlogs中的日志文件,如果你的空間沒有這個文件夾,那么要到控制面板里面設置一下
具體方法是:登錄控制面板-->申請統計報告這樣就可以了

然后到wwwlogs文件夾中下載當天的日志看擴展名為.log.gz
打開或會發現

得到的大概是這中東西
(KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4" rh98m3.com-unauthorised image/jpeg "/usr/home/hmu162155/htdocs/images/pic03.jpg"
219.142.245.89 - - [27/Apr/2013:17:08:36 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4" rh98m3.com-unauthorised text/html "/usr/home/hmu162155/htdocs/favicon.ico"
219.142.245.89 - - [27/Apr/2013:17:31:41 +0800] "GET /myfolder/ HTTP/1.1" 404 207 "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4" rh98m3.com-unauthorised text/html "/usr/home/hmu162155/htdocs/myfolder"
219.142.245.89 - - [27/Apr/2013:17:31:41 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4" rh98m3.com-unauthorised text/html "/usr/home/hmu162155/htdocs/favicon.ico"
219.142.245.89 - - [27/Apr/2013:17:35:32 +0800] "GET /jsidjid HTTP/1.1" 404 205 "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4" rh98m3.com-unauthorised text/html "/usr/home/hmu162155/htdocs/jsidjid"
219.142.245.89 - - [27/Apr/2013:17:35:32 +0800] "GET /favicon.ico HTTP/1.1" 404 209

我們來分析一下
123.125.68.*這個蜘蛛經常來,別的來的少,表示網站可能要進入沙盒了,或被者降權。

220.181.68.*每天這個IP段只增不減很有可能進沙盒或K站。

220.181.7.*、123.125.66.*代表百度蜘蛛IP造訪,準備抓取你東西。

121.14.89.*這個ip段作為度過新站考察期。

203.208.60.*這個ip段出現在新站及站點有不正?,F象后。

210.72.225.*這個ip段不間斷巡邏各站。

125.90.88.*廣東茂名市電信也屬于百度蜘蛛IP主要造成成分,是新上線站較多,還有使用過站長工具,或SEO綜合檢測造成的。

220.181.108.95這個是百度抓取首頁的專用IP,如是220.181.108段的話,基本來說你的網站會天天隔夜快照,絕對錯不了的,我保證。

220.181.108.92同上98%抓取首頁,可能還會抓取其他(不是指內頁)220.181段屬于權重IP段此段爬過的文章或首頁基本24小時放出來。

123.125.71.106抓取內頁收錄的,權重較低,爬過此段的內頁文章不會很快放出來,因不是原創或采集文章。

220.181.108.91屬于綜合的,主要抓取首頁和內頁或其他,屬于權重IP段,爬過的文章或首頁基本24小時放出來。

220.181.108.75重點抓取更新文章的內頁達到90%,8%抓取首頁,2%其他。權重IP段,爬過的文章或首頁基本24小時放出來。

220.181.108.86專用抓取首頁IP權重段,一般返回代碼是30400代表未更新。

123.125.71.95抓取內頁收錄的,權重較低,爬過此段的內頁文章不會很快放出來,因不是原創或采集文章。

123.125.71.97抓取內頁收錄的,權重較低,爬過此段的內頁文章不會很快放出來,因不是原創或采集文章。

220.181.108.89專用抓取首頁IP權重段,一般返回代碼是30400代表未更新。

220.181.108.94專用抓取首頁IP權重段,一般返回代碼是30400代表未更新。

220.181.108.97專用抓取首頁IP權重段,一般返回代碼是30400代表未更新。

220.181.108.80專用抓取首頁IP權重段,一般返回代碼是30400代表未更新。

220.181.108.77專用抓首頁IP權重段,一般返回代碼是30400代表未更新。

123.125.71.117抓取內頁收錄的,權重較低,爬過此段的內頁文章不會很快放出來,因不是原創或采集文章。

220.181.108.83專用抓取首頁IP權重段,一般返回代碼是30400代表未更新。

注:以上IP尾數還有很多,但段位一樣的123.125.71.*段IP代表抓取內頁收錄的權重比較低.可能由于你采集文章或拼文章暫時被收錄但不放出來.(意思也就是說待定)。

220.181.108.*段IP主要是抓取首頁占80%,內頁占30%,這此爬過的文章或首頁,絕對24小時內放出來和隔夜快照的,這點我可以保證



How to check whether the Baidu spider to your site, to the number of times every day, how log analysis to spiders, if after reading the following do not understand, please contact our technical support

 

本文TAG標簽: 網站萬網空間 北京網站制作
返回關閉本頁
上一篇:更換網站空間對網站優化有影響嗎?更換ip對網站建設有影響嗎?    下一篇:企業怎么建設網站,中小企業網站怎么制作?
推薦閱讀

Copyright © 2010-2021 北京瑞恒天龍科技有限公司  All Rights Reserved  |  北京網站建設知名服務商  |  北京網站制作 | 京ICP備11004170號-1   京公網安備110107000463號
地址:北京市海淀區永定路長銀大廈B座  非工作時間:15810379666  服務熱線:400-809-6709  版權所有 盜版必究!

在線咨詢
關閉
電話咨詢
網站制作電話
400-809-6709
国产真人一级a爱做片|加勒比中文无码久久综合|久久精品国产精艾草网|2021国产精品一卡2卡三卡4|亚洲紧急自动转跳中图片