怎樣查看網站有沒有屏蔽百度蜘蛛的抓取

閱讀 ?·? 發布日期 2020-05-06 07:09 ?·? admin

有些站長在優化網站的過程中，會遇到這樣一個問題：我網站的關鍵詞布局沒問題、內容質量沒問題，并且規律性的更新網站內容，同時也有持續在一些高權重平臺發布外鏈，為什么百度蜘蛛就是不收錄的的網頁？對于這樣的問題，筆者認為首先要知道網站是否有屏蔽了百度蜘蛛的抓取，因為有些站長在建站初期的無意識操作下屏蔽了百度蜘蛛，這也是比較常見的。下面筆者來教大家怎樣查看網站有沒有屏蔽百度蜘蛛的抓取。網站建設★網站設計★網站制作★網頁設計-599元全包;企業網絡推廣☆網站優化☆seo☆關鍵詞排名☆百度快照-2200元全年展示;做網站優化排名-網站建設公司

 

　　想知道網站有沒有屏蔽百度蜘蛛的抓取，有兩種方法

　　第一種：查看網站的robots.txt文件，此文件一般在網站的根目錄下，顯示如下：

　　User-agent:*

　　Disallow:/

　　這樣的表示是屏蔽所有搜索引擎蜘蛛的抓取。

　　User-agent:Baiduspider

　　Disallow:/

　　這樣就表示屏蔽了百度蜘蛛抓取。

　　那要怎樣才能讓百度蜘蛛抓取呢？筆者舉個例子，如下：

　　User-agent:*

　　Disallow:/wp-admin/

　　Disallow:/wp-content/

　　上述的例子中，把Disallow:/改成指定的屏蔽目錄就可以了，通常情況下，網站的后臺目錄是需要屏蔽的，只要指定的要屏蔽的目錄，其他頁面就會自動默認允許抓取了。另外還有一種方法就是把Disallow:/改成Allow:/，Allow的意思是指允許抓取的目錄或頁面。

　　第二種：查看網站的頁面代碼中是否設置屏蔽

　　在網站頁面代碼<head>與</head>之間，有沒有<meta name="robots"content="noindex,follow">或者<meta name="Baiduspider"content="noindex,follow">的代碼，如果有，把這段代碼刪除即可。

　　通過以上兩種方法都可以查看一個網站是否有屏蔽了百度蜘蛛的抓取，你學會了嗎？