2018-06-24 22:52
怎么屏蔽百度已收錄的不必要二級目錄
前些日子碰到一個冤家他問了我一個成績:咱們的網站只收錄abc.XXX.com,的二級目次類域名,不收錄www.xxx.com的怎么辦?我看到這個成績時分我過后下意識的說了句robots屏障就好了,而后我更具他們各個二級站點比方寫了一個robots文件發給她如下:
User-agent: *
Disallow: /abc/
然而緊接著方法都被逐個保持了,由于通通行不通.由于他們的網站一切二級目次以及主目次在ftp中都是在一致文件夾下,而后我又總結了他們網站呈現的成績.
1.網站不帶www的二級域名曾經收錄過萬,且逐日都有蜘蛛爬取,但帶www的主域名至今只收錄二三十個,且另有降落的趨向,以是想讓網站收錄帶www的主域名頁面.
2.網站一切頁面在一致個文件夾下無奈應用robots屏障門路形式屏障頁面.
盡管我在baidu查問了很久然而卻并未查到過量有效信息,大多都是以及我第一次給出的謎底同樣,但最初咱們仍是想出了方法處理了這個成績,那關于屏障二級目次收錄成績,總結了如下幾點可供抉擇.
1.假如需求屏障的頁面以及主頁面是在分歧的文件夾下咱們能夠間接采納我上面提到的間接robots文件屏障,寫法比方Disallow: /abc/之類的間接robots屏障方法.
2.無奈應用robots制止搜索引擎收錄某個二級域名的,最佳的方法便是301,關于有效的頁面將一切的二級目次類域名重定向,無用的就間接刪除.
3.法,將而與目次調配到分歧的空間下應用robots屏障.
4.個判別順序,讓要屏障的二級域名上面有一個robots.txt文件.abc.xxx.com/robots.txt,而后在應用robots屏障.此方法我沒有試過我是看到夫唯教師很久前給他人的一個倡議,就實踐而言是能夠行的通的.