對(duì)于某一個(gè)網(wǎng)站而言，搜索引擎是至關(guān)重要的，在服務(wù)器上哪些東西可以被查看，哪些東西不可以被查看。也就是說，robot.txt可以向搜索引擎發(fā)送“命令”。所以說，寫好robots.txt是很重要的。那么robots.txt怎么寫，有哪些寫法技巧，本文會(huì)進(jìn)行簡單的介紹。
一、首先要明確robots.txt是什么
搜索引擎訪問網(wǎng)站時(shí)第一個(gè)要查看的文件就是robots.txt文件。對(duì)每一個(gè)站點(diǎn)而言，最好都建立一個(gè)robots.txt文件，向蜘蛛程序(spider)發(fā)出指令：某些文件可查看，某些文件不可查看，即指定內(nèi)容才可被搜索引擎收錄。如果搜索引擎發(fā)現(xiàn)沒有robots.txt文件，服務(wù)器的日志中將會(huì)報(bào)出一條404錯(cuò)誤。所以robots.txt文件的建立是非常有必要的，及時(shí)是希望所有的內(nèi)容都被收錄，也應(yīng)該建立一個(gè)空的robots.txt文件，注意robots、txt是一個(gè)純文本的文件。
二、robots.txt文件存放在什么位置
robots.txt文件應(yīng)當(dāng)是存放在一個(gè)網(wǎng)站的根目錄下。
三、robots.txt文件的格式是什么
robots.txt文件里應(yīng)該包含著有一條或者是多條記錄，記錄之間以空行分隔開，進(jìn)行注解時(shí)使用#符號(hào)。使用Disallow語句對(duì)所需訪問的內(nèi)容進(jìn)行限制，可以限制搜索引擎訪問網(wǎng)站的目錄、部分內(nèi)容，或者只允許某種特定的搜索引擎進(jìn)行訪問。一個(gè)Disallow語句中的記錄如果是空，表明這個(gè)網(wǎng)站里所有的內(nèi)容都可以被訪問，即被搜索引擎收錄。
四、關(guān)于robots.txt文件的一些注意事項(xiàng)
1、明確robots.txt文件并不是毫無風(fēng)險(xiǎn)絕對(duì)安全的，對(duì)于一個(gè)網(wǎng)絡(luò)攻擊者而言，正是robots、txt文件向其指出了網(wǎng)站上的保密數(shù)據(jù)在哪里，同時(shí)也指明了網(wǎng)站的目錄結(jié)構(gòu)。要注意在設(shè)置權(quán)限時(shí)，對(duì)隱私內(nèi)容進(jìn)行保護(hù)，可以設(shè)置密碼，使得攻擊者無法獲得數(shù)據(jù)進(jìn)而進(jìn)行攻擊。
2、要了解，robots.txt文件的文件名必須小寫，robots.txt文件里的內(nèi)容的大小寫是沒有辦法更改的。同時(shí)要知道，robots.txt文件中的所有內(nèi)容是可以被spider程序抓取的，所以盡可能不要將重要的信息放在robots.txt文件里面。
3、有人認(rèn)為如果某個(gè)網(wǎng)站中的全部內(nèi)容都需要被spider抓取，那么robots.txt文件可以不用存在。這種想法都是存在問題的。在文章開頭我們已經(jīng)提到了，如果是要去找robots.txt文件而沒有找到時(shí)，在服務(wù)器中會(huì)報(bào)出404錯(cuò)誤。
4、也有人認(rèn)為直接設(shè)置robots.txt文里的所有內(nèi)容被spider抓取，這樣就可以提高網(wǎng)站的收錄百分率。要知道，當(dāng)spider收錄網(wǎng)站腳本程序這樣的文件時(shí)，不僅不會(huì)提高收錄率，還會(huì)占用一部分的服務(wù)器存儲(chǔ)空間。所以，在進(jìn)行robots.txt文件的編寫時(shí)，要注意排除腳本程序這樣的文件。
有時(shí)候你會(huì)發(fā)現(xiàn)，其實(shí)你并沒有和搜索引擎有關(guān)系，但是你的主頁仍然被索引了，原因就在于robots.txt文件沒有寫好。通過本文介紹的robots.txt的寫法技巧，你就可以正確告訴抓取程序spider，頁面上的哪些內(nèi)容可以訪問，哪些不可以訪問了。