蜘蛛程序(又被稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者)，是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。

通過自己建多個網站，多個域名來創建新的頁面引導百度蜘蛛來到你的目標站點。那么這個引導可能是301，也可能是在頁面中加了鏈接，這種方式相對大型網站的蜘蛛而言更加穩定，但是權重的傳遞沒有大型網站的效果好。

蜘蛛池搭建的原理大家都明白了，那么搭建程序相對而言就比較簡單了，無非就是泛解析幾十個或者幾百個域名，同服務器上的軟件，將這些域名生成不同的頁面，讓這些頁面吸引蜘蛛，在傳遞到目標網站上去。

第一步：泛解析你手中的域名，泛解析非常簡單，如果是AA記錄指向IP地址的話，主機名處填寫“*”即可。記錄值填寫IP即可。

第二步：將蜘蛛池程序上傳到服務器，然后解壓，放到任意一個磁盤中，部分服務器可能只有一個磁盤。

第三步：打開temp文件下可以看到三個txt的文檔文件，那么這三個文檔文件是變量值，我們的需求就是在這里填寫。當然不一樣的蜘蛛池程序可能文件名不一樣，但原理大致相似。

第四步：打開監控器.exe，然后最小化，這只是一個監控系統，可以暫時不管。

第五步：然后打開蜘蛛池主程序，登陸賬號，如果你免費申請，他們會告訴你賬號密碼哪里來。先關閉iis，然后端口默認80不用修改，連接限額跟工作線程改為：999，也可以不用修改，看個人喜歡!

第六步：操作完成后，我們開啟蜘蛛池即可，在用自己的一個域名進行測試蜘蛛池，看有沒有運行蜘蛛池頁面!

第七步：測試成功后，將URL文件夾放入收錄的鏈接即可，至于文件夾名字可能和你的對不上，那沒關系，自己找一下即可!

蜘蛛程序是一個自動提取網頁的程序，它為搜索引擎從萬維網上下載網頁，是搜索引擎的重要組成。傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件。聚焦爬蟲的工作流程較為復雜，需要根據一定的網頁分析算法過濾與主題無關的鏈接，保留有用的鏈接并將其放入等待抓取的URL隊列。然后，它將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，并重復上述過程，直到達到系統的某一條件時停止。另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，并建立索引，以便之后的查詢和檢索;對于聚焦爬蟲來說，這一過程所得到的分析結果還可能對以后的抓取過程給出反饋和指導。