虛擬主機怎樣阻止蜘蛛訪問？有什么方法？虛擬主機組織蜘蛛訪問，可以使用robots協議來實現。robots是網站跟爬蟲間的協議，用簡單直接的txt格式文本方式告訴對應的爬蟲被允許的權限，也就是說robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。下面聚名網小編就為大家介紹一下虛擬主機阻止蜘蛛訪問方法。
虛擬主機怎樣阻止蜘蛛訪問？有什么方法？（推薦閱讀：虛擬主機怎么看ip？一個虛擬主機只有一個ip嗎？）
我們在管理虛擬主機時，有些情況下，不希望搜索引擎蜘蛛來訪問我們的內容，這時，我們需要編寫一個爬蟲協議，禁止搜索引擎來抓取數據。或者是禁止部分搜索引擎爬蟲來訪，而允許其他搜索引擎。都是可以通過robots文件實現。
當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在，所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。
虛擬主機阻止蜘蛛訪問，比如禁止全部搜索引擎來訪時，可以如下編寫：
User-agent: *
Disallow: /
虛擬主機阻止某個蜘蛛訪問時，可以如下編寫：
User-agent: xxxspider
Disallow:/
虛擬主機阻止某個目錄被蜘蛛訪問時，可以如下編寫：
User-agent: *
Disallow: /admin/
即表示/admin/目錄，所有搜索引擎都不得來訪問。
