seo優化中的robots是啥?robots會影響seo優化效果嗎?我們該如何利用robots最大化地優化網站呢?今天，小編就從robots的定義出發，跟大家聊聊robots與seo優化的聯系程度。

1、seo優化所說的robots是什么?

其實，robots是一個根目錄文件，是網站跟搜索引擎爬蟲程序之間的一個協議。主要功能是告訴搜索引擎，網站中哪些內容可以抓取，哪些內容不能抓取。

因此，搜索引擎在抓取頁面前，首先會檢測該網站有無robots文件，如果有蜘蛛就會根據該協議去抓取網頁;但若是沒有robots文件，就表示蜘蛛可以隨意抓取網站的任意頁面。

2、robots文件涉及的符號含義

①通配符*：代表所有搜索引擎蜘蛛的名稱

②User-agent：用于描述搜索引擎robot的名字

在"robots.txt"文件中，如果有多條User-agent記錄說明有多個robot會受到該協議的限制，對該文件來說，至少要有一條User-agent記錄。

③Disallow：用于描述不希望被訪問到的一個URL

這個URL可以是一條完整的路徑，也可以是部分的，任何以Disallow開頭的URL均不會被robot訪問到。

④Allow： 用于描述希望被訪問的一組URL

與Disallow項相似，可以是一條完整的路徑，也可以是路徑的前綴，以Allow項的值開頭的URL是允許robot訪問的。