機器人的基本語法

當搜索蜘蛛訪問網站時，它會首先檢查網站的根目錄中是否有robots.txt，如果有，搜索機器人會根據文件的內容確定訪問範圍；如果該文件不存在，所有搜索蜘蛛將能夠訪問網站上所有不受密碼保護的頁面。

Robots.txt必須放在站點的根目錄中，並且文件名必須全部小寫。

用戶代理:描述搜索引擎機器人的名稱。

也就是說，您可以指定該規則僅對百度或谷歌或其他指定的搜索引擎有效，通配符*可用於表示所有搜索引擎。

Disallow:描述壹組您不想訪問的URL。

您可以使用完整的url或相對路徑（可以是單個目標文件或整個文件夾）來設置禁止訪問的部分，也可以使用通配符來限制指定的類型。

Allow:描述您想要訪問的壹組URL。

設置允許訪問的部分，但由於默認情況下所有部分都是允許的，因此此語法通常與disallow壹起使用，disallow用於完成諸如“此目錄中的所有內容都不能訪問，除了xxx.html”之類的設置。應該註意的是，允許和不允許的順序是特定的，搜索引擎將根據它首先看到的規則進行判斷。

關於通配符:$匹配行結束符；*匹配0個或更多任意字符。