Robots.txt必須放在站點的根目錄中，並且文件名必須全部小寫。robots.txt文件的格式用戶代理:定義搜索引擎的類型。
不允許:定義禁止被搜索引擎包括的地址。
允許:定義允許搜索引擎包含的地址。
常用的搜索引擎類型有:（用戶代理區分大小寫）
谷歌:谷歌機器人
百度:Baiduspider
蜘蛛:雅虎！大聲吃飯
Alexaspider:ia_archiver
冰蜘蛛:MSNbot
阿爾塔維斯塔蜘蛛:滑板車
Lycosspider:lycos_spider_（霸王龍）
所有網絡蜘蛛:快速網絡爬蟲
墨西哥蜘蛛:咕嘟咕嘟
搜索蜘蛛
谷歌Adsense蜘蛛:媒體合作夥伴-谷歌
蜘蛛:有道機器人
robots.txt文件的寫入
用戶代理:*這裏*代表各種搜索引擎，*是通配符。
Disallow:/admin/這裏的定義是禁止對admin目錄下的目錄進行爬網。
Disallow:/require/這裏的定義是禁止對require目錄下的目錄進行爬網。
不允許:/ABC/這裏的定義是禁止對ABC目錄下的目錄進行爬網。
不允許:/cgi-bin/*。訪問以“。”開頭的所有文件禁止放在/cgi-bin/目錄中。html文件的後綴
follow指令表示搜索機器人可以繼續沿著頁面上的鏈接爬行；
Robots元標簽的默認值是index和follow，inktomi除外，它的默認值是index和nofollow。
請註意:
上述ROBOTS.txt和RobotsMeta標簽限制搜索引擎機器人抓取網站內容。只是規則需要搜索引擎機器人的合作，並不是每個機器人都遵守規則。
目前，似乎大多數搜索引擎機器人都遵守robots.txt的規則。然而，目前對RobotsMETA標簽的支持並不多，但它正在逐漸增加。例如，知名搜索引擎谷歌完全支持它，谷歌還添加了“存檔”指令，可以限制谷歌是否保留網頁快照。
誰知道如何讓自己的網站快速被搜索引擎收錄？
1，提交鏈接
如果妳想讓妳新推出的網站迅速被搜索引擎收錄，並向搜索引擎提交妳網站的鏈接，只向搜索引擎提交鏈接相當於告訴搜索引擎新網站已經創建。過來抓住我。壹般來說，妳可以在百度、360、搜狗等搜索引擎中提交網站鏈接。
2.網站模板
至於網站模板，其實沒有什麽特別的方法。其實很多站長的網站都是直接套用其他網站的模板得到的。我在這裏說的是，如果您應用對其他網站的崇拜，您最好簡單地修改網站，這與前面的網站並不完全相同，至少在搜索引擎看來，您的網站與其他網站並不完全相同。可能有些企業網站不會擔心這個問題。以上僅針對應用模板的網站。
3.網站內容
我特別關註網站的內容，搜索引擎最重要的是內容的原創性。原創內容是搜索引擎非常喜歡的東西。相信大家都知道，原創文章的收藏速度要比非原創文章快得多。所以當網站上線時，妳必須首先添加壹些原創的東西，這樣搜索引擎蜘蛛就會喜歡妳的網站，從而對妳的網站產生良好的“印象”，這對妳未來的網站發展非常有利，也可以加快百度對妳的收錄。
4.外部鏈接
對於壹個新推出的網站來說，如果妳想讓百度快速收錄妳的網站，制作外部鏈接是必不可少的。
5.其他因素
其他的話，如:設置機器人文件，網站地圖，每天更新網站和發布外部鏈接。
如何使用burpsuitev1.5.18？
1）代理人
代理功能使我們能夠攔截和修改請求。為了攔截請求並操作它，我們必須通過BurpSuite配置我們的瀏覽器。
在瀏覽器中設置後，打開BurpSuite並轉到代理項目進行攔截。妳需要確保調解。
打開alerts選項卡，您可以看到代理正在端口8080上運行。我們可以在proxy _》中找到它；修改此配置的選項。
打開代理下的選項選項卡。
在這裏我們可以編輯代理監聽的端口，甚至可以添加壹個新的代理來監聽。Burp還可以選擇向受SSL保護的網站提交證書。默認情況下，Burp會創建壹個自簽名證書並立即安裝。選擇“生成CA簽名的每臺主機證書”選項後，Burp的證書功能將生成壹個由我們可以鏈接到的證書簽名的特定主機。這裏我們唯壹關心的是，當用戶鏈接到受SSL保護的網站時，網站警告提示的數量可以減少。
如果我們不選擇“listenonloopbackinterfaceonly”選項，這意味著BurpProxy可以充當網絡上其他系統的代理。這意味著同壹網絡中的任何計算機都可以使用BurpProxy函數成為代理並中繼通過它的流量。
當客戶端不知道他們正在使用代理時，使用“支持非代理感知客戶端的不可見代理”選項。這意味著代理設置不是在瀏覽器中設置的，而是有時在hosts文件中設置的。在這種情況下，與在瀏覽器本身中設置代理選項不同，Burp需要知道它從非代理客戶端接收流量。“redirecttohost”和“redirecttoport”選項將客戶端重定向到我們在此選項後設置的主機和端口。
同樣，我們可以攔截請求並根據我們指定的規則返回響應。
這裏有壹個選項可以修改從響應中收到的html頁面。我們可以取消隱藏隱藏的表單字段，刪除javascript等等。還有壹個用自定義字符串替換找到的特定模式的選項。我們需要指定壹個正則表達式。Burp將解析請求或響應，希望找到這種模式，並將其替換為自定義字符串。
2）蜘蛛（抓鬥）
BurpSpider用於映射Web應用程序。它會自動抓取Web應用程序的鏈接並提交找到的所有登錄表單，以便詳細分析整個應用程序。這些鏈接將被傳遞給BurpScanner進行詳細掃描。在這種情況下，我們將使用DVWA（damn vulnerable Web應用程序）。我們只需要DVMA使用妳的瀏覽器，確保在BurpSuite上的中斷，並讓Brup攔截請求。右鍵單擊攔截的請求並選擇“SendtoSpider”將其發送給蜘蛛。
接下來，將彈出壹個警告彈出窗口供我們“添加項目範圍”。單擊“是”。我們將在運行的測試目標上定義壹個範圍。
我們可以訪問網站地圖_ & gt目標標記看到壹個url已被添加到範圍中。我們還可以看到壹些其他目標已添加到目標列表中。Burp將自動使用代理瀏覽我們定義的目標網頁。我們可以使用右鍵_》；“additemtoscope”向我們的範圍添加任何項目。
進入Scope選項卡，我們可以看到DVWA應用程序已添加到範圍中。
接下來，我們進入蜘蛛選項卡，單擊“選項”，我們可以在運行打嗝檢測應用程序時設置各種選項。我沒有壹個文件（checkfortherobots.txt）可以讓Burp檢查，它會試圖抓取網站管理員不允許搜索引擎索引的目錄。另壹個重要的選項是“passivelyspiderasyoubrowse”。基本上，BurpSpider可以在被動和主動模式下運行。選擇此選項要求BurpSpider保留新內容和鏈接以供掃描，因為我們在瀏覽應用程序時使用Burpproxy。
另壹個重要選項是“應用程序登錄”。壹旦BurpSpider提交了登錄表單，它將開始爬行（爬行）。它可以自動提交我們提供給它的證書。我們還可以設置管理員/密碼憑證。設置後，它們將在DVWA中用作憑證。因此，BurpSpider可以自動提交那些信息憑證並不斷爬行，希望獲得更多新信息。您還可以修改線程項目中的線程數量。
BurpSuite的使用教程
您需要開始抓取並抓取Web應用程序。只需右鍵單擊目標即可展開目標。然後右鍵單擊展開的dvwa項目並選擇“Spiderthisbrach”。
這將啟動打嗝。在Spidercontrol選項卡下，我們將看到正在發出的請求。我們還可以定制壹個打嗝系列。
網站中的“機器人”文件是什麽意思？
搜索引擎用來抓取我們頁面的工具被稱為搜索引擎機器人，也形象地稱為“蜘蛛”。
蜘蛛會先訪問網站根目錄下的壹個文件，即robots.txt，然後再爬取網站頁面。這個文件實際上是蜘蛛的壹個規則。如果沒有這個文件，蜘蛛會認為您的網站同意抓取所有頁面。
Robots.txr文件是壹個純文本文件，它可以告訴蜘蛛哪些頁面可以被抓取（包括），哪些頁面不能被抓取。
例如，創建壹個名為robots.txt的文本文件，然後輸入User-agent:*星號以指示所有搜索引擎都允許包含disable: index。PHP？表示它不允許包含在index.php？前綴鏈接，如index.php？=865Disallow:/tmp/表示不允許在根目錄下包含tmp目錄，包括該目錄下的文件，如tmp/232.html