WordPress 部落格（搜尋引擎統一：Robots檔案標準）

三家都支援的robots檔案記錄內含：
Disallow – 告訴蜘蛛不要抓取某些檔案或目錄。如下面代碼將阻止蜘蛛抓取所有的網站檔案：

User-agent: *
Disallow: /

Allow – 告訴蜘蛛應該抓取某些檔案。Allow和Disallow配合使用，可以告訴蜘蛛某個目錄下，大部分都不抓取，只抓取一部分。如下面代碼將使蜘蛛不抓取ab目錄下其他檔案，而只抓取其中cd下的檔案：

User-agent: *
Disallow: /ab/
Allow: /ab/cd

$通配符 – 符合URL結尾的字元。如下面代碼將容許蜘蛛訪問以.htm為副檔名的URL：

User-agent: *
Allow: .htm$

*通配符 – 告訴蜘蛛符合任意一段字元。如下面一段代碼將禁止蜘蛛抓取所有htm檔案：

User-agent: *
Disallow: /*.htm

Sitemaps位置 – 告訴蜘蛛你的網站地圖在哪裡，格式為：

Sitemap:

三家都支援的Meta標籤內含：

NOINDEX – 告訴蜘蛛不要索引某個網頁。

NOFOLLOW – 告訴蜘蛛不要追蹤網頁上的連結。

NOSNIPPET – 告訴蜘蛛不要在搜尋結果中顯示說明文字。

NOARCHIVE – 告訴蜘蛛不要顯示快照。

NOODP – 告訴蜘蛛不要使用開放目錄中的標題和說明。

——————————————————————————–
【文章標題】: WordPress 部落格（搜尋引擎統一：Robots檔案標準）
【文章作者】: 部落格架站、行銷、賺錢術教學密訓基地
【作者信箱】: ster168ster@gmail.com
【作者首頁】: http://por.tw/blog/
【部落格架站、行銷、賺錢術教學課程】: http://por.tw/blog/E_learning/index.php
【基地主機】: http://goto1688.com/blog/
【版權聲明】: （原創）部落格架站、行銷、賺錢術教學密訓基地，轉載必須保留完整標頭。刪除者依法追究！
——————————————————————————–
百度現在也支援Disallow，Allow及兩種通配符。
Meta標籤我沒有找到百度是否支援的官方說明。

只有Google支援的Meta標籤有：

UNAVAILABLE_AFTER – 告訴蜘蛛網頁什麼時候過期。在這個日期之後，不應該再出現在搜尋結果中。

NOIMAGEINDEX – 告訴蜘蛛不要索引頁面上的圖片。

NOTRANSLATE – 告訴蜘蛛不要翻譯頁面內容。

雅虎還支援Meta標籤：

Crawl-Delay – 容許蜘蛛延時抓取的頻率。

NOYDIR – 和NOODP標籤相似，但是指雅虎目錄，而不是開放目錄。

Robots-nocontent – 告訴蜘蛛被標注的部分html不是網頁內容的一部分，或是換個角度，告訴蜘蛛哪些部分是頁面的主要內容（想被檢索的內容）。

MSN還支援Meta標籤：

Crawl-Delay