[重要通告]如您遇疑難雜癥,本站支持知識付費業務,掃右邊二維碼加博主微信,可節省您寶貴時間哦!

在文章開始之前，我們要來聊下啥是Robots；

Robots協議是啥？Robots協議是什么？

Robots協議（也稱為爬蟲協議、機器人協議等）的全稱是“網絡爬蟲排除標準”（Robots Exclusion Protocol），網站通過Robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

搜索引擎機器人訪問網站時，首先會尋找站點根目錄有沒有 robots.txt文件，如果有這個文件就根據文件的內容確定收錄范圍，如果沒有就按默認訪問以及收錄所有頁面。

知道Robots協議的作用后，下面具體說一下WordPress站點如何編寫robots.txt文件。

WordPress站點默認在瀏覽器中輸入：http://你的域名/robots.txt，會顯示如下內容：

這是由WordPress自動生成的，意思是告訴搜索引擎不要抓取后臺程序文件。但這遠遠不夠，比較完整的WordPress站點robots.txt文件，可參考以下：

wordpress博客程序robots文件寫法大全及說明，請根據據自己網站情況自行添加robots協議

User-agent: * //設置robots規則適用的瀏覽者身份為全部UA身份
Disallow: /*?* //屏蔽掉頁面中的動態路徑
Disallow: /?p=* //屏蔽掉非固定鏈接的文章頁面路徑，因為每個頁面中都會有一個shortlink使用的是?p= 的路徑。
Disallow: /index.php //屏蔽掉首頁默認頁面的index.php 頁面地址
Disallow: /wp-admin //屏蔽掉后臺登陸頁面地址，主要是考慮到服務器安全
Disallow: /wp-content/plugins //屏蔽掉wordpress的插件目錄
Disallow: /wp-content/themes //屏蔽掉wordpress的模板目錄
Disallow: /wp-includes //屏蔽掉wordpress的底層程序目錄
Disallow: /trackback //屏蔽wordpress的頁面回評路徑
Disallow: /*/*/trackback //屏蔽wordpress分類目錄、文章頁面的回評路徑
Disallow: /feed //屏蔽wordpress的內容訂閱路徑
Disallow: /*/*/feed //屏蔽wordpress分類目錄、文章頁面的訂閱路徑
Disallow: /comments/feed //屏幕wordpress評論的訂閱路徑
Disallow: /page/ //屏蔽默認的翻頁路徑
Disallow: /*/*/page/ //屏蔽分類目錄的翻頁路徑
Disallow: /page/1$ //屏蔽翻頁路徑中的數字路徑
Disallow: /tag/ //屏蔽標簽頁面
Disallow: /?s=* //屏蔽搜索結果路徑，主要是避免搜索結果的緩存被搜索引擎收錄
Disallow: /?r=*
Disallow: /*/comment-page-*
Disallow: /*?replytocom*
Disallow: /date/ //屏蔽按日期分類顯示的列表頁面
Disallow: /author/ //屏蔽作者文章列表頁面
Disallow: /category/ //屏蔽以category為起始路徑的分類路徑，如果您沒有使用插件生成不帶category前綴的路徑時，請不要使用此項規則。
Disallow: /?p=*&preview=true
Disallow: /?page_id=*&preview=true
Disallow: /wp-login.php //屏蔽后臺登陸頁面
Sitemap: http://arunagnihotri.com/sitemap.xml //引導蜘蛛爬取網站地圖
Sitemap: http://arunagnihotri.com/sitemap_baidu.xml //引導百度蜘蛛爬取網站地圖

當我們的網站上線后，有兩項必備的基礎工作要做，一個是網站地圖sitemap另一個是網站的優化協議robots，這是最基本的網站內容優化收錄實現方法，那如果說我們不想讓搜索引擎收錄某頁面內容怎么辦，我們可以通過對robots的設置進行一個最優的收錄推送，來告訴蜘蛛哪些頁面鏈接是不需要被收錄的，那對于wordpress來講有很多程序文件及標簽或是自動的feed文件完成沒有必要收錄，那我們可以通過對robots的寫法優化來實現收錄內容最優。

使用方法：

新建一個名稱為robots.txt文本文件，可參考本文內的上面robots.txt，然后上傳到網站根目錄即可。

問題未解決？付費解決問題加Q或微信 2589053300 (即Q號又微信號)右上方掃一掃可加博主微信

所寫所說，是心之所感，思之所悟，行之所得；文當無敷衍，落筆求簡潔。 以所舍，求所獲；有所依，方所成！