網(wǎng)站地圖Sitemap的作用是提供輔助資訊給搜尋引擎進(jìn)行索引 (例如個(gè)別 Universal Resource Identifier (URI) 資源的更新頻率 、最后更新日期等等)。網(wǎng)站地圖的作用和結(jié)構(gòu)是很容易理解，做法一般看起來很簡單。就是將網(wǎng)站進(jìn)行一次全面的爬行 (例如用 ScreamingFrog 工具)， 將所有的 URI 都放在網(wǎng)站地圖 XML 檔案里面。但事實(shí)并不是那么簡單，例如你的網(wǎng)站 URI 可以很多種類：文章、帖子、產(chǎn)品、作者、圖片、 視頻、 分類、標(biāo)簽、portfolio 等等。你當(dāng)然可以要求全部 URI 都放在網(wǎng)站地圖里面。但放與不放其實(shí)是一個(gè)質(zhì)量的考慮，例如 portfolio 內(nèi)是你的一些客戶實(shí)例，但內(nèi)容只有一張圖片。這張圖片基本上以圖像URI 的形式已經(jīng)加到索引數(shù)據(jù)庫中，再索引這個(gè)portfolio的意義不大，因?yàn)槠鋵?shí)是一個(gè)剪薄內(nèi)容thin content, 在這種情況下你應(yīng)該選擇不索引這portfolio, 為什么這？

何時(shí)選擇不索引

內(nèi)容淺薄。一般都相信搜尋引擎對網(wǎng)站是有一個(gè)質(zhì)量評分Quality Score。質(zhì)量評分很可能是來自各個(gè)被索引的URI的質(zhì)量計(jì)算，所以一些質(zhì)量低單薄的內(nèi)容可能會(huì)將整體網(wǎng)站的質(zhì)量評分拖低，所以就有盡可能不索引一些淺薄的內(nèi)容的說法。淺薄的內(nèi)容一般無法在搜尋引擎排名中取得高位，只能在訪客進(jìn)入網(wǎng)站以后透過內(nèi)部的結(jié)連訪問得到，所以不索引淺薄的內(nèi)容對吸引自然搜尋流量是沒有負(fù)面影響。既然搜尋引擎索引網(wǎng)站的內(nèi)容是要消耗crawl budget 爬行預(yù)算， 所以不索引一些沒有排名價(jià)值的內(nèi)容，是善用爬行預(yù)算，增加質(zhì)量評分的手段。

一些專業(yè)的建立網(wǎng)站地圖的工具，例如WordPress上面的Yoast SEO 插件，就可以讓你自由設(shè)定當(dāng)建立網(wǎng)站地圖時(shí)，是否要加入不同類型的URI。

甚至你可以在個(gè)別的頁面決定是否索引該頁面，做法就是將頁面定義為 content=”noindex”。

除了質(zhì)量的考慮，很多時(shí)候?yàn)榱朔婪逗诳腿肭?，不想將太多的網(wǎng)站結(jié)構(gòu)性資料曝光在搜尋用戶面前。你可以透過robots.txt提示搜尋引擎不要索引網(wǎng)站內(nèi)的一些目錄，避免一些敏感資料可能在不經(jīng)意的情況下被搜尋引擎取得到而暴露在黑客的面前。 同時(shí)亦可善用爬行預(yù)算。

另一個(gè)原因不索引是考慮到cannibalization 關(guān)鍵字競食的問題。當(dāng)兩個(gè)內(nèi)容非常相近的url 同時(shí)被收錄到索引資料庫，對搜尋引擎可能會(huì)造成混亂:究竟當(dāng)關(guān)鍵字搜尋查詢時(shí)該列出a 頁還是b頁？很多blogger新手誤解標(biāo)簽和分類的用法，將標(biāo)簽和分類都標(biāo)示為同一個(gè)關(guān)鍵字，這樣其實(shí)也造成了關(guān)鍵字競食的問題。但如果這個(gè)B頁URL是沒有排名價(jià)值，但在訪客立場是一個(gè)熱門瀏覽的網(wǎng)頁，只是瀏覽是透過內(nèi)部結(jié)連所引發(fā)。這個(gè)時(shí)候不單純是不索引，更應(yīng)該將訪問瀏覽可能帶來的排名優(yōu)勢歸到A 頁。這亦是Yoast SEO插件標(biāo)準(zhǔn)網(wǎng)址 Standard URL的用法。

檢查索引狀態(tài)

你如何知道某URL是否比索引。你可以在Google Search Console (GSC) 的后臺(tái)輸入U(xiǎn)RL然后 (選 “網(wǎng)址審查”)，查詢是否被索引了。當(dāng)發(fā)現(xiàn)內(nèi)容不被索引時(shí)你可以要求Google進(jìn)行單獨(dú)索引該URL 。

你可以在搜尋頁面輸入一個(gè)site指令，看看你整個(gè)網(wǎng)站有多少頁面已經(jīng)被放在索引資料庫中。搜尋引擎有時(shí)會(huì)為同一個(gè)url的不同版本保留索引資料，特別是當(dāng)這個(gè)改動(dòng)只是在元標(biāo)題 meta title和元描述meta description中時(shí)。 保留索引資料的做法是對配對用戶搜尋查詢時(shí)有更多的選擇。

當(dāng)你發(fā)現(xiàn)索引資料庫中的項(xiàng)目數(shù)量比你整個(gè)網(wǎng)站的頁面和產(chǎn)品的總和都多很多，就可能表示是由于一些URL 參數(shù)(例如產(chǎn)品篩選) 所衍生出來的網(wǎng)址。數(shù)量太多表示爬行預(yù)算會(huì)受到影響，你應(yīng)該采取行動(dòng)，例如在GSC中將該參數(shù)排除。

URL不被索引的可能

如果你的網(wǎng)站很大。索引可能需要時(shí)間。如果您發(fā)現(xiàn)某些URL尚還沒有編入索引則是合理的。有幾種情況下URL可能不被索引：

·例如當(dāng)搜尋引擎發(fā)現(xiàn)類似的內(nèi)容已經(jīng)被加入到索引資料庫里面。最常見的例子就是產(chǎn)品的描述是一模一樣，例如你將同一件衣服大中小碼變成三個(gè)不同的產(chǎn)品，搜尋引擎就可能只索引其中一件產(chǎn)品，另外兩個(gè)搜尋引擎會(huì)看成重復(fù)的內(nèi)容不索引。

 技術(shù)性問題。例如當(dāng)你采用一些特別的技術(shù)如 AMP網(wǎng)頁技術(shù)時(shí)，當(dāng)搜尋引擎發(fā)現(xiàn)一些網(wǎng)頁的內(nèi)部問題不符合技術(shù)規(guī)格時(shí)，就可能決定不索引這個(gè)網(wǎng)頁然后回報(bào)錯(cuò)誤，你需要在GSC 后臺(tái)查看錯(cuò)誤，修正問題然后再重新提交 URL。

搜尋引擎索引速度

雖然你可以在網(wǎng)站地圖之中告訴搜尋引擎URL更新頻率，但這并不表示搜尋引擎會(huì)根據(jù)您提供的信息，更頻密訪問您的網(wǎng)站 。搜尋引擎決定是否在進(jìn)行索引是考慮先前索引你網(wǎng)站時(shí)所發(fā)現(xiàn)的優(yōu)質(zhì)內(nèi)容有多少和更新有多少。當(dāng)越多優(yōu)質(zhì)內(nèi)容網(wǎng)站更新越頻密，搜尋引擎自然會(huì)更多訪問你的網(wǎng)站進(jìn)行索引。索引的速度快慢不是你付錢給搜尋引擎公司可以改變的。