告訴我，當(dāng)您考慮對網(wǎng)站進(jìn)行排名時，您首先想到的是什么？

內(nèi)容？或者反向鏈接？

我承認(rèn)，兩者都是在搜索結(jié)果中定位網(wǎng)站的關(guān)鍵因素。但他們不是唯一的。

事實上，另外兩個因素在seo優(yōu)化中起著重要作用 - 可抓取性和可索引性。然而，大多數(shù)網(wǎng)站所有者從未聽說過它們。

與此同時，即使是可索引性或可抓取性的小問題也可能導(dǎo)致您的網(wǎng)站失去排名。無論你有什么好的內(nèi)容或多少反向鏈接，都是如此。

網(wǎng)絡(luò)爬蟲如何掃描您的網(wǎng)站？一種了解搜索引擎機(jī)器人如何工作的新工具，試用Log File Analyzer，窗體底端。

什么是可抓取性和可索引性？

要理解這些術(shù)語，我們首先來看看搜索引擎如何發(fā)現(xiàn)和索引頁面。要了解任何新的（或更新的）頁面，他們會使用所謂的網(wǎng)絡(luò)抓取工具，其目的是在網(wǎng)絡(luò)上關(guān)注鏈接，只需一個目標(biāo)：

查找和索引新的Web內(nèi)容。

谷歌解釋說：

“爬蟲會查看網(wǎng)頁并關(guān)注這些網(wǎng)頁上的鏈接，就像您瀏覽網(wǎng)頁上的內(nèi)容一樣。他們從鏈接轉(zhuǎn)到鏈接，并將有關(guān)這些網(wǎng)頁的數(shù)據(jù)帶回Google的服務(wù)器。“

簡而言之，這兩個術(shù)語都與搜索引擎訪問和索引網(wǎng)站上的頁面以將其添加到其索引的能力有關(guān)。爬行介紹了搜索引擎的訪問和抓取內(nèi)容的頁面上的能力，如果站點沒有可爬網(wǎng)性問題，則Web爬網(wǎng)程序可以通過跟蹤頁面之間的鏈接輕松訪問其所有內(nèi)容。

但是，斷開的鏈接或死角可能會導(dǎo)致可抓取性問題 - 搜索引擎無法訪問網(wǎng)站上的特定內(nèi)容。

可轉(zhuǎn)位，在另一方面，是指搜索引擎的分析和頁面添加到其索引的能力。

即使Google可以抓取某個網(wǎng)站，但它可能不一定能夠為其所有網(wǎng)頁編制索引，這通常是由于可轉(zhuǎn)換性問題。

什么影響可抓取性和可索引性？

1.網(wǎng)站結(jié)構(gòu)

網(wǎng)站的信息結(jié)構(gòu)在其可抓取性方面起著至關(guān)重要的作用。

例如，如果您的網(wǎng)站具有未與其他任何地方鏈接的網(wǎng)頁，則網(wǎng)頁抓取工具可能難以訪問這些網(wǎng)頁。

當(dāng)然，他們?nèi)匀豢梢酝ㄟ^外部鏈接找到這些頁面，前提是某人在其內(nèi)容中引用了這些頁面。但總的來說，弱結(jié)構(gòu)可能會導(dǎo)致可爬行性問題。

2.內(nèi)部鏈接結(jié)構(gòu)

網(wǎng)絡(luò)爬蟲通過以下鏈接在網(wǎng)絡(luò)上傳播，就像您在任何網(wǎng)站上一樣。因此，它只能從其他內(nèi)容中找到您鏈接到的頁面。

因此，良好的內(nèi)部鏈接結(jié)構(gòu)將使其能夠快速到達(dá)您網(wǎng)站結(jié)構(gòu)深處的那些頁面。但是，糟糕的結(jié)構(gòu)可能會將其發(fā)送到死胡同，從而導(dǎo)致網(wǎng)絡(luò)爬蟲錯過了您的某些內(nèi)容。

3.循環(huán)重定向

損壞的頁面重定向會阻止Web爬網(wǎng)程序進(jìn)入其軌道，從而導(dǎo)致可爬網(wǎng)問題。

4.服務(wù)器錯誤

同樣，損壞的服務(wù)器重定向和許多其他與服務(wù)器相關(guān)的問題可能會阻止Web爬網(wǎng)程序訪問您的所有內(nèi)容。

5.不受支持的腳本和其他技術(shù)因素

您在網(wǎng)站上使用的技術(shù)可能會導(dǎo)致可追溯性問題。例如，由于抓取工具無法遵循表單，因此對表單后面的內(nèi)容進(jìn)行選通將導(dǎo)致可抓取性問題。

各種腳本（如Javascript或Ajax）也可能會阻止Web爬網(wǎng)程序中的內(nèi)容。

6.阻止Web爬網(wǎng)程序訪問

最后，您可以故意阻止網(wǎng)頁抓取工具對您網(wǎng)站上的網(wǎng)頁編制索引。

這樣做有一些很好的理由。

例如，您可能已創(chuàng)建了要限制公共訪問的頁面。作為阻止訪問的一部分，您還應(yīng)該阻止它訪問搜索引擎。

但是，也很容易錯誤地阻止其他頁面。例如，代碼中的一個簡單錯誤可能會阻止整個網(wǎng)站部分。

您可以在本文中找到的可抓取性問題的完整列表 - 您的網(wǎng)站對抓取者不友好的18個原因：可追溯性問題指南。 

如何使網(wǎng)站更容易抓取和索引？

我已經(jīng)列出了一些可能導(dǎo)致您的網(wǎng)站遇到可抓取性或可索引性問題的因素。因此，作為第一步，您應(yīng)該確保它們不會發(fā)生。

但是，您還可以采取其他措施來確保網(wǎng)絡(luò)抓取工具可以輕松訪問和索引您的網(wǎng)頁,這樣也有利于網(wǎng)站seo優(yōu)化。

1.將Sitemap提交給Google

Sitemap是一個小文件，位于您網(wǎng)域的根文件夾中，其中包含指向您網(wǎng)站上每個網(wǎng)頁的直接鏈接，并使用Google控制臺將其提交給搜索引擎。

該站點地圖將告知Google您的內(nèi)容，并提醒您對其所做的任何更新。

2.加強(qiáng)內(nèi)部聯(lián)系

我們已經(jīng)討論了相互關(guān)聯(lián)如何影響可抓取性。因此，為了增加Google抓取工具查找您網(wǎng)站上所有內(nèi)容的機(jī)會，請改善網(wǎng)頁之間的鏈接，以確保所有內(nèi)容都已連接。

3.定期更新和添加新內(nèi)容

內(nèi)容是您網(wǎng)站中最重要的部分。它可以幫助您吸引訪客，向他們介紹您的業(yè)務(wù)，并將其轉(zhuǎn)換為客戶。

但內(nèi)容也可以幫助您提高網(wǎng)站的可抓取性。例如，網(wǎng)絡(luò)抓取工具訪問不斷更新其內(nèi)容的網(wǎng)站。這意味著他們會更快地抓取您的網(wǎng)頁并將其編入索引。

4.避免重復(fù)任何內(nèi)容

如果內(nèi)容重復(fù)，則內(nèi)容相同或非常相似的網(wǎng)頁可能會導(dǎo)致排名失敗。

但重復(fù)的內(nèi)容也會降低抓取工具訪問您網(wǎng)站的頻率。

因此，檢查并修復(fù)網(wǎng)站上的任何重復(fù)內(nèi)容問題。

5.加快頁面加載時間

網(wǎng)頁抓取工具通常只能在有限的時間內(nèi)對網(wǎng)站進(jìn)行抓取和索引編制。這稱為爬網(wǎng)預(yù)算?；旧希坏r間到了，他們就會離開你的網(wǎng)站。

因此，您的頁面加載速度越快，爬蟲在耗盡時間之前就能訪問的越多。

用于管理可爬網(wǎng)性和可索引性的工具

如果上述所有聲音都令人生畏，請不要擔(dān)心。有些工具可以幫助您識別和修復(fù)可爬網(wǎng)性和可索引性問題。

日志文件分析器

日志文件分析器  將向您顯示桌面和移動Google機(jī)器人如何抓取您的網(wǎng)站，以及是否有任何錯誤需要修復(fù)和抓取預(yù)算以進(jìn)行保存。您所要做的就是上傳您網(wǎng)站的access.log文件，讓該工具完成其工作。

訪問日志是人或機(jī)器人發(fā)送到您網(wǎng)站的所有請求的列表; 通過分析日志文件，您可以跟蹤和了解爬網(wǎng)程序的行為。

分析和管理Googlebots

1.改善您網(wǎng)站的可抓取性和可索引性

2.試用Log File Analyzer

3.窗體底端

谷歌工具

Google Search Console  可幫助您在Google中監(jiān)控和維護(hù)您的網(wǎng)站。這是一個提交站點地圖的地方，它顯示了網(wǎng)站抓取工具對您網(wǎng)站的覆蓋范圍。

Google PageSpeed Insights  可讓您快速查看網(wǎng)站的網(wǎng)頁加載速度。 

大多數(shù)網(wǎng)站管理員都知道，要對網(wǎng)站進(jìn)行排名，他們至少需要強(qiáng)大且相關(guān)的內(nèi)容和反向鏈接來增加其網(wǎng)站的權(quán)限。

他們不知道的是，如果搜索引擎的抓取工具無法抓取并索引其網(wǎng)站，他們的努力是徒勞的。

這就是為什么除了專注于為相關(guān)關(guān)鍵字添加和優(yōu)化頁面以及構(gòu)建鏈接之外，您還應(yīng)該持續(xù)監(jiān)控網(wǎng)絡(luò)抓取工具是否可以訪問您的網(wǎng)站并向搜索引擎報告他們找到的內(nèi)容。