上一次發文，還是上次，這幾天在忙，新項目起量了，耽誤寫文章了。

今天終于有空，所以來回答下大家最近比較關心的問題。

時不時有朋友問一些問題：

1.做工具站要不要做內容？

2.為什么不要前端渲染？

3.為什么多語言不能用js切換？

其實這些問題的答案，都跟谷歌抓取方式有關。

所以今天平哥SEO跟大家聊聊谷歌是如何抓取我們的網頁，并且如何理解網頁的。

注意，下文會在不同的句子里用“網址”、“網頁”、“鏈接”等不同描述，有時候是同一個東西。

一、爬取

不管是什么網頁，文章也好、新聞也好、圖片頁面、視頻頁面、音樂頁面，谷歌理解網頁，依然靠的是從網頁獲取到的文字信息。

那么是怎么獲取的呢？

用的是谷歌的爬蟲。

爬蟲是什么？

爬蟲是形象化的說法，其實是一段運行在谷歌服務器里的程序代碼。

拿到一個網址后，程序發出一個GET請求，獲取網址對應的html代碼，這就是爬蟲最主要做的事情。

注意，這里只是獲取到了html代碼，并沒有去執行html代碼。

我們可以想到，如果你的網頁是前端渲染的，那么拿到的就只是html模板，沒有任何內容，那自然就無法參與排名。

二、解析

爬到html代碼之后，還需要用程序去解析html代碼。

解析html代碼目的是提取網頁的正文部分，當然頁頭、頁尾、Meta信息等也會被識別和提取出來。

以及最重要的，當前html頁面里的所有的鏈接都會被提取出來。

三、索引

之后，當前頁面解析出來的信息就會入庫，然后進行分詞、抽取主題、語義理解、建立正向索引、反向索引等步驟，這里就不展開講解了。

四、處理鏈接

對于拿到的每一個鏈接，都會判斷是否已經爬取過，多久之前爬的，是否還需要再爬一遍。

對于需要再爬的，會被放入到待爬列表中。

所以之前在之前的文章：新上線的網站，如何快速讓谷歌收錄？中提醒大家，要想快速被收錄，除了需要提交到GSC后臺外，還可以去別的爬蟲來得特別頻繁的網站發帖，吸引爬蟲把我們的網址加入到待爬列表里。

每一個進入待爬列表的網址，都會走上面這些步驟，不算循環。

這樣谷歌就能夠通過鏈接，爬取完互聯網上所有網站的所有網頁。

五、內鏈和外鏈和反鏈

對于一個網站來說，鏈接分為內鏈Internal Link和外鏈External Link。

內鏈，是站內鏈接的簡稱，是指向到當前網站其它頁面的鏈接。

外鏈，是站外鏈接的簡稱，又名出站鏈接，是指向到別的網站的鏈接。

假設A網站有一個指向到B網站的鏈接。

那么這個鏈接對于A網站來說，是一個External Link，也就是外部鏈接，可以簡稱為外鏈。

這個鏈接對于B網站來說，是一個Back Link，也就是反向鏈接，可以簡稱為反鏈。

有時候，我們會稱反鏈為外鏈，其實就是同一個鏈接針對不同網站的說法。

如下面兩句，其實是同一個意思：

“我要去搞一個Reddit的外鏈”；

“我要去Reddit給我網站搞一個反鏈”。

六、Sitemap

我們把網頁在sitemap.xml文件里列出來，目的也是為了把網頁加入待爬列表。

有人會問，有了Sitemap是不是就不用建立內鏈了呢？

告訴你，并不是這樣的。

Sitemap對于谷歌是一個建議，谷歌可以不聽，或者部分聽取。

谷歌更喜歡通過鏈接去不斷爬行探索網站。

甚至目前平哥優化最新的這個網站不到一個月收錄十幾萬，壓根就沒有Sitemap。

方法就是在首頁不斷的列出最新的內容，同時有一個頁面能夠一頁一頁列出網站所有頁面。

這樣就可以吸引谷歌的爬蟲不斷來我們網站爬最新的網頁。

七、頁面深度

從首頁開始，不斷的點擊鏈接，到達了某個頁面的最短路徑，就是這個頁面的深度。

通常我們會說，頁面深度不要超過5層，但建議，最好在3層內。

也就是你要保證你網站的任何一個頁面，都可以點擊三次就能夠到達。

那就要把一些深度的頁面改成廣度的頁面。

具體怎么做，大家可以參考Toolify的頁腳部分。

八、權重傳遞

權重會在站內傳遞，也會在網站之間傳遞。

我們可以把每一個網頁都當作一個最小單元，這個網頁有很多出去的鏈接，也有很多進入的鏈接。

出去的鏈接和進入的鏈接，都可能是站內鏈接，也可能是站外鏈接。

不管什么類型，每一個鏈接都在傳遞權重。

一般站內鏈接都是dofollow的，也就是會完全傳遞權重，而外鏈則為了不傳遞太多權重出去，我們會設置為nofollow。

谷歌有自己的一套復雜的算法，會綜合各種情況去計算每一個鏈接能夠傳遞的權重到底是多少。

九、關鍵詞召回

當用戶搜索一個關鍵詞時，谷歌會找出所有內容匹配的網頁。

怎么找？

根據反向索引來找。

這里就不深入講解了，如果大家想了解，可以谷歌搜索了解更多關于搜索引擎的原理。

但是我們知道，要想網站被召回，就一定要內容足夠匹配。

這就要求第一是后端渲染，能夠讓谷歌爬蟲可以抓取到內容。

第二則要求我們即使是工具站，也要做內容，讓谷歌能夠根據內容知道我們的工具到底有什么作用。

十、搜索排名

被召回的結果有幾千萬個，怎么給網頁排序呢？

谷歌最初使用Page Rank算法，根據不同網站的權重來進行排序。

但是經過二十多年的發展，排序算法已經復雜無比了，會根據各種因素去綜合排序。

建議大家好好看看上面這圖，然后在做網頁時，把每一個關鍵因素都好好考慮到。

好了，以上介紹了怎么多，平哥再來回答開頭的三個問題。

1.做工具站要不要做內容？

答：當然要做內容，你不做內容，谷歌怎么知道你的工具到底有什么用，谷歌不可能去運行你的工具來判斷你的工具的用途，所以只能根據你寫的內容來判斷。

你可能會問，谷歌就這么相信我們寫的？

答：谷歌一開始會把所有人都當作好人，去信任所有網頁，然后根據搜索用戶的表現來判斷你的文字到底有沒有如實的描述工具，如果發現言過其實，就會給你降低排名。

2.為什么不要前端渲染？

答：因為谷歌無法獲取到前端渲染網頁的文字內容。

你可能會問，谷歌不會去運行我們的js代碼嗎？

答：運行代碼需要消耗額外的算力，谷歌只會給一些大網站有這樣的優待，因為谷歌很需要那些大網站的內容。對于我們做的小破網站，谷歌不算浪費算力的。所以我們就不要去麻煩谷歌了，我們自己做好后端渲染不是更好嗎？

3.為什么多語言不能用js切換？

答：因為js切換不會改變網址，這就導致谷歌爬蟲來的時候，只能抓取到一種語言的內容，也就只能參與一種語言的搜索排名。那么這個網頁的多語言就相當于白做了。