noindex標簽是什么?與nofollow的區別有哪些?
noindex是一項阻止Google搜索引擎顯示(索引)您的網站的設置。有多種方法可以進行設置。目標不僅是HTML,還包括PDF文件和圖像文件。
在SEO措施方面,從索引中刪除低質量內容和重復內容有望提高網站的整體聲譽。
另一方面,您需要小心,因為如果您濫用它或配置不正確,可能會導致您的網站流量大量損失。在這篇文章中,平哥SEO將講解noindex怎么寫、如何設置、什么時候使用、對SEO的影響以及注意點。
一、什么是無索引?
noindex是一種防止搜索引擎對網頁建立索引的措施。由于該標簽寫在HTML文件中,因此也稱為“noindex標簽”。
搜索引擎通過對網頁進行爬行和索引來在搜索結果中反映網站信息。設置了noindex的頁面和文件將不會被索引,并且將不再顯示在搜索結果中。它也不會影響現有網站的聲譽。
重復的內容和低質量的內容會降低您網站的整體聲譽。通過將對SEO有負面影響的內容設置為noindex并將其從搜索結果中刪除,您可以期望提高網站的評價。
1.與nofollow的區別
與noindex類似的設置是nofollow。nofollow是一個設置,意思是“不會抓取頁面內發布的鏈接”,它是一個HTML標記。
它有時與noindex同時使用,但是noindex不會索引頁面,而nofollow只會阻止設置的鏈接被跟蹤。例如,您可能希望為出于引用或參考目的而包含的URL設置nofollow,但您不希望將它們評估為與您的公司相關的鏈接。
如果您在下面描述的“robots元標記”中寫入nofollow,則該頁面內的所有鏈接都不會被抓取,但通過使用“rel屬性”,您可以設置只不抓取相關鏈接。
首先,鏈接向Google表明網頁之間的關系。如果該網站與您的網站沒有直接關系,您可以通過設置nofollow來避免損害您網站的聲譽。當引用指向您公司競爭對手的網站的鏈接時,它還用于設置nofollow。
2.與robots.txt的差異
有一個類似于noindex的設置,robots.txt(機器人點文本)。robots.txt是一個控制搜索引擎爬蟲行為的文件。
對于不希望被抓取的頁面,可以在robots.txt中設置“Disallow”,阻止抓取到相應的目錄或頁面。
例:
拒絕訪問所有URL
不允許:/
拒絕“○○○”目錄下的URL并允許其他目錄時
不允許:/○○○/
盡管robots.txt本身會阻止抓取,但它不會指示頁面被索引,因此它可能會通過外部站點的鏈接出現在搜索結果中。另一方面,noindex和nofollow不控制爬行。因此,它對爬行效率沒有貢獻。
二、使用noindex的案例
如果存在可能降低網站整體聲譽的特定頁面,請設置noindex以避免被搜索引擎索引。下面,我們將解釋使用noindex的情況。
重復內容
低質量的內容
不需要索引的內容
您不希望編入索引的內容
1.重復內容
當您的網站上有重復內容時,請使用noindex。
重復內容是指內容相同或非常相似的內容,即使它具有不同的URL(頁面)。
盡管谷歌尚未公布明確的重復內容標準,但如果內容幾乎相同,也可能被視為重復內容。
例如,搜索結果可能是同一頁面,僅更改了都道府縣的名稱,但其余信息相同,或者搜索結果可能相同,但順序和URL不同。根據用于創建網站的CMS的規范,可能會無意中創建重復內容。
可以在Google Search Console上檢查可能重復的內容,或者通過將參數“&filter=0”添加到Google搜索中的域末尾來檢查。僅保留常規URL,并為其他重復內容設置noindex。
2.低質量的內容
任何對用戶無用的內容都稱為低質量內容,可以使用noindex來防止其影響搜索結果。
為增加頁面數量而創建的低質量內容,例如大量創建的僅文本略有變化的重復內容、自動生成的內容以及通過復制其他頁面創建的內容。
低質量的內容單薄且缺乏原創性,因此爬蟲往往會給予較低的評分。如果存在大量低質量的內容,則是不可取的,因為這可能會降低網站本身的聲譽。
不應創建低質量的內容,如果網站上存在低質量的內容,則應將其替換為高質量的內容。但是,您可能還需要沒有任何實質性內容的頁面,例如在您的網站內搜索時返回“0個結果”的頁面。在這種情況下,請使用noindex來防止對站點搜索結果建立索引。
3.不需要索引的內容
首先,有些網站有不需要索引的內容,所以也為此類內容設置noindex。
例如,用于查詢和下載材料的感謝頁面、假設流量僅通過列表廣告來創建的登陸頁面以及用于下載的PDF。
如果此類頁面無意中被索引,可能會對網站有效性衡量產生負面影響。這是因為下載了本應沒有導體的材料,致謝頁面的PV增加了。
為不需要索引的內容編寫noindex標記是安全的。
4.您不希望編入索引的內容
如果您不想將頁面或內容編入索引,也可以設置noindex。
例如,發布前有一些測試頁,或者您只希望某些人(例如管理員或用戶)查看的文件。
但是,如果您在測試頁上設置了noindex,請注意發布后不要忘記將其刪除。
三、設置noindex的三種方法
設置noindex的方式主要有3種。您可以直接使用元標記編輯頁面,在HTTP響應標頭中實現它,或者如果安裝了WordPress等CMS,則可以使用菜單操作。
這就是設置noindex的方法。
1.在robots元標記中描述
這是直接在網頁的HTML上寫meta標簽并設置noindex的方法。在“head”部分寫入以下內容,搜索引擎爬蟲在此讀取網站信息。
2.在HTTP響應頭中設置
元標記不能應用于非HTML文檔的內容,例如PDF、視頻文件和圖像文件。所以在HTTP響應頭中添加一個字段并設置noindex。
HTTP響應標頭是構成對發送到服務器的請求的響應的元素之一。包含內容類型、緩存控制和連接狀態等控制信息。
通過在HTTP響應頭字段中寫入“X-Robots-Tag:noindex”,您可以在HTTP響應頭中包含與在HTML中寫入robots元標記相同的效果。
在實踐中,直接編輯“.htaccess”文件可能更實用。“.htaccess”文件是一個允許您以目錄、擴展名等為單位控制Web服務器操作的文件。
例如,如果您想避免對特定PDF建立索引,請在“.htaccess”文件中寫入以下說明并上傳。
如果您不希望在搜索結果中顯示特定圖像,請編寫如下內容:
3.設置WordPress功能等
如果您正在實施WordPress等CMS,您可以輕松地在菜單上配置設置,而無需直接編輯HTML。例如,WordPress的標準功能允許您逐個站點設置noindex。
即使您想為每個頁面指定它,也可以通過安裝All in one SEO等插件來實現。
四、檢查noindex設置狀態的兩種方法
我們將介紹兩種方法,讓您輕松檢查特定URL(頁面)是否設置了noindex。
檢查HTML源代碼
檢查谷歌搜索控制臺
1.檢查HTML源代碼
僅通過查看網頁無法檢查是否設置了noindex。檢查HTML源中是否存在相應的描述。
您可以通過使用“Ctrl+U”顯示HTML源代碼并使用“Ctrl+F”打開搜索窗口并搜索“noindex”來檢查源代碼中的noindex標記。
2.檢查谷歌搜索控制臺
您還可以在Google Search Console上檢查noindex。
您可以通過打開“頁面”菜單來檢查索引狀態。由于noindex標記而未編入索引的頁面在“頁面未編入索引的原因”下顯示為“被noindex標記排除”。
如果無意中設置了noindex,請通過刪除頁面上的元標記來修復它。
五、無索引有效嗎?設置時的注意事項
我們將解釋設置noindex時應注意的事項,例如設置了noindex但在搜索結果中不反映的情況。
1.不要使用robots.txt阻止抓取
即使您對網頁設置noindex,它也可能不會從搜索結果中消失。在這種情況下,robots.txt可能會阻止網頁被抓取。
如果robots.txt中禁止抓取,抓取工具將無法首先抓取您的網站。即使為網頁指定noindex,搜索引擎也無法讀取noindex標簽,因此不會反映在搜索結果中。
讓我們刪除不必要的描述并修復它們,以便可以正確抓取它們。
2.不要濫用noindex
不建議濫用noindex。通過設置noindex,該頁面的自然搜索流量將為零。
例如,即使你有大量的低質量內容,你也應該首先考慮是否有可能將其改進為高質量內容。如果太多而您無法立即改進它們,請考慮使用noindex并在可以改進它們后立即對其建立索引。
另外,當內容重復時,不建議輕易使用noindex。這是因為設置了noindex的頁面將從搜索結果中刪除,并且其內容的評級也將為零。
如果您想消除重復內容,請使用規范或301重定向來整合對正確頁面的訪問。通過這些操作,重復內容的評估將被轉移到標準化目的地。
3.由于noindex無法從Google Search Console注冊?
當您嘗試從Google Search Console為網站編制索引時,可能會顯示消息“在機器人元標記中檢測到‘noindex’”,并且可能無法注冊。
這是使用WordPress等CMS時的常見錯誤。可能在常規設置菜單中選中了“阻止搜索引擎索引我的網站”選項。如果勾選此項,將為每個站點設置noindex,這意味著發布時將無法對其進行索引。
取消選中“阻止搜索引擎對站點建立索引”以刪除整個站點的noindex。
六、概括
Noindex是一種防止特定頁面、PDF文件、圖像文件等被Google搜索引擎索引的措施。除了在HTML中編寫元標記之外,還有一些方法可以向HTTP響應標頭添加控件,并使用CMS上的菜單進行設置。
通過將noindex設置為您不希望被索引的內容(包括重復內容和低質量內容),您可以防止網站的整體聲譽下降。另一方面,重要的是不要濫用noindex,因為noindex頁面的自然搜索流量將為零。設置noindex時,請仔細考慮頁面的目的和用戶的需求。






