用noindex，nofollow嚴禁爬蟲收錄特定網(wǎng)頁
我們不希望網(wǎng)站的一些頁面展現(xiàn)很多。有些頁面是不必要被百度收錄的，也不需要出現(xiàn)在搜索結果中供用戶看到。此時，我們可以使用它noindex或nofollow嚴禁搜索引擎檢索語法。
為什么嚴禁檢索網(wǎng)頁？
網(wǎng)頁中的一些功能不需要被搜索，也不需要被爬蟲抓住來尋找結果頁面，如未完成的網(wǎng)站、后臺管理頁面、購物車、會員信息、版權聲明、登錄或用戶留下的信息…沒有必要讓用戶通過搜索等待關鍵頁面，所以我們會使用它noindex，nofollow嚴禁用這種語法檢索爬蟲。
嚴禁爬蟲檢索和檢索應用語法，其目的不僅是讓用戶看不到這些圖片，還告訴爬蟲不要檢索，不要影響SEO優(yōu)化評分，因為這些頁面對用戶和網(wǎng)站沒有成正比，也沒有幫助尋找目的。如果爬蟲搜索這些內(nèi)容，網(wǎng)站的權重就會降低。
用noindex嚴禁搜索網(wǎng)頁
Noindex是html meta當爬蟲看到元素上的值時noindex不會搜索網(wǎng)頁，包含在結果頁面中。
簡單來說就是告訴爬蟲，一個網(wǎng)站有這個東西，但是沒有必要把它作為搜索結果發(fā)給用戶查看更多，因為它對尋找意圖和目的沒有幫助。比如購物車和結賬圖片，會員登錄和材料，隱私政策，版權聲明…等。
想象一下，每個人都通過百度搜索引擎搜索「伴手禮」，點擊結果后，場景不是產(chǎn)品，而是其他圖片或會員登錄。你不覺得無緣無故嗎？當然，大多數(shù)用戶肯定也這么認為。
避免大多數(shù)搜索引擎編入索引：
＜meta name="robots"content="noindex＞
避免將特定的搜索引擎編入索引(例如)百度)：
＜meta name="baidu bot"content="noindex"＞
這個命令需要一些，單頁設置，比如網(wǎng)站有5個地方不需要檢索，需要設置5次，5頁。詳情請參考百度搜索中心：中繼標識
有些人可能會發(fā)現(xiàn)它不能使用robots.txt告訴爬蟲什么頁面不需要檢索嗎？這兩個功能還是有些不同的。
Noindex與robots.txt
noindex
在網(wǎng)站的某些頁面上，爬蟲可以被告知「這個頁面」不要檢索和檢索。
robots.txt
在網(wǎng)站的根目錄中，告訴爬蟲不要檢索這個「整個」網(wǎng)站，比如網(wǎng)站管理后臺，特定資料內(nèi)的檔案和測試網(wǎng)站。
不過，由于robots.txt不是強制命令，也不是所有搜索引擎都會遵循，所以應用程序robots.txt嚴禁爬蟲爬網(wǎng)站內(nèi)容，仍有可能未經(jīng)檢索，不小心將網(wǎng)站編入索引。
延伸閱讀：
robots.txt用途是什么？爬蟲聽話的秘密是什么？
用nofollow無關連結的聲明網(wǎng)站
Nofollow也是html meta元素上的一個值，用來告訴搜索模塊不要跟蹤特定的網(wǎng)站連結，也就是爬蟲看到nofollow網(wǎng)站上的任何內(nèi)鏈都不會跟蹤。
這通常用于網(wǎng)站上的評論和評論區(qū)，或者用戶可以自由發(fā)布評論類網(wǎng)站，如論壇、社區(qū)媒體或留言板…等。
有了這個類別的網(wǎng)站，很容易吸引很多垃圾評論，廣告及其站無關。當一個網(wǎng)站充斥著這種不必要的鏈接時，很容易降低網(wǎng)站的排名和質(zhì)量，所以我們可以使用它nofollow告訴爬蟲這些聯(lián)系和我們沒關系。
避免搜索引擎檢索：
＜metaname="robots"content="nofollow"＞
不過百度現(xiàn)已將nofollow請將用戶自制內(nèi)容(評論或論壇)的鏈接標識改為爬蟲的參考標準，而不是關鍵指標。ugc，語法體現(xiàn)如下：「rel="ugc"」。詳情請查看：表示鏈接限制
網(wǎng)頁上的隱私內(nèi)容
為了改善網(wǎng)站的一些頁面的隱私，不僅要結合語法限制使用，還要適度增加驗證系統(tǒng)。例如，設置會員賬戶、添加驗證系統(tǒng)、選擇可鎖工具或添加功能來阻止，這些都是改善隱私的方法。
聲明本文內(nèi)容來自網(wǎng)絡,若涉及侵權,請聯(lián)系我們刪除! 投稿需知:請以word形式發(fā)送至郵箱18067275213@163.com
關于西藏，我作為一個在廣東打工的人，當我親身體驗，而且看過不記其數(shù)的事，我們?nèi)f分警惕，但是90%的人還是在血汗工廠和黑心老板的陷阱里掙扎。從這個角度說西藏，我就能夠明白國外為什么支持西藏獨立了：很簡單，一對夫婦，無論他們多么合法，結合多久，如果丈夫是個惡棍，大家都會支持妻子離婚的，你會不會支持妻子？站長，用你的良心回答？