- 相關(guān)推薦
如何提高網(wǎng)站的收錄率？
一個(gè)網(wǎng)頁(yè)被收錄與否，有兩個(gè)因素：1、是否被爬蟲(chóng)爬過(guò)，2、頁(yè)面質(zhì)量是否過(guò)關(guān)
最近看了《深入淺出數據分析》這個(gè)本，覺(jué)得不錯，把數據分析的方法講得很生動(dòng)，建議有興趣的從事數據分析的同學(xué)可以買(mǎi)本看看。 任何數據分析由，目標->分析->評估->決策，四個(gè)環(huán)節組成。
目標：我們想看一下網(wǎng)站的收錄情況如何，在SEO方面是否還有提高的機會(huì )。
分析：收錄情況什么算好什么算壞，是不是用一些指標來(lái)衡量?網(wǎng)站的收錄情況是不是過(guò)于籠統，是不是應該細分下各個(gè)頁(yè)面的收錄情況?
評估：于是我們需要下面一些數據
網(wǎng)站的頁(yè)面層級關(guān)系
各個(gè)層級頁(yè)面帶來(lái)的SEO流量
各個(gè)層級頁(yè)面的收錄情況如何
SEO流量的占比可以從Google Analytics中過(guò)濾出來(lái)。
頁(yè)面數量可以從數據庫獲得，或者通過(guò)火車(chē)頭or自制小腳本抓取統計。
收錄率可以將獲取的頁(yè)面通過(guò)工具進(jìn)行搜索，火車(chē)頭也可以。
問(wèn)題立馬凸顯!
1+2級目錄頁(yè)帶來(lái)了大量的流量，收錄率不是很好，優(yōu)化收錄的流量提升突破口在此!
產(chǎn)品頁(yè)面數量很多，收錄也不是很理想，但是帶來(lái)的流量有限，除了收錄問(wèn)題，還有頁(yè)面內容的問(wèn)題，本文中先不管它了。
決策：我們的結論是立刻展開(kāi)行動(dòng)對目錄頁(yè)面進(jìn)行收錄的優(yōu)化。
看到這邊，似乎剛開(kāi)始的目標：“通過(guò)優(yōu)化收錄提升流量”
演變成了新的目標：“如何提高目錄頁(yè)面的收錄量”
這邊能不能再次通過(guò)數據分析的方法進(jìn)行SEO呢?
答案是肯定的!
我們再來(lái)重新走一遍 目標->分析->評估->決策 的過(guò)程
目標：提高目錄頁(yè)面的收錄量
分析：通過(guò)本文開(kāi)始的有關(guān)收錄的兩個(gè)因素，我們需要檢查一下，網(wǎng)頁(yè)是否被爬蟲(chóng)爬行過(guò)，網(wǎng)頁(yè)的質(zhì)量是不是過(guò)關(guān)。
1. 關(guān)于爬蟲(chóng)的情況，我們需要分析日志，才能確定。于是我們從日志中拆分一系列數據看看頁(yè)面是否真的被爬行過(guò)。
2. 由于頁(yè)面質(zhì)量似乎是一個(gè)很難衡量的值，于是我們可以用相同模板下的：
已被爬行的頁(yè)面數量/已被爬行并且被收錄頁(yè)面數量
來(lái)評估該模板頁(yè)面質(zhì)量對收錄的影響大小。如果被爬的頁(yè)面都被收錄了，那至少說(shuō)明這套頁(yè)面的內容搜索引擎還算認可。(實(shí)際情況遠比這個(gè)復雜，而且收錄后也有可能因為質(zhì)量問(wèn)題被刪除，但總比什么參照都沒(méi)有要好，對吧!)
評估：(敏感信息用編號代替，均為真實(shí)數據)
先看一下爬蟲(chóng)日志的情況，通過(guò)Shell腳本，我們可以分析出。
目錄總計被爬行的次數為13000次左右
不重復的目錄爬行次數為5500次左右
頻道A下的目錄幾乎被100%抓取過(guò)至少1次，頻道B的目錄抓取也不錯，有70%被至少抓過(guò)一次。
其余頻道下的目錄被抓取的覆蓋率不到30%
不要覺(jué)得這個(gè)結果很神奇，其實(shí)很多網(wǎng)站都會(huì )面對這樣的糟糕問(wèn)題，只要你把數據不斷的細分，細分，再細分，總會(huì )觀(guān)察出一些端倪的。
關(guān)于日志分析，不要迷信任何的日志分析軟件，那都是給懶人用的，自制腳本+Excel才是王道，可以拆分顯示出任何你想要的數據，當然，甚至可以連Excel都不要。
然后，我們統計了一下被抓得最頻繁的頻道A和頻道B，目錄頁(yè)的收錄率
頻道A和B是很讓人放心的，說(shuō)明頁(yè)面質(zhì)量沒(méi)問(wèn)題，但是余下的收錄情況就讓人比較擔心了。
決策：通過(guò)上面的數據評估，我們已經(jīng)得到了如下結論。
頁(yè)面質(zhì)量并不是影響收錄的原因。
頻道A，B的抓取量異常的高，通過(guò)調查了解，原來(lái)是首頁(yè)上的目錄頁(yè)，顯示的全是頻道A下的目錄頁(yè)，首頁(yè)又擁有全站最高的權重。頻道B擁有比其他頻道強大的外鏈資源，權重也非常高。
除了A, B頻道，其他頻道的抓取情況不容樂(lè )觀(guān)，抓取入口太少，太深，進(jìn)而影響了收錄情況。
很明顯，現在頻道A從站內的角度來(lái)說(shuō)太強大了，必須進(jìn)行一些“劫富濟貧”的運動(dòng)來(lái)降低頻道A的抓取量，轉移到其他頻道中去。同時(shí)，需要給爬蟲(chóng)提供更多的入口抓取頻道頁(yè)。
現在問(wèn)題變得清晰起來(lái)，我們開(kāi)始把工作分成兩部分：1.提供更多的入口 2.將資源平分給各頻道而不是集中在少數幾個(gè)頻道上。
提供入口工作：
1.把目錄頁(yè)的URL制作成sitemap。提交給搜索引擎，并且將其設置為比較高的抓取權重。
2.完善面包屑導航，將面包屑導航劃分得更加細致，以提供更多入口
3.在其他產(chǎn)品中推薦目錄頁(yè)
資源平分工作：(一些概念：任意頁(yè)面都有可能成為爬蟲(chóng)入口，百度爬蟲(chóng)抓取深度有限，頁(yè)面相對入口越淺，被抓取的概率越高。)
1.原先首頁(yè)指向的都是頻道A的目錄頁(yè)+產(chǎn)品頁(yè)，將其全部nofollow，確保從首頁(yè)進(jìn)入的爬蟲(chóng)，全部抓取到頻道頁(yè)，通過(guò)頻道頁(yè)再進(jìn)入目錄頁(yè)(其實(shí)這個(gè)不算太重要)
2.原先頻道頁(yè)指向自身的產(chǎn)品頁(yè)，將其全部nofollow(確保從頻道頁(yè)入口的爬蟲(chóng)，最大程度的抓取目錄頁(yè))
3.從目錄頁(yè)返回到首頁(yè)的鏈接，將其全部nofollow。
4.減少一些頁(yè)面上無(wú)關(guān)鏈接。(什么情況下這么做都是非常有效的。)
現在可以開(kāi)始動(dòng)手了。。
成果
這么做到底有什么效果呢，我們來(lái)看看修改后1個(gè)月后的數據。
目錄頁(yè)的收錄率提高了100%!
產(chǎn)品頁(yè)的收錄率也有一定程度的提高，這是歸功于目錄頁(yè)對于產(chǎn)品的良好展現。
目錄頁(yè)的SEO表現：
SEO流量占比上升了15%
增長(cháng)10%的到訪(fǎng)關(guān)鍵詞數量(新頁(yè)面的收錄)
SEO流量增長(cháng)了50%以上。(包含一些季節因素)
備注：
1.除了收錄，排名也是問(wèn)題，可以同步關(guān)注。
2.對于頻道A這樣特殊情況，甚至可以對其進(jìn)行全屏蔽，但是技術(shù)上實(shí)現起來(lái)會(huì )略微麻煩。
3.百度對nofollow的支持據說(shuō)很混亂，有認識百度內部人士可以幫忙問(wèn)一下。
[如何提高網(wǎng)站的收錄率？]相關(guān)文章：
2.網(wǎng)站收錄數量是新站長(cháng)很關(guān)心的問(wèn)題
【如何提高網(wǎng)站的收錄率？】相關(guān)文章：
如何提高行職業(yè)編碼的準確率04-17
如何提高說(shuō)話(huà)的技巧08-10
如何提高演講水平01-25
如何提高演講技巧02-12
如何提高歷史成績(jì)03-27
如何提高電腦傳輸速度10-27
如何提高自身的師德修養03-29
如何提高寫(xiě)作技巧04-08
如何提高您的演講能力06-17
如何提高求職應聘能力09-25