【SEO培訓】:正文提取知識

 

　　網上有不少關于正文提取的算法,有基于dom樹,文字長度,投票,視覺信息的,這些都可以簡單了解一下,不過對于國內主要搜索引擎百度,我們就得盡量找找他有沒有這方面的專利.

 

　　百度專利<<一種用于對頁面進行主體識別的方法與設備>>申請于2011年,里面是這樣識別主體的

 

　　1.對頁面進行分塊,分塊就是對一些標簽進行合并,html標簽中一般來講p,span,font等是常見的用于文本的標簽,div,table,td等是用于塊的標簽,通過合并,可以簡化頁面的結構,便于分析.

 

　　2.對塊進行合并,當屬于同一層級,并且是屬于可合并類型(這里類型不限于圖片,文本,鏈接等)的塊進行合并,可以簡單理解為段落的合并.

 

　　3.對合并后的塊進行字體格式信息,行數,寬度,位置進行識別

 

　　4.對主體進行識別,這里有相應的投票機制和算法,舉例:如果塊位于網頁的中部,行數和寬度大于預設閾值,標題字號和文本字號不同,就識別為主體.

 

　　上面是這篇專利主要講的方法,但要明白,不同的行業其實是有不同的識別規則的,有些行業由于數據結構的特殊性,所以并不是字數多就是主體,比如商品頁,字段最多的可能是評論區塊.所以對于不同行業要做不同的分析