GeneralNewsExtractor(新聞網頁正文通用抽取器)是一個基于《基于文本及符號密度的網頁正文提取方法》論文用Python實現的正文抽取器，可以用來提取 HTML 中正文的內容、作者、標題。

開發介紹

項目起源

開發這個項目，源自于我在知網發現了一篇關于自動化抽取新聞類網站正文的算法論文——《基于文本及符號密度的網頁正文提取方法》）

這篇論文中描述的算法看起來簡潔清晰，并且符合邏輯。但由于論文中只講了算法原理，并沒有具體的語言實現，所以我使用 Python 根據論文實現了這個抽取器。并分別使用今日頭條、網易新聞、游民星空、觀察者網、鳳凰網、騰訊新聞、ReadHub、新浪新聞做了測試，發現提取效果非常出色，幾乎能夠達到100%的準確率。

項目現狀

在論文中描述的正文提取基礎上，我增加了標題、發布時間和文章作者的自動化探測與提取功能。

目前這個項目是一個非常非常早期的 Demo，發布出來是希望能夠盡快得到大家的使用反饋，從而能夠更好地有針對性地進行開發。

本項目取名為抽取器，而不是爬蟲，是為了規避不必要的風險，因此，本項目的輸入是 HTML，輸出是一個字典。請自行使用恰當的方法獲取目標網站的 HTML。

本項目現在不會，將來也不會提供主動請求網站 HTML 的功能。