中国版美味书签里的阅读模式,可以把网页里的内容(图片 + 视频 + 文字)全部和不相关的广告,推荐那些分离开来,这是咋实现的呢

如果是我去实现的话,先找找有没有相关的算法介绍,有的话可以用算法机器分析辅以少量特例的人肉分析;没有的话就重点人肉分析,积累了大量样本之后慢慢总结出自己的算法用机器执行。所以,无非是机器和人肉的比例问题而已,但最终机器要占据绝大多数份额。
■网友
Readability、Evernote Clearly 和 Safari Reader是原理一样的。不同的是,这3个东西是用PC抓取然后在本地PC上给用户看,但你说的这个是服务器端抓取,然后push到用户的手机上。抓取技术都是一样的。
■网友
这个东东其实我觉得就是通过解析HTML标签而已,比如\u0026lt;img\u0026gt;就是图片这样子,另外,广告的话,在做爬虫的时候会考虑到网页去重,大致的原理就是把网页拆分成若干份,然后对每一份做hash,然后比较这一份到底是不是主体内容(因为大部分网站的侧边栏都是长的一样的)


    推荐阅读