中国版美味书签里的阅读模式,可以把网页里的内容(图片 + 视频 + 文字)全部和不相关的广告,推荐那些分离开来,这是咋实现的呢
如果是我去实现的话,先找找有没有相关的算法介绍,有的话可以用算法机器分析辅以少量特例的人肉分析;没有的话就重点人肉分析,积累了大量样本之后慢慢总结出自己的算法用机器执行。所以,无非是机器和人肉的比例问题而已,但最终机器要占据绝大多数份额。
■网友
Readability、Evernote Clearly 和 Safari Reader是原理一样的。不同的是,这3个东西是用PC抓取然后在本地PC上给用户看,但你说的这个是服务器端抓取,然后push到用户的手机上。抓取技术都是一样的。
■网友
这个东东其实我觉得就是通过解析HTML标签而已,比如\u0026lt;img\u0026gt;就是图片这样子,另外,广告的话,在做爬虫的时候会考虑到网页去重,大致的原理就是把网页拆分成若干份,然后对每一份做hash,然后比较这一份到底是不是主体内容(因为大部分网站的侧边栏都是长的一样的)
推荐阅读
- 太阳照常升起“中国第一高楼”迎新年第一缕曙光
- 中国海拔最高气田跨年夜的坚守:戈壁寒夜保万家温暖
- 广西东兴边检开通绿色通道助8名遇险中国籍船员回国
- 中国各地冬泳爱好者在长春“劈波斩浪”迎新年
- 『医生』苏州援圭医生联手救治南美危重病人 “中国医生真了不起!”
- -44.5℃“中国最冷小镇”迎入冬以来最低温
- 第24届环球夫人大赛中国总决赛深圳举行
- “中国最冷小镇”呼中最低温突破-40℃
- 世界旅游小姐中国赛区冠军:积极备战向世界推介中国之美
- 山东检验检测机构数量超3600家数量居中国首位
