网络爬虫同时需要考虑抓取频率 ， 防止给站点造成过重负担 ， 总之 ， 搜索引擎的网络爬虫需要是个谦谦君子 。
5.2中文分词将清洗完成的内容进行分词提取关键词 ， 比如一个网页内容有1000字 ， 分词之后大约有50个词 ， 相当于提取了网页的主干 ， 并且会对标题、摘要、正文等不同部分的内容做不同权重处理 。
分词过程中会剔除停用词、虚词等 ， 比如"的、得、地"等 ， 从而极力还原网页的主干内容 。
我们用在线网页分词工具和真实网页来模拟下这个过程：
网页分词在线工具：
抓取网页：
基于字符串匹配的分词算法
基于概率统计的分词算法
基于语义规则的分词算法
其他算法
所谓正排就是根据docid可以拿到属于该网页的所有内容 ， 是一个符合我们思维的正向过程 ， 相对而言会有倒排索引 。
我们以一篇《隐秘的角落》剧情简介的页面为例 ， 模拟分词情况 ， 大致如下(本分词结果纯属脑补 ， 以实际为准)：
推荐阅读
-
-
-
-
特朗普|特朗普：福奇为我工作，为什么都喜欢他不喜欢我
-
-
3DMGAME前索尼高管：如果PS4当时不成功 PS品牌就没了
-
-
-
希望能有朋友帮帮忙 ，心理压力太大，家人也病倒了，好无助，感觉心灰意冷，特别想死，有办法吗
-
-
法夫尔|佐尔克：拜仁现在是世界最强球队，暂不谈法夫尔续约
-
-
路虎|本田停路边休息 结果被路虎从车顶压过去！网友：比坦克还猛
-
【】长江洪峰平稳过境南京 秦淮河入江口“泾渭分明”
-
用法|以夷攻夷的出处、释义、典故、近反义词及例句用法-成语知识
-
初三励志当学霸哇嘎嘎|你是据理力争，还是无条件服从？，遇到跟领导意见不一致的时候
-
-
-
-
