网络爬虫同时需要考虑抓取频率 ， 防止给站点造成过重负担 ， 总之 ， 搜索引擎的网络爬虫需要是个谦谦君子 。
5.2中文分词将清洗完成的内容进行分词提取关键词 ， 比如一个网页内容有1000字 ， 分词之后大约有50个词 ， 相当于提取了网页的主干 ， 并且会对标题、摘要、正文等不同部分的内容做不同权重处理 。
分词过程中会剔除停用词、虚词等 ， 比如"的、得、地"等 ， 从而极力还原网页的主干内容 。
我们用在线网页分词工具和真实网页来模拟下这个过程：
网页分词在线工具：
抓取网页：
基于字符串匹配的分词算法
基于概率统计的分词算法
基于语义规则的分词算法
其他算法
所谓正排就是根据docid可以拿到属于该网页的所有内容 ， 是一个符合我们思维的正向过程 ， 相对而言会有倒排索引 。
我们以一篇《隐秘的角落》剧情简介的页面为例 ， 模拟分词情况 ， 大致如下(本分词结果纯属脑补 ， 以实际为准)：
推荐阅读
-
美国|印度再现神奇操作，抵制中方不成，反手一招让美国陷入困境！
-
来头|原创迪丽热巴的父亲背景曝光，没想到大有来头，怪不得杨幂要一心捧她
-
中国|商务部：中国仍是包括美国在内的各国投资者理想的投资目的地
-
文汇|上海发热门诊24小时运转 “闭环管理”筑牢防线
-
整点鲜闻▲有70斤吗？，徐璐到底是有多瘦？晒私服最抢镜的是筷子腿
-
和男朋友都是大四男朋友读研，我出国读书，都是同一个211大学。男朋友家没钱，我家比较富有（算不上富二代
-
-
带货|姚威田静遭信任危机，田家画大饼让小星星心寒，熊磊风评反转
-
-
『场景营销』场景营销新玩法，蘑菇街助力线下零售“云开工”
-
丰田汉兰达|官宣！国产SUV销量最新排名TOP100：哈弗H6力压长安CS75，荣威RX5破十万！
-
“感觉不太对 ”3岁女孩拍了张入学照，摄影师放大一看，发现……
-
【保护区】新版秦岭生态环保条例：保护优先、责任追究终身
-
太平洋电脑网 技术不照搬美国，马斯克:特斯拉在中国做原创性研发
-
生肖|10月开始，被好运包围，财运飙升，名利兼得的四大生肖
-
-
-
女子|抓捕视频曝光！杭州失踪女子丈夫镣铐加身被带走
-
-
