网络爬虫同时需要考虑抓取频率 ， 防止给站点造成过重负担 ， 总之 ， 搜索引擎的网络爬虫需要是个谦谦君子 。
5.2中文分词将清洗完成的内容进行分词提取关键词 ， 比如一个网页内容有1000字 ， 分词之后大约有50个词 ， 相当于提取了网页的主干 ， 并且会对标题、摘要、正文等不同部分的内容做不同权重处理 。
分词过程中会剔除停用词、虚词等 ， 比如"的、得、地"等 ， 从而极力还原网页的主干内容 。
我们用在线网页分词工具和真实网页来模拟下这个过程：
网页分词在线工具：
抓取网页：
基于字符串匹配的分词算法
基于概率统计的分词算法
基于语义规则的分词算法
其他算法
所谓正排就是根据docid可以拿到属于该网页的所有内容 ， 是一个符合我们思维的正向过程 ， 相对而言会有倒排索引 。
我们以一篇《隐秘的角落》剧情简介的页面为例 ， 模拟分词情况 ， 大致如下(本分词结果纯属脑补 ， 以实际为准)：
推荐阅读
-
短发|山口百惠儿媳才貌双全，结婚穿和服留齐刘海，没婆婆年轻时漂亮
-
小城时光说资讯 观看“不良网站”能够瞒天过海？3个坏影响躲不掉，以为无痕模式
-
「雷科技」《使命召唤：现代战争》免费畅玩：可体验5张多人地图
-
狮子座|11月底，缘起缘灭，不负此生，纵使分离，此情难分，祈祷复合
-
“触手怪”式的网文作者们：“每天一睁眼就觉得欠读者八千字”
-
-
我是肥球球|“小爱同学”被抢注？小米公司无能为力很无奈？上诉被驳回
-
-
只待君来|宁愿“糊涂一些”，也别做聪明人，女人到了中年
-
|被领导提拔，自己却直接拒绝，不升职，成为了一种新趋势
-
成都高空抛物入刑首案宣判|成都高空抛物入刑首案宣判 具体什么情况？
-
-
朱元璋|刘伯温死前送给朱元璋一筐鱼，朱元璋没懂，17年后才明白用意
-
PO数码|AR眼镜值得一看，享受90寸大屏沉浸感？OPPO放大招
-
#走在城长的旅途#他的话让俺想去睡觉，幽默段子：晚上和老爸聊天
-
-
[火山]一百个宇宙冷知识 看完才明白 人类是多么渺小（第11期）
-
[铁血蓝色科技]让闲置U盘变NAS，在家也能远程办公，百元小工具
-
-
『上游新闻』Ace2将搭载最强充电组合亮相，地表充电最强？OPPO
![[火山]一百个宇宙冷知识 看完才明白 人类是多么渺小（第11期）](http://img88.010lm.com/img.php?https://image.uc.cn/s/wemedia/s/2020/11306a7ec4b6d39bcb8da1db732d5d3a.jpg)
![[铁血蓝色科技]让闲置U盘变NAS，在家也能远程办公，百元小工具](https://imgcdn.toutiaoyule.com/20200407/20200407200431532228a_t.jpeg)
