江苏龙网

  1. 主页 > 生活百科 > >

爬虫原理与数据抓取( 二 )

爬虫原理


爬虫原理与数据抓取

文章插图
 
但是，这些通用性搜索引擎也存在着一定的局限性：
通用搜索引擎所返回的结果都是网页，而大多情况下，网页里90%的内容对用户来说都是无用的 。
不同领域、不同背景的用户往往具有不同的检索目的和需求，搜索引擎无法提供针对具体某个用户的搜索结果 。
万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎对这些文件无能为力，不能很好地发现和获取 。
通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询，无法准确理解用户的具体需求 。
针对这些情况，聚焦爬虫技术得以广泛使用 。
聚焦爬虫
聚焦爬虫，是"面向特定主题需求"的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于： 聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页信息 。
而我们今后要学习的网络爬虫，就是聚焦爬虫 。




推荐阅读


上一篇：葫芦茶的功效与作用,黄芩绿茶的功效与作用

下一篇：详解Oracle不同损坏级别的备份与恢复