江苏龙网

  1. 主页 > 生活百科 > >

2 万字详解，彻底讲透 Elasticsearch

Elasticsearc

由于近期在公司内部做了一次 Elasticsearch 的分享，所以本篇主要是做一个总结，希望通过这篇文章能让读者大致了解 Elasticsearch 是做什么的以及它的使用和基本原理 。
 
生活中的数据搜索引擎是对数据的检索，所以我们先从生活中的数据说起 。我们生活中的数据总体分为两种：
  • 结构化数据
  • 非结构化数据
结构化数据：也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理 。指具有固定格式或有限长度的数据，如数据库，元数据等 。
非结构化数据：又可称为全文数据，不定长或无固定格式，不适于由数据库二维表来表现，包括所有格式的办公文档、XML、html、word 文档，邮件，各类报表、图片和咅频、视频信息等 。
【2 万字详解，彻底讲透 Elasticsearch】说明：如果要更细致的区分的话，XML、HTML 可划分为半结构化数据 。因为它们也具有自己特定的标签格式，所以既可以根据需要按结构化数据来处理，也可抽取出纯文本按非结构化数据来处理 。
根据两种数据分类，搜索也相应的分为两种：
  • 结构化数据搜索
  • 非结构化数据搜索
对于结构化数据，因为它们具有特定的结构，所以我们一般都是可以通过关系型数据库（MySQL，Oracle 等）的二维表（Table）的方式存储和搜索，也可以建立索引 。
对于非结构化数据，也即对全文数据的搜索主要有两种方法：
  • 顺序扫描
  • 全文检索
顺序扫描：通过文字名称也可了解到它的大概搜索方式，即按照顺序扫描的方式查询特定的关键字 。
例如给你一张报纸，让你找到该报纸中“平安”的文字在哪些地方出现过 。你肯定需要从头到尾把报纸阅读扫描一遍然后标记出关键字在哪些版块出现过以及它的出现位置 。
这种方式无疑是最耗时的最低效的，如果报纸排版字体小，而且版块较多甚至有多份报纸，等你扫描完你的眼睛也差不多了 。
全文搜索：对非结构化数据顺序扫描很慢，我们是否可以进行优化？把我们的非结构化数据想办法弄得有一定结构不就行了吗？
将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的 。
这种方式就构成了全文检索的基本思路 。这部分从非结构化数据中提取出的然后重新组织的信息，我们称之为索引 。
这种方式的主要工作量在前期索引的创建，但是对于后期搜索却是快速高效的 。
先说说 Lucene
通过对生活中数据的类型作了一个简短了解之后，我们知道关系型数据库的 SQL 检索是处理不了这种非结构化数据的 。
这种非结构化数据的处理需要依赖全文搜索，而目前市场上开放源代码的最好全文检索引擎工具包就属于 Apache 的 Lucene了 。
但是 Lucene 只是一个工具包，它不是一个完整的全文检索引擎 。Lucene 的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎 。
目前以 Lucene 为基础建立的开源可用全文搜索引擎主要是 Solr 和 Elasticsearch 。
Solr 和 Elasticsearch 都是比较成熟的全文搜索引擎，能完成的功能和性能也基本一样 。
但是 ES 本身就具有分布式的特性和易安装使用的特点，而 Solr 的分布式需要借助第三方来实现，例如通过使用 ZooKeeper 来达到分布式协调管理 。
不管是 Solr 还是 Elasticsearch 底层都是依赖于 Lucene，而 Lucene 能实现全文搜索主要是因为它实现了倒排索引的查询结构 。
如何理解倒排索引呢？ 假如现有三份数据文档，文档的内容如下分别是：
  • JAVA is the best programming language.
  • php is the best programming language.
  • JavaScript is the best programming language.
为了创建倒排索引，我们通过分词器将每个文档的内容域拆分成单独的词（我们称它为词条或 Term），创建一个包含所有不重复词条的排序列表，然后列出每个词条出现在哪个文档 。
结果如下所示：
Term Doc_1 Doc_2 Doc_3 -------------------------------------Java | X | |is | X | X | Xthe | X | X | Xbest | X | X | Xprogramming | x | X | Xlanguage | X | X | XPHP | | X |Javascript | | | X-------------------------------------


推荐阅读


上一篇：骑行服能不能机洗 骑行裤能用洗衣机洗吗

下一篇：去除钢笔水的妙招 衣物钢笔水怎么去除