关于ElasticSearch的那些事，面试常见问题

港控/mmm° 2024-03-29 15:43 177阅读 0赞

一、谈谈分词与倒排索引的原理

首先说分词是给检索用的。

英文：一个单词一个词，很简单。I am a student，词与词之间空格分隔。

中文：我是学生，就不能一个字一个字地分，我-是-学生。这是好分的。还有歧义的，使用户放心，使用-户，使-用户。人很容易看出，机器就难多了。所以市面上有各种各样的分词器，

一个强调的效率一个强调的准确率。倒排索引：倒排针对的是正排。

1. 正排就是我记得我电脑有个文档，讲了 ES 的常见问题总结。那么我就找到文档，从上往下翻

页，找到 ES 的部分。通过文档找文档内容。

2. 倒排：一个 txt 文件 ES 的常见问题 -> D:/分布式问题总结.doc。

所以倒排就是文档内容找文档。当然内容不是全部的，否则也不需要找文档了，内容就是几个分词

而已。这里的 txt 就是搜索引擎。

**二、说说分段存储的思想**

Lucene 是著名的搜索开源软件，ElasticSearch 和 Solr 底层用的都是它。

分段存储是 Lucene 的思想。

早期，都是一个整个文档建立一个大的倒排索引。简单，快速，但是问题随之而来。文档有个很小的改动，整个索引需要重新建立，速度慢，成本高，为了提高速度，定期更新那么时效性就差。

现在一个索引文件，拆分为多个子文件，每个子文件是段。修改的数据不影响的段不必做处理。

**3、谈谈你对段合并的策略思想的认识**

分段的思想大大的提高了维护索引的效率。但是随之就有了新的问题。

每次新增数据就会新增加一个段，时间久了，一个文档对应的段非常多。段多了，也就影响检索性能了。

检索过程：

1. 查询所有短中满足条件的数据

2. 对每个段的结果集合并

所以，定期的对段进行合理是很必要的。真是天下大势，分久必合合久必分。

策略：将段按大小排列分组，大到一定程度的不参与合并。小的组内合并。整体维持在一个合理的大小范围。当然这个大到底应该是多少，是用户可配置的。这也符合设计的思想。

**四、了解文本相似度 TF-IDF吗**

简单地说，就是你检索一个词，匹配出来的文章，网页太多了。比如 1000 个，这些内容再该怎么呈现，哪些在前面哪些在后面。这需要也有个对匹配度的评分。

TF-IDF 就是干这个的。

TF = Term Frequency 词频，一个词在这个文档中出现的频率。值越大，说明这文档越匹配，正向指标。

IDF = Inverse Document Frequency 反向文档频率，简单点说就是一个词在所有文档中都出现，那么这个词不重要。比如“的、了、我、好”这些词所有文档都出现，对检索毫无帮助。反向指标。

TF-IDF = TF / IDF复杂的公式，就不写了，主要理解他的思想即可。

**五、能说说ElasticSearch 写索引的逻辑吗？**

ElasticSearch 是集群的 = 主分片 + 副本分片。

写索引只能写主分片，然后主分片同步到副本分片上。但主分片不是固定的，可能网络原因，之前

还是 Node1 是主分片，后来就变成了 Node2 经过选举成了主分片了。

客户端如何知道哪个是主分片呢？ 看下面过程。

1. 客户端向某个节点 NodeX 发送写请求

2. NodeX 通过文档信息，请求会转发到主分片的节点上

3. 主分片处理完，通知到副本分片同步数据，向 Nodex 发送成功信息。

4. Nodex 将处理结果返回给客户端。

**六、熟悉ElasticSearch 集群中搜索数据的过程吗？**

1. 客户端向集群发送请求，集群随机选择一个 NodeX 处理这次请求。

2. Nodex 先计算文档在哪个主分片上，比如是主分片 A，它有三个副本 A1，A2，A3。那么请求会轮询三个副本中的一个完成请求。

3. 如果无法确认分片，比如检索的不是一个文档，就遍历所有分片。

补充一点，一个节点的存储量是有限的，于是有了分片的概念。但是分片可能有丢失，于是有了副本的概念。

比如：

ES 集群有 3 个分片，分片 A、分片 B、分片 C，那么分片 A + 分片 B + 分片 C = 所有数据，每个分片只有大概 1/3。分片 A 又有副本 A1 A2 A3，数据都是一样的。

发表评论取消回复

表情：

评论列表（有 0 条评论，177人围观）

还没有评论，来说两句吧...

相关阅读

相关关于ElasticSearch的那些事，面试常见问题

一、谈谈分词与倒排索引的原理首先说分词是给检索用的。英文：一个单词一个词，很简单。I am a student，词与词之间空格分隔。中文：我是学生，就不能一个字一个

港控/mmm°/ 2024年03月29日 15:43/ 0 赞/ 178 阅读

相关面试关于网络的那些事

1、TCP/UDP （1）TCP----------传输控制协议，是一种面向连接的、可靠的、基于字节流的传输层通信协议。其实它和上面所说的电话协议差不多，只不过电话的协议

Bertha 。/ 2023年06月12日 06:16/ 0 赞/ 271 阅读

相关说说面试那些事

鹅厂老将被拒，蚂蚁金服嘲讽，JVM问了4道题，一道都答不上来，外包都没资格，Java界面试太刺激了。 ![watermark_type_ZmFuZ3poZW5naGVpdG

╰+攻爆jí腚メ/ 2022年12月11日 03:10/ 0 赞/ 338 阅读

相关面试那些事-面试技巧

面试技巧 1.在面试结束的时候面试官往往会问你还有什么其他想问的吗? 那我们如何抵挡这个大招呢,其实如果我们想问薪资和加班的话,也是可以的(因为小编也特别想

不念不忘少年蓝@/ 2022年12月05日 05:18/ 0 赞/ 358 阅读

相关聊聊面试的那些事

背景我想面试一直都是每个人职业生涯一定要面对的吧，有的人觉得简单，有的人觉得好难，还有一部分人觉得就那回事，其实单纯的去说简单还是难是毫无意义的，毕竟每个人的能力不一样

忘是亡心i/ 2022年08月31日 11:08/ 0 赞/ 408 阅读

相关关于薪水保险金的那些事

养老保险一般要交满15年，到退休的时候才能终生享受养老金,所以想拿养老金的人请务必在自己退休前15年就开始交。如果到退休年龄交养老保险不满15年,那等到你退休的时候国家会

快来打我*/ 2022年07月12日 03:59/ 0 赞/ 382 阅读

相关关于静态static那些事

相信许多初学者甚至是工作了一两年的java程序员，会对static感到迷惑，下面谈谈我对static关键字所了解到的一些知识及个人理解。 static（静态）方法或数据

末蓝、/ 2022年06月02日 08:25/ 0 赞/ 372 阅读

相关面试中关于Spring AOP和代理模式的那些事

我们知道，Spring 中 AOP 是一大核心技术，也是面试中经常会被问到的问题，最近我在网上也看到很多面试题，其中和 Spring AOP 相关的就有不少，这篇文章主要来总结

一时失言乱红尘/ 2022年04月05日 10:44/ 0 赞/ 241 阅读

相关关于BFC的那些事

关于BFC的那些事 BFC的简介 BFC的全称是Block Formatting Context ，即块格式化上下文。是Web页面的可视化CSS渲染的一部分，是布局过程

╰半橙微兮°/ 2022年03月14日 09:58/ 0 赞/ 501 阅读

相关关于MQ那些事

我走过最长的路是你的套路女：二号男嘉宾，假如我们牵手成功后，你会买名牌包包给我吗？男：那你会听话吗？女：会听话。男：听话咱不买！那么消息队列MQ有什么套

我不是女神ヾ/ 2022年03月08日 05:33/ 0 赞/ 532 阅读