Elasticsearch搜索引擎的常用方法(三) 查找10000条数据之后的数据

小咪咪 2023-02-16 06:55 80阅读 0赞

问题：

es本身默认限制了查找的量为10000条，即 from+size<=10000

报错：

Result window is too large, from + size must be less than or equal to:[10000] but was [10010]. See the scroll api for a more efficient way to requestlarge data sets. This limit can be set by changing the[index.max_result_window] index level parameter

解决方法：

一、修改es的默认配置

1、 在config/elasticsearch.yml中添加配置

max_result_window: 1000000000

2、 使用api修改index的配置

# 修改es中所有的index配置
     
    PUT _all/_settings
    {
      "index":{
        "max_result_window": 1000000000
        
      }
    }

注意：

es也限制了max\_result\_window的大小，最大为10亿。如果你搜索的量（from+size）大于10亿，请使用方法二。

二、使用search\_after方法

顾名思义，查找某个点之后的数据，所以需要用from、size、sort、search\_after。

实现翻页：search\_after本身是无状态的，需要先记录上一次查询的最后一个状态，再从这个状态开始，进行下一次查询，所以也必须又一个统一的排序字段

查询方法：

1、第一次查询语句

# 查询前一万条数据，根据date倒序排列
     
    GET index_1/_search
    {
      "from": 0, 
      "size": 10000, 
      "sort": [
        {
          "date": {
            "order": "desc"
          }
        }
      ], 
      "query": {
        "match_all": {}
      }
    }

上述语句查询完之后，每一条结果会多出一个“sort”字段，我需要取最后一条数据的sort，即

{
      "took": 1,
      "timed_out": false,
      "_shards": {
        "total": 1,
        "successful": 1,
        "failed": 0
      },
      "hits": {
        "total": 20000,
        "max_score": null,
        "hits": [
     
        ......
     
          {
            "_index": "index_1",
            "_type": "type_1",
            "_id": "107686",
            "_score": null,
            "_source": {
              "content": "历史问题我们两个.大小我们增加还有欢迎.一下然后深圳经验.",
              "date": "2019-09-20 13:42:38"
            },
            "sort": [
              1568986958000
            ]
          }
        ]
      }
    }

2、第二次查询语句

# 查询1万条之后的10条数据
     
    GET index_1/_search
    {
      "from": -1, 
      "size": 10, 
      "sort": [
        {
          "date": {
            "order": "desc"
          }
        }
      ], 
      "search_after":[1568986958000]
    }

注意：

（1）第二次查询基于第一次查询的结果，search\_after的值为第一次查询结果的最后一条数据的sort。

（2）第二次查询的from一定为-1，from+size仍然不能大于10000

（3）要想实现翻页，需要每次记录最后查询的sort