Java操作es插入数据后,立即查询没结果解决办法

解决办法

原因:ES默认不执行刷新操作,需要手动设置参数才能在更新文档后立即刷新。
从以下源码中可以看出刷新策略有三种: NONE(“false”)、IMMEDIATE(“true”)、WAIT_UNTIL(“wait_for”)

public static enum RefreshPolicy implements Writeable {
         /**
          *请求向Elasticsearch提交了数据,不进行数据刷新,直接结束请求。
          *这种策略的优点是资源消耗低、写入性能高,缺点是实时性低、数据安全性差。
         **/
        NONE("false"),
        /**
          *请求向Elasticsearch提交了数据,立即进行数据刷新,然后再结束请求。
          *这种策略的优点是实时性高、操作延时短,缺点是资源消耗高。
         **/
        IMMEDIATE("true"),
        /**
          *请求向Elasticsearch提交了数据,等待数据完成刷新,然后再结束请求。
          *这种策略的优点是实时性和资源消耗之间有一个平衡,缺点是操作延时较长。
         **/
        WAIT_UNTIL("wait_for");
        private final String value;

        private RefreshPolicy(String value) {
            this.value = value;
        }

        public String getValue() {
            return this.value;
        }

        public static WriteRequest.RefreshPolicy parse(String value) {
            WriteRequest.RefreshPolicy[] var1 = values();
            int var2 = var1.length;

            for(int var3 = 0; var3 < var2; ++var3) {
                WriteRequest.RefreshPolicy policy = var1[var3];
                if (policy.getValue().equals(value)) {
                    return policy;
                }
            }

            if ("".equals(value)) {
                return IMMEDIATE;
            } else {
                throw new IllegalArgumentException("Unknown value for refresh: [" + value + "].");
            }
        }

        public static WriteRequest.RefreshPolicy readFrom(StreamInput in) throws IOException {
            return values()[in.readByte()];
        }

        public void writeTo(StreamOutput out) throws IOException {
            out.writeByte((byte)this.ordinal());
        }
    }

具体操作

request.setRefreshPolicy(WriteRequest.RefreshPolicy.IMMEDIATE);//插入完成后立即强制刷新索引

具体位置

 //单条增加
 IndexRequest request = new IndexRequest();
 request.setRefreshPolicy(WriteRequest.RefreshPolicy.IMMEDIATE);
 //后面省略。。。。。
 
//批量增加
BulkRequest bulkRequest = new BulkRequest();
bulkRequest.setRefreshPolicy(WriteRequest.RefreshPolicy.IMMEDIATE);
//同上

es写入流程

elasticsearch写入数据时涉及到的核心概念讲解:

segment file: 存储倒排索引的文件,每个segment本质上就是一个倒排索引,每秒都会生成一个segment文件,当文件过多时es会自动进行segment merge(合并文件),合并时会同时将已经标注删除的文档物理删除;

commit point(重点理解): 记录当前所有可用的segment,每个commit point都会维护一个.del文件(es删除数据本质是不属于物理删除),当es做删改操作时首先会在.del文件中声明某个document已经被删除,文件内记录了在某个segment内某个文档已经被删除,当查询请求过来时在segment中被删除的文件是能够查出来的,但是当返回结果时会根据commit point维护的那个.del文件把已经删除的文档过滤掉;

translog日志文件: 为了防止elasticsearch宕机造成数据丢失保证可靠存储,es会将每次写入数据同时写到translog日志中(图中会有详解)。

完整elasticsearch的写入数据流程如下:

refresh

es接收数据请求时先存入内存中,默认每隔一秒会从内存buffer中将数据写入filesystem cache,这个过程叫做refresh;(在这时候查询是查不到的)

fsync

translog会每隔5秒或者在一个变更请求完成之后执行一次fsync操作,将translog从缓存刷入磁盘,这个操作比较耗时,如果对数据一致性要求不是跟高时建议将索引改为异步,如果节点宕机时会有5秒数据丢失;

flush

es默认每隔30分钟会将filesystem cache中的数据刷入磁盘同时清空translog日志文件,这个过程叫做flush。

Last modification:November 17, 2023
如果觉得我的文章对你有用,请随意赞赏