Elasticsearch Delete/UpdateByQuery案例

bboss

Elasticsearch Delete/UpdateByQuery案例分享

本文涉及技术点：

  1. DeleteByQuery/UpdateByQuery
  2. Count文档统计Api

1.准备工作

参考文档《高性能elasticsearch ORM开发库使用介绍》导入和配置es客户端

2.编写创建索引表和初始化数据方法

创建索引表和初始化数据的组件DocumentCRUD 实现本文不做重点介绍，请访问视频教程了解：

  1. /**
  2.  * 创建索引表并导入测试数据
  3.  */
  4. public void initIndiceAndData(){
  5.    DocumentCRUD documentCRUD = new DocumentCRUD();
  6.    documentCRUD.testCreateIndice();//创建索引表
  7.    documentCRUD.testBulkAddDocument();//导入测试数据
  8. }

3.定义DeleteByQuery/UpdateByQuery对应的Dsl脚本

新建配置文件-esmapper/byquery.xml

  1. <properties>
  2.     <!--
  3.         updateByquery
  4.         deleteByquery
  5.         dsl配置之文件
  6.     -->
  7.     <property name="updateByQuery">
  8.         <![CDATA[
  9.          {
  10.             "query": {
  11.                 "bool": {
  12.                     "filter": [
  13.                         {  ## 多值检索，查找多个应用名称对应的文档记录
  14.                             "terms": {
  15.                                 "applicationName.keyword": [#[applicationName1],#[applicationName2]]
  16.                             }
  17.                         },
  18.                         {   ## 时间范围检索，返回对应时间范围内的记录，接受long型的值
  19.                             "range": {
  20.                                 "agentStarttime": {
  21.                                     "gte": #[startTime],##统计开始时间
  22.                                     "lt": #[endTime]  ##统计截止时间
  23.                                 }
  24.                             }
  25.                         }
  26.                     ]
  27.                 }
  28.             }
  29.         }
  30.         ]]>
  31.     </property>
  33.     <property name="deleteByQuery">
  34.         <![CDATA[
  35.          {
  36.             "query": {
  37.                 "bool": {
  38.                     "filter": [
  39.                         {  ## 多值检索，查找多个应用名称对应的文档记录
  40.                             "terms": {
  41.                                 "applicationName.keyword": [#[applicationName1],#[applicationName2]]
  42.                             }
  43.                         },
  44.                         {   ## 时间范围检索，返回对应时间范围内的记录，接受long型的值
  45.                             "range": {
  46.                                 "agentStarttime": {
  47.                                     "gte": #[startTime],##统计开始时间
  48.                                     "lt": #[endTime]  ##统计截止时间
  49.                                 }
  50.                             }
  51.                         }
  52.                     ]
  53.                 }
  54.             }
  55.         }
  56.         ]]>
  57.     </property>
  58. </properties>

4.实现DeleteByQuery功能

定义实现DeleteByQuery功能的方法

  1.     /**
  2.      * 验证DeleteByQuery功能
  3.      * @throws ParseException
  4.      */
  5.     public void deleteByQuery() throws ParseException {
  6.         ClientInterface clientUtil = ElasticSearchHelper.getConfigRestClientUtil("esmapper/byquery.xml");
  7.         //设定DeleteByQuery查询条件,通过map传递变量参数值,key对于dsl中的变量名称
  8.         //dsl中有四个变量
  9.         //        applicationName1
  10.         //        applicationName2
  11.         //        startTime
  12.         //        endTime
  13.         Map<String,Object> params = new HashMap<String,Object>();
  14.         //设置applicationName1和applicationName2两个变量的值
  15.         params.put("applicationName1","blackcatdemo2");
  16.         params.put("applicationName2","blackcatdemo3");
  17.         DateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
  18.         //设置时间范围,时间参数接受long值
  19.         params.put("startTime",dateFormat.parse("2017-09-02 00:00:00").getTime());
  20.         params.put("endTime",new Date().getTime());
  21.         //通过count api先查询数据是否存在
  22.         long totalSize = clientUtil.count("demo","deleteByQuery",params);
  24.         System.out.println("---------------------------------删除前查询，验证数据是否存在:totalSize="+totalSize);
  25.         if(totalSize > 0) {//如果有数据，则通过by query删除之，为了实时查看删除效果，启用了强制刷新机制
  26.             //执行DeleteByQuery操作
  27.             String result = clientUtil.deleteByQuery("demo/_delete_by_query?refresh", "deleteByQuery", params);
  28.             System.out.println(result);
  30.             //删除后再次查询，验证数据是否被删除成功
  31.             totalSize = clientUtil.count("demo","deleteByQuery",params);
  32.             System.out.println("---------------------------------删除后再次查询，验证数据是否被删除:totalSize="+totalSize);
  33.         }
  35.     }

5.执行DeleteByQuery junit单元测试方法

  1.     @Test
  2.     public void testDeleteByQuery() throws ParseException {
  3.         DeleteUdateByQuery deleteUdateByQuery = new DeleteUdateByQuery();
  4.         deleteUdateByQuery.initIndiceAndData();//初始化索引表和测试数据
  5.         deleteUdateByQuery.deleteByQuery();//执行deleteByquery
  6.     }

6.定义updatebyquery方法

定义两个updatebyquery方法，一个带query dsl，一个不带query dsl：

  1.     /**
  2.      * 验证simpleUpdateByQuery功能
  3.      */
  4.     public void simpleUpdateByQuery(){
  5.         ClientInterface clientUtil = ElasticSearchHelper.getRestClientUtil();
  6.         String result = clientUtil.updateByQuery("demo/_update_by_query?conflicts=proceed");
  7.         System.out.println("******************simpleUpdateByQuery result:"+result);
  8.     }
  10.     /**
  11.      * 验证带查询条件UpdateByQuery功能
  12.      * @throws ParseException
  13.      */
  14.     public void updateByQueryWithCondition() throws ParseException {
  15.         ClientInterface clientUtil = ElasticSearchHelper.getConfigRestClientUtil("esmapper/byquery.xml");
  16.         //设定查询条件,通过map传递变量参数值,key对于dsl中的变量名称
  17.         //dsl中有四个变量
  18.         //        applicationName1
  19.         //        applicationName2
  20.         //        startTime
  21.         //        endTime
  22.         Map<String,Object> params = new HashMap<String,Object>();
  23.         //设置applicationName1和applicationName2两个变量的值
  24.         params.put("applicationName1","blackcatdemo2");
  25.         params.put("applicationName2","blackcatdemo3");
  26.         DateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
  27.         //设置时间范围,时间参数接受long值
  28.         params.put("startTime",dateFormat.parse("2017-09-02 00:00:00").getTime());
  29.         params.put("endTime",new Date().getTime());
  30.         String result = clientUtil.updateByQuery("demo/_update_by_query?conflicts=proceed","updateByQuery",params);
  31.         System.out.println("******************updateByQueryWithCondition result:"+result);
  33.     }

7.执行updatebyquery junit单元测试方法

  1. @Test
  2. public void testUpdateByQuery() throws ParseException {
  3.    DeleteUdateByQuery deleteUdateByQuery = new DeleteUdateByQuery();
  4.    deleteUdateByQuery.initIndiceAndData();//初始化索引表和测试数据
  5.    deleteUdateByQuery.simpleUpdateByQuery();
  6.    deleteUdateByQuery.updateByQueryWithCondition();
  7. }

8.参考文档

https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-delete-by-query.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-update-by-query.html

本文示例代码对应的源码工程地址：

https://gitee.com/bboss/eshelloword

本文对应的java文件：

https://gitee.com/bboss/eshelloword/blob/master/src/main/java/org/bboss/elasticsearchtest/byquery/DeleteUdateByQuery.java

https://gitee.com/bboss/eshelloword/blob/master/src/test/java/org/bboss/elasticsearchtest/crud/DeleteUdateByQueryTest.java

本文对应的dsl配置文件：

https://gitee.com/bboss/eshelloword/blob/master/src/main/resources/esmapper/byquery.xml