1.elasticsearch文档存储（保存|修改|删除）

Posted 2022-10-10 PacosonSWJTU

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了1.elasticsearch文档存储（保存|修改|删除）相关的知识，希望对你有一定的参考价值。

【README】

0.本文部分内容（数据）总结自 es 开发文档， Document APIs | Elasticsearch Guide [7.2] | Elastic ；

1.本文的es版本是7.2.1；

2.elasticsearch 是一个数据存储，检索和分析引擎；本文介绍的是 es数据存储开发方式；

es是以文档为单位存储数据的，数据被序列化为json文档进行存储；

3.文档存储包括文档保存，修改，删除；（文档查询的开发方式比较复杂，单独新开一篇阐述）

保存文档：使用 put 或 post请求；
修改文档：使用put和post请求；
1. put请求更新文档是全量替换；
2. post请求路径不带 _update 更新文档是全量替换；
3. post请求路径带 _update 更新文档是部分更新；且带了 _update 时，会比较新老数据是否相同，若相同则不执行更新，返回noop；
删除文档：用delete请求（包括删除文档，删除索引）；

【1】保存文档

保存文档可以用put请求或post请求；

Put 与 post请求保存文档的区别：put必须带文档id，post可以带或者不带id；

【1.1】put请求保存文档

1）在customer索引下的 external类型下保存2号文档，文档id设置为2；

Put localhost:9200/customer/external/2


  "name":"zhangsan2"



    "_index": "customer",
    "_type": "external",
    "_id": "2",
    "_version": 1,
    "result": "created", // 这里表示创建
    "_shards": 
        "total": 2,
        "successful": 1,
        "failed": 0
    ,
    "_seq_no": 2,
    "_primary_term": 1

2）再执行一次，result就是更新 updated 的了；


    "_index": "customer",
    "_type": "external",
    "_id": "2",
    "_version": 2,
    "result": "updated", // 第2次执行就是更新 
    "_shards": 
        "total": 2,
        "successful": 1,
        "failed": 0
    ,
    "_seq_no": 3,
    "_primary_term": 1

【1.2】post请求保存文档

1）在customer索引下的 external类型下保存文档（不带文档id）；

Post localhost:9200/customer/external 


  "name":"zhangsan_post_1"



    "_index": "customer",
    "_type": "external",
    "_id": "Qb1Gq4MBJc7j47GNcnTa", // 自动生成id，请求路径不需要设置id 
    "_version": 1,
    "result": "created",  // 新增数据
    "_shards": 
        "total": 2,
        "successful": 1,
        "failed": 0
    ,
    "_seq_no": 4,
    "_primary_term": 1

【Post请求小结】

不带id就是永远新增，带了id的规则是无则新增，有则更新；

2）post请求保存文档，带文档id

Post  localhost:9200/customer/external/Qr1Jq4MBJc7j47GNp3RF 

  "name":"zhangsan_post_3"



    "_index": "customer",
    "_type": "external",
    "_id": "Qr1Jq4MBJc7j47GNp3RF",
    "_version": 5,  // 版本号递增 
    "result": "updated",  // 更新 
    "_shards": 
        "total": 2,
        "successful": 1,
        "failed": 0
    ,
    "_seq_no": 9,
    "_primary_term": 1

【2】es文档简单查询

为了方便验证es文档保存，修改，删除的效果，本文介绍了一个简单查询。

【2.1】get请求带文档id查询文档

Get localhost:9200/customer/external/1



    "_index": "customer", // 在哪个索引 
    "_type": "external", // 在哪个类型 
    "_id": "1",  // 记录id 
    "_version": 2,  // 表明数据被更新过，因为新建数据的版本号是1 
    "_seq_no": 1,  // 并发控制字段，每次更新就会+1；用来做乐观锁；
    "_primary_term": 1,  // 同上，主分片重新分配，如重启，就会变化 
    "found": true,  // 
    "_source":   // 真正的内容 
        "name": "zhangsan"

【2.2】seq_no 和 primary_term 做并发控制（乐观锁）

步骤1）查询id等于1的文档


    "_index": "customer",
    "_type": "external",
    "_id": "1",
    "_version": 4,
    "_seq_no": 11,
    "_primary_term": 1,
    "found": true,
    "_source": 
        "name": "zhangsan2_update_seq_11"

步骤2）把 seq_no 和 primary_term 作为更新条件

客户端1：（修改成功）

Post localhost:9200/customer/external/1?if_seq_no=11&if_primary_term=1

  "name":"zhangsan_post_update_c1"



    "_index": "customer",
    "_type": "external",
    "_id": "1",
    "_version": 5,
    "result": "updated",
    "_shards": 
        "total": 2,
        "successful": 1,
        "failed": 0
    ,
    "_seq_no": 12,
    "_primary_term": 1

客户端2（修改失败），因为 seq_no 因客户端1修改文档的事件而递增了，即不等于11 ：

Post  localhost:9200/customer/external/1?if_seq_no=11&if_primary_term=1 

  "name":"zhangsan_post_update_c2"



    "error": 
        "root_cause": [
            
                "type": "version_conflict_engine_exception",
                "reason": "[1]: version conflict, required seqNo [11], primary term [1]. current document has seqNo [12] and primary term [1]",
                "index_uuid": "IIq46lyCQMisw9_iPDheiw",
                "shard": "0",
                "index": "customer"
            
        ],
        ......
    ,
    "status": 409

【3】修改文档

1）post 或 put请求都可以修改文档；

post请求修改文档又分为请求路径带 _update 和不带_update；（post不带_update更新文档是全量替换，带_update 是部分更新）
put请求修改文档时的请求路径不能带 _update ；（put更新文档是全量替换）

【3.1】post请求路径带_update更新文档

1）更新文档id为1的文档

Post localhost:9200/customer/external/1/_update

    "doc": // 注意 post请求路径带update的更新的请求体不同
        "name":"post_update_202210061135"
    



    "_index": "customer",
    "_type": "external",
    "_id": "1",
    "_version": 6,
    "result": "updated",
    "_shards": 
        "total": 2,
        "successful": 1,
        "failed": 0
    ,
    "_seq_no": 13,
    "_primary_term": 1

2）再发送一次相同请求，且报文体也相同，则得到 noop ;

Post localhost:9200/customer/external/1/_update

    "doc":
        "name":"post_update_202210061135"
    



    "_index": "customer",
    "_type": "external",
    "_id": "1",
    "_version": 6,
    "result": "noop", // 没有做任何操作 
    "_shards": 
        "total": 0,
        "successful": 0,
        "failed": 0

【3.2】post请求路径不带_update更新文档

1）更新id等于1的文档

Post localhost:9200/customer/external/1

  "name":"zhangsan_post_update_noupdate"



    "_index": "customer",
    "_type": "external",
    "_id": "1",
    "_version": 7,
    "result": "updated",
    "_shards": 
        "total": 2,
        "successful": 1,
        "failed": 0
    ,
    "_seq_no": 14,
    "_primary_term": 1

2）再发一次相同请求，相同报文体，如下：


    "_index": "customer",
    "_type": "external",
    "_id": "1",
    "_version": 8,
    "result": "updated",
    "_shards": 
        "total": 2,
        "successful": 1,
        "failed": 0
    ,
    "_seq_no": 15,
    "_primary_term": 1

【小结】

Post请求路径带update，会检查新老数据是否相同，若相同，则无需更新；即version， seq_no 都不会增加；
Post请求路径不带update，则不会检查新老数据是否相同，无论是否相同，都会更新；即 version 和 seq_no 都会增加；

【3.3】put请求路径带_update更新文档（API不存在）

put请求更新文档时，其请求路径不能带 _update ；

【3.4】put请求路径不带_update更新文档（全量替换）

0）初始数据：id为2的文档；

post localhost:9200/customer/external/2


    "_index": "customer",
    "_type": "external",
    "_id": "2",
    "_version": 6,
    "_seq_no": 8,
    "_primary_term": 2,
    "found": true,
    "_source": 
        "name": "post_zhangsan_02",
        "addr": "post_addr_02"

1）更新id为2的文档

Put localhost:9200/customer/external/2

    "doc":
        "name":"put_update_202210071519"        
    

// 更新后的结果 

    "_index": "customer",
    "_type": "external",
    "_id": "2",
    "_version": 7,
    "_seq_no": 9,
    "_primary_term": 2,
    "found": true,
    "_source": 
        "doc": 
            "name": "put_update_202210071519"

【小结】

put请求路径不带_update可以更新成功；不会检查新老数据是否相同，都会更新；
put请求更新文档是全量覆盖（虽然put请求仅更新了name字段，但结果是addr字段被删除了）；

【3.5】post请求为索引新增字段

1）为id为1的文档新增 addr 字段；

Post localhost:9200/customer/external/1 

    "doc":
        "name":"post_noupdate_202210061151"
        , "addr":"成都高新区01_post_新增属性"
    



    "_index": "customer",
    "_type": "external",
    "_id": "1",
    "_version": 11,
    "result": "updated",
    "_shards": 
        "total": 2,
        "successful": 1,
        "failed": 0
    ,
    "_seq_no": 18,
    "_primary_term": 1

【3.6】put请求为索引新增字段

1）为id为1的文档新增 addr 字段；

Put localhost:9200/customer/external/1  

    "doc":
        "name":"post_noupdate_202210061154"
        , "addr":"成都高新区02_put_新增属性"
    



    "_index": "customer",
    "_type": "external",
    "_id": "1",
    "_version": 12,
    "result": "updated",
    "_shards": 
        "total": 2,
        "successful": 1,
        "failed": 0
    ,
    "_seq_no": 19,
    "_primary_term": 1

【3.7】post请求更新文档时带_update与不带_update的区别

1）post请求路径带_update，仅部分更新（我想大部分场景应该选择带 _update）

如文档有字段1，字段2；
通过post带update的更新，可以仅更新字段1 或字段2；

2）post请求路径不带update，是全量覆盖

如文档有字段1，字段2；
通过post不带update的更新，是全量覆盖；

3）例子（post请求带与不带_update 更新文档的区别）：

3.0）初始数据

get localhost:9200/customer/external/2 


    "_index": "customer",
    "_type": "external",
    "_id": "2",
    "_version": 6,
    "_seq_no": 24,
    "_primary_term": 1,
    "found": true,
    "_source": 
        "name": "zhangsan2_insert",
        "addr": "post_带update_成都04"

3.1）Post请求路径带update的部分更新 ；

Post localhost:9200/customer/external/2/_update 

    "doc":
        "addr":"post_带update_成都05"
    


// 更新后的结果（部分更新）： 

    "_index": "customer",
    "_type": "external",
    "_id": "2",
    "_version": 7,
    "_seq_no": 25,
    "_primary_term": 1,
    "found": true,
    "_source": 
        "name": "zhangsan2_insert",
        "addr": "post_带update_成都05"

3.2）post请求路径不带_update 的全量替换 ；

Post localhost:9200/customer/external/2
    
    "addr":"post_不带update_成都06"    


// 更新后的结果（全量替换）：

    "_index": "customer",
    "_type": "external",
    "_id": "2",
    "_version": 8,
    "_seq_no": 26,
    "_primary_term": 1,
    "found": true,
    "_source": 
        "addr": "post_不带update_成都06" // （显然，这里是全量替换）

【4】删除数据（删除文档和索引）

【4.1】删除文档

1）删除文档id为2的文档

Delete localhost:9200/customer/external/2


    "_index": "customer",
    "_type": "external",
    "_id": "2",
    "_version": 9,
    "result": "deleted", // 删除成功 
    "_shards": 
        "total": 2,
        "successful": 1,
        "failed": 0
    ,
    "_seq_no": 27,
    "_primary_term": 1

2）删除完成后，再次查询id为2的文档，如下：

Get localhost:9200/customer/external/2 



    "_index": "customer",
    "_type": "external",
    "_id": "2",
    "found": false  // 显然没有找到

【4.2】删除索引

注意： es中没有提供删除类型的api ；

1）删除customer索引；

Delete localhost:9200/customer



    "acknowledged": true

2）删除索引文档后，，再次查询（报索引不存在）；

Get localhost:9200/customer/external/2


    "error": 
        "root_cause": [
            
                "type": "index_not_found_exception",
                "reason": "no such index [customer]",
                "resource.type": "index_expression",
                "resource.id": "customer",
                "index_uuid": "_na_",
                "index": "customer"
            
        ],
       ...... 
    ,
    "status": 404

以上是关于1.elasticsearch文档存储（保存|修改|删除）的主要内容，如果未能解决你的问题，请参考以下文章

Elasticsearch——创建/查看/删除索引创建/查看/修改/删除文档映射关系

ElasticSearch入门教程(超详细)

ElasticSearch基本操作

Elasticsearch学习2--Elasticsearch数据类型简介

sharepoint 2007 “文件为网络下载文件，请存储到硬盘之后再修改文件。”