Elastic Search学习总结

Posted 2023-02-03 软件猫

Elasticsearch 是一个 实时 分布式搜索和分析引擎。它 让 你以前所未有的速度 处 理大数据成 为 可能。 它用于全文搜索、 结构 化搜索、分析以及将 这 三者混合使用。Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎 。但是，Lucene只是一个库。想要使用它，你必须使用Java来作为开发语言并将其直接集成到你的应用中，更糟糕的是，
Lucene非常复杂，你需要深入了解检索的相关知识来理解它是如何工作的。Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的 RESTfulAPI 来隐藏Lucene的复杂性，从而让全文搜索变得简单。

ElasticSearch有如下特点：

分布式的实时文件存储，每个字段都被索引并可被搜索
分布式的实时分析搜索引擎
可以扩展到上百台服务器，处理PB级结构化或非结构化数据

而且，所有的这些功能被集成到一个服务里面，你的应用可以通过简单的 RESTful API 、各种语言的客户端甚至命令行与之交互

安装elasticSearch

ElasticSearch的安装非常简单，只需要下载tar包解压到你想放的目录即可。然后运行bin/elasticsearch即可启动elasticsearch。哦，我安装在了linux上。

注意：不同的ElasticSearch 版本之间差别比较大，无论是目录结构还是目录中的文件。但是基本的框架是一样的。配置文件都在config文件夹里，可执行文件都在bin文件夹里，库文件都在lib文件夹里。我用的是2.4.4版本

安装插件

注意版本问题，ElasticSearch的版本和插件的版本必须一致
安装方法：
2.*版本：
sudo bin/plugin install mobz/elasticsearch-head
sudo bin/plugin install license
sudo bin/plugin install marvel-agent
5.*版本
暂时还没看，有时间再看

安装完上述插件之后，重启一下elasticsearch，就可以访问了。具体的访问方式看下面

访问ElasticSearch

如果你是控制台访问，在控制台输入；

curl 'http://localhost:9200/?pretty'

会显示

  "name" : "Belasco",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "nHMfY3MUQ3-5Ubi5UPmvpA",
  "version" :
    "number" : "2.4.4",
    "build_hash" : "fcbb46dfd45562a9cf00c604b30849a6dec6b017",
    "build_timestamp" : "2017-01-03T11:33:16Z",
    "build_snapshot" : false,
    "lucene_version" : "5.5.2"
  ,
  "tagline" : "You Know, for Search"

如果你要在浏览器访问，也可以输入上面的地址，当然前提你要是本机才行。如果是远程机器要访问，记得修改下config目录下的配置文件。这个配置文件的名字可能不同版本的不一样，但是基本都是.yml结尾的。我的2.4.4版本的是elasticsearch.yml。我由于用的是阿里云，所以需要先去安全组那边添加一条规则，将tcp的访问9200的端口打开。

然后vi elasticsearch.yml 修改，如下，将注释去掉，network.host设置为0.0.0.0

# Set the bind address to a specific IP (IPv4 or IPv6):
#
 network.host: 0.0.0.0
#
# Set a custom port for HTTP:
#
 http.port: 9200

如果你安装了我们上述的3个插件，那么你打开浏览器，输入地址，将会看到下面的画面

elasticsearch.yml配置文件详解

配置Elasticsearch的集群名称，默认是elasticsearch，Elasticsearch会自动发现在同一网段下的Elasticsearch 节点，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。
cluster.name: elasticsearch

节点名，默认随机指定一个name列表中名字，不能重复。

node.name: "node1"

指定该节点是否有资格被选举成为node，默认是true，es是默认集群中的第一台机器为master，如果这台机挂了就会重新选举master。

node.master: true

指定该节点是否存储索引数据，默认为true。

node.data: true

设置默认索引分片个数，默认为5片。

index.number_of_shards: 5

设置默认索引副本个数，默认为1个副本。

index.number_of_replicas: 1

设置配置文件的存储路径，默认是es根目录下的config文件夹。

path.conf: /path/to/conf

设置索引数据的存储路径，默认是es根目录下的data文件夹

path.data: /path/to/data

可以设置多个存储路径，用逗号（半角）隔开，如下面这种配置方式：

path.data: /path/to/data1,/path/to/data2

设置临时文件的存储路径，默认是es根目录下的work文件夹。

path.work: /path/to/work

设置日志文件的存储路径，默认是es根目录下的logs文件夹

path.logs: /path/to/logs

设置插件的存放路径，默认是es根目录下的plugins文件夹

path.plugins: /path/to/plugins

设置为true来锁住内存。因为当jvm开始swapping时es的效率会降低，所以要保证它不swap，可以把ES_MIN_MEM和ES_MAX_MEM两个环境变量设置成同一个值，并且保证机器有足够的内存分配给es。同时也要允许elasticsearch的进程可以锁住内存，linux下可以通过`ulimit -l unlimited`命令。

bootstrap.mlockall: true

设置绑定的ip地址，可以是ipv4或ipv6的，默认为0.0.0.0。

network.bind_host: 192.168.0.1

设置其它节点和该节点交互的ip地址，如果不设置它会自动判断，值必须是个真实的ip地址。

network.publish_host: 192.168.0.1

这个参数是用来同时设置bind_host和publish_host上面两个参数。

network.host: 192.168.0.1

设置节点间交互的tcp端口，默认是9300，（集群的时候，注意端口区分）。

transport.tcp.port: 9300

设置是否压缩tcp传输时的数据，默认为false，不压缩。

transport.tcp.compress: true

设置对外服务的http端口，默认为9200（集群的时候，同台机器，注意端口区分）。

http.port: 9200

设置内容的最大容量，默认100mb

http.max_content_length: 100mb

是否使用http协议对外提供服务，默认为true，开启。

http.enabled: false

gateway的类型，默认为local即为本地文件系统，可以设置为本地文件系统，分布式文件系统，hadoop的HDFS，和amazon的s3服务器。

gateway.type: local

设置集群中N个节点启动时进行数据恢复，默认为1。

gateway.recover_after_nodes: 1

设置初始化数据恢复进程的超时时间，默认是5分钟。

gateway.recover_after_time: 5m

设置这个集群中节点的数量，默认为2，一旦这N个节点启动，就会立即进行数据恢复。

gateway.expected_nodes: 2

初始化数据恢复时，并发恢复线程的个数，默认为4。

cluster.routing.allocation.node_initial_primaries_recoveries: 4

添加删除节点或负载均衡时并发恢复线程的个数，默认为4。

cluster.routing.allocation.node_concurrent_recoveries: 2

设置数据恢复时限制的带宽，如入100mb，默认为0，即无限制。

indices.recovery.max_size_per_sec: 0

设置这个参数来限制从其它分片恢复数据时最大同时打开并发流的个数，默认为5。

indices.recovery.concurrent_streams: 5

设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）

discovery.zen.minimum_master_nodes: 1

设置集群中自动发现其它节点时ping连接超时时间，默认为3秒，对于比较差的网络环境可以高点的值来防止自动发现时出错。

discovery.zen.ping.timeout: 3s

设置是否打开多播发现节点，默认是true。

discovery.zen.ping.multicast.enabled: false

设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点。

discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]

与ElasticSearch进行交互

ElasticSearch为java用户提供了两种客户端：节点客户端和传输客户端。 节点客户端的作用是：以无数据节点的身份加入集群，不提供数据，但是它知道数据在集群中的具体位置，并且能够将请求直接转发到对应的节点上 传输客户端的作用是：发出请求到远程集群，自己不加入集群。 两个客户端都通过9300端口与ElasticSearch进行交互。
而且交互是基于HTTP协议，以JSON为数据交互格式的RESTful API