如何设定elasticsearch的启动内存
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何设定elasticsearch的启动内存相关的知识,希望对你有一定的参考价值。
参考技术A 1.1. 基本配置 elasticsearchconfig文件夹面两配置文 件:elasticsearch.ymllogging.yml第es基本配置文件第二志配置文件es使用log4j记录 志所logging.yml设置按普通log4j配置文件设置行面主要讲解elasticsearch.yml文件配置东西cluster.name: elasticsearch
配置es集群名称默认elasticsearches自发现同网段es同网段集群用属性区同集群
node.name: "Franz Kafka"
节点名默认随机指定name列表名字该列表esjar包config文件夹name.txt文件其作者添加趣名字
node.master: true
指定该节点否资格选举node默认truees默认集群第台机器master台机挂重新选举master
node.data: true
指定该节点否存储索引数据默认true
index.number_of_shards: 5
设置默认索引片数默认5片
index.number_of_replicas: 1
设置默认索引副本数默认1副本
path.conf: /path/to/conf
设置配置文件存储路径默认es根目录config文件夹
path.data: /path/to/data
设置索引数据存储路径默认es根目录data文件夹设置存储路径用逗号隔例:
path.data: /path/to/data1,/path/to/data2
path.work: /path/to/work
设置临文件存储路径默认es根目录work文件夹
path.logs: /path/to/logs
设置志文件存储路径默认es根目录logs文件夹
path.plugins: /path/to/plugins
设置插件存放路径默认es根目录plugins文件夹
bootstrap.mlockall: true
设置true锁住内存jvm始swappinges效率降低所要保证swapES_MIN_MEM ES_MAX_MEM两环境变量设置同值并且保证机器足够内存配给es同要允许elasticsearch进程锁住内存linux通`ulimit -l unlimited`命令
network.bind_host: 192.168.0.1
设置绑定ip址ipv4或ipv6默认0.0.0.0
network.publish_host: 192.168.0.1
设置其节点该节点交互ip址设置自判断值必须真实ip址
network.host: 192.168.0.1
参数用同设置bind_hostpublish_host面两参数
transport.tcp.port: 9300
设置节点间交互tcp端口默认9300
transport.tcp.compress: true
设置否压缩tcp传输数据默认false压缩
http.port: 9200
设置外服务http端口默认9200
http.max_content_length: 100mb
设置内容容量默认100mb
http.enabled: false
否使用http协议外提供服务默认true启
gateway.type: local
gateway类型默认local即本文件系统设置本文件系统布式文件系统HadoopHDFSamazons3服务器
gateway.recover_after_nodes: 1
设置集群N节点启进行数据恢复默认1
gateway.recover_after_time: 5m
设置初始化数据恢复进程超间默认5钟
gateway.expected_nodes: 2
设置集群节点数量默认2旦N节点启立即进行数据恢复
cluster.routing.allocation.node_initial_primaries_recoveries: 4
初始化数据恢复并发恢复线程数默认4
cluster.routing.allocatio
如何设定tomcat启动时JVM内存大小
可以给Java虚拟机设置使用的内存,但是如果你的选择不对的话,虚拟机不会补偿。可通过命令行的方式改变虚拟机使用内存的大小。如下表所示有两个参数用来设置虚拟机使用内存的大小。参数
描述
-Xms
JVM初始化堆的大小
-Xmx
JVM堆的最大值
这两个值的大小一般根据需要进行设置。初始化堆的大小执行了虚拟机在启动时向系统申请的内存的大小。一般而言,这个参数不重要。但是有的应用程序在大负载的情况下会急剧地占用更多的内存,此时这个参数就是显得非常重要,如果虚拟机启动时设置使用的内存比较小而在这种情况下有许多对象进行初始化,虚拟机就必须重复地增加内存来满足使用。由于这种原因,我们一般把-Xms和-Xmx设为一样大,而堆的最大值受限于系统使用的物理内存。一般使用数据量较大的应用程序会使用持久对象,内存使用有可能迅速地增长。当应用程序需要的内存超出堆的最大值时虚拟机就会提示内存溢出,并且导致应用服务崩溃。因此一般建议堆的最大值设置为可用内存的最大值的80%。
Tomcat默认可以使用的内存为128MB,在较大型的应用项目中,这点内存是不够的,需要调大。
Windows下,在文件/bin/catalina.bat,Unix下,在文件/bin/catalina.sh的前面,增加如下设置:
JAVA_OPTS='-Xms【初始化内存大小】 -Xmx【可以使用的最大内存】'
需要把这个两个参数值调大。例如:
JAVA_OPTS='-Xms256m -Xmx512m'
表示初始化内存为256MB,可以使用的最大内存为512MB。
另外需要考虑的是Java提供的垃圾回收机制。虚拟机的堆大小决定了虚拟机花费在收集垃圾上的时间和频度。收集垃圾可以接受的速度与应用有关,应该通过分析实际的垃圾收集的时间和频率来调整。如果堆的大小很大,那么完全垃圾收集就会很慢,但是频度会降低。如果你把堆的大小和内存的需要一致,完全收集就很快,但是会更加频繁。调整堆大小的的目的是最小化垃圾收集的时间,以在特定的时间内最大化处理客户的请求。在基准测试的时候,为保证最好的性能,要把堆的大小设大,保证垃圾收集不在整个基准测试的过程中出现。
如果系统花费很多的时间收集垃圾,请减小堆大小。一次完全的垃圾收集应该不超过 3-5 秒。如果垃圾收集成为瓶颈,那么需要指定代的大小,检查垃圾收集的详细输出,研究 垃圾收集参数对性能的影响。一般说来,你应该使用物理内存的 80% 作为堆大小。当增加处理器时,记得增加内存,因为分配可以并行进行,而垃圾收集不是并行的。
Tomcat 5常用优化和配置
1、JDK内存优化:
Tomcat默认可以使用的内存为128MB,Windows下,在文件tomcat_home/bin/catalina.bat,Unix下,在文件tomcat_home/bin/catalina.sh的前面,增加如下设置:
JAVA_OPTS='-Xms[初始化内存大小] -Xmx[可以使用的最大内存]
一般说来,你应该使用物理内存的 80% 作为堆大小。
2、连接器优化:
在tomcat配置文件server.xml中的配置中,和连接数相关的参数有:
maxThreads:
Tomcat使用线程来处理接收的每个请求。这个值表示Tomcat可创建的最大的线程数。默认值150。
acceptCount:
指定当所有可以使用的处理请求的线程数都被使用时,可以放到处理队列中的请求数,超过这个数的请求将不予处理。默认值10。
minSpareThreads:
Tomcat初始化时创建的线程数。默认值25。
maxSpareThreads:
一旦创建的线程超过这个值,Tomcat就会关闭不再需要的socket线程。默认值75。
enableLookups:
是否反查域名,默认值为true。为了提高处理能力,应设置为false
connnectionTimeout:
网络连接超时,默认值60000,单位:毫秒。设置为0表示永不超时,这样设置有隐患的。通常可设置为30000毫秒。
maxKeepAliveRequests:
保持请求数量,默认值100。
bufferSize:
输入流缓冲大小,默认值2048 bytes。
compression:
压缩传输,取值on/off/force,默认值off。
其中和最大连接数相关的参数为maxThreads和acceptCount。如果要加大并发连接数,应同时加大这两个参数。web server允许的最大连接数还受制于*作系统的内核参数设置,通常Windows是2000个左右,Linux是1000个左右。
3、tomcat中如何禁止和允许列目录下的文件
在tomcat_home/conf/web.xml中,把listings参数设置成false即可,如下:
<servlet>
...
<init-param>
<param-name>listings</param-name>
<param-value>false</param-value>
</init-param>
...
</servlet>
4、tomcat中如何禁止和允许主机或IP地址访问
<Host name="localhost" ...>
...
<Valve className="org.apache.catalina.valves.RemoteHostValve"
allow="*.mycompany.com,www.yourcompany.com"/>
<Valve className="org.apache.catalina.valves.RemoteAddrValve"
deny="192.168.1.*"/>
...
</Host>
服务器的配置
JAVA_OPTS='-server -Xms512m -Xmx768m -XX:NewSize=128m -XX:MaxNewSize=192m -XX:SurvivorRatio=8' 参考技术A 1 通过ide,如myclipse,添加tomcat服务器,在servers-tomcat-jdk 中的“optional java vm 阿rguments”中填写!
2 在tomcat的安装目录bin/catalina.sh中添加配置文件;
参数如下:
JAVA_OPTS="-server -Xms800m -Xmx800m -XX:PermSize=64M -XX:MaxNewSize=256m -XX:MaxPermSize=128m -Djava.awt.headless=true "
JAVA_OPTS="-server -Xms768m -Xmx768m -XX:PermSize=128m -XX:MaxPermSize=256m -XX: NewSize=192m -XX:MaxNewSize=384m"
CATALINA_OPTS="-server -Xms768m -Xmx768m -XX:PermSize=128m -XX:MaxPermSize=256m -XX:NewSize=192m -XX:MaxNewSize=384m" 参考技术B 有两种方式:
1、通过ide,如myclipse,添加tomcat服务器,在servers-tomcat-jdk 中的“optional java vm 阿rguments”中填写。
2、在tomcat的安装目录bin/catalina.sh中添加配置文件;
参数如下:
JAVA_OPTS="-server -Xms800m -Xmx800m -XX:PermSize=64M -XX:MaxNewSize=256m -XX:MaxPermSize=128m -Djava.awt.headless=true "
JAVA_OPTS="-server -Xms768m -Xmx768m -XX:PermSize=128m -XX:MaxPermSize=256m -XX: NewSize=192m -XX:MaxNewSize=384m"
CATALINA_OPTS="-server -Xms768m -Xmx768m -XX:PermSize=128m -XX:MaxPermSize=256m -XX:NewSize=192m -XX:MaxNewSize=384m" 参考技术C 有两种方式:
1 通过ide,如myclipse,添加tomcat服务器,在servers-tomcat-jdk 中的“optional java vm 阿rguments”中填写!
2 在tomcat的安装目录bin/catalina.sh中添加配置文件;
参数如下:
JAVA_OPTS="-server -Xms800m -Xmx800m -XX:PermSize=64M -XX:MaxNewSize=256m -XX:MaxPermSize=128m -Djava.awt.headless=true "
JAVA_OPTS="-server -Xms768m -Xmx768m -XX:PermSize=128m -XX:MaxPermSize=256m -XX: NewSize=192m -XX:MaxNewSize=384m"
CATALINA_OPTS="-server -Xms768m -Xmx768m -XX:PermSize=128m -XX:MaxPermSize=256m -XX:NewSize=192m -XX:MaxNewSize=384m"本回答被提问者和网友采纳
以上是关于如何设定elasticsearch的启动内存的主要内容,如果未能解决你的问题,请参考以下文章