提高项目并发量，elasticsearch全文检索，kibana的一些配置
Posted yafeng666
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了提高项目并发量，elasticsearch全文检索，kibana的一些配置相关的知识，希望对你有一定的参考价值。
1 如何提高项目并发量
# 1 web,app,微信小程序
# 2 web项目
-前端：
-用cdn，静态资源，放到cdn上（js，css，静态图片）
-用精灵图（一个大图，上面又很多小图，用定位，定位到小图）
-前端缓存（响应头设置缓存时间）cache-control （django如何向响应头写键值对：响应对象["aaa"]="aaa"）
-nginx:
-nginx做集群（dns解析，负载均衡硬件 f5）
-动静分离（静态资源直接通过nginx转发，拿去；uwsgi只负责处理动态请求）
-负载均衡（nginx的配置）
-集群化部署
-拆服务（把项目做成分布式）
-使用uwsgi（c写的wsgi服务器）部署，使用gunicorn（python写的wsgi服务器）部署
-代码层面：
-缓存（redis）--》本来一个请求，要查5个表，耗时3s---》json格式--》放到缓存中--》下次再发请求，直接去缓存查---》0.001秒就返回了-----》（存在问题：缓存击穿，缓存穿透，缓存雪崩 双写一致性问题）
-页面静态化（不适用于app和小程序），提前生成一个首页页面(被访问频繁的页面)
-/index--->（查数据库（用了缓存）---》dtl渲染页面）--》提前生成出index.hmtl---》django模板渲染
-数据不一致（当有数据增加，再重新生成一次这个页面），同步？异步？
-用异步：用celery，django的信号（异步操作），当对象保存时，重新生成静态页面
-异步操作（celery），一个请求需要耗时3s，设计成异步--请来了--》直接返回（任务已提交，请求正在处理）
-小米秒杀：您正在排队（前端设置了定时，每隔5s，发送一个请求，查是否秒杀成功）
-保存视频，发送邮件，保存文章，
-后台管理，统计最近三，五，半年，个月的订单量--》折线图，饼状图展示
-消息队列：rabbitmq，kafka。。。异步，解耦
-请求打到数据库了（只要打到数据库，性能就下来了）
-优化sql，外键尽量不建立，适当建索引
-读写分离，数据库集群，分库分表
-优化代码，多线程处理，尽量不在for循环里查数据库
-换框架（异步框架），换语言
--最本质的一句，代码优化不了了，垒机器
django的cache如何实现的？
-配置，缓存到文件，redis，mysql
-可以缓存对象（set了对象，pickle序列化成二进制，存到了redis中）
-cache.set()
-cache.get()
# ================================django模板修改的视图函数
# from django.template import Template,Context
# now=datetime.datetime.now()
# t=Template(‘<html><body>现在时刻是:<h1>{{current_date}}</h1></body></html>‘)
# #t=get_template(‘current_datetime.html‘)
# c=Context({‘current_date‘:str(now)})
# html=t.render(c)
#
# return HttpResponse(html)
render(‘index.html‘,{‘key‘:‘value‘})
2 Elasticsearch介绍
# 1 产生背景：大规模数据如何检索，数据安全（单点故障），备份，检索速度
# 2 Elasticsearch介绍
-是一个基于Lucene的分布式搜索和分析引擎，全文检索引擎
-Elasticsearch使用Java开发
-但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，使得全文检索变得简单
# 3 Lucene与Elasticsearch关系
-Lucene只是java一个库----》只能java来使用
-python中集合--》只能python来用--》java，go用不了，其它语言想用，怎么做？
-做成服务---》django搭建一个服务---》对外通过restful接口 ---> get /key post /key=value
-基于Lucene封装 ，做成服务，通过restful来调用，使用全文检索
# 4 Elasticsearch vs solr
-solr 也是一个全文检索引擎
-跟es关系就像是mysql和oracle的关系
-传统搜索用solr多，es新兴互联网用的多
# 5 es核心概念
-集群：多台服务器的集合，称为es的集群
-节点：集群的每个服务器称为节点
-分片：10g的数据（一个表中），对10g数据分片，分成2g，3g，5g，把这些数据，分别放在不同的节点上
-副本：为提高查询吞吐量或实现高可用性，可以使用分片副本
-全文检索：分词，全文检索---》可以根据关键字搜索
# 6 es跟mysql比较
mysql es
数据库 索引（index）
表 类型（type）
一条一条数据 文档（document）
一列一列（字段） 字段（field）（name，age）
字段属性（主键，类型，索引） 映射（mapping）
索引 所有字段建索引（倒排索引）、
增删查改 get、post、delete。。。
# 7 ELK是什么？
-ELK=elasticsearch+Logstash+kibana
-日志的收集和分析系统
# 8 Elasticsearch特点和优势
-笔记看一下即可
# 9 为什么使用es？
-13年初，GitHub抛弃了Solr，采取ElasticSearch 来做PB级的搜索
-我们用在什么地方？
-我们项目如果有搜索功能，都可以用
-日志存储分析
-大数据量的存储和检索
# 10 Elasticsearch索引到底能处理多大数据
-es一个索引（数据库）可以有多个分片，一个分片是一个lucene的索引
-lucene一个索引不能处理多于21亿篇文档，或者多于2740亿的唯一词条
-理论上是可以无限加的
在线教育---》用户去浏览---》浏览记录---》停留时间---》存到日志---》日志分析的系统---》Linux感兴趣---》定向推荐----》linux课程上新了，打折了，短信推送，微信推送，都行
日志记录，收集
3 Elasticsearch安装配置
# 1 基于java开发的，安装jdk，windows上安装（jdk 1.8 以上）,一路下一步（jdk，jre）,(不需要配置环境变量了)
-java -version
Java(TM) SE Runtime Environment (build 1.8.0_201-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.201-b09, mixed mode)
# 2 安装es(去官网下载相应的版本,es+kiban. 注意版本一定要对应)
-版本问题：2 5版本 6版本 7版本 7.6.2版本最新（讲课用7版本），公司可能会用6或者6之前的版本
-haystack：不支持es，6以上版本，django上做全文检索的框架（对接es，对接solr，对接whoosh）
-whoosh-纯Python的全文搜索库，Whoosh是索引文本及搜索文本的类和函数库。它能让你开发出一个个性化的经典搜索引擎
-6以后，不允许一个索引下建多个type（类型）---》一个数据库只能有一个表
# 3 解压到指定目录（随便，不要有空格，中文 c://soft ）
# 4 启动es
-到es的bin路径下，elasticsearch.bat
-Kibana 就是es的客户端（官方提供，相当于Navicat）
-Elasticsearch-head 就是es的客户端（第三方的，相当于Navicat）
# 5 启动kibana
-修改kibana配置文件
server.port: 5601
server.host: "127.0.0.1"
server.name: alen
elasticsearch.hosts: ["http://localhost:9200/"]
-配置跨域(改es的配置)
-elasticsearch.yml
http.cors.enabled: true
http.cors.allow-origin: "*"
-到kibana的bin路径下，kibana.bat 启动
# 6 启动Elasticsearch-head（第三方用node 写的一个es客户端）
-node 环境要装好
-下载：https://github.com/mobz/elasticsearch-head
-解压
-执行
npm install
npm run start
http://localhost:9100/
# kibana:官方提供的es客户端，主要用来做增删查改，有提示（postman，Elasticsearch-head）
# Elasticsearch-head ：看集群的状态，索引的状态
# 你在工作中碰到的问题和如何解决的？
-django+haystack+whoosh
-换成es，性能更高
-项目里加全文检索，django---》haystack---》es版本必须6一下
-django+es原生操作---》实现了全文检索
以上是关于提高项目并发量，elasticsearch全文检索，kibana的一些配置的主要内容，如果未能解决你的问题，请参考以下文章
Elasticsearch与Postgresql大数据检索性能对比