全文检索框架在django的使用

Posted 2021-05-01 秋风与明月

全文检索框架在django的使用

全文检索不同于特定字段的模糊查询，使用全文检索的效率更高，并且能够对于中文进行分词处理

• haystack:全文检索的框架，支持whoosh、solr、Xapian、Elasticsearc四种全文检索引擎，点击查看

• whoosh:纯python编写的全文搜索引擎，虽然性能比不上sphinx、xapian、Elasticsearc等，但是无二进制包，程序不会模型奇妙的崩溃，对于小型的站点，whoosh已经足够使用。

• jieba:一款免费的中文分词包，如果觉得不好用可以使用一些收费产品。

安装

pip install django-haystack
pip install whoosh

全文检索框架的配置

settings.py文件配置项

# 全文检索框架的配置
HAYSTACK_CONNECTIONS = {
    'default': {
        # 使用whoosh引擎
        'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine',
        # 索引文件路径
        'PATH': os.path.join(BASE_DIR, 'templates/whoosh_index'),
    }
}

# 当添加、修改、删除数据时，自动生成索引
HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'

# 指定搜索结果每页显示的条数
HAYSTACK_SEARCH_RESULTS_PER_PAGE = 2

生成索引文件

在django应用下新建一个search_indexes.py文件，名字是固定的。

# 定义索引类
from haystack import indexes
# 导入模型类
from goods.model import GoodsSKU

# 指定对于某个类的某些数据建立索引
# 索引类名格式：模型类型+Index
class GoodsSKUIndex(indexes.SearchIndex, indexes.Indexable):
    # 索引字段　use_template=True指定根据表中的哪些字段建立索引文件,把说明放在一个文件中
    text = indexes.CharField(document=True, use_template=True)

    def get_model(self):
        # 返回你的模型类
        return GoodsSKU

    # 建立索引的数据
    def index_queryset(self, using=None):
        return self.get_model().objects.all()

建立索引文件,把说明放在一个文件中

在templates文件夹下面新建一个名为“search”的文件夹，在search目录下面再新建一个名为"indexes"的文件夹，在indexes目录下面再新建一个文件夹，这个文件夹的名字是你模型类所在的应用的名字，例如"goods"应用，在goods目录下，新建一个txt文件，命名方式为“模型类名小写_text.txt”。

templates-->search-->indexes-->goods-->goodssku_text.txt

goodssku_text.txt

# 指定根据表中的哪些字段建立索引数据
{{ object.name }}   # 根据商品的名称建立索引
{{ object.desc }}   # 根据商品的简介建立索引
{{ object.goods.detail }} # 根据商品的详情建立索引

使用命令生成索引文件

python manage.py rebuild_index

全文检索的使用

1.配置url

urlpatterns = [
    url(r'^admin/', include(admin.site.urls)),
    url(r'^tinymce/', include('tinymce.urls')), # 富文本编辑器
    url(r'^search/', include('haystack.urls')), # 全文检索框架
]

2.表单参数设置

<form action="/search" method="get">
    <input type="text" class="input_text fl" name="q" placeholder="搜索商品">
    <input type="submit" class="input_btn fr" name="" value="搜索">
</form>

这样，访问/search这个路径时，会通过haystack来搜索数据。

３.全文检索的结果

搜索出结果后，haystack会把搜索出的结果传递给templates/search目录下的search.html，传递的上下文包括：

query:搜索关键字

page:当前页的page对象--->遍历page对象，获取到的是SearchResult类的实例对象，对象的属性object才是模型类的对象，搜索之后，haystack会对查询出的数据进行分页，page就是分页之后的对象．

paginator:分页　paginator对象

通过HAYSTACK_SEARCH_RESULITS_PER_PAGE可以控制每页显示数量

TemplateDoesNotExist at /search

search/search.html

使用whoosh的默认分词方式对中文分词的支持不是很好，所以需要更改分词方式

更改分词方式

1.安装jieba

pip install jieba

2.找到python虚拟环境下的haystack目录

/home/python/django_182/lib/python3.6/site-packages/haystack/backends

3.编写中文分析类，在此目录下新建一个文件ChineseAnalyzer.py文件，敲入以下内容．

import jieba
from whoosh.analysis import Tokenizer, Token

class ChineseTokenizer(Tokenizer):

	def __call__(self, value, positions=False, chars=False,
				keeporiginal=False, removestops=True,
				start_pos=0, start_char=0, mode='', **kwargs):
		t = Token(positions, chars, removestops=removestops, mode=mode, **kwargs)
		seglist = jieba.cut(value, cut_all=True)
		for w in seglist:
			t.original = t.text = w
			t.boost = 1.0
			if positions:
				t.pos = start_pos + value.find(w)
			if chars:
				t.startchar = start_char + value.find(w)
				t.endchar = start_char + value.find(w) + len(w)
			yield t


def ChineseAnalyzer():
	return ChineseTokenizer()

４.复制whoosh_backend.py文件，改为以下名称

whoosh_cn_backend.py

5.打开复制出来的新文件，引入中文分析类，内部采用jieba分词

from .ChineseAnalyzer import ChineseAnalyzer

如果引入上面的文件使用时出现了问题，解决不了的话，可以引用jieba自带的中文分析类

from jieba.analyse import ChineseAnalyzer

6.更改词语分析类

查找
anlayzer=StemmingAnalyzer()
改为
anlayzer=ChineseAnalyzer()

7.配置

# 全文检索框架的配置
HAYSTACK_CONNECTIONS = {
    'default': {
        # 使用whoosh引擎
        # 'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine',
        'ENGINE': 'haystack.backends.whoosh_cn_backend.WhooshEngine',
        # 索引文件路径
        'PATH': os.path.join(BASE_DIR, 'templates/whoosh_index'),
    }
}