Django 使用 Haystack 实现检索功能

全文检索和搜索引擎原理

搜索需求

• 当用户再搜索框中输入关键字后，我们要为用户提供相关的搜索结果

搜索实现

• django 中是使用 icontains 去模糊匹配，但是底层会转换成 like 去查询
• 但是 like 关键字的效率很低，如果数据库中有百万计数据，那么 like 查询是很慢的
• 如果查询需要在多个字段中进行，使用 like 关键字也不是很方便

全文搜索方案

• 引入全文检索的方案来实现商品搜索
• 即在指定的任意字段中进行检索查询
• 全文检索需要配合搜索引擎来实现(elasticsearch、solr、whoosh)

搜索引擎原理

• 搜索引擎进行全文搜索时，会对数据库中的数据进行一遍预处理，单独建立起一份索引目录结构

• 目录结构类似于每本书的索引页，里面包含了关键词与词条的对应关系，并记录位置

• 在进行全文检索时，将关键字在索引数据中进行快速对比查找，进而找到数据的存储位置

  示例：
  
  1.杯子碰到一起                         关键词：杯子、
  
  2.杯子里面是一杯白开水         关键词：杯子、白开水
  
  3.杯子碎了                                关键词：杯子、碎了
  
  4.玻璃碎了                                 关键词：玻璃、碎了
  
  进行搜索：
  
  杯子-----对应的结果就是 1、2、
  
  碎了-----对应的结果就是 3、4
  
  ......
  

ElasticSearch 介绍

实现全文检索时，首选的就是 ElasticSearch

• 一个 java 实现的开源搜索引擎
• 可以快速的实现储存、搜索和分析海量数据
• ElasticSearch 的底层时开源库 Lucene，必须写代码去调用它的接口

分词说明

• 在对数据构建索引时，需要分词处理
• 分词是指将一句话拆解多个单字或词，这些词便是这句话的关键词(上面有示例)
• ElasticSearch 不支持对中文进行分词建立索引，需要配合扩展 Elasticsearch-analysis-ik
  来实现中文分词处理

ElasticSearch 安装

这里采用 docker 安装。

因为ElasticSearch 不支持中文分词，所以要安装他的扩展插件 elasticsearch-ik

拉取镜像：docker pull elasticsearch-ik:2.4.6-1.0
运行：docker run -itd --name es -p 9200:9200 delron/elasticsearch-ik:2.4.6-1.0

出现如下页面说明 elasticsearch 运行成功：

Haystack介绍和安装

有了搜索引擎了，如何在项目中去对接使用呢？这就用到了 haystack

haystack介绍

haystack 是在 django 中对接搜索引擎的框架，搭建了用户和搜索引擎之间的桥梁，可以使用它来调用Elasticsearch

haystack 可以在不修改代码的情况下使用不同的搜索后端(elasticsearch、solr、whoosh)，只需要在配置文件中配置即可

haystack安装

pip install django-haystack

pip install elasticsearch==2.4.1

haystack注册

INSTALL_APPS = [
		...
​		'haystack', # 检索
		...
] 

haystack配置

官网网址：https://django-haystack.readthedocs.io/en/v2.8.1/tutorial.html

配置搜索引擎 这里使用 elasticsearch:

# 配置搜索引擎 这里使用 elasticsearch
HAYSTACK_CONNECTIONS = {
    
    
    'default': {
    
    
        'ENGINE': 'haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine',
        'URL': 'http://ip:9200/',
        'INDEX_NAME': 'haystack',
    },
}

安装上述两个包时 windows 下可能会有以下报错：

错误一：

ImportError: cannot import name 'six' from 'django.utils'

将 sit-packages/six.py   拷贝到 django/utils 下

解决方案：

from django.utils import six

将所有上述导入方式改为下面的这种方式：

import six

错误二：

ImportError: cannot import name 'python_2_unicode_compatible' from 'django.utils.encoding' ：
# from django.utils.encoding import force_text, python_2_unicode_compatible 注释这个=，改为下面的
from six import python_2_unicode_compatible  

错误三：

TypeError: Unknown option(s) for clear_index command: batchsize, workers. Valid options are: commit, force_color, help, interactive, no_color, nocommit, noinput, pythonp
ath, settings, skip_checks, stderr, stdout, traceback, using, verbosity, version.
解决方案:
原因是安装的 django-haystack 不支持 django3.x 需要安装2.8及以上
pip install setuptools_scm
pip install django-haystack==2.8.1 -i https://mirrors.cloud.aliyuncs.com/pypi/simple/ 

在app应用下创建一个 search_indexes.py 文件，必须叫这个名字。

# search_indexes.py
from haystack import indexes

from gongyequ.models import SurveyItem


class SurveyItemIndex(indexes.SearchIndex, indexes.Indexable):
    text = indexes.CharField(document=True, use_template=True)

    def get_model(self):
        return SurveyItem

    def index_queryset(self, using=None):
        return self.get_model().objects.all()

document=True: 字段名，所有需要索引的字段，一般命名为 text
use_temlate: 允许单独设置一个文件，来指定字段进行检索
    单独的文件怎么设置：模板文件夹下(templates)/search/indexes/application(应用名称)/模型类名小写_text.txt

运行 haystack

上面我们将数据准备好之后，怎么交给搜索引擎呢？

执行流程：数据(定义的search_indexes) ------ haystack --------------- elasticsearch

运行一条命令：

python manager.py rebuild_index(构建索引) 或 python manage.py update_index 更新索引

另外：RealtimeSignalProcessor自动为您处理更新/删除。
settings.py 配置如下:
    HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor' # 这样每次数据库改变是会自动更新索引

看到下面两个说明索引数据结构创建成功了，注意：404不是网页找不到的意思，这里表示是成功。

搜索

from haystack.views import SearchView
from django.shortcuts import HttpResponse

class GongyequSearch(SearchView):

    def create_response(self):  # 重写此方法，因为原方法返回的是一个 template 模板，这里我们要以 json 的方式返回
        context = self.get_context()
        for item in context.get('page').object_list:
            print(item.object.name)
            print(item.object.city)

        return HttpResponse('ok')

配置每页的数量，默认20条：

HAYSTACK_SEARCH_RESULTS_PER_PAGE = 10

使用 postman 测试：

参考文献

django-haystack :https://django-haystack.readthedocs.io/en/v2.8.1/tutorial.html

haystack + Whoosh :https://alexyanglong.github.io/2018/08/02/Django----%E4%BD%BF%E7%94%A8Haystack+Whoosh%E9%85%8D%E7%BD%AE%E5%85%A8%E6%96%87%E6%90%9C%E7%B4%A2/#%E4%BF%AE%E6%94%B9%E6%90%9C%E7%B4%A2%E5%BC%95%E6%93%8E%E4%B8%BA%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D