Clojure二分查找

Posted 2022-12-13 willwillie

场景

clojure项目的某个接口需要实现在大量数据，比如十万条数据中查找出某一个数据。
比如：@price-data的结构如下
[:a 1 :b 2 :c 3…(一共10万条)]
查找出关键字 （:a=X :b=y :c=z）的项。

我原来使用clojure.set提供的函数select来完成这个工作，当然也可以使用clojure.core的过滤函数filter来完成这个工作。

set/select

Usage: (select pred xset) Returns a set of the elements for which pred
is true Added in Clojure version 1.0
来自 https://clojure.github.io/clojure/clojure.set-api.html#clojure.set/select

看着像是SQL的select，但是这里的select是在内存中检索数据。

(require ‘[clojure.set :as set])
(set/select #(and (= (:a %) x)
(= (:b %) y)
(= (:c %) z)
) (set @price-data))

select的源代码：

(defn select
      "Returns a set of the elements for which pred is true"
      :added "1.0"
      [pred xset]
        (reduce (fn [s k] (if (pred k) s (disj s k)))
                xset xset))

select的实现就是使用一个reduce函数，第0次的初始值s是xset,然后会遍历这个xset中的每一个元素k，(fn [s k] (if (pred k) s (disj s k)))，，如果k满足条件pred,那么就将s作为新的结果返回，否则s集合中去掉k这个元素返回，这个新的结果就是下一轮的s,xset中的next元素就是下一个k,依次类推。

(reduce f coll) • (reduce f val coll) f should be a function of 2
arguments. If val is not supplied, returns the result of applying f to the first 2 items in coll, then applying f to that result and the 3rd
item, etc. If coll contains no items, f must accept no arguments as
well, and reduce returns the result of calling f with no arguments.
If coll has only 1 item, it is returned and f is not called. If val
is supplied, returns the result of applying f to val and the first
item in coll, then applying f to that result and the 2nd item, etc. If
coll contains no items, returns val and f is not called.—redeuce的用法

(disj set) • (disj set key) • (disj set key & ks) .
Returns a new set of thesame (hashed/sorted) type, that does not contain key(s).—disj的用法

select的实现和filter的实现其实差不多，都要遍历一次xset，时间复杂度是O(n)。发现这个过程很慢，一次查询大概要15-20ms，因为查询的次数也比较多，比如3000次，这个总的时间基本就是在5s左右，这么慢的速度已经不能忍了。

二分查找的实现

因为select查找大量数据的速度不能满足要求，于是决定对select进行一定的改进。
其主要思想：通过对已经排好序的数组，进行数据指针的比较。
二分查找是基于排好序的算法，复杂度低，二分查找的时间复杂度O(logN)。

(defn bsearch
      "the-keyword是一个字符串，可以考虑转化为一个keyword,the-map-list是排序好的list"
      [the-keyword the-key the-map-list]
      (let [lenth (count the-map-list)
            _ (log/info "要找的值是：" the-key)
            the-map-list (vec the-map-list)]
           (loop [l 0
                  r (- lenth 1)
                  idx (math/floor (/ (+ l r) 2))]
                 (do
                   (log/info "现在的情况，l[" l "],r[" r "],中间idx[" idx "],值" (get the-map-list idx))
                   (if (or (>= l r) (>= idx (- lenth 1)) (<= idx 0) (= (compare the-key ((keyword the-keyword) (get the-map-list idx))) 0)) ;找到并且结束 (do (log/info "找到的是" idx) (get the-map-list idx)) (if (> (compare the-key ((keyword the-keyword) (get the-map-list idx))) 0) (recur (+ 1 idx) r (math/floor (/ (+ 1 idx r) 2))) (recur l (- idx 1) (math/floor (/ (+ l (- idx 1)) 2))))))
                 )))

clojure有compare这个api来比较字符串的大小,相当于java提供的compareTo函数。
这个函数的是排序好的数据list。
虽然最后也没有采用这个函数来查找相关的内容，而是采用了数据同步的方法来得到相关的数据，但是这个函数还是性能要好很多的。
算法已经完成，测试结果是使用select大概13s,而二分查找的实现大概5ms。这速度上确实进步了不少。

结语

这个函数实现的是对于只有一个比较key的map，如果是多个key呢，像本文最开始的前提那样。有一个比较简单的做法，就是将三个key的内容拼接在一起作为一个key来比较大小，然后排序查找。
还有一点需要改进的是，查找到的可能是一堆数据，而不是一个数据，这个也稍微处理下就好。