索引时利用K-邻近算法过滤重复歌曲
最近一直在做公司搜索的优化与维护，做完索引和搜索的分离之后，又有一个新需求，因为做的是歌曲方面的搜索，所以在数据库中有多个同歌名，同演唱者的的数据，这样在用户搜索的时候，会出来一大堆不同版本的歌曲，影响搜索质量，所以需要在建立索引库时做一个初步的过滤，因为只是一个简单的过滤，所以并不需要太精确。
首先呢是要确定哪些歌曲需要过滤，我调研后觉得对于同一歌名，同一演唱者的歌曲数量大于10时，就进行过滤，也即阀值为10，当然这个后期可以随时调整。
然后是需要确定过滤的维度，也即 怎样确定一个歌曲就比另一个歌曲质量好 ？维度如下：
播放次数
播放完成度（总播放时长/总播放次数）
歌曲质量（超清、高清、普通….）
…..
确定完维度之后，还需要确定权重，因为 不同的维度对歌曲质量的影响是不同的 。
最后需要一个算法，这要是最核心的，正好以前稍微看了下机器学习这本书，就想到了里面的K邻近算法，据我粗浅的理解，也就是空间向量计算距离，距离预期近，就说明好。
那么我的步骤如下：
先确定预期，也即一个理论上完美的歌曲，每个维度的值应该为多少。
//expectation point Integer[] origonPoint = {1,2,100000000};
我这边出于各种考虑，就只给出三个维度，其实维度增加，道理是一样的。
我用一个INT数组来表示预期完美的点，依次为：播放完成度、歌曲质量、播放次数。
那么对于一首歌曲（0.5,1,10000）距离预期的点的距离就为：
(1-0.5）^2 + (2-1)^2 + (100000000 - 10000)开根号，其实这样大家应该也能看出来，那么对于距离影响最大的肯定是播放次数，但是如果播放次数占比过大，会导致一个很致命的问题，那就是，过滤算法是不能弥补的，因为 一旦开始把歌曲过滤后，那么用户在搜索时，过滤掉的歌曲就不会出现，那么播放次数肯定是一直为零的，那么一旦一个歌曲被干掉了，那么就永远的被干掉了 。
所以就像前面说的，需要确定全权重
int playCompletenessFactor = 10; double qualtityFactor = 2.5; int timesFactor = 1/10000000;
因为需要提高播放完成度和质量的权重，减少播放次数的权重，那么就初步定为以上的权重个，事实上，这种算法， 最重要的就是权重的设定，需要不断试验调整 。
那么现在距离就为：
(1-0.5）^2 * playCompletenessFactor + (2-1)^2 * qualtityFactor + (100000000 - 10000) * timesFactor开根号
在不断的试验和调整中，最终能找到一个合适的权重系数。
所以总结下，整个算法其实很简单，主要步骤如下：
-
在建索引时，先按照歌曲名称，歌手名称排字典序，所以可以用当前索引的歌曲同上一个歌曲比对，如果相同，数量加1，如果不同，就看数量如果大于阀值，就将所有歌曲进行过滤。
-
进入过滤算法，得到各歌曲与预期的距离，按照距离升序排列，取出前N首歌曲
-
将N首歌曲进行索引，其余歌曲丢弃。
正文到此结束
热门推荐
相关文章
近期评论
-
文章和留言都翻到11页了 没有OOM
-
-
朋友，翻页到11页，及以后，会出现OOM，无法访问
-
-
搞个gitee的项目
-
-
版本号是多少，你可以下载哪个代码仓库，jdk选1.8 直接跑就行
-
-
-
Loading...
![[HBLOG]公众号](https://www.liuhaihua.cn/img/qrcode_gzh.jpg)
