协同过滤算法 预测和推荐

Posted 2020-12-08 jiaxinzhu

1.1 协同过滤算法介绍

　　1.什么是协同过滤算法

　　　　　　1. 协同过滤推荐算法是诞生最早，并且较为著名的推荐算法，主要的功能是预测和推荐。

　　　　　　2. 算法通过对用户历史行为数据的挖掘发现用户的偏好，基于不同的偏好对用户进行群组划分并推荐品味相似的商品。

　　　　　　3. 协同过滤推荐算法分为两类，分别是基于用户的协同过滤算法(user-based collaboratIve filtering)，和基于物品的协同过滤算法(item-based collaborative filtering)。

　　　　　　4. 简单的说就是：人以类聚，物以群分。下面我们将分别说明这两类推荐算法的原理和实现方法。

　　2.基于用户的协同过滤算法

　　　　　　1. 协同过滤算法是一种基于关联规则的算法，以购物行为为例。

　　　　　　2. 假设有甲和乙两名用户，有a、b、c三款产品。

　　　　　　3. 如果甲和乙都购买了a和b这两种产品，我们可以假定甲和乙有近似的购物品味。

　　　　　　4. 当甲购买了产品c而乙还没有购买c的时候，我们就可以把c也推荐给乙。

　　　　　　5. 这是一种典型的user-based情况，就是以user的特性做为一种关联。

　　　　　　举例：　　　　

　　　　　　　　1）直觉分析：“用户A/B”都喜欢物品A和物品B，从而“用户A/B”的口味最为相近

　　　　　　　　2）因此，为“用户A”推荐物品时可参考“用户B”的偏好，从而推荐D

　　　　　　　　

 　　3.基于物品的协同过滤算法

　　　　　　举例：

　　　　　　　　1）物品组合(A,D)被同时偏好出现的次数最多，因而可以认为A/D两件物品的相似度最高

　　　　　　　　2）从而，可以为选择了A物品的用户推荐D物品

　　　　　　　　

1.2 欧几里德距离评价 

　　1.欧几里得度量 是什么？

　　　　　　1. 欧几里得度量（euclidean metric）（也称欧氏距离）是一个通常采用的距离定义

　　　　　　2. 指在m维空间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离）。

　　　　　　3. 在二维和三维空间中的欧氏距离就是两点之间的实际距离

　　　　　　　　

　　　　　　4. n维空间的公式

　　　　　　　　 

　　2. 借助“欧几里得度量” 寻找偏好相似的用户原理

　　　　　　1）在示例中，5个用户分别对两件商品进行了评分。

　　　　　　2）这里的分值可能表示真实的购买，也可以是用户对商品不同行为的量化指标。

　　　　　　3）例如，浏览商品的次数，向朋友推荐商品，收藏，分享，或评论等等。

　　　　　　4）这些行为都可以表示用户对商品的态度和偏好程度。

　　　　　　

　　　　　　5）在散点图中，Y轴是商品1的评分，X轴是商品2的评分，通过用户的分布情况可以发现，A,C,D三个用户距离较近。

　　　　　　6）用户A(3.3 6.5)和用户C(3.6 6.3)，用户D(3.4 5.8)对两件商品的评分较为接近。而用户E和用户B则形成了另一个群体。

　　　　　　7）散点图虽然直观，但无法投入实际的应用，也不能准确的度量用户间的关系。

　　　　　　8）因此我们需要通过数字对用户的关系进行准确的度量，并依据这些关系完成商品的推荐。

　　　　　　

　　3.欧几里德系数 对上面用户评价分析

　　　　　　1. 通过公式我们获得了5个用户相互间的欧几里德系数，也就是用户间的距离。

　　　　　　2. 系数越小表示两个用户间的距离越近，偏好也越是接近。

　　　　　　3. 不过这里有个问题，太小的数值可能无法准确的表现出不同用户间距离的差异，因此我们对求得的系数取倒数，使用户间的距离约接近，数值越大。

　　　　　　4. 在下面的表格中，可以发现，用户A&C用户A&D和用户C&D距离较近。同时用户B&E的距离也较为接近。与我们前面在散点图中看到的情况一致。

　　　　　　

1.3 使用协同过滤算法简单测试

　　1、测试数据

　　　　　　第一步，将数据读取并格式化为字典形式，便于解析

　　　　　　第二步：借助"欧几里德"算法计算用户相似度

　　　　　　第三步：计算某个用户与其他用户的相似度

　　　　　　第四步：根据相似度最高的用户喜好商品排序，把相似度最高用户的喜好推荐给当前用户

1,华为p30,2.0
1,三星s10,5.0
1,小米9,2.6
2,华为p30,1.0
2,vivo,5.0
2,htc,4.6
3,魅族,2.0
3,iphone,5.0
3,pixel2,2.6

phone.txt

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
with open(‘./phone.txt‘, ‘r‘, encoding=‘utf-8‘) as fp:
    content = fp.readlines()

# 第一步，将数据读取并格式化为字典形式，便于解析
def parse_data():
    with open(‘./phone.txt‘,‘r‘,encoding=‘utf-8‘) as fp:
        content = fp.readlines()
    # 将用户、评分、和手机写入字典data
    data = {}
    for line in content:
        line = line.strip().split(‘,‘)
        #如果字典中没有某位用户，则使用用户ID来创建这位用户
        if not line[0] in data.keys():
            data[line[0]] = {line[1]:line[2]}
        #否则直接添加以该用户ID为key字典中
        else:
            data[line[0]][line[1]] = line[2]
    return data
data = parse_data()

‘‘‘
{
    "1":{
        "华为p30":"2.0",
        "三星s10":"5.0",
        "小米9":"2.6"
    },
    "2":{
        "华为p30":"1.0",
        "vivo":"5.0",
        "htc":"4.6"
    },
    "3":{
        "魅族":"2.0",
        "iphone":"5.0",
        "pixel2":"2.6"
    }
}
‘‘‘


# 第二步：借助"欧几里德"算法计算用户相似度
from math import *
def Euclid(user1, user2):
    # 取出两位用户购买过的手机和评分
    user1_data = data[user1]
    user2_data = data[user2]
    distance = 0
    # 找到两位用户都购买过的手机，并计算欧式距离
    for key in user1_data.keys():
        if key in user2_data.keys():
            # 注意，distance越大表示两者越相似
            distance += pow(float(user1_data[key]) - float(user2_data[key]), 2)
    return 1 / (1 + sqrt(distance))  # 这里返回值越小，相似度越大


# 第三步：计算某个用户与其他用户的相似度
def top_simliar(userID):
    res = []
    for userid in data.keys():
        #排除与自己计算相似度
        if not userid == userID:
            simliar = Euclid(userID,userid)
            res.append((userid,simliar))  # res = # [(‘2‘, 0.5), (‘3‘, 1.0)]
    res.sort(key=lambda val:val[1])
    return res


# 第四步：根据相似度最高的用户喜好商品排序，把相似度最高用户的喜好推荐给当前用户
def recommend(userid):
    #相似度最高的用户
    top_sim_user = top_simliar(userid)[0][0]    # top_sim_user=2  找到相似度最高的用户ID
    #相似度最高的用户的购买记录
    items = data[top_sim_user]    # items = {‘华为p30‘: ‘1.0‘, ‘vivo‘: ‘5.0‘, ‘htc‘: ‘4.6‘}
    recommendations = []
    #筛选出该用户未购买的手机并添加到列表中
    for item in items.keys():
        if item not in data[userid].keys():
            recommendations.append((item,items[item]))
    recommendations.sort(key=lambda val:val[1],reverse=True)#按照评分排序
    return recommendations


if __name__ == ‘__main__‘:
    # 找到与用户id为1的用户相似度最高的用户
    print(recommend(‘1‘))  #  [(‘vivo‘, ‘5.0‘), (‘htc‘, ‘4.6‘)]

recommend_goods.py