召回策略分类
实时行为召回:在线实时捕捉用户对商品的点击,收藏,加购,购买等反馈行为,并召回相似商品,迅速抓住用户的短期购物需求。
历史行为召回:离线分析用户对商品的历史点击,收藏,加购,购买等反馈行为,并召回相似商品,兼顾用户的长期购物需求。
profile 召回:从性别,年龄段,设备等多个维度,在线和离线同时对用户进行画像,并召回相对应的热门商品。不要小看这个召回,非常关键,往往新用户需要用这些静态信息和标签来做召回,往往可以快速圈定其圈层进行精准的探索和数据反馈,比如 5-6 线城市和北京西二旗的用户往往大概率兴趣差异较大。这层召回是全局热门召回的更精细化拆解。
热销 & 趋势召回:分析商品的长期和短期销量变化,召回爆款和近期热点商品。
用户兴趣标签
基于统计的标签
基于统计的用户兴趣表现需考虑:
- 相关行为:关注、点赞、评论、分享等
- 兴趣衰减:用户的兴趣是周期性的,会存在兴趣衰减的情况
- 内容热度:需考虑热门内容,大家都在看的内容
- 时间维度:分别为长期、短期和即时。
用户偏好通过用户在不同属性的维度上行为次数的带衰减的线性加权求和,再进行归一化得到。
这里有两个关键点:
第一个关键点是:不同行为的权重如何衡量。用户有着多种不同的行为,例如,在购物网站,用户可能发生浏览、收藏、加购物车、下单等行为,显然,下单的成本要比普通的浏览成本要高,即在不同行为上花费的成本是存在差异的,在数据上的反映是不同行为的权重差异很大,如何定义、衡量并验证不同行为的权重是一件并不容易的事情。我们采用的权重计算方法有:
- 后验转化率的方法,转化率的倒数作为权重;
- 有监督的方法,bagging+LR 模型,可以将成交或者下单作为 label,模型得到的特征重要性作为权重;
- 通过贝叶斯模型计算权重。
第二个关键点是:衰减系数的定义。用户的需求并不是持续稳定的,会随时间会发生变化和转移,这种需求的变化需要被偏好捕捉到,因此,距离当前越近的行为越能反映现在的需求。对于衰减形式,我们采取了指数衰减以及阶跃形式衰减。
- 指数形式。用户行为对未来偏好的影响程度,随着时间的拉长呈指数型下降,对于 t 天前的行为,衰减因子为 λ 的 t 次方;
- 阶跃形式。将时间人为划分成若干不同的时间区间,同一个时间区间内的行为的衰减因子是相同的。
标签推荐的问题
- 非常依赖标签
- 推荐粒度较粗
- 如果用户兴趣单一的话,召回会不足。
- 不能很好的刻画用户兴趣。比如,有的用户只对英语感兴趣,如果把大量的教育相关的帖子推荐给他,用户体验会比较差。
- 缺乏新颖性
推荐系统的多样性
多样性分类
在多样性算法的研究中,通常把多样性分成两种:
基于个体用户的多样性,旨在避免给单一用户推荐相似的物品,从而提高用户体验和增加用户满意度
基于全部用户的多样性,旨在优化长尾的物品分发效果
多样性算法落地的几个难点
- 模型的优化目标模糊
众所周知,各种用户行为(点击、转化、停留、分享等等)都可以作为优化准确度的目标,我们可以明确的收集用户的行为作为模型的目标标签,从而设计模型并优化。因为多样性本身是一个集合统计量,很难找到直接的用户行为来作为模型优化的目标。 - 业务指标和多样性指标的冲突
业务关注的指标(转化率、停留时长等)和多样性指标并不是简单的正向或者负向的关系。如果单纯为了提高多样性指标而做多样性,反而会导致最终结果与业务目标偏离,使推荐的质量下降。
流量控制
头部效应不受控的话,海量匹配会被沉没,带来了双向匹配成功率的快速下降,而且占用了大量的曝光机会。不能大部分人没人喜欢,没有曝光,需要平衡。
对平台内容生产者分层后,可以根据其流量配比进行调整,金字塔的底层需要被快速地识别,并将流量减少到可控范围内的最低;前 2 层需要被鼓励,特别是特色生产者需要流量倾斜,以保证其积极性,对于价值生产者所需流量不够的情况下,可以在非价值生产者内容流量中倾斜一部分。特色内容生产者可以类比第一个主题分享爆款种子内容筛选流程类似,可以通过部分种子特色内容生产者找到更多的特色内容生产者。
- 流量如何控制呢,我们可以看下分配流程,当然这个是借鉴淘宝的商品流量分配模式,如上图所示。通过数据化和算法的方式先对整个流量体系进行拆解,将流量拆分成若干主要模块,并通过流量控制系统进行干预,可以实现用户时长、完播率、浏览深度不变的情况下,内容流量分布的调整 (至少电商中可以做到 gmv 不变的情况下,流量实现分配目标的 80%-90%)。
用户留存
性别重要性平衡
男生对于陌生匹配的反感程度更低,耐受度更高,男生天然更开放,只要这里异性多,对男生而言就是最好的服务了。维持这种生态系统运作的基本机制,通常是对女性提供更加开放友好的环境,吸引她们入驻,再以此辐射男性群体。这中间需要以女性视角关注产品 (男生希望快速触达,女生希望更有安全感),所以相互匹配才能交流,从这个角度来看是一个偏向于女性的功能。
不同用户对于留存的价值不同
不同用户价值不同,留存的高低对系统影响也就应该区别对待:
- 供小于需的那部分群体就是需要重要考虑和保护的
- 差体验用户 (卖货、不法交易) 需要被限制,这部分人的存在和留存高反而会严重拉低其它用户体验和留存;
交际带宽有限
用户的交际带宽也是有限的,无法做到人人有反馈。优质用户也只能提供有限的供给,这和书籍或者商品很不一样,并不是只要有库存就可以同时推荐给很多用户。美女帅哥在平台上从来不缺被喜欢,很容易成为产品的头部用户,他们也可以为产品吸引更多的用户进来;如果我们过度推荐这些用户可能会让这些用户收到到上万个喜欢的轰炸,但他们无法提供高的反馈率,比如下图中的头部用户拿到了几倍于普通用户的喜欢,但是回复率和匹配率却是颜值一般的人的五分之一水平。
数据去噪
数据去燥和平滑:
- 点击后停留 1 秒的为误点,移除
- 过度活跃的用户为无效用户,进行移除
- 频繁修改商品内容的进行移除