推荐系统---models
思路就是回归,损失函数就是logloss,优化就是adam,评价参数auc
冷启动---学习和探索
1.UCF===>共现矩阵
item-CF 物以类聚 ---embedding+consin相似性===》共现矩阵
user-CF人以群分---embedding+cosin距离相似性==》共现矩阵
协同过滤 LFM===>得到全面的共现矩阵
GBDT+LR===>CTR
2. wide-deep===》CTR
wide表示的是linear regression,记忆能力;
dlrm: deep learning recommend system
deep表示的是泛化能力,从数据中提取信息的能力。
deep-fm,将wide替换成fm,实现特征在特征域的二阶交叉
deep-cross,将wide替换成cross,实现特征矩阵交叉
deep-crossing(dcn),将deep之后corssing,embedding之后用res-net提取特征。
multihead-attention 1. multihead是多个head的叠加
2. attention计算
容易理解:渣男论 https://www.modb.pro/db/488036
渣男的预期:Q
渣男的价值:K
女孩的价值:V
注意力在哪里?softmax((Q*K.T)/sqrt(dk))* V
渣男的权重分布短时间内是不变的,女孩的价值V才是能够分得注意力的值决定条件。所以,女孩子们价值很重要。渣不渣不重要,重要的是女孩子价值几何。如果大到渣男无法分身,那最好!
3.DIN ===》CTR
i 代表的就是interest
DIN表示的就是商品,用户特征,hist,用网络结构表示hist中特征交叉之后attention的表达。
DIEN表示的是interest的演化过程evolution,GRU,AUGRU。
DICE表示的是商品,用户特征,表示的是interest和popularity之间的关系,预测CTR。
思路就是回归,损失函数就是logloss,优化就是adam,评价参数auc
冷启动---学习和探索
1.UCF===>共现矩阵
item-CF 物以类聚 ---embedding+consin相似性===》共现矩阵
user-CF人以群分---embedding+cosin距离相似性==》共现矩阵
协同过滤 LFM===>得到全面的共现矩阵
GBDT+LR===>CTR
2. wide-deep===》CTR
wide表示的是linear regression,记忆能力;
dlrm: deep learning recommend system
deep表示的是泛化能力,从数据中提取信息的能力。
deep-fm,将wide替换成fm,实现特征在特征域的二阶交叉
deep-cross,将wide替换成cross,实现特征矩阵交叉
deep-crossing(dcn),将deep之后corssing,embedding之后用res-net提取特征。
multihead-attention 1. multihead是多个head的叠加
2. attention计算
容易理解:渣男论 https://www.modb.pro/db/488036
渣男的预期:Q
渣男的价值:K
女孩的价值:V
注意力在哪里?softmax((Q*K.T)/sqrt(dk))* V
渣男的权重分布短时间内是不变的,女孩的价值V才是能够分得注意力的值决定条件。所以,女孩子们价值很重要。渣不渣不重要,重要的是女孩子价值几何。如果大到渣男无法分身,那最好!
3.DIN ===》CTR
i 代表的就是interest
DIN表示的就是商品,用户特征,hist,用网络结构表示hist中特征交叉之后attention的表达。
DIEN表示的是interest的演化过程evolution,GRU,AUGRU。
DICE表示的是商品,用户特征,表示的是interest和popularity之间的关系,预测CTR。
