Skip to content

模型效果测试 ​

本页展示 SQLRec 内置模型在四个公开数据集上的推荐效果,覆盖物品召回、二分类排序和多任务预测。你可以查看各模型的验证结果,并使用仓库中的 benchmark/model_quality/ 脚本复现。SQL 请求的吞吐与延迟见 SQL性能测试。

测试结果 ​

全部 28 个数据集/模型组合均使用完整训练集训练、完整验证集评估,结果已独立复算。

排序 ​

每格为 AUC / LogLoss。AUC 越高,说明模型区分正负样本的能力越强;LogLoss 越低,说明预测概率的误差越小。加粗标出六种单任务排序模型在同一数据集上的最优值,MMoE 的两个任务分别列出。

模型 / 任务MovieLensKuaiRandKuaiRecCriteo 1M
Wide & Deep0.7763 / 0.56220.6875 / 0.62590.8741 / 0.13830.7866 / 0.4601
DeepFM0.7862 / 0.55530.6884 / 0.62660.8764 / 0.13740.7881 / 0.4590
Rocket Launching0.7751 / 0.56420.6940 / 0.65270.8716 / 0.14000.7837 / 0.4662
CatBoost0.7522 / 0.58310.7072 / 0.60100.8678 / 0.14190.7759 / 0.4694
LightGBM0.7408 / 0.60400.7021 / 0.59930.8691 / 0.14040.7283 / 0.5009
XGBoost0.7357 / 0.59870.7017 / 0.59880.8649 / 0.14190.7286 / 0.5005
MMoE / click—0.6852 / 0.6578——
MMoE / long_view—0.7003 / 0.4833——

AUC 和 LogLoss 的最优模型可能不同,例如 KuaiRand 上 CatBoost 的 AUC 最高,XGBoost 的 LogLoss 最低。选择模型时应结合业务对排序和概率预测的需求。

召回 ​

DSSM 按用户向量与物品向量的内积返回 Top-50。Recall@50 表示找回了多少比例的正例;NDCG@50 同时考虑命中位置,正例排得越靠前,得分越高。两者均在有正例的查询上取平均,越高越好。

数据集 / DSSMRecall@50NDCG@50全部 / 有正例查询候选范围
MovieLens34.26%19.15%926 / 873完整 1,682 项目录,排除 train 已见物品
KuaiRand11.05%4.45%38,079 / 24,950完整 7,583 项可用目录,允许重复观看
KuaiRec57.82%51.47%1,411 / 1,381每个查询在 valid 中的全部已观测正负例,排除 train 已见视频

KuaiRec 只在每个用户已观测的候选物品中召回,另外两个数据集使用完整目录,因此不能按召回率高低直接比较这三个任务的难度。

数据与测试设置 ​

数据集 ​

数据集评估目标与正例定义训练行数验证行数划分方式
MovieLens-100K评分偏好:电影评分 ≥ 480,1409,877用户—物品交互留出,约 80% / 10% / 10%
KuaiRand-Pure点击:is_click=1;MMoE 另预测长观看1,124,319408,405按时间先后划分
KuaiRec small_matrix观看偏好:watch_ratio > 23,741,059467,747用户—视频交互留出,约 80% / 10% / 10%
Criteo 1M广告点击:target=1799,561100,266按特征哈希留出,约 80% / 10% / 10%

KuaiRand 使用标准曝光训练,验证包含标准和随机曝光。MovieLens、KuaiRec 评估已知用户和物品之间的偏好,不属于严格的未来时间预测。排序训练使用真实正负例,DSSM 只使用训练正例;KuaiRec 未观测的用户—视频组合不会被当作负例。

Criteo 使用固定的 1M 样本版本,相同特征记录始终分到同一组,划分不依赖标签。表中为该样本的留出验证成绩,未使用预留测试集调参。Criteo 只测试单任务排序,不测试 DSSM 和 MMoE。

模型与特征 ​

模型用途与主要输入
DSSM召回;使用用户/物品 ID、类目等特征,MovieLens 和 KuaiRec 还使用历史统计,KuaiRand 使用场景和作者
Wide & Deep、DeepFM、Rocket Launching排序;使用类别和数值特征,推荐数据集还使用 ID、历史统计及可用的视频时长;Rocket 评估 Light 分支
CatBoost、LightGBM、XGBoost排序;前三个数据集使用数值历史统计和可用的视频时长;Criteo 的输入见下文
MMoE多任务排序;使用 KuaiRand 排序特征,同时预测点击和长观看

Criteo 包含 13 个数值特征和 26 个匿名类别特征。CatBoost 和三个神经排序模型使用全部 39 个特征;LightGBM、XGBoost 使用 13 个数值特征,符合 SQLRec 当前训练与导出链路的输入要求。因此 Criteo 各模型的成绩对应不同特征配置。

部分排序模型还使用用户和物品的平滑历史正例率。具体字段和模型参数见内置模型及 benchmark README。

主要训练配置 ​

数据集 / 模型Embedding 维度Batch size训练轮数
MovieLens / DSSM162563
KuaiRand / DSSM162566
KuaiRec / DSSM8641
MovieLens / 三个神经排序模型162566
KuaiRec / 三个神经排序模型162561
KuaiRand / Wide & Deep、DeepFM、MMoE8641
KuaiRand / Rocket Launching82561
Criteo / 三个神经排序模型82561

Criteo 数值缺失填 0,类别缺失使用固定占位值。神经排序模型对数值特征做对数缩放,训练与推理保持一致;树模型保留原数值。

树模型训练 100 轮,MovieLens LightGBM 为 300 轮。DSSM 统一使用 negative_sampling=pool,负例数 256、池容量 4096;向量维度为 MovieLens/KuaiRand 32、KuaiRec 16。训练资源为 2 CPU / 4 GiB,推理服务为 1 CPU / 2 GiB。

复现测试 ​

先按服务部署准备 SQLRec、Kyuubi、共享存储和 Milvus,服务与模型镜像使用当前源码构建。在仓库根目录执行:

bash
python3 -m venv .venv
.venv/bin/python -m pip install -r benchmark/model_quality/requirements.txt
source deploy/env.sh

# 每个数据版本准备一次,后续运行复用。
.venv/bin/python -m benchmark.model_quality.prepare --dataset all --upload

# 先运行一个数据集和模型。
.venv/bin/python -m benchmark.model_quality --dataset movielens100k --model deepfm --full-eval

# 运行全部 28 个组合。
.venv/bin/python -m benchmark.model_quality --model all --full-eval

仅测试 Criteo 时,将数据集参数改为 --dataset criteo1m;搭配 --model all 可运行其支持的六个模型,且不需要 Milvus。

以上命令使用完整验证集;省略 --full-eval 时,默认最多评估 20,000 条排序记录或 1,000 个召回查询,训练数据不变。

每次运行后,在 benchmark/model_quality/runs/ 的对应目录查看 summary.md,其中包含指标和完成状态;config.json 记录各模型的实际配置。需要检查原始预测时,增加 --save-predictions。

调整配置 ​

  • 数据字段、标签和特征视图:benchmark/model_quality/configs/datasets/*.yaml。
  • 模型与训练参数:benchmark/model_quality/config.py,支持按数据集、模型分别配置。
  • 参数含义与 SQL 用法:见内置模型;完整测试配置及运行选项见 benchmark README。

调整后应使用相同验证数据和候选范围比较结果。修改数据准备规则或特征定义时,需要重新运行数据准备命令。