贝叶斯建模预测标价成功概率

导 言

上回出价优化结束语用陈词滥调悬崖贝叶斯语更好 下次再讲点击前时代诱饵并不只是虚构思想那时我们已经在研究贝叶斯赢价预测模型, 并投入生产后, 我们能够分享为什么我们强烈地认为 值得采行贝叶斯法 以在广告拍卖中取价预测

泛泛地说,贝叶斯方法指更新前信,表达为某些分布,基于观察证据推导当前信条,表达为后传分布算算增量模型更新吧对,但关键字不更新,分布式即执行贝叶斯赢价预测时,不预测单数或点估计值,依据输入特征,而预测概率分布

这使得我们可以做更多事情 不仅仅是预测中标允许我们评价当前拍卖中标概率了解问题是如何发生的,重新审视正常回归问题和贝叶斯回归问题之间的区别大有帮助(另见此博客关于线性回归和贝叶斯回归关系的文章)

回归对贝叶斯回归

正常回归问题在于学习函数

去哪儿X级特征向量y市即预测对比贝叶斯回归中想学习函数

去哪儿Y级随机变量取自分布D(D)复元)泛称超参数复元.换句话说,贝叶斯回归不预测单值预测分布,通过相应的概率密度函数说明模型有多么确信真实值存在于一定区间

预测分布真正意味着什么我们都知道函数通过最小化损失函数相对于培训数据学习,该数据包含地面真象标签实战实战实战实战实战实战实战实战实战实战实战贝叶斯回归中这些仍然是实战实战,

一般说来,人们不预测任意分布,但涉及一些建模选择预测赢价,这总是绝对正数,自然假设它们分布方式不允许负值有限概率其中一个选择是Gamma分布法,该分布法仅定义正半平面

让我们修复D(D)复元)成为伽马分布式已知伽马分布用两个超参数对称复元= (α, β)中指速率和集中度与Tensorfle实现符号一致能够预测这些超参数就等于预测PDF预测自然点预测与地面实情比较 即期望值分布换句话说,问题可表述为

现在,如果你认为贝叶斯方法的唯一部分 使用分布预测, 你不会完全错误为何不能用正常回归预测超参数确实,我们迄今介绍的是一个大规模简化问题。

函数F(X级)隐藏在引擎盖下决定模型的权重,模型本身取自分布并基于贝叶斯推理培训过程更新整个学习过程 与通常反向通信大相径庭并隐含着损失函数并不仅仅是RMSE, 而是学习培训数据差异的东西, 仿佛某种最大似然估计形式

来点粗浅语句, 下例描述贝叶斯回归模型最小特质流实现

Tensorflow实施

电流流可能不是建模型最易访问界面一旦你进入它, 人可以拉动强自建操作器, 用小手动编码为您大举重

微值模型成单层神经网络加拉斯市集成化重举由a完成enseFlipout层(图层)Tensorflow部分概率执行变换推理培训框架假设特征X级函数F级定义如下:

批量导入tf
批发概率tf#定义模型
layers = [tfp.layers.DenseFlipout(10, activation=tf.nn.relu),
tfp.layers.DenseFlipout(2)]
F=tf.keras.顺序#模型输出超参数
hparamss=F#超参数定义Gamma分布预测
D=tfp分配.Gamma
concentration=tf.math.softplus(hparams[:, 0]),
rate=tf.math.softplus(hparams[:, 1])

第二层带2节点输出2个超参数,然后输入Gamma分布构建预测分布

模型定义相当直截了当,培训则需要谨慎执行学习预测差异关于这种变异推理 现代选择使用ELBO或证据下BOND损失函数.简言之,它试图最大化预测出自预测分布的概率,同时强制要求权值更新与预期分布相匹配(默认式分配)。enseFlipout假设平时分布权重)

更技术性地说,ELBO损失定义为负日志预测和Kullback-Libeller(KL)权值分布与预期形式之差之和以玩具为例 假设事实y市相关损失函数培训可实施方式如下:

#定义ELBO损失函数
neg_log_prob=-tf.eddu
kl_div=sum
elbo_loss=neg_log_prob+kl_div火车照常
tf.train.AdamOptimizer().minimize(elbo_loss)

来neg_log_rob计算负平均概率地面真象来自Gamma分布预测kl_div比较不透明化,按模型权值输出总和enseFlipout模型损耗eLBO损失最小化前位值,同时最小化后位值

就是这样外观可能不怎么看,但由于Tensor流自建电源,外观可能非常欺骗性

与贝叶斯赢价模型

贝叶斯回归法使我们预测预测的不确定性有理,我们现在可以详细描述我们早先投放的沟槽,即如何改变不确定性以利我们即,我们如何预测中标概率

事实上,这是最优例子说明为什么人们应该仔细思考使用正确模型处理手头使用案例前台贝叶斯回归对事实一无所知 我们想用它拍广告它只关心预测的差异, 管它是什么

容我们想一想实战预测用法

• 事实1:在拍卖中,高标必须增加胜标几率
• 事实2PDF预测显示模型有多么确信 真正的赢价存在于某些范围
• 卷积式 :PDF百分数判断模型有多有信心 即真实预测下方显示给定值

预测PDF百分数必与胜概率相关比方说,九成预测出价模型九成确定中标价格小或等价因此,如果我们总标出相应的值,预期约90%的拍卖会胜出

假设通过标出给定百分位 与实现双赢率有强连通为了验证这一点,我们同时运行回测试和实战测试都确认下图汇总结果

参标百分位数与实战双赢率之间 有强连通最优条件以极合理的成本计算 平均成本百分位唯有以百分百取胜成本高企, 即广告拍卖不合理, 数十万次拍卖秒数

成本效益来源于百分数因拍卖而异拍卖算法非常确定真胜物价高百分数接近平均值,而不确定预测出价提高更多相形之下,正常回归模型不提供固有指导,说明出价从点预测转向目标一定的双赢率事实上,人们甚至不知道点预测出错的真正赢价的哪一边。充其量,人们需要为这项任务开发单独的模型

结论

广告技术中,胜价预测是一个非常有价值的工具,因为最近范式从二次物价拍卖(优者支付第二高出价)转向第一次物价拍卖(优者支付自己的出价)。万事大吉何为胜概率重要答案在批量拍卖中 广告商需要参与实现运动目标归根结底,没有单拍问题, 但它是一个长段期望值游戏

目标为获取转换并开发模型预测特定用户转换概率即便转换未来时段发生,我们只有显示前广告才有索赔权因此,在决定是否出价和出价时,预期转换还取决于胜出的可能性和预期成本。持续竞价策略 交付值比数以百万计拍卖前一柱子关键是能够平衡值与成本之间的取舍与正常回归方法不同,贝叶斯方法通过提供清晰估计和取胜概率实现这一点

是一个复杂故事,但我们希望它说明使用贝叶斯中标预测能够超越点预测的原因不,这次没有悬崖手 关于这个题目下次我们谈点完全不同的东西...