Tag: Ab测试
架构A / B实验（iOS）
对产品进行实验是公司获得其客户最佳响应的最强大的技术之一。 但是有时候，尤其是当它们同时超过2个或3个时，对于在整个项目中找到实验块的开发人员来说，这可能会有些沮丧。 在本文中，我将解释一种简单的体系结构方法来保持我们的代码干净和动态。 什么是A / B测试？ 假设我们要改善应用程序的功能，以吸引更多用户使用它。 我们几乎没有改善它的想法（涉及设计，可见性等），但是我们不确切知道哪一个最能使用户获得最大响应。 解决方案是设置A / B测试 。 A / B测试是根据特定版本随机分配用户的实验。 让我们看看它是如何工作的： 假设我们想知道哪个是最好的价格，我们应该出售我们的高级会员才能获得最高的收入。 我们决定设置3种变化： 原始价格变化 ：15,00 $; 变化A ：25,00 $; 方案B ：40,00 $。 通过特定API（即Apptimize API）使用我们应用程序的每个用户都将被分配为这些变体之一，并且该服务将向我们的客户返回已分配用户的变体。 此时，根据选择的变体，我们将执行一段代码而不是另一段代码。 在上面的示例中，用户将看到为其分配的变体选择的价格。请注意， 实验必须始终包含原始变体 ，换句话说，就是开始实验之前存在的变体，否则我们永远不会知道这是否是最好的解决方案，或者实际上是否还不够好。 做得好，实验正在运行！ 现在，我们只需要等待任意时间即可获得结果。 好的，已经过去了一周，我们发现了以下结果： 原始变体： 1000个用户支付了15,00 $-> 15.000,00 $的收入 ； 变体A： 800个用户支付了25,00 $-> 20.000,00 $的收入 ； 变体B： 300个用户支付了40,00美元-> 12.000,00美元的收入 ； 请注意，最低价或最高价均未赢得！ 实际上， 变体A […]
A / B测试Apple搜索广告素材
在您的应用商店列表上交换两个屏幕截图可以对转化产生多大影响？ 事实证明很多。 Apple搜索广告是（在撰写本文时）为您的应用商店列表执行A / B测试的最接近方法。 Apple搜索广告“创意集”可让您创建在应用商店搜索结果页面上为您的应用显示的三个屏幕截图的变体。 对于我的“您愿意”新闻馈送应用程序（场景游戏），我想测试一种理论，即用户更关心看到其他人如何投票赞成自己创建场景的能力。 在对照组（当前的应用商店列表）中，第三个屏幕截图提供了创建内容的好处。 在治疗组中，第三张屏幕截图的好处是可以看到世界其他地方的投票情况。 每个组中的前两个屏幕截图保持不变（您可以争辩说，这些屏幕截图中的消息传递也可以得到改进，但这是另一天的事情）。 结果 所以这是有趣的部分！ 我从10月1日至11月20日（预算较低，约7周）进行了一次广告创意测试。 从搜索结果印象到产品页面的点击率在两组中完全相同 。 但是，从产品页面安装应用程序的治疗组中的人员转换率从55％增加到70％。 统计学意义 这些结果是否具有统计意义？ 我通过在线计算器运行了转换结果，结果确实非常重要。 在该实验中，治疗组的转化率比对照组高28％。 我们可以从结果中得出什么？ 搜索广告有点奇怪，因为对于处理组，产品页面无法反映广告列表中实施的更改，因此，当我们将更改应用于应用商店时，无法保证相同的行为。 如果是这样，那么我们也许可以推断出，用户确实确实更在意学习他人如何投票而不是创建自己的方案。 查看我的分析事件肯定会证实这一假设（即与其他应用参与事件相比，内容创建率非常低）。 无论如何，我决定更新我的应用商店列表以交换屏幕截图，并将继续监视结果。 注意事项 该测试未在产品页面上反映出相同的更改 如上所述，对治疗广告搜索结果的更改不会更改产品页面上的屏幕截图的顺序。 他们将在治疗组和对照组中显示相同的默认顺序。 现在您可能会说治疗组的转换效果更好，因为这些用户在查看搜索结果和产品页面之间可能会看到更多的好处，但实际上，用户只能看到产品页面上的前两个屏幕截图，直到他们向右滚动。 我认为大多数用户已经从搜索列表中决定了他们的想法，并且不会滚动浏览图像。 当我在该应用商店上启动应用程序时，我将通过Google Play商店A / B测试进一步测试该理论。 2.对产品页面的点击率可疑 我真的以为截图的更改会同样影响产品页面的点击率和安装率。 两组产品页面的点击率相同的事实意味着该产品页面上的某些内容可能影响了安装。 因此，我要重申的是，治疗组产品页面上更多不同的屏幕截图/优点在转化中发挥了作用？ 3.图像背景图案可能影响了安装？ 要成为一个真正公正的测试，我应该使用相同的图像，然后进行副本更改。 我可能会在以后的测试中再次提到这一点。 无论如何，我称之为成功。 将来，我将在其他A / B测试上写更多博客，因此，如果您有兴趣，请确保订阅。
一名开发人员进行A / B测试
应用内购买的A / B测试 在过去的几个月中，我被问到许多有关A / B测试的问题。 这些问题来自不同的角度。 它们通常是这样的： 你做过A / B测试吗？ A / B测试复杂吗？ 您认为A / B测试值得吗？ 即使我在A / B测试方面有一定经验，但我仍感觉自己是从不属于我的数据中发言。 因此，我想我将使用自己的一个应用程序创建一个小的公共实验。 这些就是结果。 设置 我有一个名为1RepMax的应用程序。 这是一个举重应用程序，当您执行最大举重程序的百分比时使用。 该应用程序自2010年以来一直存在，并且非常受欢迎。 它在该类别中有一些竞争，但我相信它是用于此目的的顶级应用程序之一。 在过去的一年中，我添加了三项消耗性应用程序内购买，以便用户通过给我小费来欣赏我多年来所做的工作。 我收到了一些提示，但没有什么意义。 因此，我想我应该考虑使用A / B测试来查看它是否对我的数字有所改善。 目前，应用内购买如下所示： 新面貌 在过去的一年中，Overcast播客应用程序的所有者Marco Arment改变了他的商业模式，从应用程序内购买功能解锁转变为顾客模型（Marco现在正在尝试广告，我完全支持，但是那是一篇帖子另一时间）。 赞助人模型很像我在应用程序中所做的事情，但是我称它为小费。 很快让我震惊的是，打电话给这个顾客的支持是一种更好的讨钱方式。 所以我想我可能会改用这种语言。 为什么不将其转换为A / B测试？ 经过一番快速研究，我决定跟随Marco的领导，按照他目前的三个方案进行布局。 使用赞助人的术语和三个月的等级来描述用户的期望。 新屏幕如下所示： 在将应用提交到Appstore之前，我要做的另一件事是，将用于启动应用内购买屏幕的加号图标更改为应用程序图标本身的变体。 我这样做是为了吸引该应用程序的长期用户的关注。 就像我提到的那样，此应用程序自2010年以来一直存在，因此我认为进行此更改可能很有意义。 我正在使用我最熟悉的A / B测试工具Optimizely作为此实验的测试工具。 结果 最初发行时，我已将该测试作为A和B段之间的50/50分割加载。 我发现应用内购买数量增加了8％。 三层之间的分布与以前大致相同。 […]
