一名开发人员进行A / B测试

应用内购买的A / B测试

在过去的几个月中，我被问到许多有关A / B测试的问题。 这些问题来自不同的角度。 它们通常是这样的：

你做过A / B测试吗？

A / B测试复杂吗？

您认为A / B测试值得吗？

即使我在A / B测试方面有一定经验，但我仍感觉自己是从不属于我的数据中发言。 因此，我想我将使用自己的一个应用程序创建一个小的公共实验。 这些就是结果。

设置

我有一个名为1RepMax的应用程序。 这是一个举重应用程序，当您执行最大举重程序的百分比时使用。 该应用程序自2010年以来一直存在，并且非常受欢迎。 它在该类别中有一些竞争，但我相信它是用于此目的的顶级应用程序之一。

在过去的一年中，我添加了三项消耗性应用程序内购买，以便用户通过给我小费来欣赏我多年来所做的工作。 我收到了一些提示，但没有什么意义。 因此，我想我应该考虑使用A / B测试来查看它是否对我的数字有所改善。

目前，应用内购买如下所示：

新面貌

在过去的一年中，Overcast播客应用程序的所有者Marco Arment改变了他的商业模式，从应用程序内购买功能解锁转变为顾客模型（Marco现在正在尝试广告，我完全支持，但是那是一篇帖子另一时间）。 赞助人模型很像我在应用程序中所做的事情，但是我称它为小费。 很快让我震惊的是，打电话给这个顾客的支持是一种更好的讨钱方式。 所以我想我可能会改用这种语言。 为什么不将其转换为A / B测试？

经过一番快速研究，我决定跟随Marco的领导，按照他目前的三个方案进行布局。 使用赞助人的术语和三个月的等级来描述用户的期望。 新屏幕如下所示：

在将应用提交到Appstore之前，我要做的另一件事是，将用于启动应用内购买屏幕的加号图标更改为应用程序图标本身的变体。 我这样做是为了吸引该应用程序的长期用户的关注。 就像我提到的那样，此应用程序自2010年以来一直存在，因此我认为进行此更改可能很有意义。

我正在使用我最熟悉的A / B测试工具Optimizely作为此实验的测试工具。

结果

最初发行时，我已将该测试作为A和B段之间的50/50分割加载。 我发现应用内购买数量增加了8％。 三层之间的分布与以前大致相同。

结论

有了百分之八的改进，很容易说赞助人的语言比小费更受欢迎。

回顾一些最初的问题，我有一些答案。 第一个，“我曾经做过任何A / B测试”，尽管我过去已经做过测试，但这是一个具体示例。

第二，“ A / B测试是否复杂”？ 测试的复杂程度各不相同，因此很难对此问题做出是或否的答案。 但是，如果测试设置正确并且有一些明确的目标，我认为测试假设相对简单。

最后，“我认为值得”吗？ 当然，在这种情况下，语言的更改直接添加到应用程序产生的收益中。 但是，很多时候，您正在实施的测试并没有直接增加利润。 有时，您必须确定要测试的内容是否值得。

总的来说，我建议您使用A / B测试，并且要有足够的直觉。

想了解更多吗？ 在测试或应用开发工作方面需要帮助吗？ 在http://crushmedia.net雇用我