A / B测试移动应用

什么是A / B测试?

是一项实验,您将两个版本的服务提供给不同的人群,并评估每个变体的性能。

这很简单,例如更改网站上按钮的颜色并衡量哪个按钮获得了更多点击。

A / B测试的其他名称是存储桶测试拆分运行测试。

我为什么要在乎?

A / B测试提供了一种科学的,没有偏见的方法来改善您提供的服务。 您可以制定假设,与真实用户进行检验,并根据真实数据制定业务决策,而不受HiPPO(最高薪人士的意见)的驱动。

该技术的强大之处在于,当您发现违反直觉的结果时,如果不使用科学方法很难找到该结果。

谁在使用它?

几乎每个科技公司都以某种方式使用它。 一些著名的例子是Google,Facebook和Spotify。 您很可能已经在不知不觉中参加了实验,例如,在Facebook中,您看到的UI不同于朋友。

如何实施?

以最简单的方式,A / B只需要两件事,一种是创建统一的变体,另一种是测量结果。

例如,我们可以有一个标志,当用户首次启动应用程序时,它会随机决定用户是在A组还是B组上,然后根据此标志更改行为。 当用户与应用程序进行交互时,我们会评估其行为,并使用分析将结果与用户所在的组一起发送。

但是,如果您使用商业平台从小处着手,则可能会有一些优势并简化您的工作。

在这篇博客文章中,我们将探讨如何使用Taplytics完成A / B测试。

集成SDK是一个非常标准的过程,一旦您在Taplytics中注册,便可以遵循。

之后,您可以使用“实验”标签开始创建A / B测试。

我们设计的实验称为“表情符号或图片”,以了解我们的用户是否更喜欢使用表情符号或图片的界面。

我们最初的用户界面是:

我们想测试通过用表情符号替换图像是否可以增加应用程序的整体使用率。 我们可以衡量的一项测试和一项指标。

该服务的可视化编辑器可让您点击应用中的任何内容,并为实验进行编辑,而无需编写代码。

这个功能虽然很有希望,但并未按预期工作,将UI中的错误图片关联了起来。 即使给视图提供不同的标签和IBOutlets也不会改变情况。 我们联系了Taplytics团队以更好地了解问题。

因此,我们使用布尔变量来控制UI并将其更改为用表情符号替换图像。

然后,我们可以创建实验目标:

然后,您可以创建暴露测试的用户细分,并按特定参数进行过滤:

您甚至可以选择要公开实验的用户百分比和要进行首次展示的用户百分比:

开始实验后,您可以获取摘要和结果以衡量假设。

一段时间后,您可以声明Winning变体并将该版本部署到所有用户。

样例项目

我们的示例项目可在我们的GitHub上找到。

注意:不要忘记更改帐户的API密钥和URL方案。

更多工具和服务

其他工具和服务的列表在此处提供。 例如Optimizely,Apptimize,Lifecycle,Leanplum和Localytics。