A / B测试工具:如何优化集成

我最近开发了一个iOS应用程序,该应用程序比较了两个HTTP库(NSURLSession和Alamofire),并决定使用A / B测试工具来收集性能更好的信息。

在这里探索时,我定义了我的研究参数(它们易于使用且易于收集支持信息),进行了一些研究以查看哪些工具更适合我的目标,并最终得到了我愿意测试的三个平台: FirebaseKii

据我所知,你们中的许多人经常不知所措,因此我决定分享在将其SDK与移动应用程序集成过程中遇到的所有困难; 从我的角度来看,这些工具具有所有好处。 这是我对Optimizely的体验!

优化介绍

Optimizely是一个实验平台,可让您运行实验并在网站,移动应用程序,服务器端应用程序或任何其他联网设备上推出新功能。 除了Websolution之外,他们还为开发人员提供SDK,以供他们在Android,C#,iOS,Java,JavaScript,Node,PHP,Python和Ruby中运行实验。 就我而言,iOS SDK已经足够了。

第一步是创建一个帐户,但这不是一个简单的步骤:我必须提供不必要的信息,例如我的公司名称或我的个人电话号码,这样他们就可以进行查找呼叫以找出哪种方法是理想的解决方案为了我。

下一步是访问Optimizely X Full Stack,这是一种用于网站和移动应用程序的实验和功能标记平台。 它可以帮助我们在功能标记后部署代码,进行A / B测试以及立即推出或回滚功能。 在Optimizely X内,我们可以通过创建新的实验键来创建新的A / B实验,并提供所有其他信息,例如变化,我们要测量的指标等。

要将框架与iOS应用程序集成(我建议使用CocoaPods方法,因为它使用起来非常简单并且是众所周知的依赖管理器),它们提供了完整的分步指南。 您只需要将Optimizely框架添加到podfile中并运行命令pod install即可

要在Swift应用程序中使用Optimizely SDK,您只需导入它并构建管理器。 下图显示了我必须在我的应用中使用的代码才能开始测试。

这是我创建了两个变体的实验后的仪表板视图:一个变体使用NSURLSession密钥,另一个变体使用Alamofire密钥,并为两者分配50%到50%的流量分配百分比。 这是重要的一步,因为我必须在我的应用程序中使用这些键,才能识别应执行的测试。 而且你很好走!

如前所述,我尝试并集成了三种不同的工具。 这是我对这三个的概述,这是有关如何集成Firebase的教程,这是集成Kii所需的一切。