在2018年构建增强现实应用程序:新生的生态系统

我使用ARKit 2.0和Swift开发适用于iOS的AR应用程序。 第1部分中, 我探讨了2018年开发增强现实应用程序的实际问题,在 第2 部分中,我回顾了限制当前iOS AR应用程序的一些技术限制。 这就是我对移动AR的未来展望。

第3部分:新生的生态系统

使用本地SDK(即Apple的ARKit或Google的ARCore)开发移动AR应用程序的能力已经存在大约18个月了。 回顾围绕移动AR开发的实际问题和更多技术问题,在发布了一些AR产品并认识到野外可用的工具,库和示例不足之后,空间的新颖性变得更加清晰。 鉴于与移动AR相关的一切都处于起步阶段,这不足为奇。 但是,经历将多种增强现实产品推向市场的过程,对于新创业公司或老牌运营商而言,都存在一些有趣的机会,他们可以针对这种新的开发模式来创建工具和产品。 这是我遇到的最明显的差距:

原型AR交互

似乎经过了十年的稳固发展,直到能够为移动应用程序提供强大的原型设计和线框图的工具。 我更喜欢在纸上画草图,然后直接跳入Xcode以使用实际代码“原型化”,但是在过去的几个月中,我也大量使用了Sketch,Figma和Invision。 还有另外二十种工具可用于促进构想,构思草图,对其进行框架化,设计应用程序的早期版本以及将像素完美的可点击原型组合在一起以进行“标准”移动产品的早期测试的阶段。

但是引人注目的AR产品结合了用户交互,用户独特的环境和动画/移动UI的组合来增强现实。 设计精美,构想精美的AR交互屏幕截图仍然是:静态屏幕截图。 屏幕截图无法传达响应用户输入的3D元素的精确动画。 屏幕截图也无法传达AR元素淡入地平线,检测到新平面或识别对象/位置时所需的过渡和行为。

所需要的是位于运动设计,图形设计,交互设计和用户体验设计的交集处的一些工具,可通过创建/导入3D模型来进行AR产品设计和AR交互设计,以轻松进行调整,参数化动画设计和常规原型制作。 由于我没有从事娱乐行业,所以我可能会遥遥领先,但是该行业的预可视化方法与AR产品原型之间可能存在一些相似之处。 previz公司进入AR市场可能会有一些捷径或机会。 另一个有用的模拟可能类似于Lens Studio提供的预览效果-我正在设想的假设性AR工具可能会受益于提供大量的模拟环境,这些环境可以评估进行中的AR交互在各种情况下的工作方式。

就目前而言,由于移动AR是一个新兴的利基市场,我不希望在2-5年内发布专用的AR消费类硬件并且市场急剧扩大之前,不会真正看到并测试这种产品。

AR记录

正如我之前多次抱怨的那样:测试AR产品非常困难。 我不认为在不久的将来会出现用于AR测试的逼真的渲染和有用的模拟环境。 因此,与此同时,我们必须寻找并依靠与模拟无关的改进的AR日志记录和测试工具。

在构建遗留代码或测试新功能时,有几次不正确的数学运算让我很想知道:我到底在看什么? 由于当今的原生ARKit开发是完全不可视的,而AR本质上是可视的,因此将单个代码元素偏离90º或以1为单位,并在相机后面渲染对象,或者意外地围绕其旋转是相对容易的。相机或其他不需要的地方。

Unity和Unreal本质上是视觉开发工具包,因此更适合显示“实时”场景的3D正交地图。 这些实时场景有助于以可探索的方式实时显示所有相机,物体,灯光等。 当您移动相机(即手机)时,映射的表示在Unity / Unreal场景中移动。

Xcode的视觉效果要差得多,可以在ARKit数据,场景,相机等的可视化中使用一些帮助。 这样的工具还可以记录与AR会话相关的其他数据,以促进更快的开发和调试。 我的希望是Reveal增加了与AR相关的功能,或者非常有前途的,刚刚起步的项目ARlog / ARInspector继续发展,因此,下次我面对复杂的ARKit项目的开发时,我可以选择。 我相信生态系统的这种演变将带来更好的体验,从而以更快的速度进入更多人的手中。

3D模型创建

最后,我们对ARKit开发的最深了解是:难以获得适合在您的应用程序中使用的3D模型。 由于AR从根本上讲就是3D体验,这意味着可靠的3D模型将在绝大多数AR体验中发挥某些作用。 尽管Apple和Xcode提供了一些基本的几何图形(例如,盒子,平面和球体),但要在本地ARKit应用程序中修改,编辑和放置这些几何图形却非常困难且费力。

与这两个开发平台相比,Unity和Unreal在Xcode本地开发方面提供了半步改进。 但是从我所看到的一切来看,如果您想要创建一个模型或角色,而不仅仅是彩色框(即,除了最可笑的“字符/模型设计”之外的其他任何东西),您就需要去其他地方并利用其他软件产品。 而且,一旦在其他地方生成了模型,就没什么好说的,无法正确格式化,导入和放置模型。

我来自具有Pro / E经验的机械工程背景,所以我的理想解决方案是让Xcode将简单的3D CAD或实体建模功能整合到IDE的新选项卡中,然后再进行命名。 我可以做梦……但是我没有预见到这种情况的发生。 我也不希望为Maya或3DS Max或当今的Autodesk解决方案付费。 解决该问题的最自然的方法是外包或雇用模型创建人员,但这也不在单独开发人员和草率的初创公司的范围之内。 Google通过其Poly产品已经部分解决了这个问题,但是与提供用于AR / VR开发的高质量3D模型相反,这似乎已经转变为某种类型的展示厅。

当我等待Xcode中永远不会实现的3D建模选项卡时,下次我在AR中工作时,我将准备测试一些我最近发现的产品(Dust3D和Vectary),并希望将比这更令人兴奋的东西融合在一起一个立方体。