iOS11 ARKit：ARKit还可以捕获用户脸部的纹理吗？
我上下阅读了所有ARKit类的完整文档。 我没有看到任何描述实际获取用户面部纹理的能力的地方。
ARFaceAnchor包含ARFaceGeometry（由顶点组成的拓扑和几何）和BlendShapeLocation数组（允许通过操纵用户面顶点上的几何数学来操纵各个面部特征的坐标）。
但是我在哪里可以获得用户脸部的实际纹理。 例如：实际的肤色/肤色/纹理，面部毛发，其他独特的特征，如疤痕或出生痕迹？ 或者这根本不可能？
你想要一个面部的纹理贴图风格的图像？ 没有API可以帮助您，但您需要的所有信息都在那里：
-
ARFrame.capturedImage您提供相机图像。 -
ARFaceGeometry您提供面部的3D网格。 -
ARAnchor和ARCamera一起告诉您脸部相对于相机的位置，以及相机与图像像素的关系。
因此，完全可以使用当前video帧图像来纹理人脸模型。 对于网格中的每个顶点…
- 将顶点位置从模型空间转换为相机空间（使用锚点的变换）
- 与具有该向量的相机投影相乘以获得标准化图像坐标
- 除以图像宽度/高度以获得像素坐标
这将获得每个顶点的纹理坐标，然后您可以使用相机图像对网格进行纹理处理。 您可以一次性完成此数学运算以替换ARFaceGeometry提供的纹理坐标缓冲区，或者在渲染期间在GPU上的着色器代码中执行此操作。 （如果使用SceneKit / ARSCNView渲染，则可以在geometry入口点的着色器修改器中执行此操作。）
相反，如果你想知道相机图像中每个像素对应的面部几何形状的哪一部分，那就更难了。 你不能只是颠倒上面的数学，因为你错过了每个像素的深度值……但如果你不需要映射每个像素，SceneKit命中测试是获取单个像素几何的简单方法。
如果您真正要求的是具有里程碑意义的识别 – 例如，在相机图像中的位置是眼睛，鼻子，胡须等 – 在ARKit中没有API。 愿景框架可能有所帮助。
不会。该信息目前在ARKit中ARKit 。
要检测其他面部特征，您需要运行自己的自定义计算机视觉代码。 您可以使用AVFoundation从前置摄像头捕获图像。