Tag: coreml

复活节特卖-$ 10.99课程-结束04/02: 大家好，大家复活节快乐！这是非常繁忙的一周。我已经为数门课程推出了大量更新。查看以下一些更新：掌握iOS版ARKit 使用ARKit缩放，旋转和移动虚拟对象使用ARKit构建增强现实广告体验将3D虚拟模型下载到ARKit应用使用Swift在iOS中进行区块链编程实际的区块链现实世界示例-行驶记录历史使用蒸气掌握服务器端Swift 使用蒸气构建聊天应用使用JavaScript进行区块链编程实际的区块链现实世界示例-行驶记录历史为了庆祝复活节和最新消息，我为部分课程进行了周末促销。您只需$ 10.99即可获得我的课程。促销将于2018年4月2日结束。在下面查看我的精彩课程：使用Swift在iOS中进行区块链编程精通iOS版Core ML 在iOS中使用Swift的MVVM设计模式使用Swift掌握适用于iOS的ARKit 使用蒸气掌握服务器端Swift 使用JavaScript进行区块链编程我真的希望您喜欢这些课程。我已经在为课程添加更多新的令人惊奇的内容，这将在几周内准备就绪。非常感谢您支持我的课程。如果您有几分钟的时间，那么我们将非常感谢您的评分和评价。您的评分/评价确实有助于使课程前进，添加新内容并支付账单😉 非常感谢你， Azam

使用Core ML和Vision Framework进行图像识别: Core ML为开发人员提供了许多构建诸如图像识别，自然语言处理（NLP），文本预测等功能的可能性。现在您将想到，很难在应用程序中实现这种类型的AI，但是令您惊讶的是，Core ML非常易于使用。在本教程中，我们将看到只需几行代码即可将Core ML集成到我们的应用程序中。那不是很酷吧？让我们开始吧。应用概述我们正在尝试制作的应用程序非常简单。我们的应用程序将允许用户从相机拍摄照片或从其照片库中选择照片。然后，机器学习算法将尝试预测图片中的对象。结果可能不准确，但是您将了解如何在应用程序中应用Core ML。让我们开始吧。建立专案首先，使用Xcode 9创建一个新项目，然后选择单视图应用程序模板，并确保将语言设置为Swift。创建用户界面让我们首先移至Main.storyboard文件并添加一些UI元素。在视图中添加UIImageView，UILabel和UIButton。默认情况下，我向UIImageView添加了一个默认图像，此后有一个UILabel将显示其可信度的预测答案。最后，有一个UIButton将帮助我们从“相机”或“照片库”中拾取图像。让我们继续前进。移至ViewController.swift文件并在UIKit import语句正下方导入Core ML和Vision。在这里，您可以看到准确性没有达到目标，但是我们仍然可以清楚地知道如何使用Core ML模型。您可以通过以下链接了解更多信息：核心ML | Apple开发人员文档 Core ML针对设备上的性能进行了优化，从而最大程度地减少了内存占用和功耗。正在运行… developer.apple.com 机器学习-Apple开发人员充分利用Core ML这一在苹果产品（包括Siri）中使用的新的基础机器学习框架。developer.apple.com

如何在iOS应用中集成图像识别: 这些天实际上是“几乎不可能的”。至少这个xkcd-strip的主题是。在这个简短的教程中，我将介绍如何使用Microsoft Custom Vision构建CoreML模型以能够识别照片中的对象以及如何在iOS应用程序中使用它。您需要对iOS开发和Swift都有基本的了解，然后才能继续学习本文。首先，我们需要创建CoreML模型。让我们开始看看如何使用Microsoft Custom Vision。首先登录customvision.ai并创建一个新项目。输入名称，描述，并将项目类型设置为分类。将分类类型设置为多标签，将域设置为常规（紧凑）。选择紧凑型的原因是因为我们要将模型嵌入到我们的应用程序中。您以后可以随时更改这些设置。下一步是上传我们希望能够识别的对象图像，并用对象名称标记它们。使用multilabel，我们可以在图像上使用多个标签。当我们有大量的图像时，我们可以开始训练模型。我们还可以通过使用快速测试按钮来测试模型是否运行良好，您可以在其中上传图像以测试图像是否与您训练的模型匹配。获取CoreML模型训练完模型后，我们需要下载模型并将其导入我们的Xcode项目。要下载模型，请转到性能选项卡以CoreML格式导出。然后，您可以将文件添加到XCode项目文件夹中，在该文件夹中将自动生成一个类以供以后使用。设置摄像头设备并查看我们将从创建UIViewController开始。该视图是我们要显示iPhone相机反馈的地方。为了输出实时视频，我们必须添加AVCaptureVideoDataOutputSampleBufferDelegate协议。加载视图时，我们创建一个AVCaptureSession并定义一个用于向会话输入数据的设备。在这种情况下，我们选择视频的默认设备。我们还创建了一个AVCaptureVideoDataOutput，我们的captureSession将从该AVCaptureVideoDataOutput输出将在captureOutput方法中可用的视频帧。我们要做的最后一件事是创建一个AVCaptureVideoPreviewLayer，以便我们可以在应用程序中预览摄像机的输出。然后，将预览层作为填充整个框架的子层添加到我们的主视图中。捕获视频输出要处理输出并进行图像分类，我们必须实现由协议AVCaptureVideoDataOutputSampleBufferDelegate定义的captureOutput方法。为了能够分析输出中的图片，我们从CMSampleBuffer中获取了CVPixelBuffer。然后，我们需要为每个帧指定要执行的图像分析请求。首先，我们必须使用从Custom Vision下载的经过训练的CoreML类来创建VNCoreMLModel。您的名字将不同于_92ed7d5fe39f4438b1ef3e98e3ce80c3_1！对于每个结果，我们检查结果是否具有足够高的置信度以及是否具有标识符。在此示例中，我仅检查一个特定的标识符。标识符是我们在CustomVision中添加到图像的标签。如果我们有足够高的信心，则可以确定标识符是正确的标识符，然后停止捕获并将结果分派到主线程。在这种情况下，我只创建了一个带有消息的简单信息窗口。这是在iOS应用中实现摄像头，预览和图像识别所需的全部代码，并且您的应用现在可以在识别摄像头前的对象时做出反应。

NSFW模型的iOS CoreML项目[Swift]: 一个使用CoreML和开放nsfw模型的小型iOS项目。自从WWDC2017首次宣布以来，Apple的Core ML已经问世了一段时间。这是一个令人兴奋的新框架，有了iOS 11，在macOS和iOS上运行ML模型变得更加容易。 Apple提供了许多已经采用Core ML模型格式的开源模型，可以在这里找到。我的示例项目将使用Yahoo的开放式nsfw模型和python coremltools进行转换。为了编写Core ML并在您的设备上运行它，您将需要： Xcode 9 Beta iOS 11测试版打开nsfw模型 Python coremltools 0.4.0 我不会详细介绍安装Python的细节。您将需要Python 2.7作为coremltools。入门项目我已经编写了一些UI代码，因此您可以专注于对ML部分进行编码🙂 1.将.caffemodel转换为.mlmodel 由于Yahoo的开放式nsfw模型为caffe模型格式，因此我们需要首先将其转换为CoreML模型格式。我用python coremltools编写了一个简短的脚本来完成该任务。该软件包的文档可以在这里找到。在您刚刚从Yahoo的GitHub页面下载的“ open_nsfw_master ”项目中，进入其子文件夹“ nsfw_model ”并创建convert.py 。 import coremltools＃将caffe模型转换为Core ML模型caffe_model =（’resnet_50_1by2_nsfw.caffemodel’，’deploy.prototxt’） coreml_model = coremltools.converters.caffe.convert（caffe_model， image_input_names =’数据’， is_bgr = True， red_bias = -104， blue_bias = -123， green_bias […]

Swift核心ML: 你好！ Core ML通过为您的应用启用快速和私有的设备上机器学习功能，已经彻底改变了应用从机器学习中受益的方式。核心ML框架可用于Apple产品，包括Siri，Camera和QuickType。 Core ML SDK的一项重要新功能是Create ML。使用Swift和macOS游乐场，开发人员可以在Mac上创建和训练自定义机器学习模型。然后，他们可以使用Core ML将模型集成到他们的应用程序中。今天，我们将使用Core ML和iPhone Camera。通过使用开发人员apple’s网站上可用的Core ML Models进行实时对象检测的应用程序。我们将使用ResNet-50 Core ML模型。 ResNet 50是一个预训练的卷积神经网络。 ResNet-50是一个卷积神经网络，对来自ImageNet数据库的一百万个图像进行了训练。该网络深度为50层，可以将图像分类为1000个对象类别，例如键盘，鼠标，铅笔和许多动物。设置相机：首先，我们需要设置一个摄像头，通过将其发送到Core ML模型来检测对象。让我们开始。 1.创建一个Camera View Controller：创建一个名为CameraViewController的视图控制器，该视图控制器符合UIViewController和AVCaptureVideoDataOutputSampleBufferDelegate。导入UIKit 导入AVKit 导入视觉类CameraViewController：UIViewController，AVCaptureVideoDataOutputSampleBufferDelegate { 2.以编程方式创建UILabel：摄像机前面需要一个UILabel（ identifierLabel ），以便每当摄像机检测到对象时，它都会通过在模型中搜索对象来显示其名称，并显示置信度。置信度值表示模型对对象的置信度。置信度值在0–1之间， 0表示最不准确， 1表示最准确。每当在模型中传递对象时，都会作为响应接收标识符和置信度。让 identifierLabel：UILabel = { 让标签= UILabel（） […]

准备CoreML模型时出错：CoreML代码生成不支持“<something>”: 我正在修改这个教程的代码，我得到这个错误：为代码生成准备CoreML模型“Resnet50.mlmodel”时出错：CoreML代码生成不支持Target主要语言“Swift接口”。请将COREML_CODEGEN_LANGUAGE设置为首选语言该项目之前使用“Places205-GoogLeNet”模型进行编译。任何人都经历了相同的？

图像中的文本检测: 我正在使用下面的示例代码在图像（不是手写）使用coreml和视觉的文本检测。 https://github.com/DrNeuroSurg/OCRwithVisionAndCoreML-Part2 在这里他们使用了只支持大写和数字的机器学习模型。在我的项目中，我想要大写，小写，数字和less数特殊字符（如：， – ）。我没有任何python的经验做必要的改变，并使用火车数据生成所需的.mlmodel文件（这又是我没有我的要求）下面是如何创build.mlmodel的链接http://www.neurosurg.de/2017/10/18/part-3-train-your-own-model-using-keras/ 有没有人有这样的.mlmodel？或者可以有人帮助我如何实现这一目标？这是我想要检测文本的图像

如何将视觉框架坐标系转化为ARKit？: 我正在使用ARKit（与SceneKit）添加虚拟对象（例如球）。我使用Vision框架跟踪真实世界对象（例如脚），并在视觉请求完成处理器方法中接收其更新的位置。 let request = VNTrackObjectRequest(detectedObjectObservation: lastObservation, completionHandler: self.handleVisionRequestUpdate) 我想用虚拟replace被跟踪的真实世界对象（例如，用立方体代替脚），但是我不知道如何将坐标系不同的BoundingBox矩形（我们在视觉请求完成中接收到的）replace为场景套件节点。下面是视觉请求完成处理程序的代码： private func handleVisionRequestUpdate(_ request: VNRequest, error: Error?) { // Dispatch to the main queue because we are touching non-atomic, non-thread safe properties of the view controller DispatchQueue.main.async { // make sure we have an actual result guard let newObservation = request.results?.first as? VNDetectedObjectObservation else […]

将UIImage转换为Keras模型的MLMultiArray: 在Python中，我使用keras训练了一个图像分类模型，以接收[224，224，3]数组的input并输出一个预测（1或0）。当我加载保存模型并将其加载到xcode中时，它指出input必须是MLMultiArray格式。有没有办法让我把UIImage转换成MLMultiArray格式？或者有没有办法让我改变我的keras模型接受CVPixelBuffertypes的对象作为input。

安装coremltools时出错: 我正在看Core ML Apple iOS框架。我已经阅读，安装coremltools来创build自己的模型。我已经安装了python sudo python /Users/administrator/Downloads/get-pip.py 根据文档coreml安装，我已经下载了coremltool文件。然后尝试安装coremltools https://pypi.python.org/pypi/coremltools 当我在我的Mac上安装coremltools时，出现以下错误。请build议我解决这个错误。所以我可以在coremltools工作 MyMacbook:~ administrator$ pip install -U /Users/administrator/Downloads/coremltools-0.3.0-py2.7-none-any.whl Processing ./Downloads/coremltools-0.3.0-py2.7-none-any.whl Requirement already up-to-date: numpy>=1.6.2 in /Library/Python/2.7/site-packages (from coremltools==0.3.0) Collecting protobuf>=3.1.0 (from coremltools==0.3.0) Requirement already up-to-date: six>=1.9 in /Library/Python/2.7/site-packages/six-1.10.0-py2.7.egg (from protobuf>=3.1.0->coremltools==0.3.0) Collecting setuptools (from protobuf>=3.1.0->coremltools==0.3.0) Using cached setuptools-36.0.1-py2.py3-none-any.whl Installing collected packages: setuptools, protobuf, […]