Tag: bigdata

iPad – 分析一个非常巨大的JSON – 文件（50和100 MB之间）

我试图parsing一个非常大的JSON文件在iPad上。 文件大小在50到100 MB之间（有一个初始文件，每个月会有一个新的全套数据，这些数据将被下载，parsing并保存到coredata中） 我正在为企业构build这个应用程序作为企业解决scheme–JSON文件包含敏感的客户数据，它需要保存在本地ipad，所以它将工作，即使离线。 当文件低于20MB时，它工作，但现在数据集变大了，我真的需要parsing它。 我在parsing过程中收到内存警告，并在第三次警告后，它只是崩溃。 我有几个不同的核心数据实体，我只是设置来自json文件（当应用程序第一次启动时）的所有值，并在所有事情完成后，我正在做[context save] 。 我希望有人能给我一些关于如何处理这些大文件的build议。 我正在考虑将json文件拆分成几个较小的json文件，并可能在多个线程中parsing它们，但是我不知道这是否是正确的方法。 我想一个大问题是整个文件被保存在内存中 – 也许有某种方式将它“stream”到内存或类似的东西？ 我正在使用JSONKit（ https://github.com/johnezang/JSONKit ）parsing文件，因为我已经读过它是最快的一个（也许有一个更慢的内存更容易？）。 提前致谢。