提出问题

今天用python的simplejson库解析一个 >200MB 的JSON文件，发现一次decode/encode都得要 >10s，这个在我开来，实在太慢了，有没有更快的库了？

先给出我的简单测试结果

• json大小：245MB

• 测试方法：read文件内容，然后一次decode, 一次encode

• 不成熟的结论： pypy+json最快

方法一：pypy+json

python自带的JSON库是用纯python代码实现的，而pypy对纯python代码的加速效果比较好。至于为什么，大家可以去google吧，很多文章解释的很好。

方法二：UltraJson

• 我首先想到的用C库来做JSON的解析，原因你懂的，而C语言有个JSON库叫CJSON，于是用python+cjson在google里找到了UltraJson

• UltraJson是作者用C语言实现的JSON库，实际测试的效果是，整个encode的效率提升了2倍多。

使用方法：

• 安装：pip instal ujson

      >>> import ujson
      >>> ujson.dumps([{"key": "value"}, 81, True])
      '[{"key":"value"},81,true]'
      >>> ujson.loads("""[{"key": "value"}, 81, true]""")
      [{u'key': u'value'}, 81, True]
      

并不是所有情况下都适合

根据下面的BenchMark，在double数组的情况下，yajl的encode速度是比UltraJson的，所以，如果你的JSON文件较小的话，其实无所谓哪个库，如果是像我这样的大JSON文件，可以根据下面的表选择合适的JSON库。

BenchMark

下面是作者给出的benchmark：表格中的数字是每秒的调用次数，也就是说，数字越大，表示效率越高。

Versions:

• CPython 2.7.6 (default, Jun 22 2015, 17:58:13) [GCC 4.8.2]

• blist : 1.3.6

• simplejson: 3.8.1

• ujson : 1.34 (0c52200eb4e2d97e548a765d5f089858c41967b0)

• yajl : 0.3.5

Versions:

• CPython 3.4.3 (default, Oct 14 2015, 20:28:29) [GCC 4.8.4]

• blist : 1.3.6

• simplejson: 3.8.1

• ujson : 1.34 (0c52200eb4e2d97e548a765d5f089858c41967b0)

• yajl : 0.3.5

请移步我的博客了解更多