解析Json数据的几种方法

墨蓝 2022-06-02 06:47 384阅读 0赞

<table> 
 <tbody> 
  <tr> 
   <td><font>Json解析</font></td> 
  </tr> 
 </tbody> 
</table>

印象中，json都长得很乖巧，一个属性对应一个值，`key-value`,某天你的leader让你去爬数据，你爬到了这样的数据：

> var hei ha \{‘error’: 0, ‘errorMsg’: ‘SUCCESS’, uptime: ‘20180105121318000’, ‘preClose’: 33.459999084473, tick: \[\{‘date’: ‘20180105’, ‘time’: 113002000, ‘price’: 33.990001678467, ‘volume’: 37100, ‘bsflag’: “B”, “ccl”: 0\}…\]\};

既有单引号又有双引号，且单引号在属性和值之间交叉，怎么搞？replace？sub？再一看一个词包含另一个词，如，uptime与time，error与errorMsg，再替换？还有很多呢？心态要崩。。。。  
这就崩了？实际的爬虫中很多大网站都是这样的json串，如，百度，新浪等。  
不怕，总会有人帮我们写好工具的\[奸诈笑\]，只需import就好了，实在满足不了个性化需求就改改源码。。。

1.  以下将介绍解析json的四个库；
2.  完整示例代码：[完整示例下载][Link 1]；
3.  环境：  
    
    
     *  OS：win10；
     *  Python：3.6；

<table> 
 <tbody> 
  <tr> 
   <td><font>一、内置json模块</font></td> 
  </tr> 
 </tbody> 
</table>

##### **♣ 内置json的简介** #####

*  如果你是用Anaconda环境，会自带json模块。
 *  自带的json模块对json数据的格式要求比较严格，要求：  
    
    
     *  必须出入str字段；
     *  属性必须使用双引号`""`括起来，如，`{["key": value, "a": b]}`。

##### **♣ json模块的使用** #####

**示例1.1**  
使用标准数据格式。

import json
    str1 = 'jQuery180({"errorNo": 0, "errorMsg": "SUCCESS", "latestTimelineStamp": "20180105121318000", "preClose": 33.459999084473, "tick": [{"date": 20180105, "time": 113002000, "price": 33.990001678467, "volume": 37100, "bsflag": "B", "ccl": 0}]});'
    # 去除两边的无用数据
    json_str1 = str1.strip("jQuery180();")
    # 解析json字符串
    json_data1 = json.loads(json_str1)
    print("解析后的json数据:\n", json_data1)
    print("取json数据：\n", json_data1['tick'])

**运行结果：**

解析后的json数据:
     {'errorNo': 0, 'errorMsg': 'SUCCESS', 'latestTimelineStamp': '20180105121318000', 'preClose': 33.459999084473, 'tick': [{'date': 20180105, 'time': 113002000, 'price': 33.990001678467, 'volume': 37100, 'bsflag': 'B', 'ccl': 0}]}
    取json数据：
     [{'date': 20180105, 'time': 113002000, 'price': 33.990001678467, 'volume': 37100, 'bsflag': 'B', 'ccl': 0}]

**示例1.2**  
当数据中出现单引号时。

import json
    str1 = "{'errorNo': 0, 'errorMsg': 'SUCCESS', 'latestTimelineStamp': '20180105121318000', 'preClose': 33.459999084473, 'tick': [{'date': 20180105}]}"
    # 解析json字符串
    json_data1 = json.loads(str1)
    print("解析后的json数据:\n", json_data1)
    print("取json数据：\n", json_data1['tick'])

**运行结果：**

JSONDecodeError                           Traceback (most recent call last)
    ...
     JSONDecodeError: Expecting property name enclosed in double quotes: line 1 column 2 (char 1)

**报错！**  
属性名称没有使用双引号，所以，并不好用嘛。下面介绍另一个json解析神器-Demjson。Demjson就可以自适应的解决这些问题。

<table> 
 <tbody> 
  <tr> 
   <td><font>二、Demjson模块</font></td> 
  </tr> 
 </tbody> 
</table>

##### **♣ Demjson模块简介** #####

*  Demjson模块，由Deron Meranda开发，[demjson主页][demjson]；
 *  demjson使用标准python库，不用再安装其他依赖模块；
 *  demjson读取数据依然使用冒号做识别，要求json串中的引号必须成对出现。

##### **♣ demjson安装** #####

*  简易安装：  
    `pip install demjson`
 *  源码安装：  
    
    
     *  下载demjson：[demjson下载地址][demjson 1]；
     *  `cd demjson文件目录`
     *  `python setup.py install`

##### **♣ demjson使用** #####

**示例2.1**  
带有单引号的json串；

import demjson
    str1 = "{'errorNo': 0, 'errorMsg': 'SUCCESS', 'latestTimelineStamp': '20180105121318000', 'preClose': 33.459999084473, 'tick': [{
        'date': 20180105, 'time': 113002000, 'price': 33.990001678467, 'volume': 37100, 'bsflag': 'B', 'ccl': 0}]}"
    json_data1 = demjson.decode(str1)
    print("解析后的json数据:\n", json_data1)
    print("取json数据：\n", json_data1['tick'])

**运行结果：**

解析后的json数据:
    {'errorNo': 0, 'errorMsg': 'SUCCESS', 'latestTimelineStamp': '20180105121318000', 'preClose': 33.459999084473, 'tick': [{'date': 20180105, 'time': 113002000, 'price': 33.990001678467, 'volume': 37100, 'bsflag': 'B', 'ccl': 0}]}
    取json数据：
     [{'date': 20180105, 'time': 113002000, 'price': 33.990001678467, 'volume': 37100, 'bsflag': 'B', 'ccl': 0}]

成功搞定单引号。

**示例2.2**  
字符串中属性或值带有单引号或双引号，且还有的属性不带有引号。

import demjson
    str1 = '''{'errorNo': 0, errorMsg: 'SUCCESS', "latestTimelineStamp": '20180105121318000', 'preClose': 33.459999084473, 'tick': [{'date': 20180105, 'time': 113002000, 'price': 33.990001678467, 'volume': 37100, 'bsflag': 'B', 'ccl': 0}]}'''
    json_data1 = demjson.decode(str1)
    print("解析后的json数据:\n", json_data1)
    print("取json数据：\n", json_data1['tick'])

**运行结果：**

解析后的json数据:
    {'errorNo': 0, 'errorMsg': 'SUCCESS', 'latestTimelineStamp': '20180105121318000', 'preClose': 33.459999084473, 'tick': [{'date': 20180105, 'time': 113002000, 'price': 33.990001678467, 'volume': 37100, 'bsflag': 'B', 'ccl': 0}]}
    取json数据：
     [{'date': 20180105, 'time': 113002000, 'price': 33.990001678467, 'volume': 37100, 'bsflag': 'B', 'ccl': 0}]

面对单引号，双引号，没有引号，demjson依然能够解决问题，Damn good~ 哈哈♥♥

**示例2.3**  
当json串中包含其他情况呢？如本文开头的那种糟糕情况，如，当json数据前包含一段其他代码，这可以使用strip去除，缺少单引号或双引号，demjson行吗？

import demjson
    str1 = '''{errorNo': 0, errorMsg: 'SUCCESS', "latestTimelineStamp": '20180105121318000', 'preClose': 33.459999084473, 'tick': [{
        'date': 20180105, 'time': 113002000, 'price': 33.990001678467, 'volume': 37100, 'bsflag': 'B', 'ccl': 0}]}'''
    json_data1 = demjson.decode(str1)
    print("解析后的json数据:\n", json_data1)
    print("取json数据：\n", json_data1['tick'])

**运行结果：**

解析后的json数据:
    Traceback (most recent call last):
    ...
    demjson.JSONDecodeError: Missing value for object property, expected ":"

demjson以冒号做分割，去匹配单引号或双引号识别属性和值；  
当没有匹配上时，以冒号作为分割得到属性和值；  
而面对这样的状况，demjson也是心累了，无能为力了，爱不动了…难道就到这里了吗？不，还有jsonlike，依然稀饭内。

<table> 
 <tbody> 
  <tr> 
   <td><font>三、jsonlike模块</font></td> 
  </tr> 
 </tbody> 
</table>

##### **♣ 发现jsonlike模块** #####

诚然，当json数据前包含一段其他代码，这可以使用strip去除，但如本文开头的那种糟糕情况，如，缺少单引号或双引号，替换？当json串很大且情况复杂时要替换到何时？发现错就替换一次？当你使用网站API满怀兴奋地拿到10000多条json数据时，你确定要自己替换？？？  
曾几何时，当我碰到这种情况时，我选择了替换，那是个心酸心累的夜晚，一个人，替换这见鬼的不规则的字符，心中无数cn马奔腾。。。  
去Google一下“the most powerful modules for json in python”，然而，并没有得到什么，试着搜索了其他，也没有什么，自己在[pypi][]上搜json，发现一个玩意叫做`jsonlike`，听名字感觉这就是我要的啊，像json？ok，试试。

##### **♣ jsonlike简介** #####

*  jsonlike由Shaun Viguerie开发，[github地址][github]；
 *  功能强大，可解析 类json串；
 *  但需要安装依赖模块：  
    demjson==2.2.4  
    unwrapper==1.0.0  
    nose  
    sure  
    pyyaml

##### **♣ 安装jsonlike模块** #####

*  简易安装：  
    `pip install jsonlike`
 *  源码安装：  
    
    
     *  下载demjson：[demjson下载地址][demjson 1]；
     *  `cd demjson文件目录`
     *  `python setup.py install`
 *  注意安装依赖模块。

##### **♣ 使用jsonlike** #####

**示例3.1**  
字符串中属性或值带有单引号或双引号，且还有的属性不带有引号。此时，使用json.loads()会调用demjson。

import jsonlike
    str1 = '''{'errorNo': 0, errorMsg: 'SUCCESS', "latestTimelineStamp": '20180105121318000', 'preClose': 33.459999084473, 'tick': [{'date': 20180105, 'time': 113002000, 'price': 33.990001678467, 'volume': 37100, 'bsflag': 'B', 'ccl': 0}]}'''
    json_data1 = jsonlike.loads(str1)
    print("解析后的json数据:\n", json_data1)
    print("取json数据：\n", json_data1['tick'])

**运行结果：**

解析后的json数据:
    {'errorNo': 0, 'errorMsg': 'SUCCESS', 'latestTimelineStamp': '20180105121318000', 'preClose': 33.459999084473, 'tick': [{'date': 20180105, 'time': 113002000, 'price': 33.990001678467, 'volume': 37100, 'bsflag': 'B', 'ccl': 0}]}
    取json数据：
     [{'date': 20180105, 'time': 113002000, 'price': 33.990001678467, 'volume': 37100, 'bsflag': 'B', 'ccl': 0}]

可以看出，jsonlike能够正确处理。

**示例3.2**  
json串各种糟糕，且单引号和双引号不对称，json数据外还有一些无用字符；这时，jsonlike.loads()便无能为力，需要使用另一个方法unwrap\_and\_load。

import jsonlike
    str1 = '''var hei ha {
       'error': 0, 'errorMsg': 'SUCCESS', uptime: '20180105121318000', 'preClose': 33.459999084473, tick: [{
       'date': '20180105', 'time': 113002000, 'price': 33.990001678467, 'volume': 37100, 'bsflag': "B", "ccl": 0}]};'''
    json_data1 = jsonlike.unwrap_and_load(str1)
    print("解析后的json数据:\n", json_data1)
    print("取json数据：\n", json_data1['tick'])

**运行结果：**

解析后的json数据:
     {'error': 0, 'errorMsg': 'SUCCESS', 'uptime': '20180105121318000', 'preClose': 33.459999084473, 'tick': [{'date': '20180105', 'time': 113002000, 'price': 33.990001678467, 'volume': 37100, 'bsflag': 'B', 'ccl': 0}]}
    取json数据：
     [{'date': '20180105', 'time': 113002000, 'price': 33.990001678467, 'volume': 37100, 'bsflag': 'B', 'ccl': 0}]

可以看出，’jsonlike.unwrap\_and\_load()\`帮我们做了很多脏活累活，Damn Damn good~

##### **♣ 选择合适的处理Json数据的方式** #####

值得注意的是三个模块在适用性和效率上各不相同：  
1. json处理规整数据的效率较高；  
2. demjson处理json数据效率不高，甚至是慢；  
3. jsonlike处理效率与demjson类似；  
此外，还有simplejson等模块，再讲simplejson有点不伦不类，如果simplejson不引入C库，那么效率也是较差的。

<table> 
 <thead> 
  <tr> 
   <th>json数据</th> 
   <th>适用模块</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>格式规整</td> 
   <td>内置json</td> 
  </tr> 
  <tr> 
   <td>格式不规整，但引号无缺失</td> 
   <td>demjson</td> 
  </tr> 
  <tr> 
   <td>格式不规整，引号缺失，json串前后有其他字符</td> 
   <td>jsonlike</td> 
  </tr> 
 </tbody> 
</table>

1.  本文完整示例：[完整示例下载][Link 1]；
2.  能力有限，欢迎指错交流；

欢迎关注个人微信公众号WaltSmithML或新浪微博WaltSmith，公众号提供机器学习、深度学习、Hadoop、Spark、Python、数学知识等免费视频教程。本人主要方向为机器学习和深度学习。非常欢迎一起交流学习哈，除了学习，还可免费帮忙download论文或者书籍哈==============  
♥♥♥微信公众号♥♥♥![微信公众号WaltSmithML二维码][WaltSmithML]♥♥♥♥![新浪微博WaltSmith二维码][WaltSmith]♥♥新浪微博♥♥

[Link 1]: https://github.com/waltsmith88/blogs-scraping/blob/master/20180106ParseJsonData.ipynb
[demjson]: http://deron.meranda.us/python/demjson/
[demjson 1]: https://pypi.python.org/pypi/demjson/2.2.4
[pypi]: https://pypi.python.org/pypi
[github]: https://github.com/shaunvxc/jsonlike
[WaltSmithML]: https://img-blog.csdn.net/20171208213028218?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvY2hlbmdjaGVuZzk1NTg4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast
[WaltSmith]: /images/20220602/ccbdac9fe9554edd9f24ad3fbcc18f2b.png