使用Python读取和解析JSON数据教程
JSON格式是网站和API使用的通用标准格式，现在主流的一些数据库（如PostgreSQL）都支持JSON格式。在本文中，我们将介绍如何使用Python处理JSON数据。首先，让我们先来看看JSON的定义。
什么是JSON？
JSON或JavaScript Object Notation，是一种使用文本存储数据对象的格式。换句话说，它是一种数据结构，将对象用文本形式表示出来。尽管它来源自JavaScript，但它已成为传输对象的实际标准。
大多数流行的编程语言都支持JSON格式，包括Python。JSON格式的文件经常用于API传输数据对象。以下是JSON字符串的示例：
{
"name": "United States",
"population": 331002651,
"capital": "Washington D.C.",
"languages": [
"English",
"Spanish"
]
}在这个例子中，JSON数据看起来像一个Python字典。像字典一样，JSON以键值对的形式传递数据。然而，JSON数据也可以是字符串、数字、布尔值或列表。
在JSON流行之前，XML一直是以文本格式表示数据对象的常见选择。以下是XML格式的相同信息的示例：
<?xml version="1.0" encoding="UTF-8"?>
<country>
<name>United States</name>
<population>331002651</population>
<capital>Washington D.C.</capital>
<languages>
<language>English</language>
<language>Spanish</language>
</languages>
</country>很明显，JSON代码量更少。这是JSON如此流行的主要原因之一。如果您想了解有关JSON标准的更多信息，请访问JSON官方网站。
Python中的JSON
Python原生支持JSON数据。Python json模块是标准库的一部分。该json模块可以将JSON数据从JSON格式转换到等效的Python对象，例如dictionary和list。JSON模块还可以将Python对象转换为JSON格式。
Python的json模块提供编写自定义编码器和解码器功能，无需单独安装。您可以在此链接里找到Pythonjson模块的官方文档。
接下来，我们将研究下这个模块。我们将把JSON转换为dictionary和list。我们还将尝试处理自定义类。
将JSON字符串转换为Python对象
JSON数据经常存储在字符串中。这是使用API时的常见场景。JSON数据在解析之前一般存储在字符串变量中。因此，与JSON相关的最常见任务是将JSON字符串解析为Python字典。JSON模块可以轻松处理此任务。
第一步是导入Python的json模块。该模块包含两个重要的功能-loads和load。
请注意，第一种方法看起来像复数形式，但事实并非如此。字母“S”代表“字符串”。
loads是将字符串解析为JSON数据。请注意，它读作“load-s”。这里的“s”代表“字符串”。Load的使用场景是当数据以字节为单位时。这部分后面会详细介绍。
让我们从一个简单的例子开始。JSON数据实例如下：
{
"name": "United States",
"population": 331002651,
}JSON数据可以在解析之前存储为JSON字符串。我们不仅可以使用Python的三引号来存储多行字符串，也可以通过删除换行符来提高可读性。
# JSON string
country = '{"name": "United States", "population": 331002651}'
print(type(country))此代码段的输出将确认这确实是一个JSON字符串：
<class 'str'>我们可以调用该json.loads()并将此字符串作为参数。
import json
country = '{"name": "United States", "population": 331002651}'
country_dict = json.loads(country)
print(type(country))
print(type(country_dict))此代码段的输出将确认作为字符串的JSON数据现在已经是Python字典。
<class 'str'>
<class 'dict'>这本字典可以像往常一样正常访问：
print(country_dict['name'])
???????# OUTPUT: United States需要注意的是，json.loads()方法并不总是返回字典。返回的数据类型将取决于输入的字符串。例如，下面这个JSON字符串将返回一个列表，而不是一个字典。
countries = '["United States", "Canada"]'
counties_list= json.loads(countries)
print(type(counties_list))
# OUTPUT: 同样，如果JSON字符串包含true，它将被转换为Python等效的布尔值，即True。
import json
bool_string = 'true'
bool_type = json.loads(bool_string)
print(bool_type)
# OUTPUT: True下表显示了转换后的JSON对象和Python数据类型。
| JSON | Python |
| object | dict |
| array | list |
| string | str |
| number (integer) | int |
| number (real) | float |
| true | True |
| false | False |
| null | None |
接下来我们将继续下一个主题，将JSON对象解析为Python对象。
将JSON文件转换为Python对象
读取JSON文件，并将JSON数据解析为Python数据，与我们解析存储在字符串中JSON数据的方式非常相似。除了JSON，我们还需要Python的原生函数open()。
一般loads用于读取JSON字符串，而load()用于读取文件中的JSON数据。
load()方法接收一个文件对象并返回解析为Python对象的JSON数据。
要从文件路径中获取文件对象，可以使用Python的函数open()。
将以下JSON数据另存为新文件并将其命名为united_states.json：
{
"name": "United States",
"population": 331002651,
"capital": "Washington D.C.",
"languages": [
"English",
"Spanish"
]
}在新文件中输入此Python脚本：
import json
with open('united_states.json') as f:
data = json.load(f)
print(type(data))运行此Python文件会输出以下内容：
<class 'dict'>在此示例中，该open函数返回一个文件句柄，该句柄会提供给load。
变量data包含JSON，作为Python字典。这意味着可以按如下方式检查字典键：
print(data.keys())
# OUTPUT: dict_keys(['name', 'population', 'capital', 'languages'])使用此信息，name可以输出如下：
data['name']
# OUTPUT: United States在前两节中，我们研究了如何将JSON转换为Python对象。现在，我们来看看如何将Python对象转换为JSON对象。
将Python对象转换为JSON字符串
将Python对象转换为JSON对象也称为序列化或JSON编码。可以使用函数dumps()来实现。它被读作dump-s，字母S代表字符串。
以下是一个简单的例子。将此代码作为Python脚本保存在新文件中：
import json
languages = ["English","French"]
country = {
"name": "Canada",
"population": 37742154,
"languages": languages,
"president": None,
}
country_string = json.dumps(country)
print(country_string)使用Python运行此文件时，将输出以下结果：
{"name": "Canada", "population": 37742154, "languages": ["English", "French"],
"president": null}Python对象现在就是一个JSON对象了。这个简单的例子展示了将Python对象解析为JSON对象的过程，整个过程并不复杂。而此处的Python对象是一个字典。这就是它被转换为JSON对象类型的原因。同样，列表也可以转换为JSON。这是对应的Python脚本及其输出：
import json
languages = ["English", "French"]
languages_string = json.dumps(languages)
print(languages_string)
# OUTPUT: ["English", "French"]它不仅限于字典和列表。string,int,float,bool甚至None值都可以转换为JSON。
有关详细信息，请参阅下面的转换表。可以看到，只有字典被转换为json对象类型。有关官方文档，请参阅此链接。
| Python | JSON |
| dict | object |
| list,tuple | array |
| str | string |
| int,float,int | number |
| True | true |
| False | false |
| None | null |
将Python对象写入JSON文件
用于编写JSON文件的方法是dump().这种方法与dumps()方法非常相似。唯一的区别是dumps()返回一个字符串，dump()写入一个文件。
下面是一个简单的演示，将以编辑模式打开文件并将数据写成JSON格式。保存此Python脚本并运行它。
import json
# Tuple is encoded to JSON array.
languages = ("English", "French")
# Dictionary is encoded to JSON object.
country = {
"name": "Canada",
"population": 37742154,
"languages": languages,
"president": None,
}
with open('countries_exported.json', 'w') as f:
json.dump(country, f)使用Python执行此代码时，countries_exported.json会创建（或覆盖）文件，内容为以上JSON文件。
但是，您会发现整个JSON都在一行中。为了使它更具可读性，我们可以再传递一个参数给dump()函数，如下所示：
json.dump(country, f, indent=4)这一次，当您运行代码时，格式就正常了，同时还会缩进4个空格：
{
"languages": [
"English",
"French"
],
"president": null,
"name": "Canada",
"population": 37742154
}注意，indent参数也可用于JSONdumps()方法。JSONdump()和JSONdumps()唯一区别是dump()需要一个文件对象。
将自定义Python对象转换为JSON对象
让我们检查dump()方法的签名：
dump(obj, fp, *, skipkeys=False, ensure_ascii=True, check_circular=True,allow_nan=True, cls=None, indent=None, separators=None,default=None, sort_keys=False, **kw)重点关注参数cls。
如果在调用dump方法时没有Class，则dump()和dumps()方法都会默认为JSONEncoder该类。此类支持标准的Python类型有：dict，list，tuple，str，int，float，True，False，和None。
如果我们尝试json.loads()在任何其他类型上调用该方法，则此方法将引发TypeError的报错信息：Object of typeis not JSON serializable。
将以下代码另存为Python脚本并运行：
import json
class Country:
def __init__(self, name, population, languages):
self.name = name
self.population = population
self.languages = languages
canada = Country("Canada", 37742154, ["English", "French"])
print(json.dumps(canada))
# OUTPUT: TypeError: Object of type Country is not JSON serializable要将对象转换为JSON，我们需要编写一个扩展JSONEncoder的新类。在这个类中，需要实现default()。此方法将具有返回JSON的自定义代码。
以下是Country类的示例编码器。这个类将帮助将Python对象转换为JSON对象：
import json
class CountryEncoder(json.JSONEncoder):
def default(self, o):
if isinstance(o, Country):
# JSON object would be a dictionary.
return {
"name" : o.name,
"population": o.population,
"languages": o.languages
}
else:
# Base class will raise the TypeError.
return super().default(o)这段代码在确认提供的对象是Country类的实例后会返回一个字典，或者调用父级来处理其余的情况。
这个类可以提供给json.dump()和json.dumps()方法。
print(json.dumps(canada, cls=CountryEncoder))
# OUTPUT: {“name": "Canada", "population": 37742154, "languages": ["English", "French"]}从JSON对象创建Python类对象
到目前为止，我们已经讨论了如何使用json.load()和json.loads()方法创建字典、列表等。如果我们想读取JSON对象并创建自定义类对象又该怎么办？
在本节中，我们将创建一个自定义JSON解码器，帮助我们创建自定义对象。这个自定义解码器将允许我们使用json.load()和json.loads()方法，并返回一个自定义类对象。
我们将使用上一节中使用的Country类。使用自定义编码器，我们能够编写如下代码：
# Create an object of class Country
canada = Country("Canada", 37742154, ["English", "French"])
# Use json.dump() to create a JSON file in writing mode
with open('canada.json','w') as f:
json.dump(canada,f, cls=CountryEncoder)如果我们尝试使用json.load()方法解析这个JSON文件，我们将得到一个字典：
with open('canada.json','r') as f:
country_object = json.load(f)
# OUTPUT: <type ‘dict'="">如果要获取Country类的实例而不是字典，我们需要创建一个自定义解码器。这个解码器类将扩展JSONDecoder。在这个类中，我们将编写object_hook.这样可以从字典中读取值来创建Country类的对象。
除了编写这个之外，我们还需要调用__init__基类并将参数object_hook的值设置为这个方法的名称。为简单起见，我们可以使用相同的名称。
import json
class CountryDecoder(json.JSONDecoder):
def __init__(self, object_hook=None,
*args, **kwargs):
super().__init__(object_hook=self.object
_hook, *args, **kwargs)
def object_hook(self, o):
decoded_country = Country(
o.get('name'),
o.get('population'),
o.get('languages'),
)
return decoded_country注意，我们会使用.get()方法来读取字典键。这将确保在字典中缺少键时不会引发错误。
最后，我们可以调用json.load()方法并将cls参数设置为CountryDecoder类。
with open('canada.json','r') as f:
country_object = json.load(f, cls=CountryDecoder)
print(type(country_object))
# OUTPUT: <class ‘country'="">搞定！我们现在就有一个直接从JSON创建的自定义对象了。
Loading与dumping对比
Python的JSON模块有四个主要功能：read()，reads()，load()，和loads()。这些功能常常会让人混淆。最重要的地方是字母“s”代表String。另外，在函数loads()和dumps()中的字母“s”需要分开读，即loads读load-s，dumps()读dump-s。
这是一个快速表格，可帮助您记住这些功能：
| _ | File | String |
| Read | load() | loads() |
| Write | dump() | dumps() |
结论
在本教程中，我们学习了使用Python读取和写入JSON数据。尤其是在处理网站时，了解如何处理JSON数据至关重要。JSON用于很多地方传输和存储数据，包括API、网络爬虫和现代数据库（如PostgreSQL）。
如果您正在从事涉及动态网站的网络抓取项目，那么了解JSON至关重要。可以阅读我们的文章，了解JSON实例在无限滚动页面中的应用。