[Python知识库]一招解决 Django 导出 csv 乱码问题

利用 Django 输出 CSV 示例

环境：Python3 + Django 2.2.24

代码编辑器默认的编码是 UTF-8

import csv
from django.http import HttpResponse

def some_view(request):
    response = HttpResponse(content_type='text/csv')
    response['Content-Disposition'] = 'attachment; filename="somefilename.csv"'
    writer = csv.writer(response)
    writer.writerow(['姓名', '性别', '年龄', '地址'])
    writer.writerow(['张三', '男', '18', '北京'])
    return response

这样导出文件后，即使文件的编码是 UTF-8，用 Excel 打开 CSV 文件还是乱码；但是用文本编辑器（如记事本）打开后是正常的。

出现原因

默认情况下，Windows 平台上的 UTF-8 编码是带有 BOM（Byte Order Mark）的，所以使用 Windows 上的Excel 软件打开纯 UTF-8 编码的文档时，会因为没有 BOM 而不识别文件内容，造成乱码。

UTF-8 不需要 BOM，尽管 Unicode 标准允许在 UTF-8 中使用 BOM。
所以不含 BOM 的 UTF-8 才是标准形式，在 UTF-8 文件中放置 BOM 主要是微软的习惯（顺便提一下：把带有 BOM 的小端序 UTF-16 称作「Unicode」而又不详细说明，这也是微软的习惯）。
BOM（byte order mark）是为 UTF-16 和 UTF-32 准备的，用于标记字节序（byte order）。微软在 UTF-8 中使用 BOM 是因为这样可以把 UTF-8 和 ASCII 等编码明确区分开，但这样的文件在 Windows 之外的操作系统里会带来问题。

使用 Windows 记事本打开导出的文件后，可以看到编码是 UTF-8

解决方法

可以在构建 response 对象时设置编码为带有 BOM 的编码格式：utf-8-sig

import csv
from django.http import HttpResponse

def some_view(request):
    response = HttpResponse(content_type='text/csv')
    # 设置带 BOM 的编码
    response.charset = 'utf-8-sig'
    response['Content-Disposition'] = 'attachment; filename="somefilename.csv"'
    writer = csv.writer(response)
    writer.writerow(['姓名', '性别', '年龄', '地址'])
    writer.writerow(['张三', '男', '18', '北京'])
    return response

这样导出文件后可以直接用 Excel 打开而不会乱码；使用 Windows 记事本打开后，显示编码为 带有 BOM 的 UTF-8。

进一步思考

可以使用 request 中的 User-Agent 进行客户端系统判断，如果用户的系统是 Windows，那么给导出的文件编码设置为带有 BOM 的 UTF-8，否则使用 UTF-8。

实现示例：

import csv
from django.http import HttpResponse

def some_view(request):
    response = HttpResponse(content_type='text/csv')
    # 通过 User-Agent 判断客户端系统，然后设置带 BOM 的编码
    response.charset = 'utf-8-sig' if "Windows" in request.headers.get('User-Agent') else 'utf-8'
    response['Content-Disposition'] = 'attachment; filename="somefilename.csv"'
    writer = csv.writer(response)
    writer.writerow(['姓名', '性别', '年龄', '地址'])
    writer.writerow(['张三', '男', '18', '北京'])
    return response

修改 UTF-8 编码为带有 BOM 的UTF-8

如果你已经有 CSV 文件的编码是 UTF-8，那么需要另存为新的文件，并设置编码。

如下，使用 Windows 记事本另存为：