[Python知识库]django 之提升查询性能

如果一个web请求需要花费几秒，99%是因为数据库没用好或是使用了低效的查询方式， 当使用 orm 的时候， 不好的设计和低效的查询方式都是会杀死你的性能， 改用子查询 annotate， 以 sql 的思维思考， 可以大幅度提高你的 web 性能。

有一个City model，其中有一个计算城市人口密度的方法density。
modes.py:

class State(models.Model):
    name = models.CharField(verbose_name="名称", max_length=64)

class City(models.Model):
    state = models.ForeignKey(State, on_delete=models.CASCADE, related_name='cities')
    name = models.TextField()
    population = models.DecimalField(decimal_places='3', max_digits='5')
    land_area_km = models.DecimalField(decimal_places='3', max_digits='5')

想要计算一个城市的人口密度，下面这种方式是很自然就能想到的：

illinois = State.objects.get(name='Illinois')
    chicago = City.objects.create(
        name="Chicago",
        state=illinois,
        population=26905,
        land_area_km=42
    )

    print(chicago.density())

问题出在当我们想要查询出所有拥挤(密度大于4000)的城市时：

city = City.objects.all()
for i in city:
    if i.density() > 200:
        print(i)

试想一下如果只有 5% 的城市是符合要求的， 那么将会有 95% 的数据会被过滤，对于不需要的数据， django 也是要花时间完成额外、无意义的操作(将数据转成 model 实例)， 对于数据量小的数据量倒没什么， 但是一旦数据量增大，对性能造成的影响是巨大的。

使用 annotate

modes.py:

class CityAQuerySet(models.QuerySet):
    def add_density(self):
        return self.annotate(
            density=F('population') / F('land_area_km')
        )

    def density(self):
        return self.add_density().filter(density__gt=200)

class CityA(models.Model):
    objects = CityAQuerySet.as_manager()

views.py:

qs = CityA.objects.density().values('density')
print(qs)

annotate(density=F(‘population’) / F(‘land_area_km’))中的F aggregate函数表示获取population和land_area_km运算后的值。

self.annotate(
  density=F('population') / F('land_area_km')
)

表示对于一个queryset，给他其中的每一项object，加上一个density字段，值为population /land_area_km。

使用子查询 subquery

一次查询效率比多次查询高。 杀死django性能最简单的方式就是在for循环中使用query。
如果我要筛选出所有存在人口密度大于 200 的州：

qs = State.objects.all()
for q in qs:
    if q.cities.dense_cities().exists()：
    	print(q)

类似这种，exists()会进行一次额外的查询，这会累计很多次毫秒级的查询。加起来的时间也是很可观的。可以用subquery解决这个问题。

city = CityA.objects.dense_cities().values_list('state_id', flat=True)
qs = State.objects.filter(id__in=Subquery(city))
// 或者也可以把Subquery省略掉
qs = State.objects.filter(id__in=city)
print(qs)

models.py:

class StateQuerySet(models.QuerySet):
    def add_dense_cities(self):
        return self.annotate(
            has_dense_cities=Exists(
                CityA.objects.filter(state=OuterRef('id')).dense_cities()
            )
        )

views.py:

qs = State.objects.add_dense_cities().filter(has_dense_cities=True)
print(qs)

总结

提高数据库查询效率的一个重要原则就是降低IO查询次数，尽量避免使用for循环，试试annotate和subquery吧！