异步支持

New in Django 3.0.

Django 支持编写异步(“async”)视图,如果在 ASGI 下运行,还支持完全异步的请求堆栈。异步视图仍然可以在 WSGI 下运行,但会有性能损失,并且不能有高效的长时间运行的请求。

我们仍然在为 ORM 和 Django 的其他部分提供异步支持。你可以期待在未来的版本中看到这个功能。目前,你可以使用 sync_to_async() 适配器来和 Django 的同步部分进行交互。你还可以集成一系列的原生异步 Python 库。

Changed in Django 3.1:

已添加对异步视图的支持。

异步视图

New in Django 3.1.

任何视图可以通过使它的可调用部分返回一个协程来声明为异步——通常,这是使用 async def 完成的。对于基于函数的视图,需要使用 async def 来声明所有视图。对于基于类的视图,需要将它的 __call__() 方法作为 async def (而不是 __init__()as_view() )。

注解

Django 使用 asyncio.iscoroutinefunction 来测试视图是否为异步。如果你实现了自己的方法来返回协同程序,请确保你把视图的 _is_coroutine 属性设置为 asyncio.coroutines._is_coroutine ,这样函数将返回 True

WSGI 服务器下,异步视图将在其自有的一次性事件循环中运行。这意味着你可以放心使用异步特性(例如并发异步 HTTP 请求),但是你不会获得异步堆栈的好处。

主要优点是无需使用 Python 线程就能服务数百个连接。这就允许你使用慢流(slow streaming)、长轮询和其他响应类型。

如果你想使用这些特性,需要使用 ASGI 来部署 Django。

警告

如果你的站点中没有 非同步中间件,那么你将得到完全异步请求栈的好处。如果有一个同步中间件,那么 Django 必须在每个请求中使用一个线程来安全地为它模拟一个同步环境。

可以构建中间件来支持 同步和异步 上下文。一些 Django 中间件是这么构建的,但不是所有都这样。要查看 Django 能够支持哪些中间件,你可以为 django.request 记录器打开调试日志,而且要查看有关 "Synchronous middleware ... adapted" 的日志消息。

在 ASGI 和 WSGI 模式里,你可以始终安全地使用异步支持来并发运行代码而不是串行。这在处理外部 API 或数据存储时特别方便。

如果你想调用仍处于同步的 Django 部分(比如 ORM),则需要用 sync_to_async() 调用来包装它。例如:

from asgiref.sync import sync_to_async

results = await sync_to_async(Blog.objects.get, thread_sensitive=True)(pk=123)

你可能发现,移动任何 ORM 代码到它自己的函数中并使用 sync_to_async() 来调用整个函数会更容易。例如:

from asgiref.sync import sync_to_async

def _get_blog(pk):
    return Blog.objects.select_related('author').get(pk=pk)

get_blog = sync_to_async(_get_blog, thread_sensitive=True)

如果你不小心从异步视图中调用一个仍然处于同步状态的 Django 部分,那么你将触发 Django 的 异步安全保护 来保护你的数据不被破坏。

性能

在与视图不匹配的模式里运行时(比如在 WSGI 下的异步视图,在 ASGI 下的传统同步视图),Django 必须模拟其他调用方式来运行你的代码。这个上下文切换回导致大约 1 毫秒的小性能损失。

这对中间件也是如此。Django 将尝试最小化同步和异步之间上下文切换的次数。如果你有一个 ASGI 服务器,但所有中间件和视图是同步的,那么在进入中间件堆栈之前,它将仅切换一次。

但是,如果你把同步的中间件放在 ASGI 服务器和异步的视图之间,就必须为中间件切换到同步模式,然后再回到视图的异步模式。Django 还将保持同步线程的开放,以便中间件的异常传播。这可能在一开始并不明显,但增加每个请求一个线程的惩罚可以消除任何异步性能的优势。

你应该执行性能测试来观察 ASGI 和 WSGI 对你的代码有什么影响。在一些案例中,即使对于 ASGI 下的纯同步代码库,性能也可能会有所提高,因为请求处理代码仍然全部异步执行。通常,只有当项目有异步代码时,才需要开启 ASGI 模式。

异步安全

DJANGO_ALLOW_ASYNC_UNSAFE

Django 的一些关键部分不能在异步环境中安全运行,因为它们的全局状态不支持协同状态。这些部分被归类为"异步不安全",并且受到保护,不能在异步环境中执行。ORM是主要的例子,但这里也有其他部分以这种方式受到保护。

如果你试着从有运行事件循环的线程中运行这部分中的任何一个,你会得到一个 SynchronousOnlyOperation 错误。注意,不用在异步函数内部就会得到这个错误。如果你从异步函数中调用一个同步函数,而没有使用 sync_to_async() 或类似方法,也会出现这个问题。这是因为你的代码仍然在具有活动事件循环的线程中运行,即使它可能没有被声明为异步代码。

如果遇到这个错误,你应该修改你的代码,以免从异步上下文中调用有问题的代码。相反,你可以编写代码在同步函数中与不安全异步交流,并使用 asgiref.sync.sync_to_async() 调用(或在自己的线程中运行同步代码的任何其他方式)。

你仍然可能被迫从异步上下文中运行同步代码。比如,如果需求是由外部环境强加给你的,比如在 Jupyter notebook 中。如果你确定不能同时运行代码,且 必须 要从异步上下文中运行这个同步代码 ,则可以通过设置 DJANGO_ALLOW_ASYNC_UNSAFE 环境变量为任何值来关掉这个警告。

警告

如果启用了这个选项,并且同时访问 Django 的异步不安全 (async-unsafe) 部分,你会遇到数据丢失或损坏,所以一定要非常小心,并且不要再生产环境里这样使用。

如果你需要在 Python 中执行此操作,请使用 os.environ

import os

os.environ["DJANGO_ALLOW_ASYNC_UNSAFE"] = "true"

异步适配函数

当从异步的上下文中调用同步的代码时,有必要适配调用风格,反之亦然。为此,有两个适配器功能,可从 asgiref.sync 模块中获取:async_to_sync()sync_to_async() 。它们用于调用样式之间转换,同时保持兼容性。

这些适配函数广泛应用于 Django。asgiref 包本身就是 Django 项目的部分,并且它在当你用 pip 方式安装 Django 时,会作为依赖项目自动安装。

async_to_sync()

async_to_sync(async_function, force_new_loop=False)

使用异步函数并返回包装它的同步函数。可用作直接包装器或装饰器:

from asgiref.sync import async_to_sync

async def get_data(...):
    ...

sync_get_data = async_to_sync(get_data)

@async_to_sync
async def get_other_data(...):
    ...

如果存在异步函数,那么它会在当前线程的事件循环中运行。如果没有当前事件循环,则会为单独异步调用专门启动一个新的事件循环,并且会在它完成后再次关闭。无论哪种情况,异步函数会在调用代码的不同线程上执行。

Threadlocals 和 contextvars 值在两个方向的边界上都保持不变。

async_to_sync() 本质上是 Python 标准库中 asyncio.run() 函数更强大的版本。在确保 threadlocals 工作之外,当在它下面使用包装时,它也会启用 sync_to_async()thread_sensitive 模式。

sync_to_async()

sync_to_async(sync_function, thread_sensitive=True)

使用同步函数并返回包装它的异步函数。可用作直接包装器或装饰器:

from asgiref.sync import sync_to_async

async_function = sync_to_async(sync_function, thread_sensitive=False)
async_function = sync_to_async(sensitive_sync_function, thread_sensitive=True)

@sync_to_async
def sync_function(...):
    ...

Threadlocals 和 contextvars 值在两个方向的边界上都保持不变。

假设所有同步功能都在主线程中运行时,则倾向于编写同步功能,因此 sync_to_async() 有两个线程模式:

  • thread_sensitive=True (默认使用):同步函数将与所有其它 thread_sensitive 函数在相同线程里运行。如果主线程是同步的并且你正在使用 async_to_sync() 装饰器,则该同步函数将成为主线程。
  • thread_sensitive=False:同步函数将在一个全新的线程中运行,该线程一旦完成,将会关闭。

警告

asgiref 3.3.0版本将 thread_sensitive 的默认值改为了 True 。这是一个更加安全的默认项,并且在许多情况下与Django交互能得到正确的值。但是在使用 asgiref 的旧版本在升级前请评估 sync_to_async() 的使用情况。

Thread-sensitive(线程敏感)模式非常特殊,在同一个线程中运行所有函数需要做很多工作。但是请注意,它依赖于堆栈中它上面的 async_to_sync() 的使用,以便在主线程上正确运行。如果你使用 asyncio.run() 或类似,它将退回到单独共享线程(但不是主线程)中运行 thread-sensitive 函数。

在 Django 中需要这么做的原因是许多库,特别是数据库适配器,要求它们在创建时所在的同一个线程里对其进行访问。许多现有的 Django 代码也假设它都在同一进程中运行(比如中间件将内容添加到请求中以供稍后在视图中使用)。

我们没有引入代码潜在的兼容性问题,而是选择了添加这种模式,以便所有现有的 Django 同步代码都在同一个线程中运行,从而完全兼容异步模式。注意,同步代码始终要与调用它的异步代码保持在不同线程中,所以你应该避免传递原始数据库句柄(handles)或者其他 thread-sensitive 引用。

Back to Top