我正在使用在Python 3.5中使用asyncio的流程,但是我还没有看到关于我应该做什么和我不应该做什么或在什么地方容易出现的描述。我是否仅需要根据“这是一个IO操作,因此应被await ed”使用最好的判断?

评论

有关详细信息,请阅读PEP 492,但通常来说,您应该等待所有期货,@协程修饰函数和异步def函数。

#1 楼

默认情况下,所有代码都是同步的。您可以使用async def使其异步定义函数,并使用await“调用”这些函数。一个更正确的问题是“何时应该编写异步代码而不是同步代码?”。答案是“何时可以从中受益”。如前所述,在使用I / O操作的情况下,通常会受益:

也应该是异步的(应定义为async def)。但是任何异步功能都可以自由使用同步代码。出于某些原因将同步代码转换为异步是没有意义的:

# Synchronous way:
download(url1)  # takes 5 sec.
download(url2)  # takes 5 sec.
# Total time: 10 sec.

# Asynchronous way:
await asyncio.gather(
    async_download(url1),  # takes 5 sec. 
    async_download(url2)   # takes 5 sec.
)
# Total time: only 5 sec. (+ little overhead for using asyncio)



非常重要的一点是,任何长时间的同步操作(> 50 ms,例如,很难确切地说)将冻结所有的异步操作:

等待结果):

# extract_links(url) should be async because it uses async func async_download() inside
async def extract_links(url):  

    # async_download() was created async to get benefit of I/O
    html = await async_download(url)  

    # parse() doesn't work with I/O, there's no sense to make it async
    links = parse(html)  

    return links


另一个示例:何时需要在asyncio中使用requestsrequests.get只是同步的长期运行函数,您不应在异步代码内部调用(同样,请避免冻结)。但是,由于I / O运行时间长,而不是因为计算时间长。在这种情况下,可以使用ThreadPoolExecutor而不是ProcessPoolExecutor来避免一些多处理开销:

async def extract_links(url):
    data = await download(url)
    links = parse(data)
    # if search_in_very_big_file() takes much time to process,
    # all your running async funcs (somewhere else in code) will be frozen
    # you need to avoid this situation
    links_found = search_in_very_big_file(links)


评论


嗨,米哈伊尔。你在这里冻结是什么意思?如果函数search_in_very_big_file需要links = parse(data)的输出,则异步下载不会减少总的执行时间。所以你称这种冻结?谢谢。

–阿尔斯通
19年1月16日在14:05

@Stallman通过冻结异步编程来实现我的意思是,任何需要花费大量时间(> 50毫秒)的非异步函数都将被执行。 request.get(url),time.sleep(1)-是此类函数的示例。从主线程执行此类函数时,事件循环无法继续在其他任何地方执行协程。因此,在示例中,等待答案的第一个版本的extract_links将阻止代码其他部分中协程的执行。为避免这种情况,第二版的extract_links在后台线程中运行冻结功能。

– Mikhail Gerasimov
19年1月16日14:19



> 50 ms是什么意思?还取决于什么?

– Buhtz
19年3月12日在23:30

@buhtz这只是我用作示例的任意时间。无法计算具体数量,但是主要思想是,如果您在此时间或更长时间内阻止事件循环,可能会对其他协程成功​​产生潜在危害。想象一下当您以10秒钟的超时时间启动异步请求并立即阻止事件循环11秒钟的情况:请求将超时,而可能会成功。为避免这种情况,您应确保将控制权返回事件循环的频率不小于一些小的时间(例如50毫秒)。

– Mikhail Gerasimov
19年3月13日在13:45

@AnnaVopureta循环= asyncio.get_event_loop()(doc在这里)

– Mikhail Gerasimov
19年6月2日在16:15

#2 楼

您没有太多自由。如果您需要调用一个函数,则需要确定这是一个普通函数还是协程。当且仅当要调用的函数是协程时,才必须使用await关键字。严格来说,没有必要,您可以“手动”运行向其发送值的async方法,但是可能您不想这样做。事件循环会跟踪尚未完成的协程,并选择下一个继续运行。 async模块提供了事件循环的实现,但这不是唯一可能的实现。

考虑以下两行代码:

x = get_x()
do_something_else()




x = await aget_x()
do_something_else()
语义完全相同:调用产生某些值的方法,当该值准备就绪时,将其分配给变量async并执行其他操作。在这两种情况下,仅在上一行代码完成后才调用asyncio函数。这甚至不意味着在执行异步x方法之前或之后或期间,将控制权交给事件循环。

仍然存在一些差异: br />第二个代码段只能出现在另一个do_something_else函数内部

aget_x函数并不常见,而是协程(用async关键字声明或修饰为协程) aget_x能够与事件循环“通信”:这会为其产生一些对象。事件循环应该能够将这些对象解释为执行某些操作的请求(例如发送网络请求并等待响应,或者只是将协程暂停async秒)。通常的aget_x函数无法与事件循环通信。