这里我们通过请求网页例子来一步步理解爬虫性能

当我们有一个列表存放了一些url需要我们获取相关数据，我们首先想到的是循环

简单的循环串行

这一种方法相对来说是最慢的，因为一个一个循环，耗时是最长的，是所有的时间总和
代码如下：

import requestsurl_list = [ 'http://', ] for url in url_list: print(url) http_client = AsyncHTTPClient() http_client.fetch(HTTPRequest(url), handle_response)ioloop.IOLoop.current().add_callback(func)ioloop.IOLoop.current().start()

以上就是Python 爬虫性能相关总结的详细内容，更多关于Python 爬虫性能的资料请关注其它相关文章！