使用Python URLLIB3下载文件

urllib3是一个轻量级的python库,提供了线程安全,HTTP连接池和重用,文件发送等。


为了演示urllib3的使用,我们这里将会从一个网站下载两个文件。
首先,需要导入urllib3库:

import urllib3

这两个文件的源url为:

url1 = 'http://earthquake.usgs.gov/earthquakes/feed/v1.0/summary/all_week.csv'
url2 = 'http://earthquake.usgs.gov/earthquakes/feed/v1.0/summary/all_month.csv'

现在开始创建一个HTTP连接池:

http = urllib3.PoolManager()

然后请求第一个文件并写入到文件:

response = http.request('GET', url1)
with open('all_week.csv', 'wb') as f:
    f.write(response.data)

然后是第二个文件:

response = http.request('GET', url2)
with open('all_month.csv', 'wb') as f:
    f.write(response.data)

最后释放这个HTTP连接:

response.release_conn()

标签:Python 发布于:2019-11-18 14:59:31