Python下载大文件内存不够怎么办？

2024年1月15日 271次阅读 来源: Mr番茄蛋

前言

日常很多下载器不能满足需要，很多码农都想自己写代码从头下载，但是有时候会遇到要下载的文件非常大，导致内存装不下，经常出现下载失败的状况，白白耗了半天时间，非常让人头疼。当遇到这种问题，那只能是get一部分数据就往磁盘写，每次保证内存中只有小量级数据即可。

Python下载文件的方法有两种：
1. Python官方的urlib库
2. Python第三方包requests

这两个库各有优劣，以前很多人都建议使用urlib，但是却没人说的出啥理由，现在很多人慢慢喜欢了requests库，主要是requests库非常简洁，更高层，上手快，单requests库对一些需要ssl认证的却有些问题。
下面具体讲解使用urlib和requests库下载大文件的方法：

使用requests库下载大文件

当使用requests的get下载大文件/数据时，建议使用使用stream模式。

当把get函数的stream参数设置成False时，它会立即开始下载文件并放到内存中，如果文件过大，有可能导致内存不足。

当把get函数的stream参数设置成True时，它不会立即开始下载，当你使用iter_content或iter_lines遍历内容或访问内容属性时才开始下载。需要注意一点：文件没有下载之前，它也需要保持连接。

iter_content：一块一块的遍历要下载的内容
iter_lines：一行一行的遍历要下载的内容
使用上面两个函数下载大文件可以防止占用过多的内存，因为每次只下载小部分数据。

示例代码：

r = requests.get(url_file, stream=True)
f = open("file_path", "wb")
# chunk是指定每次写入的大小，每次只写了512byte
for chunk in r.iter_content(chunk_size=512):
    if chunk:
        f.write(chunk)

使用urlib库下载大文件

使用urlib下载大文件和小文件都差不多，只不过在read（）函数中指定了每次读入文件的大小，这种方法不能像上面那样使用迭代器，只能使用for循环，还得判断最后文件是否读完。

示例代码：

from urllib.request import Request, urlopen
from urllib.error import HTTPError, URLError

req = Request(link)
# 增加header头信息
req.add_header('User-Agent',
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36')

try:
    chunk_size=512
    response = urlopen(req)
     while True:
        #在read（）中指定读入块的大小
        tmp = response.read(chunk_size)
        if not tmp:
            break
    response.close()
    with open(file_name, 'wb') as f:
        f.write(tmp)
    原文作者：Mr番茄蛋
    原文地址: https://blog.csdn.net/qq_35203425/article/details/80901268
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞