利用python调用wget批量下载ftp文件（有筛选）

2024年5月7日 64次阅读 来源: 就是一只白

 我的目的是对下面的这个ftp://sidads.colorado.edu/DATASETS/NOAA/G02202_V4/north/daily

每年的文件夹进行遍历，下载1-2月的数据

因此需要筛选出1-2月的文件

利用了-A 这个参数，后面用-A “*198901*”,”*198902*” 这样就可以筛选出1989年的1-2月文件了，而且注意用逗号进行分割

-r这个参数是递归下载

-c这个参数是断点续传

我需要对每年进行遍历，所以采用python调用cmd进行批量下载

因为我的wget并没有加系统变量里面，因此需要增加地址

cmd最后可以等于H:\\mission\\downloadData20210305\\wget –ftp-user=anonymous -c -r -A “*198901*”,”*198902*” ftp://sidads.colorado.edu/DATASETS/NOAA/G02202_V4/north/daily/1989

下载的文件存储地址为该python程序文件所在路径

import os

sy=1998
ey=2020
for num in range(sy,ey+1):
    cmd="""H:\mission\wget --ftp-user=anonymous -c -r -A "*"""+str(num)+"""01*","*"""+str(num)+"""02*" ftp://sidads.colorado.edu/DATASETS/NOAA/G02202_V4/north/daily/"""+str(num)
    result=os.system(cmd)
    print(cmd)
    print(result)

注意到有时候调用也会卡，会很长时间不动，但是还没找到合适的方法，下次再看看吧

    原文作者：就是一只白
    原文地址: https://blog.csdn.net/XinemaChen/article/details/119961110
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞