一、背景

最近公司的一些自动化操作需要使用Python来实现FTP的上传和下载功能。因此参考网上的例子，撸了一段代码来实现了该功能，下面做个记录。

二、ftplib介绍

Python中默认安装的ftplib模块定义了FTP类，其中函数有限，可用来实现简单的ftp客户端，用于上传或下载文件。

• Python 2.7系列官方文档： https://docs.python.org/2/library/ftplib.html
• Python 3.5系列官方文档：https://docs.python.org/3.5/library/ftplib.html
• Python 3.6系列官方文档：https://docs.python.org/3.6/library/ftplib.html

ftplib中的FTP 主要有以下这些方法

这些方法，可以参考源代码，也可以参考上面贴的官方文档来进行学习。

我们主要需要使用到的api有以下几个：

• 1、连接服务器：

ftp=FTP() #设置变量

ftp.connect(“IP”,”port”) #连接的ftp sever和端口

ftp.login(“user”,”password”)#连接的用户名，密码如果匿名登录则用空串代替即可

• 2、上传文件：

fp=open(‘E:/test.xlsx’,’rb’)

cmd=’STOR filepath/test.xlsx’

ftp.storbinary(cmd, fp)

storbinary是以二进制形式上传文件。
cmd: STOR命令，是FTP的一个命令，后面需要加上保存文件的路径及文件名
fp: 一个打开的文件对象，‘rb’,以二进制形式打开文件

• 3、下载文件：

ftp.nlst(path) #获取目录下的文件

file_handle=open(filename,”wb”).write #以写模式在本地打开文件

ftp.retrbinaly(“RETR filename.txt”,file_handle) #接收服务器上文件并写入本地文件

• 4、其他方法：

ftp.set_debuglevel(2) #打开调试级别2，显示详细信息

ftp.set_pasv(0) #0主动模式 1 #被动模式

print ftp.getwelcome() #打印出欢迎信息

ftp.cmd(“xxx/xxx”) #更改远程目录

ftp.set_debuglevel(0) #关闭调试模式

ftp.quit() #退出ftp

ftp.dir() #显示目录下文件信息

ftp.mkd(pathname) #新建远程目录

ftp.pwd() #返回当前所在位置

ftp.rmd(dirname) #删除远程目录

ftp.delete(filename) #删除远程文件

ftp.rename(fromname, toname) #将fromname修改名称为toname。

三、使用ftplib来实现FTP上传下载功能

参考官网以及互联网其他资源，撸了下面这份代码，作为一个FTP工具类

#!/usr/bin/python
# -*- coding: UTF-8 -*-


from ftplib import FTP
import os
import sys
import time
import socket


class MyFTP:
    """ ftp自动下载、自动上传脚本，可以递归目录操作 作者：欧阳鹏 博客地址：http://blog.csdn.net/ouyang_peng/article/details/79271113 """

    def __init__(self, host, port=21):
        """ 初始化 FTP 客户端 参数: host:ip地址 port:端口号 """
        # print("__init__()---> host = %s ,port = %s" % (host, port))

        self.host = host
        self.port = port
        self.ftp = FTP()
        # 重新设置下编码方式
        self.ftp.encoding = 'gbk'
        self.log_file = open("log.txt", "a")
        self.file_list = []

    def login(self, username, password):
        """ 初始化 FTP 客户端 参数: username: 用户名 password: 密码 """
        try:
            timeout = 60
            socket.setdefaulttimeout(timeout)
            # 0主动模式 1 #被动模式
            self.ftp.set_pasv(True)
            # 打开调试级别2，显示详细信息
            # self.ftp.set_debuglevel(2)

            self.debug_print('开始尝试连接到 %s' % self.host)
            self.ftp.connect(self.host, self.port)
            self.debug_print('成功连接到 %s' % self.host)

            self.debug_print('开始尝试登录到 %s' % self.host)
            self.ftp.login(username, password)
            self.debug_print('成功登录到 %s' % self.host)

            self.debug_print(self.ftp.welcome)
        except Exception as err:
            self.deal_error("FTP 连接或登录失败 ，错误描述为：%s" % err)
            pass

    def is_same_size(self, local_file, remote_file):
        """判断远程文件和本地文件大小是否一致 参数: local_file: 本地文件 remote_file: 远程文件 """
        try:
            remote_file_size = self.ftp.size(remote_file)
        except Exception as err:
            # self.debug_print("is_same_size() 错误描述为：%s" % err)
            remote_file_size = -1

        try:
            local_file_size = os.path.getsize(local_file)
        except Exception as err:
            # self.debug_print("is_same_size() 错误描述为：%s" % err)
            local_file_size = -1

        self.debug_print('local_file_size:%d , remote_file_size:%d' % (local_file_size, remote_file_size))
        if remote_file_size == local_file_size:
            return 1
        else:
            return 0

    def download_file(self, local_file, remote_file):
        """从ftp下载文件 参数: local_file: 本地文件 remote_file: 远程文件 """
        self.debug_print("download_file()---> local_path = %s ,remote_path = %s" % (local_file, remote_file))

        if self.is_same_size(local_file, remote_file):
            self.debug_print('%s 文件大小相同，无需下载' % local_file)
            return
        else:
            try:
                self.debug_print('>>>>>>>>>>>>下载文件 %s ... ...' % local_file)
                buf_size = 1024
                file_handler = open(local_file, 'wb')
                self.ftp.retrbinary('RETR %s' % remote_file, file_handler.write, buf_size)
                file_handler.close()
            except Exception as err:
                self.debug_print('下载文件出错，出现异常：%s ' % err)
                return

    def download_file_tree(self, local_path, remote_path):
        """从远程目录下载多个文件到本地目录 参数: local_path: 本地路径 remote_path: 远程路径 """
        print("download_file_tree()---> local_path = %s ,remote_path = %s" % (local_path, remote_path))
        try:
            self.ftp.cwd(remote_path)
        except Exception as err:
            self.debug_print('远程目录%s不存在，继续...' % remote_path + " ,具体错误描述为：%s" % err)
            return

        if not os.path.isdir(local_path):
            self.debug_print('本地目录%s不存在，先创建本地目录' % local_path)
            os.makedirs(local_path)

        self.debug_print('切换至目录: %s' % self.ftp.pwd())

        self.file_list = []
        # 方法回调
        self.ftp.dir(self.get_file_list)

        remote_names = self.file_list
        self.debug_print('远程目录 列表: %s' % remote_names)
        for item in remote_names:
            file_type = item[0]
            file_name = item[1]
            local = os.path.join(local_path, file_name)
            if file_type == 'd':
                print("download_file_tree()---> 下载目录： %s" % file_name)
                self.download_file_tree(local, file_name)
            elif file_type == '-':
                print("download_file()---> 下载文件： %s" % file_name)
                self.download_file(local, file_name)
            self.ftp.cwd("..")
            self.debug_print('返回上层目录 %s' % self.ftp.pwd())
        return True

    def upload_file(self, local_file, remote_file):
        """从本地上传文件到ftp 参数: local_path: 本地文件 remote_path: 远程文件 """
        if not os.path.isfile(local_file):
            self.debug_print('%s 不存在' % local_file)
            return

        if self.is_same_size(local_file, remote_file):
            self.debug_print('跳过相等的文件: %s' % local_file)
            return

        buf_size = 1024
        file_handler = open(local_file, 'rb')
        self.ftp.storbinary('STOR %s' % remote_file, file_handler, buf_size)
        file_handler.close()
        self.debug_print('上传: %s' % local_file + "成功!")

    def upload_file_tree(self, local_path, remote_path):
        """从本地上传目录下多个文件到ftp 参数: local_path: 本地路径 remote_path: 远程路径 """
        if not os.path.isdir(local_path):
            self.debug_print('本地目录 %s 不存在' % local_path)
            return

        self.ftp.cwd(remote_path)
        self.debug_print('切换至远程目录: %s' % self.ftp.pwd())

        local_name_list = os.listdir(local_path)
        for local_name in local_name_list:
            src = os.path.join(local_path, local_name)
            if os.path.isdir(src):
                try:
                    self.ftp.mkd(local_name)
                except Exception as err:
                    self.debug_print("目录已存在 %s ,具体错误描述为：%s" % (local_name, err))
                self.debug_print("upload_file_tree()---> 上传目录： %s" % local_name)
                self.upload_file_tree(src, local_name)
            else:
                self.debug_print("upload_file_tree()---> 上传文件： %s" % local_name)
                self.upload_file(src, local_name)
        self.ftp.cwd("..")

    def close(self):
        """ 退出ftp """
        self.debug_print("close()---> FTP退出")
        self.ftp.quit()
        self.log_file.close()

    def debug_print(self, s):
        """ 打印日志 """
        self.write_log(s)

    def deal_error(self, e):
        """ 处理错误异常 参数： e：异常 """
        log_str = '发生错误: %s' % e
        self.write_log(log_str)
        sys.exit()

    def write_log(self, log_str):
        """ 记录日志 参数： log_str：日志 """
        time_now = time.localtime()
        date_now = time.strftime('%Y-%m-%d', time_now)
        format_log_str = "%s ---> %s \n " % (date_now, log_str)
        print(format_log_str)
        self.log_file.write(format_log_str)

    def get_file_list(self, line):
        """ 获取文件列表 参数： line： """
        file_arr = self.get_file_name(line)
        # 去除 . 和 ..
        if file_arr[1] not in ['.', '..']:
            self.file_list.append(file_arr)

    def get_file_name(self, line):
        """ 获取文件名 参数： line： """
        pos = line.rfind(':')
        while (line[pos] != ' '):
            pos += 1
        while (line[pos] == ' '):
            pos += 1
        file_arr = [line[0], line[pos:]]
        return file_arr


if __name__ == "__main__":
    my_ftp = MyFTP("172.28.180.117")
    my_ftp.login("ouyangpeng", "ouyangpeng")

    # 下载单个文件
    my_ftp.download_file("G:/ftp_test/XTCLauncher.apk", "/App/AutoUpload/ouyangpeng/I12/Release/XTCLauncher.apk")

    # 下载目录
    # my_ftp.download_file_tree("G:/ftp_test/", "App/AutoUpload/ouyangpeng/I12/")

    # 上传单个文件
    # my_ftp.upload_file("G:/ftp_test/Release/XTCLauncher.apk", "/App/AutoUpload/ouyangpeng/I12/Release/XTCLauncher.apk")

    # 上传目录
    # my_ftp.upload_file_tree("G:/ftp_test/", "/App/AutoUpload/ouyangpeng/I12/")

    my_ftp.close()

3.1 测试下载远程单个文件

我们将 程序入口改为如下所示的代码，测试下下载单个文件

测试前的测试环境如下图所示：

if __name__ == "__main__":
    my_ftp = MyFTP("172.28.180.117")
    my_ftp.login("ouyangpeng", "ouyangpeng")

    # 下载单个文件
    my_ftp.download_file("G:/ftp_test/XTCLauncher.apk", "/App/AutoUpload/ouyangpeng/I12/Release/XTCLauncher.apk")

    my_ftp.close()

运行结果为：

"C:\Code Python\JenkinsAPI\venv\Scripts\python.exe" "C:/Code Python/JenkinsAPI/ftptest.py"
2018-02-06 ---> 开始尝试连接到 172.28.180.117 

2018-02-06 ---> 成功连接到 172.28.180.117 

2018-02-06 ---> 开始尝试登录到 172.28.180.117 

2018-02-06 ---> 成功登录到 172.28.180.117 

2018-02-06 ---> 220 (vsFTPd 2.3.5) 

2018-02-06 ---> download_file()---> local_path = G:/ftp_test/XTCLauncher.apk ,remote_path = /App/AutoUpload/ouyangpeng/I12/Release/XTCLauncher.apk 

2018-02-06 ---> local_file_size:-1  , remote_file_size:16749148 

2018-02-06 ---> >>>>>>>>>>>>下载文件 G:/ftp_test/XTCLauncher.apk ... ... 

2018-02-06 ---> close()---> FTP退出 


Process finished with exit code 0

刷新下目录，查看文件已经下载成功！

3.2 测试下载远程目录

我们将 程序入口改为如下所示的代码，测试下载整个文件夹，运行之前的环境如下所示：

if __name__ == "__main__":
    my_ftp = MyFTP("172.28.180.117")
    my_ftp.login("ouyangpeng", "ouyangpeng")

    # 下载目录
    my_ftp.download_file_tree("G:/ftp_test/", "App/AutoUpload/ouyangpeng/I12/")

    my_ftp.close()

运行结果为：

"C:\Code Python\JenkinsAPI\venv\Scripts\python.exe" "C:/Code Python/JenkinsAPI/ftptest.py"
2018-02-06 ---> 开始尝试连接到 172.28.180.117 

2018-02-06 ---> 成功连接到 172.28.180.117 

2018-02-06 ---> 开始尝试登录到 172.28.180.117 

2018-02-06 ---> 成功登录到 172.28.180.117 

2018-02-06 ---> 220 (vsFTPd 2.3.5) 

download_file_tree()--->  local_path = G:/ftp_test/ ,remote_path = App/AutoUpload/ouyangpeng/I12/
2018-02-06 ---> 切换至目录: /App/AutoUpload/ouyangpeng/I12 

2018-02-06 ---> 远程目录 列表: [['d', 'Debug'], ['d', 'Release']] 

download_file_tree()---> 下载目录： Debug
download_file_tree()--->  local_path = G:/ftp_test/Debug ,remote_path = Debug
2018-02-06 ---> 本地目录G:/ftp_test/Debug不存在，先创建本地目录 

2018-02-06 ---> 切换至目录: /App/AutoUpload/ouyangpeng/I12/Debug 

2018-02-06 ---> 远程目录 列表: [] 

2018-02-06 ---> 返回上层目录 /App/AutoUpload/ouyangpeng/I12 

download_file_tree()---> 下载目录： Release
download_file_tree()--->  local_path = G:/ftp_test/Release ,remote_path = Release
2018-02-06 ---> 本地目录G:/ftp_test/Release不存在，先创建本地目录 

2018-02-06 ---> 切换至目录: /App/AutoUpload/ouyangpeng/I12/Release 

2018-02-06 ---> 远程目录 列表: [['-', 'XTCLauncher.apk']] 

download_file()---> 下载文件： XTCLauncher.apk
2018-02-06 ---> download_file()---> local_path = G:/ftp_test/Release\XTCLauncher.apk ,remote_path = XTCLauncher.apk 

2018-02-06 ---> local_file_size:-1  , remote_file_size:16749148 

2018-02-06 ---> >>>>>>>>>>>>下载文件 G:/ftp_test/Release\XTCLauncher.apk ... ... 

2018-02-06 ---> 返回上层目录 /App/AutoUpload/ouyangpeng/I12 

2018-02-06 ---> 返回上层目录 /App/AutoUpload/ouyangpeng 

2018-02-06 ---> close()---> FTP退出 


Process finished with exit code 0

刷新下目录，查看整个目录已经下载成功！

目录下的文件也成功下载下来

3.3 测试上传单个文件到远程FTP服务器

我们将 程序入口改为如下所示的代码，测试下载整个文件夹，运行之前的环境如下所示：

if __name__ == "__main__":
    my_ftp = MyFTP("172.28.180.117")
    my_ftp.login("ouyangpeng", "ouyangpeng")

    # 上传单个文件
    my_ftp.upload_file("G:/ftp_test/Release/XTCLauncher.apk", "/App/AutoUpload/ouyangpeng/I12/Release/XTCLauncher.apk")

    my_ftp.close()

运行结果为：

"C:\Code Python\JenkinsAPI\venv\Scripts\python.exe" "C:/Code Python/JenkinsAPI/ftptest.py"
2018-02-06 ---> 开始尝试连接到 172.28.180.117 

2018-02-06 ---> 成功连接到 172.28.180.117 

2018-02-06 ---> 开始尝试登录到 172.28.180.117 

2018-02-06 ---> 成功登录到 172.28.180.117 

2018-02-06 ---> 220 (vsFTPd 2.3.5) 

2018-02-06 ---> local_file_size:16749148 , remote_file_size:-1 

2018-02-06 ---> 上传: G:/ftp_test/Release/XTCLauncher.apk成功! 

2018-02-06 ---> close()---> FTP退出 


Process finished with exit code 0

刷新下界面，可以看到文件上传成功了！

3.4 测试上传文件夹到远程FTP服务器

我们将 程序入口改为如下所示的代码，测试下载整个文件夹，运行之前的环境如下所示：

if __name__ == "__main__":
    my_ftp = MyFTP("172.28.180.117")
    my_ftp.login("ouyangpeng", "ouyangpeng")

    # 上传目录
    my_ftp.upload_file_tree("G:/ftp_test/", "/App/AutoUpload/ouyangpeng/I12/")

    my_ftp.close()

运行结果为：

"C:\Code Python\JenkinsAPI\venv\Scripts\python.exe" "C:/Code Python/JenkinsAPI/ftptest.py"
2018-02-06 ---> 开始尝试连接到 172.28.180.117 

2018-02-06 ---> 成功连接到 172.28.180.117 

2018-02-06 ---> 开始尝试登录到 172.28.180.117 

2018-02-06 ---> 成功登录到 172.28.180.117 

2018-02-06 ---> 220 (vsFTPd 2.3.5) 

2018-02-06 ---> 切换至远程目录: /App/AutoUpload/ouyangpeng/I12 

2018-02-06 ---> 目录已存在 Debug ,具体错误描述为：550 Create directory operation failed. 

2018-02-06 ---> upload_file_tree()---> 上传目录： Debug 

2018-02-06 ---> 切换至远程目录: /App/AutoUpload/ouyangpeng/I12/Debug 

2018-02-06 ---> upload_file_tree()---> 上传目录： Release 

2018-02-06 ---> 切换至远程目录: /App/AutoUpload/ouyangpeng/I12/Release 

2018-02-06 ---> upload_file_tree()---> 上传文件： XTCLauncher.apk 

2018-02-06 ---> local_file_size:16749148  , remote_file_size:-1 

2018-02-06 ---> 上传: G:/ftp_test/Release\XTCLauncher.apk成功! 

2018-02-06 ---> upload_file_tree()---> 上传文件： v1.jpg 

2018-02-06 ---> local_file_size:203677  , remote_file_size:-1 

2018-02-06 ---> 上传: G:/ftp_test/v1.jpg成功! 

2018-02-06 ---> close()---> FTP退出 


Process finished with exit code 0

刷新下界面，可以看到文件上传成功了！

3.5 解决中文编码奔溃的问题

准备上传含有中文的文件到FTP服务器的时候，会奔溃，奔溃如下所示：

2018-02-06 ---> 切换至远程目录: /App/AutoUpload/ouyangpeng/I12 

2018-02-06 ---> upload_file_tree()---> 上传目录： Debug 

2018-02-06 ---> 切换至远程目录: /App/AutoUpload/ouyangpeng/I12/Debug 

2018-02-06 ---> upload_file_tree()---> 上传文件： Python编程快速上手__让繁琐工作自动化.pdf 

2018-02-06 ---> local_file_size:14773136 , remote_file_size:-1 

Traceback (most recent call last):
  File "C:/Code Python/JenkinsAPI/ftptest.py", line 277, in <module>
    my_ftp.upload_file_tree("G:/ftp_test/", "/App/AutoUpload/ouyangpeng/I12/")
  File "C:/Code Python/JenkinsAPI/ftptest.py", line 203, in upload_file_tree
    self.upload_file(src, local_name)
  File "C:/Code Python/JenkinsAPI/ftptest.py", line 172, in upload_file
    self.ftp.storbinary('STOR %s' % remote_file, file_handler, buf_size)
  File "D:\Python\lib\ftplib.py", line 502, in storbinary
    with self.transfercmd(cmd, rest) as conn:
  File "D:\Python\lib\ftplib.py", line 397, in transfercmd
    return self.ntransfercmd(cmd, rest)[0]
  File "D:\Python\lib\ftplib.py", line 363, in ntransfercmd
    resp = self.sendcmd(cmd)
  File "D:\Python\lib\ftplib.py", line 270, in sendcmd
    self.putcmd(cmd)
  File "D:\Python\lib\ftplib.py", line 197, in putcmd
    self.putline(line)
  File "D:\Python\lib\ftplib.py", line 192, in putline
    self.sock.sendall(line.encode(self.encoding))
UnicodeEncodeError: 'latin-1' codec can't encode characters in position 11-16: ordinal not in range(256)

Process finished with exit code 1

提示我们

UnicodeEncodeError: 'latin-1' codec can't encode characters in position 11-16: ordinal not in range(256)

查看 Python ftplib模块，默认的编码就是 latin-1

我们将这个ftp的编码修改下即可上传成功。将MyFTP的 _init_ 方法修改下，设置下ftp的encoding为gbk即可

    def __init__(self, host, port=21):
        """ 初始化 FTP 客户端 参数: host:ip地址 port:端口号 """
        # print("__init__()---> host = %s ,port = %s" % (host, port))

        self.host = host
        self.port = port
        self.ftp = FTP()
        # 重新设置下编码方式
        self.ftp.encoding = 'gbk'

        self.log_file = open("log.txt", "a")
        self.file_list = []

增加一句 self.ftp.encoding = 'gbk',即可重新设置encoding了。

再次运行即可成功上传，如下图所示：

运行结果为：

"C:\Code Python\JenkinsAPI\venv\Scripts\python.exe" "C:/Code Python/JenkinsAPI/ftptest.py"
2018-02-06 ---> 开始尝试连接到 172.28.180.117 

2018-02-06 ---> 成功连接到 172.28.180.117 

2018-02-06 ---> 开始尝试登录到 172.28.180.117 

2018-02-06 ---> 成功登录到 172.28.180.117 

2018-02-06 ---> 220 (vsFTPd 2.3.5) 

2018-02-06 ---> 切换至远程目录: /App/AutoUpload/ouyangpeng/I12 

2018-02-06 ---> upload_file_tree()---> 上传目录： Debug 

2018-02-06 ---> 切换至远程目录: /App/AutoUpload/ouyangpeng/I12/Debug 

2018-02-06 ---> upload_file_tree()---> 上传文件： Python编程快速上手__让繁琐工作自动化.pdf 

2018-02-06 ---> local_file_size:14773136  , remote_file_size:-1 

2018-02-06 ---> 上传: G:/ftp_test/Python编程快速上手__让繁琐工作自动化.pdf成功! 

2018-02-06 ---> upload_file_tree()---> 上传目录： Release 

2018-02-06 ---> 切换至远程目录: /App/AutoUpload/ouyangpeng/I12/Release 

2018-02-06 ---> upload_file_tree()---> 上传文件： XTCLauncher.apk 

2018-02-06 ---> local_file_size:16749148  , remote_file_size:-1 

2018-02-06 ---> 上传: G:/ftp_test/Release\XTCLauncher.apk成功! 

2018-02-06 ---> upload_file_tree()---> 上传文件： v1.jpg 

2018-02-06 ---> local_file_size:203677  , remote_file_size:-1 

2018-02-06 ---> 上传: G:/ftp_test/v1.jpg成功! 

2018-02-06 ---> upload_file_tree()---> 上传文件： XTCLauncher.apk 

2018-02-06 ---> local_file_size:16749148  , remote_file_size:-1 

2018-02-06 ---> 上传: G:/ftp_test/XTCLauncher.apk成功! 

2018-02-06 ---> close()---> FTP退出 


Process finished with exit code 0

四、参考链接

• Python 2.7系列官方文档： https://docs.python.org/2/library/ftplib.html
• Python 3.5系列官方文档：https://docs.python.org/3.5/library/ftplib.html
• Python 3.6系列官方文档：https://docs.python.org/3.6/library/ftplib.html
• http://blog.csdn.net/xiaoxianerqq/article/details/50698555
• http://www.cppblog.com/fwxjj/archive/2011/12/14/162085.html
• https://www.cnblogs.com/hltswd/p/6228992.html
• http://bbs.chinaunix.net/thread-2333189-1-1.html

作者：欧阳鹏 欢迎转载，与人分享是进步的源泉！
转载请保留原文地址：http://blog.csdn.net/ouyang_peng/article/details/79271113

如果觉得本文对您有所帮助，欢迎您扫码下图所示的支付宝和微信支付二维码对本文进行随意打赏。您的支持将鼓励我继续创作！