仅20行代码，实现文件自动化上传。

超、凢脫俗 2023-10-08 15:11 38阅读 0赞

![在这里插入图片描述][5fb87c883155482198a70b4dca710d26.gif_pic_center]

### 1. 背景 ###

最近接到一个产品需求是给指定的 sftp 服务器的指定目录定时推送文件数据。

因为项目组已有现成的组件可以轻松实现 sftp 服务器文件的快速上传，本来是一件很容易的事情，但是问题出现在这个指定的 sftp 服务器所指定的密码带有系统关键字和一些特殊字符，导致现在的组件在解析过程中会失败。

因此重新开发了下面的这套脚本来满足这个特殊的需求。

### 2. 代码实现 ###

### Python代码 ###

#test_upload.py
    import os, sys
    import yaml
    from optparse import OptionParser
    import paramiko
    import traceback
    
    
    opt_parser = OptionParser()
    opt_parser.add_option('--node', action='store', type='string', dest='node', help='sftp config')
    opt_parser.add_option('--local_file', action='store', type='string', dest='local_file',  help='file to be transferred')
    
    
    def load_config_from_param_conf(key):
        """
        :param key: 指定业务所使用的sftp服务的名称，例如sftp.yaml文件中的key: test_file_upload
        :return: 从指定路径拿到yaml文件并读取指定key，返回例如sftp.yaml文件中key为test_file_upload下的配置选项值
        包含: host,port,user,password,destination
        """
        config_file = f'{os.environ["TASK_MAIN"]}/test_conf/sftp.yaml' #获取指定路径下的yaml文件
        with open(config_file, 'r') as r: #打开yaml文件内容
            config = yaml.load(r) #转换yaml数据为字典
        return config['sftp']['upload'][key]
    
    
    def upload(sftp_conf, local_file_path):
        """
        :param sftp_conf: 获取指定sftp_conf=test_file_upload下返回的字典值，这里的参数sftp_conf与load_config_from_param_conf函数里的参数值一致
        :param local_file_path: 指定本地要上传到sftp服务器的文件的绝对路径
        :return:
        """
        sf = paramiko.Transport((sftp_conf['host'], sftp_conf['port']))
        sf.connect(username=sftp_conf['user'], password=sftp_conf['password'])
        sftp = paramiko.SFTPClient.from_transport(sf)
        to_path = sftp_conf['destination']
        sftp.put(local_file_path, to_path + os.sep + os.path.split(local_file_path)[-1], confirm=False)
        sftp.close()
    
    
    if __name__ == '__main__':
        option = opt_parser.parse_args(sys.argv[1:])[0]
        sftp_conf = load_config_from_param_conf(option.node)
        try:
            upload(sftp_conf, option.local_file)
        except Exception as e:
            print(traceback.format_exc())
            raise Exception('upload {} file error.'.format(option.local_file))

sftp配置文件代码

#sftp.yaml
    sftp:
      upload:
        test_file_upload:
          host: 10.12.34.6
          port: 808
          user: user_test
          password: 8Z.Lx/2@UH
          destination: /data/dump

### 3. 代码分析 ###

(1). yaml 模块

import yaml

导入 yaml 模块前可以使用以下命令进行模块的安装

python3 -m pip install PyYaml

yaml 模块在这里的作用是读取 sftp 配置文件代码，将指定key: test\_file\_upload 下的 key:value 的值转换为字典。

例如：load\_config\_from\_param\_conf 函数中的返回值就是使用 yaml 读取到 sftp 配置文件代码后，返回 key: test\_file\_upload 下配置选项值。

格式如下：

{
         "host": "10.12.34.6",
      "port": "808",
      "user": "user_test",
      "password": "8Z.Lx/2@UH",
      "destination": "/data/dump"
    }

最后将返回值传给 upload 函数作为参数。

(2). OptionParser 模块

from optparse import OptionParser

按照 yaml 模块的安装方法，先安装 optparse 模块后，然后在文件中从optparse 中导入 OptionParser 模块

opt_parser = OptionParser()
    opt_parser.add_option('--node', action='store', type='string', dest='node', help='sftp config')
    opt_parser.add_option('--local_file', action='store', type='string', dest='local_file',  help='file to be uploaded')

在这里我使用了 OptionParser 这个类实例化了一个对象：opt\_parser，通过对象来调用 add\_option 方法添加了2个参数，分别是：node, local\_file

1). 形参：–node，实参：node

所代表的业务含义是：指定要上传的 sftp 的节点，具体参数值对应 sftp配置文件代码中的 test\_file\_upload

2). 形参：–local\_file，实参：local\_file

所代表的业务含义是：指定本地需要被上传到 sftp 服务器的具体文件路径

3). 调用命令

python3 test\_upload.py --node test\_file\_upload --local\_file /home/test/sftp\_load/test\_001.csv  
4). add\_option()方法

add\_option()参数说明：

action: 存储方式，分别为:store,store_false,store_true
    
    type: 类型
    
    dest: 存储的变量
    
    default: 默认值
    
    help: 帮助信息

参数：action的枚举

store: 参数列表中带有–node, 那么就会将下一个元素即：test\_file\_upload 作为其 dest 实参 node 的值; 如果没有–node,那么对应的node的值就为 None;

store\_true: 参数列表中有–local\_file, 那么其 dest 实参 local\_file 的值就为 True; 否者就为 default 定义的默认值，这里没有给定 default 的默认值;

store\_false: 参数列表中有–local\_file, 那么其 dest 实参 local\_file 的值就为 False; 否者就为 default 定义的默认值，这里没有给定 default 的默认值;

参数：type

type是指定传入参数的类型，这里的参数类型为 string 类型。

参数：dest

dest是参数传入后由哪个变量来存储的，后面代码对该参数的引用也是使用这里定义的变量名来引用的。

参数：default

default 是与 action 的值结合使用的。

当action=store\_true时，default=123时，如果有传入形参–local\_file，则实参local\_file的值为：True

当action=store\_true时，default=123时，如果没有传入形参–local\_file，则实参local\_file的值为：123

当action=store\_false时，default=123时，如果有传入形参–local\_file，则实参local\_file的值为：False

当action=store\_false时，default=123时，如果没有传入形参–local\_file，则实参local\_file的值为：123

参数：help

help相当于帮助说明文档，用于描述这个参数的含义。

![在这里插入图片描述][449549c20306422784bcc89c605494fb.png_pic_center]  
这些资料，对于做【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴我走过了最艰难的路程，希望也能帮助到你！凡事要趁早，特别是技术行业，一定要提升技术功底。

关注我的微信公众号：【**`伤心的辣条`**】自行获取~

我的自动化测试之路，一路走来都离不每个阶段的计划，因为自己喜欢规划和总结，所以，我和朋友花了一段时间整理编写了《软件测试工程师发展规划路线》，也整理了不少【教程资源】，打包好了分享在群里面。有需要的朋友可以进群：914172719 获取。希望会给你带来帮助和方向

**喜欢软件测试的小伙伴们，如果我的博客对你有帮助、如果你喜欢我的博客内容，请 “点赞” “评论” “收藏” 一键三连哦！**  
![在这里插入图片描述][a6ced78a433e44298b62d44f3d230588.gif_pic_center]

[5fb87c883155482198a70b4dca710d26.gif_pic_center]: https://img-blog.csdnimg.cn/5fb87c883155482198a70b4dca710d26.gif#pic_center
[449549c20306422784bcc89c605494fb.png_pic_center]: https://img-blog.csdnimg.cn/449549c20306422784bcc89c605494fb.png#pic_center
[a6ced78a433e44298b62d44f3d230588.gif_pic_center]: https://img-blog.csdnimg.cn/a6ced78a433e44298b62d44f3d230588.gif#pic_center