boto3:Python连接S3对象存储并进行文件操作(上传、下载、删除)

十三妹_ 2024-08-03 15:35:05 阅读 85

目录

一、前言

二、boto3

三、代码

1、连接

2、列出桶中文件

3、删除文件

4、上传下载


一、前言

      在日常进行数据高可用时,会将数据存入对象存储中。在一般的企业中,对象存储资源池只有管理员拥有Web界面管理,普通账号需要对数据进行管理时,有如下方法:

      一、通用对象存储管理客户端,如对于S3对象存储有S3browser可以进行使用,其优点是操作简单,界面可视化;缺点是每次需要手动操作。

      二、利用对象存储指定的API或者SDK工具进行开发,其优点是适合无法使用可视化界面的IT环境和可自动完成,缺点是需要自己编辑。

二、boto3

       boto3是针对S3云存储的Python SDK工具,是boto2的迭代版本,对于可使用S3对象存储接口协议的基本可使用boto3。

安装:pip install boto3

三、代码

1、连接

<code>import boto3

from datetime import datetime, timedelta

# 定义 endpoint、access key 和 secret key

endpoint_url = 'http://*************'

access_key = '****'

secret_key = '****'

# 创建 S3 客户端实例并指定 endpoint 和凭证信息

s3 = boto3.client('s3',

endpoint_url=endpoint_url,

aws_access_key_id=access_key,

aws_secret_access_key=secret_key,

verify=False) # 如果不需要SSL验证,可以设置verify=False,即http或者https

# 列出所有的桶

responses = s3.list_buckets()

buckets = [bucket['Name'] for bucket in responses['Buckets']]

print('All of Buckets:', buckets)

2、列出桶中文件

#前面连接桶的代码段此处已省略

response = s3.list_objects_v2(Bucket='****') #选择你需要列出的桶名,code>

# 输出列出的所有对象

if 'Contents' in response:

for obj in response['Contents']:

key = obj['Key']

timestep = obj['LastModified'] #文件对应的最后更改时间

print(key, timestep) #输出桶中文件名及最后更改时间

3、删除文件

删除文件:

s3.delete_object(Bucket='****', Key='****')

Bucket即为桶名,Key为桶中要删除的文件名(包含完整路径)

<code>#以删除桶中30天以前的文件来直观了解一下

#省略前面连接代码

response = s3.list_objects_v2(Bucket='****')code>

days_hup = 30

del_date = datetime.now() - timedelta(days=days_hup)

#print(del_date)

# 删除30天以前的文件

if 'Contents' in response:

for obj in response['Contents']:

key = obj['Key']

timestep = obj['LastModified']

timestep = timestep.replace(tzinfo=None) #注意进行时间offset-aware和offset-naive的转换

if timestep < del_date:

s3.delete_object(Bucket='****', Key=key)code>

print(f'删除文件 {key} 成功')

4、上传下载

s3.upload_file(本地路径及文件,桶名,对象存储路径及文件)

s3.download_file(桶名,对象存储路径及文件,本地路径及文件)

#省略前面连接代码

bucket_name = '****' #your bucket name

# 上传文件

local_file_path = '/data/testfile' # 本地文件路径

s3_file_key = '/TEST/uptestfile' # S3中的文件名,可以包括文件夹

s3.upload_file(local_file_path, bucket_name, s3_file_key)

print('文件上传成功')

# 下载文件

download_path = '/data/downtestflie' # 下载到本地的路径,包含文件名

s3_file_key = '/TEST/uptestfile'

s3.download_file(bucket_name, s3_file_key, download_path)

print('文件下载成功')



声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。