boto3:Python连接S3对象存储并进行文件操作(上传、下载、删除)
十三妹_ 2024-08-03 15:35:05 阅读 85
目录
一、前言
二、boto3
三、代码
1、连接
2、列出桶中文件
3、删除文件
4、上传下载
一、前言
在日常进行数据高可用时,会将数据存入对象存储中。在一般的企业中,对象存储资源池只有管理员拥有Web界面管理,普通账号需要对数据进行管理时,有如下方法:
一、通用对象存储管理客户端,如对于S3对象存储有S3browser可以进行使用,其优点是操作简单,界面可视化;缺点是每次需要手动操作。
二、利用对象存储指定的API或者SDK工具进行开发,其优点是适合无法使用可视化界面的IT环境和可自动完成,缺点是需要自己编辑。
二、boto3
boto3是针对S3云存储的Python SDK工具,是boto2的迭代版本,对于可使用S3对象存储接口协议的基本可使用boto3。
安装:pip install boto3
三、代码
1、连接
<code>import boto3
from datetime import datetime, timedelta
# 定义 endpoint、access key 和 secret key
endpoint_url = 'http://*************'
access_key = '****'
secret_key = '****'
# 创建 S3 客户端实例并指定 endpoint 和凭证信息
s3 = boto3.client('s3',
endpoint_url=endpoint_url,
aws_access_key_id=access_key,
aws_secret_access_key=secret_key,
verify=False) # 如果不需要SSL验证,可以设置verify=False,即http或者https
# 列出所有的桶
responses = s3.list_buckets()
buckets = [bucket['Name'] for bucket in responses['Buckets']]
print('All of Buckets:', buckets)
2、列出桶中文件
#前面连接桶的代码段此处已省略
response = s3.list_objects_v2(Bucket='****') #选择你需要列出的桶名,code>
# 输出列出的所有对象
if 'Contents' in response:
for obj in response['Contents']:
key = obj['Key']
timestep = obj['LastModified'] #文件对应的最后更改时间
print(key, timestep) #输出桶中文件名及最后更改时间
3、删除文件
删除文件:
s3.delete_object(Bucket='****', Key='****')
Bucket即为桶名,Key为桶中要删除的文件名(包含完整路径)
#省略前面连接代码
response = s3.list_objects_v2(Bucket='****')code>
days_hup = 30
del_date = datetime.now() - timedelta(days=days_hup)
#print(del_date)
# 删除30天以前的文件
if 'Contents' in response:
for obj in response['Contents']:
key = obj['Key']
timestep = obj['LastModified']
timestep = timestep.replace(tzinfo=None) #注意进行时间offset-aware和offset-naive的转换
if timestep < del_date:
s3.delete_object(Bucket='****', Key=key)code>
print(f'删除文件 {key} 成功')
4、上传下载
s3.upload_file(本地路径及文件,桶名,对象存储路径及文件)
s3.download_file(桶名,对象存储路径及文件,本地路径及文件)
#省略前面连接代码
bucket_name = '****' #your bucket name
# 上传文件
local_file_path = '/data/testfile' # 本地文件路径
s3_file_key = '/TEST/uptestfile' # S3中的文件名,可以包括文件夹
s3.upload_file(local_file_path, bucket_name, s3_file_key)
print('文件上传成功')
# 下载文件
download_path = '/data/downtestflie' # 下载到本地的路径,包含文件名
s3_file_key = '/TEST/uptestfile'
s3.download_file(bucket_name, s3_file_key, download_path)
print('文件下载成功')
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。