文章目录

关于 deeplake安装 Deep Lake🧠 在 Hub 数据集上训练 PyTorch 模型🏗️ 如何创建一个 Deep Lake 数据集🚀 如何加载 Deep Lake 数据集👩‍💻 与熟悉工具的比较Activeloop Deep Lake vs DVCActiveloop Deep Lake vs TensorFlow 数据集 (TFDS)Activeloop Deep Lake vs HuggingFace

关于 deeplake

Database for AI. Store Vectors, Images, Texts, Videos, etc. Use with LLMs/LangChain. Store, query, version, & visualize any AI data. Stream data in real-time to PyTorch/TensorFlow.

官网：https://www.deeplake.aigithub : https://github.com/activeloopai/deeplake中文说明 ： https://github.com/activeloopai/deeplake/blob/main/README.zh-cn.md （本文转载改编自此）官方文档：https://docs.activeloop.ai/PYPI : https://pypi.org/project/deeplake/

Deep Lake 是一种数据集格式，提供简单的 API 以用于创建、存储和协作处理任何规模的 AI 数据集。Deep Lake 的数据布局可在大规模训练模型的同时实现数据的快速转换和流式传输。

Deep Lake 包括以下功能：

与存储无关的 API

使用相同的 API 向/从 AWS S3/S3 兼容存储、GCP、Activeloop 云、本地存储以及内存中上传、下载和流式传输数据集。压缩存储

以原生压缩方式存储图像、音频和视频，仅在需要时解压缩，例如在训练模型时。惰性 NumPy 类索引

将 S3 或 GCP 数据集视为系统内存中 NumPy 数组的集合。对它们进行切片、索引或迭代。只会下载您要求的字节！数据集版本控制

提交、创建分支、切换分支 - 您在代码存储库中已经熟悉的概念现在也可以应用于您的数据集！与深度学习框架的集成

Deep Lake 带有 Pytorch 和 Tensorflow 的内置集成。用几行代码训练你的模型——我们甚至负责数据集洗牌。😃分布式转换

使用多线程、多处理或我们的内置Ray集成快速在您的数据集进行转换操作。在几秒钟内可用100 多个最流行的图像、视频和音频数据集

Deep Lake 社区已经上传100 多个图像、视频和音频数据集等 例如 MNIST, COCO, ImageNet, CIFAR, GTZAN 等等.Activeloop平台提供即时可视化支持

Deep Lake 数据集在Activeloop 平台 中通过边界框、掩码、注释等立即实现可视化（见下文）.

安装 Deep Lake

Deep Lake 是用 100% Python 编写的，可以使用 pip 快速安装。

<code>pip3 install deeplake

默认情况下，Deep Lake 不安装音频、视频、google 和其他功能的依赖项。

其他安装选项

🧠 在 Hub 数据集上训练 PyTorch 模型

1、加载 CIFAR 10，这是 Deep Lake 中现成的数据集之一：

import deeplake

import torch

from torchvision import transforms, models

ds = deeplake.load('hub://activeloop/cifar10-train')

2、检查数据集中的张量：

ds.tensors.keys() # dict_keys(['images', 'labels'])

ds.labels[0].numpy() # array([6], dtype=uint32)

3、在 CIFAR 10 数据集上训练 PyTorch 模型，无需下载

首先，为图像定义一个转换并使用 Deep Lake 的内置 PyTorch 单行数据加载器将数据连接到计算：

tform = transforms.Compose([

transforms.ToTensor(),

transforms.Normalize([0.5, 0.5, 0.5], [0.5, 0.5, 0.5]),

])

deeplake_loader = ds.pytorch(num_workers=0, batch_size=4, transform={

'images': tform, 'labels': None}, shuffle=True)

4、接下来，定义模型、损失和优化器：

net = models.resnet18(pretrained=False)

net.fc = torch.nn.Linear(net.fc.in_features, len(ds.labels.info.class_names))

criterion = torch.nn.CrossEntropyLoss()

optimizer = torch.optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

5、最后，2 个 epoch 的训练循环：

for epoch in range(2):

running_loss = 0.0

for i, data in enumerate(deeplake_loader):

images, labels = data['images'], data['labels']

# zero the parameter gradients

optimizer.zero_grad()

# forward + backward + optimize

outputs = net(images)

loss = criterion(outputs, labels.reshape(-1))

loss.backward()

optimizer.step()

# print statistics

running_loss += loss.item()

if i % 100 == 99: # print every 100 mini-batches

print('[%d, %5d] loss: %.3f' %

(epoch + 1, i + 1, running_loss / 100))

running_loss = 0.0

🏗️ 如何创建一个 Deep Lake 数据集

可以在不同地址（存储提供商）创建 Deep Lake 数据集。这就是他们每个路径：

让我们在 Activeloop 云中创建一个数据集。

Activeloop 云为每位用户提供高达 300 GB 的免费存储空间（更多信息请点击此处）。

如果您还没有账号，请从终端使用activeloop register 创建一个新帐户。

系统将要求您输入用户名、电子邮件 ID 和密码。您在此处输入的用户名将用于数据集路径。

$ activeloop register

Enter your details. Your password must be at least 6 characters long.

Username:

Email:

Password:

在 Activeloop Cloud 中初始化一个空数据集：

import deeplake

ds = deeplake.empty("hub://<USERNAME>/test-dataset")

接下来，创建一个张量来保存我们刚刚初始化的数据集中的图像：

images = ds.create_tensor("images", htype="image", sample_compression="jpg")code>