9-1-按需获取的数据集类的创建


文档摘要

超大规模数据集类的创建 在前面的学习中我们只接触了数据可全部储存于内存的数据集,这些数据集对应的数据集类在创建对象时就将所有数据都加载到内存。然而在一些应用场景中,数据集规模超级大,我们很难有足够大的内存完全存下所有数据。因此需要一个按需加载样本到内存的数据集类。在此上半节内容中,我们将学习为一个包含上千万个图样本的数据集构建一个数据集类。 基类简介 在PyG中,我们通过继承 基类来自定义一个按需加载样本到内存的数据集类。此基类与Torchvision的 类的概念密切相关,这与第6节中介绍的 基类是一样的。 继承 基类要实现的方法,继承此基类同样要实现,此外还需要实现以下方法: :返回数据集中的样本的数量。 :实现加载单个图的操作。


发布者: 作者: 转发
评论区 (0)
U