Pytorch个人学习记录总结 04

目录

torchvision

DataLoader


torchvision

transforams是对单张图片进行处理,而制作数据集的时候,是需要对图像进行批量处理的。因此本节是将torchvision中的datasetstransforms联合使用对数据集进行预处理操作。

  1. (torchvision官方文档地址:torchvision — Torchvision 0.15 documentation
  2. torchvision.datasets中提供了内置数据集和自定义数据集所需的函数(DatasetFolder、ImageFolder、VisionDataset)(torchvision.datasets官方文档地址:Datasets — Torchvision 0.15 documentation
  3. torchvision.models中包含了已经训练好的图像分类、图像分割、目标检测的神经网络模型。(torchvision.models的官方文档地址:Models and pre-trained weights — Torchvision 0.15 documentation
  4. torchvision.transforms对图像进行转换和增强(torchvision.transforms的官方文档地址:Transforming and augmenting images — Torchvision 0.15 documentation
  5. torchvision.utils包含各种实用工具,主要用于可视化(tensorboard是在torch.utils.tensorboard中)(torchvision.utils的官方文档地址:Utils — Torchvision 0.15 documentation
    import torchvision
    from torch.utils.tensorboard import SummaryWriter
    from torchvision.transforms import transforms
    
    # 1. 用transforms设置图片转换方式
    data_transform = transforms.Compose([  # 用Compose将所有转换操作集合起来
        transforms.ToTensor()  # 因为CIFAR10数据集的每张图像size=(32,32)比较小,所以只进行ToTensor的操作
    ])
    
    # 2. 加载内置数据集CIFAR10,并设置transforms(download最好一直设置成True)
    #   1. root:(若要下载的话)表示数据集存放的根目录
    #   2. train=True 或者 False,分别表示是构造训练集train_set还是测试集test_set
    #   3. transform = data_transform,用自定义的data_transform对数据集中的每张图像进行预处理
    #   4. download=True 或者 False,分别表示是否从网上下载数据集到root中(如果root下已有数据集,尽管设置成True也不会再下载了,所以download最好一直设置成True)
    train_set = torchvision.datasets.CIFAR10('./dataset', train=True, transform=data_transform, download=True)
    test_set = torchvision.datasets.CIFAR10('./dataset', train=False, transform=data_transform, download=True)
    
    # 3. 写进tensorboard查看
    writer = SummaryWriter('CIFAR10')
    for i in range(10):
        img, label = test_set[i]    # test_set[i]返回的依次是图像(PIL.Image)和类别(int)
        writer.add_image('test_set', img, i)
    
    writer.close()
    

    DataLoader

官方文档地址:torch.utils.data.DataLoader 

CLASS torch.utils.data.DataLoader(dataset, batch_size=1, shuffle=False, 
	sampler=None, batch_sampler=None, num_workers=0, collate_fn=None, 
	pin_memory=False, drop_last=False, timeout=0, worker_init_fn=None, 
	multiprocessing_context=None, generator=None, *, prefetch_factor=2, 
	persistent_workers=False)

除了dataset(指明数据集的位置)之外的参数都设置了默认值。

torch.utils.data.DataLoader重点关注的参数有:

  • dataset (Dataset):指明从哪个数据集加载数据(如上节中自定义的train_set
  • batch_size (int):每个批次(batch)加载多少样本。
  • shuffle (bool):每轮(epoch)是否打乱样本的顺序。(最好设置成True)
  • num_workers (int):有多少个子流程用于数据加载。0表示主进程加载。
  • (在Windows下只能设置成0,不然会出错!虽然default=0,但是最好还是手动再设置一下num_workers=0)
  • drop_last (bool):如果数据集大小不能被batch_size整除,则最后一个批次将会不完整(即样本数<batch_size)。设置为True则删掉最后一个batch,False则保留(默认为False,即会保存最后那个不完整的批次)