[人工智能]DataWhale——《深入浅出Pytorch》4

一、前言

PyTorch的强大并不仅局限于自身的易用性，更在于开源社区围绕PyTorch所产生的一系列工具包（一般是Python package）和程序，这些优秀的工具包极大地方便了PyTorch在特定领域的使用。比如对于计算机视觉，有TorchVision、TorchVideo等用于图片和视频处理

PyTorch生态很大程度助力了PyTorch的推广与成功。在特定领域使用PyTorch生态中的工具包，能够极大地降低入门门槛，方便复现已有的工作。比如我们在讨论模型修改时候就用到了torchvision中预定义的resnet结构，而不需要自己重新编写。

二、torchvision is what(torchvision简介)？

" The torchvision package consists of popular datasets, model architectures, and common image transformations for computer vision. "

正如引言介绍的一样，我们可以知道torchvision包含了在计算机视觉中常常用到的数据集，模型和图像处理的方式，而具体的torchvision则包括了下面这几部分

• torchvision.datasets

包含一些计算机视觉所用到的数据

• torchvision.models

PyTorch官方也提供了一些预训练好的模型供我们使用

• torchvision.tramsforms

对输入的图片进行一定的转换调整

• torchvision.io

提供了视频、图片和文件的 IO 操作的功能，它们包括读取、写入、编解码处理操作

• torchvision.ops
• torchvision.utils

示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。

三、PyTorchVideo简介

近几年来，随着传播媒介和视频平台的发展，视频正在取代图片成为下一代的主流媒体，这也使得有关视频的深度学习模型正在获得越来越多的关注。然而，有关视频的深度学习模型仍然有着许多缺点：

• 计算资源耗费更多，并且没有高质量的model zoo，不能像图片一样进行迁移学习和论文复现。
• 数据集处理较麻烦，但没有一个很好的视频处理工具。
• 随着多模态越来越流行，亟需一个工具来处理其他模态。

直接使用pip来安装PyTorchVideo

pip install pytorchvideo

使用 PyTorchVideo model zoo

• PyTorchVideo提供了三种使用方法，并且给每一种都配备了tutorial
• TorchHub，这些模型都已经在TorchHub存在。我们可以根据实际情况来选择需不需要使用预训练模型。除此之外，官方也给出了TorchHub使用的 tutorial 。
• PySlowFast，使用 PySlowFast workflow 去训练或测试PyTorchVideo models/datasets.
• PyTorch Lightning建立一个工作流进行处理

四、torchtext简介

PyTorch官方用于自然语言处理（NLP）的工具包torchtext。自然语言处理也是深度学习的一大应用场景，近年来随着大规模预训练模型的应用，深度学习在人机对话、机器翻译等领域的取得了非常好的效果，也使得NLP相关的深度学习模型获得了越来越多的关注。

torchtext的主要组成部分

• 数据处理工具 torchtext.data.functional、torchtext.data.utils
• 数据集 torchtext.data.datasets
• 词表工具 torchtext.vocab
• 评测指标 torchtext.metrics

安装torchtxt

pip install torchtxt

总结

在最初的时候学习Pytorch的模型，Pytorch动态化，以及如何调整参数，可视化，以及模型如何能够封装调整，让我对Pytorch这一个深度学习的框架有了更深一层次的了解，我希望能够将这次学习到的知识能够应用在我现在自己的研究领域中