在敏捷实践中加速成长(敏捷实践的方式)
883
2022-05-28
Pytorch IO提速
1. 把内存变成硬盘,把需要读的数据塞到里面去,加快了io。
Optimizing PyTorch training code
如何给你PyTorch里的Dataloader打鸡血
轻轻松松为你的Linux系统创建RAM Disk
把内存当硬盘,提速你的linux系统
Linux创建使用内存硬盘(RAM DISK)
2. 使用英伟达的 NVIDIA/DALI 模块
A library containing both highly optimized building blocks and an execution engine for data pre-processing in deep learning applications
Pytorch_example
博客: Introducing GPU Instances: Using Deep Learning to Obtain Frontal Rendering of Facial Images
DALI 文档 : dali-pytorch
3. 使用英伟达的 NVIDIA/apex 模块
4. 将原始图像保存为pt或hdf5文件
hdf5: Saving and loading a large number of images (data) into a single HDF5 file (图片转换成HDF5文件(加载,保存))
pt : https://discuss.pytorch.org/t/how-to-speed-up-the-data-loader/13740/3
5. 将原始数据保存为lmdb格式
博客:Efficiently processing large image datasets in Python
6. Python简易实现并行操作
一行 Python 代码实现并行
Linux pytorch
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。