如何将数据集下载到 Torch 中的任意位置?

Posted

技术标签:

【中文标题】如何将数据集下载到 Torch 中的任意位置?【英文标题】:How to download a dataset to arbitrary location in Torch? 【发布时间】:2016-11-03 22:59:40 【问题描述】:

如何将数据集下载到任意位置。 例如:

require "dp"
local datasource = dp.BillionWordscontext_size=5, train_file="train_tiny.th7"

尝试将数据集下载到~/,而我需要将其下载到/media/removable/SD

我如何在 Torch 中做到这一点?

【问题讨论】:

【参考方案1】:

好的,我通过阅读init.lua 了解 dp 包。 为了在运行脚本之前强制 Torch 将数据下载到某个自定义位置,请执行以下操作:

$ export TORCH_DATA_PATH="/my/new/location"

【讨论】:

以上是关于如何将数据集下载到 Torch 中的任意位置?的主要内容,如果未能解决你的问题,请参考以下文章

Torch,如何将多个 GPU 用于不同的数据集

如何将pickle文件中的数据集加载到PyTorch中?

如何将 numpy 数组列表加载到 pytorch 数据集加载器?

Transformer代码详解(-)-从数据处理到嵌入包含数据集可构造/数据嵌入和位置嵌入的详解

Transformer代码详解(-)-从数据处理到嵌入包含数据集可构造/数据嵌入和位置嵌入的详解

Transformer代码详解(-)-从数据处理到嵌入包含数据集可构造/数据嵌入和位置嵌入的详解