TensorFlow gfile文件操作详解
Posted kerngeeksund
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了TensorFlow gfile文件操作详解相关的知识,希望对你有一定的参考价值。
转:https://blog.csdn.net/u014182497/article/details/80681331
一、gfile模块是什么
gfile模块定义在tensorflow/python/platform/gfile.py,但其源代码实现主要位于tensorflow/tensorflow/python/lib/io/file_io.py,那么gfile模块主要功能是什么呢?
tf.gfile模块的主要角色是:
1.提供一个接近Python文件对象的API,以及
2.提供基于TensorFlow C ++ FileSystem API的实现。
C ++ FileSystem API支持多种文件系统实现,包括本地文件,谷歌云存储(以gs://开头)和HDFS(以hdfs:/开头)。 TensorFlow将它们导出为tf.gfile,以便我们可以使用这些实现来保存和加载检查点,编写TensorBoard log以及访问训练数据(以及其他用途)。但是,如果所有文件都是本地文件,则可以使用常规的Python文件API而不会造成任何问题。
以上为google对tf.gfile的说明。
二、gfile API介绍
下面将分别介绍每一个gfile API!
2-1)tf.gfile.Copy(oldpath, newpath, overwrite=False)
拷贝源文件并创建目标文件,无返回,其形参说明如下:
oldpath:带路径名字的拷贝源文件;
newpath:带路径名字的拷贝目标文件;
overwrite:目标文件已经存在时是否要覆盖,默认为false,如果目标文件已经存在则会报错
2-2)tf.gfile.MkDir(dirname)
创建一个目录,dirname为目录名字,无返回。
2-3)tf.gfile.Remove(filename)
删除文件,filename即文件名,无返回。
2-4)tf.gfile.DeleteRecursively(dirname)
递归删除所有目录及其文件,dirname即目录名,无返回。
2-5)tf.gfile.Exists(filename)
判断目录或文件是否存在,filename可为目录路径或带文件名的路径,有该目录则返回True,否则False。
2-6)tf.gfile.Glob(filename)
查找匹配pattern的文件并以列表的形式返回,filename可以是一个具体的文件名,也可以是包含通配符的正则表达式。
2-7)tf.gfile.IsDirectory(dirname)
判断所给目录是否存在,如果存在则返回True,否则返回False,dirname是目录名。
2-8)tf.gfile.ListDirectory(dirname)
罗列dirname目录下的所有文件并以列表形式返回,dirname必须是目录名。
2-9)tf.gfile.MakeDirs(dirname)
以递归方式建立父目录及其子目录,如果目录已存在且是可覆盖则会创建成功,否则报错,无返回。
2-10)tf.gfile.Rename(oldname, newname, overwrite=False)
重命名或移动一个文件或目录,无返回,其形参说明如下:
oldname:旧目录或旧文件;
newname:新目录或新文件;
overwrite:默认为false,如果新目录或新文件已经存在则会报错,否则重命名或移动成功。
2-11)tf.gfile.Stat(filename)
返回目录的统计数据,该函数会返回FileStatistics数据结构,以dir(tf.gfile.Stat(filename))获取返回数据的属性如下:
2-12)tf.gfile.Walk(top, in_order=True)
递归获取目录信息生成器,top是目录名,in_order默认为True指示顺序遍历目录,否则将无序遍历,每次生成返回如下格式信息(dirname, [subdirname, subdirname, ...], [filename, filename, ...])。
2-13)tf.gfile.GFile(filename, mode)
获取文本操作句柄,类似于python提供的文本操作open()函数,filename是要打开的文件名,mode是以何种方式去读写,将会返回一个文本操作句柄。
tf.gfile.Open()是该接口的同名,可任意使用其中一个!
2-14)tf.gfile.FastGFile(filename, mode)
该函数与tf.gfile.GFile的差别仅仅在于“无阻塞”,即该函数会无阻赛以较快的方式获取文本操作句柄。
二、gfile API介绍 下面将分别介绍每一个gfile API! 2-1)tf.gfile.Copy(oldpath, newpath, overwrite=False) 拷贝源文件并创建目标文件,无返回,其形参说明如下: oldpath:带路径名字的拷贝源文件; newpath:带路径名字的拷贝目标文件; overwrite:目标文件已经存在时是否要覆盖,默认为false,如果目标文件已经存在则会报错 2-2)tf.gfile.MkDir(dirname) 创建一个目录,dirname为目录名字,无返回。 2-3)tf.gfile.Remove(filename) 删除文件,filename即文件名,无返回。 2-4)tf.gfile.DeleteRecursively(dirname) 递归删除所有目录及其文件,dirname即目录名,无返回。 2-5)tf.gfile.Exists(filename) 判断目录或文件是否存在,filename可为目录路径或带文件名的路径,有该目录则返回True,否则False。 2-6)tf.gfile.Glob(filename) 查找匹配pattern的文件并以列表的形式返回,filename可以是一个具体的文件名,也可以是包含通配符的正则表达式。 2-7)tf.gfile.IsDirectory(dirname) 判断所给目录是否存在,如果存在则返回True,否则返回False,dirname是目录名。 2-8)tf.gfile.ListDirectory(dirname) 罗列dirname目录下的所有文件并以列表形式返回,dirname必须是目录名。 2-9)tf.gfile.MakeDirs(dirname) 以递归方式建立父目录及其子目录,如果目录已存在且是可覆盖则会创建成功,否则报错,无返回。 2-10)tf.gfile.Rename(oldname, newname, overwrite=False) 重命名或移动一个文件或目录,无返回,其形参说明如下: oldname:旧目录或旧文件; newname:新目录或新文件; overwrite:默认为false,如果新目录或新文件已经存在则会报错,否则重命名或移动成功。 2-11)tf.gfile.Stat(filename) 返回目录的统计数据,该函数会返回FileStatistics数据结构,以dir(tf.gfile.Stat(filename))获取返回数据的属性如下: 2-12)tf.gfile.Walk(top, in_order=True) 递归获取目录信息生成器,top是目录名,in_order默认为True指示顺序遍历目录,否则将无序遍历,每次生成返回如下格式信息(dirname, [subdirname, subdirname, ...],
[filename, filename, ...])。 2-13)tf.gfile.GFile(filename, mode) 获取文本操作句柄,类似于python提供的文本操作open()函数,filename是要打开的文件名,mode是以何种方式去读写,将会返回一个文本操作句柄。 tf.gfile.Open()是该接口的同名,可任意使用其中一个! 2-14)tf.gfile.FastGFile(filename, mode) 该函数与tf.gfile.GFile的差别仅仅在于“无阻塞”,即该函数会无阻赛以较快的方式获取文本操作句柄。
以上是关于TensorFlow gfile文件操作详解的主要内容,如果未能解决你的问题,请参考以下文章
AttributeError: module ‘tensorflow._api.v2.io.gfile’ has no attribute ‘get_filesystem’
TensorBoard:教程 Pytorch:模块 'tensorflow._api.v2.io.gfile' 没有属性 'get_filesystem'
Tensorflow报错:AttributeError: module 'tensorflow._api.v1.io' has no attribute 'gfile'