Torch-RNN运行过程中的坑 [1](读取Lua非空table,size为0)

Posted 油焖大黄瓜

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Torch-RNN运行过程中的坑 [1](读取Lua非空table,size为0)相关的知识,希望对你有一定的参考价值。

0、踩坑背景

执行Torch-RNN的时候,在LanguageModel.lua中的encode_string函数中,对start_text的各个character进行id映射编码,实现功能类似“北京天安门”-->“5 10 88 32 111”,方便后面的计算。

这个函数会利用一个全局的类似HashMap的table,hashmap中的key是character(char),value是id(int),涉及到一个从hashmap中按照key取值的操作,代码如下:

local idx = self.token_to_idx[token]
assert(idx ~= nil, \'Got invalid idx\')

但是每次运行到assert语句时,都会报错,返回的是nil。

我的训练数据集的规模足够大,同时编码正确的情况下,那么我就需要从几个方面debug:

  • 这个字典table文件压根没数据(本文测试的内容)
  • token确实在table中未命中

我对 self.token_to_idx 这个table类型的变量的大小,进行打印的时候,采用了多种方式:

print(table.getn(self.token_to_idx))
print(table.maxn(self.token_to_idx))
print(#self.token_to_idx)

但是输出都为0,奇了怪了,我用如下语句打印这个table,是有值的:

for k,v in pairs(self.token_to_idx) do
    print(k,v)
end

--------------------------------------------------------------------

那么这是为什么呢?明明table不为空,取table size的时候都是0?

1、lua中的table是什么,各种size函数的区别?

在上一篇《Torch-RNN运行过程中的坑 [0](一些基础概念)》中,我们了解到了lua的introduction中有一句:

自动内存管理;只提供了一种通用类型的表(table),用它可以实现数组,哈希表,集合,对象;

也就是说lua中的数组和hashmap两种数据类型是合并的,美其名曰通用类型的表。

table的API本篇不研究,抛一个链接:Lua table(表),我们先研究一下咱们碰到的问题,即如何取table的真实size。

下面有四种方法(均在Lua 5.14下进行):

  • table.getn(t)

返回table中元素的个数。给出一个调用例子:

> t1 = {1, 2, 3, 5};
> print(table.getn(t1))
4

> t2 = {[1]=1,[2]=2,[3]=3,[4]=5};
> print(table.getn(t2))
4

这不正和我们的要求吻合嘛,继续试试:

> t3 = {[1]=1,[2]=2,[3]=3,[6]=5};
> print(table.getn(t2))
3  --第4个元素下标为6,非连续

> t4 = {[1]=1,[2]=2,nil,[6]=5};
> print(table.getn(t4))
0  --有nil,长度异常

> t5 = {[1]=1,["2"]=2,nil,[6]=5};
> print(table.getn(t5))
0  --有nil,长度异常

> t6 = {[1]=1,["2"]=2,[6]=5};
> print(table.getn(t6))
1  --1后面没有2,没连续上

> t7 = {[1]=1,["2"]=2,[2]=5};
> print(table.getn(t7))
2  --即使1和2两个index没有写连上,但是table首先排序后,计数为2

> t8 = {["20"]=1,["2"]=2,["3"]=5};
> print(table.getn(t8))
0  --hashmap型长度异常

好像出问题了,在index不连续的情况下、在含有nil的情况下、有hashmap、数组与hashmap混搭等情况下getn返回的结果都不正常

----------------------------------------------------------------------------------------------------------

lua的table长度问题中,作者提出了table可以存储两种类型,一种是list类型(数组,key必为正整数),另外一种是record类型(hashmap,key为非正整数),getn函数统计的是连续的key为正整数的数目,所以我们看头两个例子是输出正常的。

所以没必要记这个规律,除了上面几个例子,getn肯定还有一些其他的规律没发现,不过记住这个getn函数要在有序正整数key的size计数时,输出才是正确的。。。

 

  • table.maxn(t)

Lua中的table函数库中总结的很好,在这里引用一下:

table.maxn()函数返回指定table中所有正数key值中最大的key值. 如果不存在key值为正数的元素, 则返回0. 此函数不限于table的数组部分.

  下面的例子也搬运一下:

> tbl = {[1] = "a", [2] = "b", [3] = "c", [26] = "z"}
> print(#tbl)
3  -- 因为26和之前的数字不连续, 所以不算在数组部分内
> print(table.maxn(tbl))
26 

> tbl[91.32] = true > print(table.maxn(tbl)) 91.32
  • #t

  #方法取size,经测试,效果上应该与getn()方法一毛一样。从1开始,连续整数key的元素个数(必须从1开始计数,结果才正常)。再抛几个例子,希望看官不要花眼。。。

> t5 = {[1]=1,[9]=2,["22"]=9,[2]=5};
> print(#t5)
2  --1和2连续

> t5 = {[1]=1,[9]=2,["22"]=9,[0]=5};
> print(#t5)
1  --从1开始计数,下一个就是9了,不连续

> t5 = {[2]=1,[9]=2,["22"]=9,[5]=5};
> print(#t5)
0  --没从1开始计数,非常遗憾
  • for遍历cnt++

  那么难道没有API可以对hashmap计数了吗?让我这个Java流选手写Lua情何以堪。。。最后找了一位同学同样的疑问,它使用了for循环对key-value计数。。。

function count(ht)
  local n = 0;
  for _, v in pairs(ht) do
    n = n + 1;
  end
  return n;
end

2、重点来啦,那么解决问题的方法?

相信大家看完文章,答案自然成竹于胸,也是很尴尬。那就是:

Lua中“hashmap型”table的元素计数,还得用for循环cnt++的方法。。。。

3、结论与感慨

该踩的坑还是得踩啊。。。

 

以上是关于Torch-RNN运行过程中的坑 [1](读取Lua非空table,size为0)的主要内容,如果未能解决你的问题,请参考以下文章

Android开发过程中的坑及解决方法收录

Github-jcjohnson/torch-rnn代码详解

机器学习中的矩阵分解LU分解QR分解SVD分解

I2C通信中的坑

记录自己运行eShopOnContainers过程中遇到的坑

jmeter过程中的坑