Torch-RNN运行过程中的坑 [1]（读取Lua非空table，size为0）

Posted 2020-08-21 油焖大黄瓜

0、踩坑背景

执行Torch-RNN的时候，在LanguageModel.lua中的encode_string函数中，对start_text的各个character进行id映射编码，实现功能类似“北京天安门”-->“5 10 88 32 111”，方便后面的计算。

这个函数会利用一个全局的类似HashMap的table，hashmap中的key是character(char)，value是id(int)，涉及到一个从hashmap中按照key取值的操作，代码如下：

local idx = self.token_to_idx[token]
assert(idx ~= nil, \'Got invalid idx\')

但是每次运行到assert语句时，都会报错，返回的是nil。

我的训练数据集的规模足够大，同时编码正确的情况下，那么我就需要从几个方面debug：

• 这个字典table文件压根没数据（本文测试的内容）
• token确实在table中未命中

我对 self.token_to_idx 这个table类型的变量的大小，进行打印的时候，采用了多种方式：

print(table.getn(self.token_to_idx))
print(table.maxn(self.token_to_idx))
print(#self.token_to_idx)

但是输出都为0，奇了怪了，我用如下语句打印这个table，是有值的：

for k,v in pairs(self.token_to_idx) do
    print(k,v)
end

--------------------------------------------------------------------

那么这是为什么呢？明明table不为空，取table size的时候都是0？

1、lua中的table是什么，各种size函数的区别？

在上一篇《Torch-RNN运行过程中的坑 [0]（一些基础概念）》中，我们了解到了lua的introduction中有一句：

自动内存管理；只提供了一种通用类型的表（table），用它可以实现数组，哈希表，集合，对象；

也就是说lua中的数组和hashmap两种数据类型是合并的，美其名曰通用类型的表。

table的API本篇不研究，抛一个链接：Lua table(表)，我们先研究一下咱们碰到的问题，即如何取table的真实size。

下面有四种方法（均在Lua 5.14下进行）：

• table.getn(t)

返回table中元素的个数。给出一个调用例子：

> t1 = {1, 2, 3, 5};
> print(table.getn(t1))
4

> t2 = {[1]=1,[2]=2,[3]=3,[4]=5};
> print(table.getn(t2))
4

这不正和我们的要求吻合嘛，继续试试：

> t3 = {[1]=1,[2]=2,[3]=3,[6]=5};
> print(table.getn(t2))
3  --第4个元素下标为6，非连续

> t4 = {[1]=1,[2]=2,nil,[6]=5};
> print(table.getn(t4))
0  --有nil，长度异常

> t5 = {[1]=1,["2"]=2,nil,[6]=5};
> print(table.getn(t5))
0  --有nil，长度异常

> t6 = {[1]=1,["2"]=2,[6]=5};
> print(table.getn(t6))
1  --1后面没有2，没连续上

> t7 = {[1]=1,["2"]=2,[2]=5};
> print(table.getn(t7))
2  --即使1和2两个index没有写连上，但是table首先排序后，计数为2

> t8 = {["20"]=1,["2"]=2,["3"]=5};
> print(table.getn(t8))
0  --hashmap型长度异常

好像出问题了，在index不连续的情况下、在含有nil的情况下、有hashmap、数组与hashmap混搭等情况下getn返回的结果都不正常。

----------------------------------------------------------------------------------------------------------

lua的table长度问题中，作者提出了table可以存储两种类型，一种是list类型（数组，key必为正整数），另外一种是record类型（hashmap，key为非正整数），getn函数统计的是连续的key为正整数的数目，所以我们看头两个例子是输出正常的。

所以没必要记这个规律，除了上面几个例子，getn肯定还有一些其他的规律没发现，不过记住这个getn函数要在有序正整数key的size计数时，输出才是正确的。。。

 

• table.maxn(t)

Lua中的table函数库中总结的很好，在这里引用一下：

table.maxn()函数返回指定table中所有正数key值中最大的key值. 如果不存在key值为正数的元素, 则返回0. 此函数不限于table的数组部分.

　　下面的例子也搬运一下：

> tbl = {[1] = "a", [2] = "b", [3] = "c", [26] = "z"}
> print(#tbl)
3  -- 因为26和之前的数字不连续, 所以不算在数组部分内
> print(table.maxn(tbl))
26 


> tbl[91.32] = true
> print(table.maxn(tbl))
91.32

• #t

　　#方法取size，经测试，效果上应该与getn()方法一毛一样。从1开始，连续整数key的元素个数（必须从1开始计数，结果才正常）。再抛几个例子，希望看官不要花眼。。。

> t5 = {[1]=1,[9]=2,["22"]=9,[2]=5};
> print(#t5)
2  --1和2连续

> t5 = {[1]=1,[9]=2,["22"]=9,[0]=5};
> print(#t5)
1  --从1开始计数，下一个就是9了，不连续

> t5 = {[2]=1,[9]=2,["22"]=9,[5]=5};
> print(#t5)
0  --没从1开始计数，非常遗憾

• for遍历cnt++

　　那么难道没有API可以对hashmap计数了吗？让我这个Java流选手写Lua情何以堪。。。最后找了一位同学同样的疑问，它使用了for循环对key-value计数。。。

function count(ht)
  local n = 0;
  for _, v in pairs(ht) do
    n = n + 1;
  end
  return n;
end

2、重点来啦，那么解决问题的方法？

相信大家看完文章，答案自然成竹于胸，也是很尴尬。那就是：

Lua中“hashmap型”table的元素计数，还得用for循环cnt++的方法。。。。

3、结论与感慨

该踩的坑还是得踩啊。。。