Matlab疑似因为数据过大而卡死了……求解决办法！

Posted 2023-05-05

1：想用Matlab做基于神经网络的文本分类
2：训练数据特征向量1000维，一共7000多篇文章（有监督学习）
3：使用Matlab自带的神经网络模型，（使用newff建立的网络模型）

我对神经网络和Matlab都算是freshman，估计是内存不够，不知道有什么解决办法……
目的就是使用神经网络完成分类，神经网络模型我懂，只是不想自己写了，如果有其他的软件包也可以，不一定要用Matlab

还希望各位大神不吝赐教拉……

如果是溢出,matlab会报错说out of memory的。
如果你是采用double类型的话，每个点要8Bytes，
所以总共占用3.2*10^9 Bytes = 3.2G
如果是single类型好一些 占用 1.6G
所以要看你电脑的内存了。(可以尝试增加虚拟内存)

matlab本身要占用一部分内存的
可以不启动jvm以节省内存：

"...matlab.exe" -nojvm 参考技术A 如果是溢出，matlab会报错说out of memory的。追问

嗯，那就是溢出了，在我强行停止了那个网络模型Train界面以后显示就是out of memory……那应该怎么办呢，为什么网络上一些其他使用Matlab计算图片分类一类的算法都不会溢出，我的就会呢？

参考技术B 多年的matlab和python优化经验，有时间可以把代码发给我看看：[e-mail]。 参考技术C 你试过当你文章数量有20篇时能用行出结果吗？追问

没有……不过一开始学习那个模型的时候，使用了一些很小的数据（训练数据维度是2，也就7、8组），当时一瞬间就运行完了，所以我估计程序没问题。
昨天晚上，我又用python自己写了一个神经网络，因为是自己写的，可以随时监测运行过程，结果运行速度太慢了……输入层，隐藏层，输出层分别为1000,50,10的网络迷行迭代50次，我计算了一下都需要4个多小时！！
不知道学长有没有什么好办法……>_<

追答

可能真的是数据量太大的问题，优化一下代码吧。尽量减少循环。

ztree在onCheck()方法中防止因触发联动关系导致页面多次渲染而卡死的问题

　　这几天在项目中遇到了要使用树形选择框, 而且要求比较复杂,具体叙述如下:

　　首先是有个选择框,左边选择是适用的商品,右边显示已经选择的商品.也就是说,左边每次勾选操作,都要触发一个事件去刷新右边的页面, 而且,左边商品如果选择大类,则右边显示大类,其下小类都不显示

也就是说有父子联动的关系. 刚开始的时候, 选择了使用bootStrap的tree_view这个插件,一开始还好,基本成型,后来测试时才发现问题,,当数据量很大的时候,,这个插件用起来很卡很卡,,而且又加了个带搜索功能,这个插件就显得有点鸡肋,这时才发现了ztree.

　　ztree虽然没有tree_view界面好看,但是其拥有强大的api,和渲染速度,,比前者好用多了.后面在数据渲染的时候遇到了一个问题,当时设置了父子级关联,然后再oncheck里面刷新右侧的显示界面.刚开始没啥问题,,后面当商品加到8000个的时候,,之前的问题又出现了,当我点击父级的时候,页面直接无响应.打上断点跟着,才发现ztree内部会由于关联关系,多次触发onchek事件,导致页面直接卡死.苦思良久都没得办法..直到无意中看到一个方法

                                                                  

beforeCheck,对就是这个方法,在oncheck触发之前的回调,,于是我想到了办法

 1 var temp="";
 2     var setting = 
 3         check: 
 4             enable: true,
 5             autoCheckTrigger: true
 6         ,
 7         data: 
 8             simpleData: 
 9                 enable: true
10             
11         ,
12         callback: 
13             onCheck: zTreeOnCheck,
14             beforeCheck: zTreeBeforeCheck
15         
16     ;
17 
18     function zTreeBeforeCheck(treeId, treeNode)
19         temp=treeNode;
20     
21     function zTreeOnCheck(event, treeId, treeNode) 
22     //debugger
23         if(treeNode.name!=temp.name)
24             return;
25         
26         refresh(treeNode);      
27     

用一个temp去存储将要触发oncheck()的节点对象, 然后再在oncheck()方法中判断触发这个方法的是不是你当前所勾选的节点,如果不是就直接pass,这样一来,下面的刷新页面方法就不会因为父子联动而多次触发了,

页面的响应速度也是杠杠的.现在真的发现,ztree真的是个强大的工具,速度快,功能全,有很多你想不到的方法.

最后附上ztree地址:http://www.treejs.cn/v3/api.php