大想法-(收藏)

Posted 2021-02-13 ls1314

1. 第一弹

• AI科技评论

• ECCV2018|CornerNet：目标检测算法新思路（分享自知乎网）

• 视频中的目标检测与图像中的目标检测具体有什么区别 （分享自知乎网）

• 视频中的目标检测与图像中的目标检测具体有什么区别？ （分享自知乎网）

• 目标检测一个最新综述【格式与一般的按照paper年份来组织的不同，是按照不同组件和方法论来组织】

• 深度学习大讲堂 - 【CVPR2018】物体检测中的结构推理网络（分享自知乎网）

• https://mp.weixin.qq.com/s/9fFjVSiMg-LwddXfNJuKuw【图模型的实现，google】

• https://mp.weixin.qq.com/s/QfL8nK2M6eXtHtxSMaBh_w【graph~nets】，图模型的tensorflow实现

• 超智能体 - YJango的卷积神经网络——介绍（分享自知乎网）

• 深层神经网络设计理念（在线+视频+幻灯片）（分享自知乎网）

• 深度学习用于nlp的8个里程碑

• 深度学校最全的牛校公开课，每家都有各自的特点，至少看下他们的课件，开阔自己对DL的了解。必做

• 搜索方法的重大启发：Google里面，直接关键词加image，可以搜到大量有价值的博客，而且是那种图文并茂的高质量博客【否则它的图也不能被google检索到】

• 一个深度学习的资源

• Haozhang~nju那个线性代数考察机器学习面试者的知乎答案，给我最大的启发是：要把数学理论和编程语言的实现完美结合到自己身上才行，也就是说：学过的所有理论都要【自己主动搜索】找到那个理论在现实世界的编程语言实现。我学习数学理论不是为了改造数学理论，而是为了能看懂那些数学理论对应的编程语言实现，然后使用最高效的实现【比如使用QR分解解方程的matlab实现，而不是直接solve这种可能是最low的实现代码】。所以，学数学理论的目的和学DSA差不多，重要的是理解理论，把理论投影到现实，在现实的编程语言实现代码中【主动选择最高效理论对应的实现代码，选择那个最好的代码，具备这种慧眼】是学习数学理论的根本目的。

• 看haozhang_nju以及cvpr顶会论文的写作风格，分析并模仿他们的篇章结构，然后试着写一写小段落小短文啥的，在模仿中学习学术论文写作

• AI技术评论-如何学术写作

• NeurIPS 2018亮点选读：深度推理学习中的图网络与关系表征

• 如何评价 DeepMind 新提出的关系网络（Relation Network）？

• 顺便找下jifeng dai最新的那篇relation network for detection，以及对比，xilin chen，把几篇pdf放在一起，并且登记到mendeley必须待看！防止自己忘了就用medeley待看分类

• 【目标检测领域还有什么可以做的？】种树的左耳

• 学习不是线性的，更像是强化学习，观察，实施行动，获得反馈，再选择往哪走。现在知识爆炸，更需要精心筛选和静心专注。有三哥的资料其实是通用的知识库，但不一定是适合自己的学习表。每个人的天花板是不一样的。但，花费的时间我同意，若干年的付出是逃不了的，但不一定是埋头线性苦读xxx3年，我个人的读书经验是，分阶段设目标，反馈中前进。个人看法，仅供批评。

• 搜索论文要结合各方面资源：
  1/Google, google scholar, github, 知乎，博客，大佬的主页，大佬的博客[比如苏剑林的科学空间]，师兄的带逛，一些中文的资料书籍甚至百度文库。 2/搜论文还是google时，要多换几组关键词搜索，比如：anomaly detection, abnormal event detection, novelty detection, 至少要把词典里面翻译为(异常，异常的，不正常的，新颖的，奇特的，)十个词汇都试过，才能找到全部要找的论文。3/有时候也要根据线索找论文：比如这次找到iccv2017~abnormal event detection完全是因为搜到一个github代码讲的是一篇bmvc2018的实验，它提到了实现这篇iccv2017的论文。所以，这种偶然看到的线索也要条件反射拿来定位论文

2. 第二弹

• 小目标猜想【1】
  在two stage中，是不是在rpn中就没有处理好scale size，所以rpn就无法选到恰当的小目标候选区域，所以后面再怎么cnn也无法得到小目标的detection。是否考虑在rpn中加入attention，更加关注小目标，然后得到一系列的small obj的region proposals

• 1＊1的卷积降低计算量也绝对不是哆啦A梦的百宝袋。他的计算量的减小的同时也在减小input volume spatial resolution，损失了resolution一定程度上当然会降低精确度。换言之，这是用损失精确度的代价来降低计算量。所以这又是一个计算量和精确度的trade~ off。你需要通过实验精确度量到底怎样balance计算量和准确度。实验证明，googlenet那种程序的降低计算量的手法并不会对精确度造成很大的损失，损失可以忍受。所以googlenet的实验设计细节，就是我们学习怎么trade~ off的一个好例子。

• 1/最大子团！=极大连通子图，最大子团祥细请参考算法导论【我也查一下】。貌似可以简单理解为：一个大图中某个子图，这个子图是完全图。(包含的任何两个节点都相连，且图不能再加点，比如，三角形，完备四边形，完备五角星，等等)

  2/无向图的什么性质推导出了局部和全局的马尔科夫性，局部与全局马尔科夫性各有什么特点?【貌似马尔可夫性可以简单理解为：无向图中，不相邻的任意两点独立。所以全局与局部只是描述独立性质所满足的区域大小吗？待考证】

  3/明白了softmax的一些细节了：已知每个y_predict对应的score了，就可以简单做归一化了，为何还要，对每个y_predict对应的score先做指数化，再归一化? 答：最大熵原理【数学之美】，指数函数有放大缩小功能：让score大者更大，score小者更小，使得每个y_predict对应的score之间原本不是巨大的差距，变得很大。这样每个y_predict对应的指数化及归一化后的概率，之间的区分度就很大了。分类工作【挑选那个最大概率值对应的y_predict】就非常容易了。再次领悟【站在巨人肩膀上】的真理及其内涵：我今天看到这两篇关于post,crf的科普文章，再次证明我之前对于看论文以及写代码做实验的猜想：如果是经典已发表过已经出来的工作论文代码工具书籍PPT等等资源。正确的理解学习方法是：先找科普文，先找科普文，先找科普视频PPT,tutorial也可以啊。等把科普工作以及必须的框架和核心思路搞清楚心里有数了，才能去看原paper看源代码，这样学习才不懵逼，学习效率才是最高的。

• 关于object detection中region proposals的true label或者说grpund truth，为什么是 (让rp与手动打标的框的ground truth做iou，大于阈值的rp的ground truth就【被程序标记为】和手动打标框的ground truth相同。)? 因为，这么多rp，我不可能事先把所有可能的rp都标记下ground truth，所以天才的researcher们想到一个折中的办法：先打一些百分百正确的框的ground truth，然后通过计算rp与这些手工标记的框做重叠实验【更本质地说，是以重叠度iou作为指标评价rp与手工打标框的相似度】，如果足够相似，那么rp的ground truth就直接取手工打标框的ground truth. 这是一种【用有限样本的情况+相似性实验】来推导【无限样本的情况】，正是机器学习的精髓，也是transfer learning的精髓：【用有限样本的规律+无限样本与有限样本的相似性度量 来近似估计 无限样本的规律】