AI时代来临，如何把握住文档处理及数据分析的机遇

Posted 2023-04-07 呆呆敲代码的小Y

AI时代来临，如何把握住文档处理及数据分析的机遇

• • 前言
  • 一、生成式人工智能与元宇宙
  • 二、面向图像文档的复杂结构建模研究
  • 三、大型语言模型的关键技术和实现
  • • ChatGPT 介绍
    • ChatGPT的三个关键技术
  • 四、ChatGPT与文档处理未来
  • 总结

---

前言

在3月18日，由中国图象图形协会（CSIG）主办，合合信息、CSIG文档图像分析与识别专业委员会联合承办的“CSIG图像图形企业行”活动将正式举办，特邀来自上海交大、厦门大学、复旦、中科大的顶尖学府的学者与合合信息技术团队一道，以直播的形式分享文档处理实践经验及NLP发展趋势，探讨ChatGPT与文档处理未来。

所以本篇文章就来对此次直播内容做一个整理复盘，谈一谈直播的主要内容及观点探讨。

---

一、生成式人工智能与元宇宙

展会开场主要介绍了生成式人工智能与元宇宙相关的内容。

主要分为元宇宙生成式人工智能的思考、生成式世界模型 及 生成式模拟数字人几部分。

核心内容可以参考下面整理的脑图：

该部分主要介绍了 生成式人工智能为构建基于视觉直觉的物理世界模型和虚拟数字人提供了可行的途径。

看完这部分让我感受最深刻的地方就是现在人工智能的发展的势头已经愈发不可收拾，自从OpenAI 发布的人工智能模型ChatGPT发布之后，在此让人工智能站在了风口之上。所以在当前这个背景下，我们要对这部分的内容多做研究，如果把握住这个机遇，未来肯定会对自身及社会的发展都有一个极大的好处。

未来，我们可以期待ChatGPT在更多领域得到应用，例如金融、医疗、法律等。这将有助于推动人工智能技术的发展，促进人机交互和智能化生产的进一步发展。

同时 通过数学、物理、信息论、脑认知、计算机等学科交叉，进一步巩固生成式人工智能的基础理论。
“物理+数据”联合驱动。“虚拟+现实”深度融合。生成式AI直觉有望加速科学发现、物理合成、元宇宙构建。

---

二、面向图像文档的复杂结构建模研究

这部分主要介绍了文档智能结构化研究背景，基于部首建模的汉字识别、生成与测评，基于SEM的表格结构识别，基于文档预训练模型的篇章级文档结构化。

文档智能结构化研究背景部分

基于部首建模的汉字识别、生成与测评部分

基于SEM的表格结构识别部分

基于文档预训练模型的篇章级文档结构化

通过这部分内容可以让我们了解到在人工智能领域遇到图像文档时需要怎样处理，以及在面对复杂的结构时该怎样实现具体的功能逻辑等。

同时也让我们了解到一些汉字识别、文表格结构识别及文档结构化训练模型的原理和概念，这对于以后在使用人工智能与文档处理时有极大的意义。

---

三、大型语言模型的关键技术和实现

大型语言模型如今已经引起了公众的注意，短短五年内，Transforme等模型几乎完全改变了自然语言处理领域。此外，它们还开始在计算机视觉和计算生物学等领域引发革命。

而在说到语言模型时，那就不得不提到ChatGPT了。

ChatGPT 介绍

该段介绍来自“百度百科”
ChatGPT是美国人工智能研究实验室OpenAI新推出的一种人工智能技术驱动的自然语言处理工具，使用了Transformer神经网络架构，也是GPT-3.5架构，这是一种用于处理序列数据的模型，拥有语言理解和文本生成能力，尤其是它会通过连接大量的语料库来训练模型，这些语料库包含了真实世界中的对话，使得ChatGPT具备上知天文下知地理，还能根据聊天的上下文进行互动的能力，做到与真正人类几乎无异的聊天场景进行交流。ChatGPT不单是聊天机器人，还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

ChatGPT是一种基于人工智能技术的自然语言处理模型，它是由OpenAI公司开发的。它可以模拟人类的对话，并根据用户输入的问题进行回答。它使用了深度学习和自然语言处理技术，可以理解并生成自然语言。
这个模型的潜力是巨大的，未来可以在各个领域产生深远的影响。

ChatGPT的三个关键技术

1. 情景学习（In-context learning）
   大模型的涌现能力，改变传统学习范式。
   改变了之前需要把大模型用到下游任务的范式。对于一些 LLM 没有见过的新任务，只需要设计一些任务的语言描述，并给出几个任务实例，作为模型的输入，即可让模型从给定的情景中学习新任务并给出满意的回答结果。这种训练方式能够有效提升模型小样本学习的能力。

2. 思维链（Chain-of-Thought，CoT）
   大模型的涌现能力，打破模型参数约束。
   对于一些逻辑较为复杂的问题，直接向大规模语言模型提问可能会得到不准确的回答，但是如果以提示的方式在输入中给出有逻辑的解题步骤的示例后再提出问题，大模型就能给出正确题解。也就是说将复杂问题拆解为多个子问题解决再从中抽取答案，就可以得到正确的答案。

3. 自然指令学习（Learning from Natural Instructions）
   人在环路增强，对齐人类意图。
   早期研究人员希望把所有的自然语言处理任务都能够指令化，对每个任务标注数据。这种训练方式就是会在前面添加一个“指令”，该指令能够以自然语言的形式描述任务内容，从而使得大模型根据输入来输出任务期望的答案。该方式将下游任务进一步和自然语言形式对齐，能显著提升模型对未知任务的泛化能力。

对话式大型语言模型（类ChatGPT模型）的定义如下：

ChatGPT无疑是语言模型中最亮眼的那颗星，其充分的满足对大型语言模型的各项定义。

构建一个大语言模型前可以先从下面四个维度来衡量大语言模型的能力：

• Know Knowns：LLM 知道它知道的东西。
• Know Unknowns：LLM 知道它不知道哪些东西。
• Unknow Knowns：LLM 不知道它知道的东西。
• Unknow Unknowns：LLM 不知道它不知道的东西。
  

说到这里，不得不提国内首个对话式大型语言模型 MOSS，从 2 月 21 日发布至公开平台，便引起高度关注。“对话式大型语言模型 MOSS 大概有 200 亿参数。和传统的语言模型不一样，它也是通过与人类的交互能力进行迭代。

MOSS 是基于公开的中英文数据训练，通过与人类交互能力进行迭代优化。目前 MOSS 收集了几百万真实人类对话数据，也在进一步迭代优化，也具有多轮交互的能力，所以对于指令的理解能力上，通用的语义理解能力上，和ChatGPT 非常类似，任何话它都能接得住，但它的质量没有 ChatGPT 那么好，原因在于模型比较小，知识量不够。

且ChatGPT的出现对人工智能的影响是不言而喻的，所以也被称为人工智能的里程碑。

---

四、ChatGPT与文档处理未来

关于人工智能领域也让我想到了关于文档图像处理的内容，在之前的文章中有写过一篇文章介绍了【图像处理技术】的一些相关内容。

文章中的技术是使用了合合科技的产品，这里也是再次给大家推荐一个平台：合合信息智能文字识别服务平台Textin

这是一个智能文字识别云服务平台，笔者在本文中用到的PS检测，摩尔纹去除也都是使用的该网站的一个产品实现的，也可以看到效果还是很棒的！

尤其是ChatGPT的出现让数据分析领域也得到了一个很大的帮助，对文档处理的能力也是更上一层楼。
ChatGPT可以帮助处理大量的文本数据，这将有助于数据分析领域的发展，也可以帮助企业和研究人员更加方便地处理文本数据、提取有用的信息。

而现如今随着人工智能的越发强大，之前做的不完善或者产品功能不够强劲的地方肯定可以做的更加完美。
相信相关行业领域的大能们也一定可以不辜负我们的期望，将其自身的产品打磨的更佳优秀，从而对大众带来福音。

---

总结

• 看完这场直播下来让我感触颇深，我知道人工智能领域在当今社会的发展速度是令人惊人的。
• 当看到OpenAI发布ChatGPT时，相信多数人还是会感受到很震惊的，没想到AI也可以如此的智能化。
• 但当GPT-4发布后更是向市场抛出一个重头戏，GPT-4的回答准确性不仅大幅提高，还具备更高水平的识图能力，且能够生成歌词、创意文本，实现风格变化。
• 此外，GPT-4的文字输入限制也提升至2.5万字，且对于英语以外的语种支持有更多优化。
• 而且结合直播中介绍的生成式人工智能与元宇宙，面向图像文档的研究等内容的介绍，让我们不得不感叹时代科技发展的魅力。
• 也是要时刻惊醒自己要与时俱进，多多学习新的技术与理念，不要做被时代丢下的弃子。

如山洞察国内企业超越红帽Oracle等巨头的时代来临？

近日，国科嘉和2017年度合伙人大会在京隆重举行。大会上，国科嘉和执行董事吴一洲与北京易捷思达（EasyStack，如山资本A轮领投）CEO陈喜伦等一起探讨了大数据、云计算与信息安全企业面临的创业机遇与挑战，本文将圆桌内容进行了梳理分享。

国科嘉和大数据、云计算与信息安全专场圆桌

1

中国是否能够出现一个像Cloudera这样国际级的开源软件公司？开源加上云计算对中国软件公司的机会是什么？

易捷思达CEO陈喜伦：任何事情都有时代背景，回忆一下中国改革开放以来的信息化时代，我们把中国的软件分两个阶段，第一阶段是1990年到2010，中心是IOE，以IBM、微软、红帽这些企业为主。

第二个阶段就是2010年至今，格局重塑，在云计算来临、新兴行业渗透、以及历年来外资培育的技术管理人才三大红利带动下，中国可以做成世界级领先的产品和技术。我十分有信心，这批崛起的创业公司、以及阿里、华为等大型企业，将在2020年成为中国自主可控的主力军，而且这些企业也会开展国际化，中国企业也会在那个时候真正走出去，首先在大背景下看问题。

易捷思达CEO陈喜伦

这个问题其实也问得很好，开源很火，安卓、OpenStack是被普遍运用的。 但如今世界上最成功的开源企业就是红帽，一年20多亿美元的收入，150亿美元估值。我在离开IBM那一天，我们就在考虑这个事情，出来兴办一家红帽，还是兴办一家满足新时代需求的公司。红帽一百多亿估值的商业形式靠开源，开源社区的代码奉献，交付的是一个一个软件的孤岛。我如今要做的是什么？我们希望交的每个东西都连在后端，只有一个软件，不论公有还是私有云。

我们认为红帽的商业模式是过去的商业模式，云时代的开源商业模式是类似华为、小米和OPPO的安卓系统。 我们基于开源提供的是真正有价值的产品，我们能不能把开源的项目基于开源的东西做的十分好用，同时又牢靠，同时还能继续跟随社区晋级。既可以应用开源社区个人的临时创新，同时把创业企业的价值加到产品上，靠产品博得市场。

2

在云计算除了以部署方式分类（私有云、公有云）还有其他哪些更大的，我们看不到但是的确现实存在的云计算市场？

迅达云CEO于浩：“如今有个词叫混合云，你原有的IT架构仍然存在，还要接入到云平台，这个扩展局部，不扩展的局部接入到云外面，原有的架构和如今聚集了全世界身经百战的最优秀的创业导师，汇集了全世界各国最优质的产业资源，召唤全球未来的商业领袖。云架构之间也要用SDN的方式接入起来。云的零散想支持大规模使用，实践上是不时零散集成。所以为什么我们自主可控，缘由就是在这里。

迅达云成从定位的角度来讲，我们是协助客户处理扩展性的成绩，这个话落实到日常生活和任务当中是有什么不同？比方说我们客户，跟我们要一个直播，我们不止给他一个直播后台的方案，一切端的适配，转码，包括最初的存储给到客户。

3

云的数据库是什么样的，发展趋向是什么样的，为什么有这个革新？

酷克数据CEO简丽荣：数据仓库、数据库其实属于两层的。数据库对上要顺应各种数据使用的需求，对下需求搭建在基础设备下面。近几年数据库还是数据仓库很多革新是由于对上的数据使用发作了革新，所以底下的基础设备也发生了革新。

我们先说一下数据使用的革新，数据使用的革新分两个方面，其中一个方面数据自身也发生变化了， 30年前甚至10年前左右，数据库和数据仓库的数据都是零散或许ERP这些数据。这些数据都是格式定义十分明白的结构化数据。而且数量不是特别大，十几TB已经很了不起了。

我们明天面临的数据都是一种网站、挪动设备、物联网的日志，包括天上飞的航空发起机、地上跑的新动力汽车，它们的传感器其实也是在每时每刻搜集数据，并且把数据往云端下面传。而且发生的数据量从几十TB甚至上百TB的量。

另外人们运用数据的方式也在发作变化，以前都是用来做报表，如今面临的很多客户都是在数据仓库不知道从何时开始，个人信用渗透到生活的方方面面。图书、数码产品免押金借用，办理签证无需银行流水证明，甚至租车住酒店都不需要交付押金……做一些数据发掘或许探究性的任务。特别我们在私有云上的客户其实曾经把数据剖析的才能变成一种效劳提供应他的客户，数据运用场景曾经发作很大的变化。 这是数据使用的变化，讲完数据使用的变化可以再讲讲底层基础设备的变化。

这几年基础设备最大变化就是云计算的普及，云计算不是复杂的计算数据虚拟化或许网络虚拟化或许存储虚拟化，完全是改动了大家运用IT的方式，包括一些按需付费的商业形式，还有弹性运用的需求等。这实践上是一个挑战，同时也是一个机遇，特别是对我们这样的创业公司来说，总得来说上升使用的革新和底层基础设备的革新推进两头层的数据库和数据仓库的革新。

我以为数据使用的革新，能催生一批小而美的创业公司。 我很难想象这种小而美的产品创业公司可以去主流上应战主流的Oracle的市场位置，我反而更看好围绕云计算重构数据库或许数据仓库的商业形式包括架构。 

4

不论是内存数据库还是平台常用的交互数据库难度系数是十分高的，这就是为什么二三十年根本上是寡头市场，我们究竟有没无机会在国际上弯道超车的可能性？

柏睿数据梁雪青：它不只仅是弯道超车，我认为是一个换道超车，就是由于大数据范畴我们数据流曾经百万倍的增长，曾经是原有的传统数据库或许传统的数据引擎不可以处置的。我们怎样支持它，怎样抢这个硬骨头，应该是继续不时对数据停止精准化的处置，最初使这个处置才能不时地优化。

像数据仓库它这种自主可控当前就有很大益处，甚至如今好多的军方也来找我们，包括坦克数据，雷达数据、无线电数据，这些数据都是海量的，实时发生TB级数据的量十分快。其他包括互联网、交通数据，共同剖析这些大数听说明了什么。在之后的运转进程中，我们还希望可以在政府建立一些智慧大脑。

甲骨文是一个独霸数据库30年的国际巨头。我们中国如今不只成为国际规范，我们下一步的数据库内人工智能的体验也在逐步提升。假如中国能本人出一个甲骨文这样的公司，我希望就是我们柏睿。

5

除了公共安全，如今企业怎样用安全技术也很迷茫。少量的企业是没有安全CSO的，更多的是CTO，企业应该怎样运用新时代的安全技术？

瀚思安信CEO高瀚昭高瀚昭：  这两年用大数据、机器学习进步企业信息安全防护才能逐步成熟，我觉得如今是地利天时人和处理这个事情。攻防这个方面，国际我看到攻击的程度和国际国外差距不大。防的方面倒过去了，防实质上是一个风险的均衡。以前信息安全都是毁坏，业务中缀一阵子，当然损失也很大，但是它不会出人命。接上去讲自动驾驶，无人机包括各种智能化的东西，这个出成绩相对是大成绩。

在安全范畴，前年300亿市场规模，去年是400亿元，往年500亿元，一年100亿的生长。我深信将来是爆发式的生长。 包括IoT的推出， 万物互联时代到来，每个新的联网设备都会带来新的安全隐患，而这些安全隐患不像以前只影响业务，更会影响大家的生命财富安全，我觉得这个是更大的课题。

6

保密是信息安全外面一个更独立的行业，由于这个行业其实离这个政府、国度政策更近的行业，作为一个企业来说，怎样掌握这个时机，把保密这个事情从政务网推行到更大的企业市场？

时代亿信创始人章勇：安全行业，特别是保密行业，本身保密就是保国家的秘密，保人身安全，不能泄密。我可能更多谈的是安全行业多一点。国家政府及军队都有用到时代亿信的身份鉴别、数据安全的产品。信息安全行业绝对是政策导向的，我的创业体会是：相信政府、靠近政府、积极跟政府反馈。

 

杭州思看科技有限公司是由海归博士、行业专家和青年科技骨干组成的高新技术企业。公司坐落于浙江杭州未来科技城，主要从事智能视觉检测设备的研发、生产和销售，是目前行业内专业的三维数字化设备供应商之一。公司的研发团队由美国海归博士带头，依托浙江大学、浙江工业大学雄厚的科研实力，并与欧洲知名光学计量企业挪威迈卓诺（Metronor）成立联合研发中心，开发出一系列具有自主知识产权、国内外优秀的3D数字化设备，包括手持式激光三维扫描仪、跟踪式三维扫描仪和全局摄影测量系统等。其中，思看科技研发的PRINCE系列和AXE系列三维扫描仪在三维数字化领域获得广泛关注。

MORE  ▎推荐阅读

关于如山资本

如山资本（CRESTVALUE）是一家按照市场化运作，专业从事高科技、成长性企业股权投资的创业投资机构，专注于大安全、大智能、大健康、新汽车（智能化、电动化、轻量化）等新兴产业领域投资。 

公司始创于 2007 年，凭借近几年专业化运作、先进的投资理念和卓越的投资业绩，被选为中国投资协会股权和创业投资专业委员会副会长单位、中关村股权投资协会副会长单位，浙江省创业投资协会副会长单位， “融资中国2016-2017中国最具潜力投资机构”，“2017中国金砖创投”，并连续七年被评为“浙江十强创投机构”。

自成立以来，公司致力于“给创新一个机会、给世界一个惊喜”，秉承“好行业、好团队、好技术、好运营、好模式”的五好投资理念，重点关注“赛道、选手、时机”相结合的投资思路，以“是否有利于国家治理和社会稳定、是否有利于产业转型升级、是否有利于人民生活水平提高”为投资原则，积极回报投资者和社会，现已经发展成为一家独具特色且具有国际化视野的中国本土知名创业投资公司。

创业路上，守护你的成长！

BP邮箱：[e-mail] 

网址：www.crestvalue.com