文字的起源与文本挖掘的前世今生
Posted 满天星天团
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了文字的起源与文本挖掘的前世今生相关的知识，希望对你有一定的参考价值。
人类从蒙昧、野蛮步入文明，是个漫长而坎坷的过程。
人类的文明，始于文字诞生。
万年前
古猿进化成人类
万年前
人类学会了使用火
万年前
人类发明了陶器
万年前
人类进入农耕文明，开始种植小麦水稻，驯化了牛羊狗鸡等家畜
年前
人类发明了青铜器
年前
人类发明了文字
年前
人类学会了冶炼铁器
年前
人类进入工业革命
年前
人类进入计算机时代
年前
人类进入互联网时代
有史以来发现最早的人类文字：库辛石板，始于财务记录。
最早出现的文字共有四种：楔形文字、圣书文、玛雅文、甲骨文。
库辛石板
在距今5400年前的两河流域，苏美尔人写在泥板上的一段财务纪录，穿越了亘古漫长的历史，成为当今文明的见证。
汉谟拉比法典，现代法律文本的起源。
左：汉谟拉比法典
右：汉谟拉比王
甲骨文是中国最早的象形文字，汉字的演变是由繁至简的过程。
楔形文字在古西亚地区广泛使用，象形文字则发源于埃及。
象形文字即刻画动物形态，圣书文、玛雅文、甲骨文都是象形文字。
甲骨文，早期的象形文字
甲骨文因篆刻于龟甲和兽骨上而得名，发掘于公元前1600年的殷商时期。它以象形手法描述事物，历经千年演化，汉字就成为了人类史上最早诞生的文字中，唯一没有消亡的文字，也是迄今为止唯一在使用的象形文字。
历经悠长岁月，汉字是如何演变的呢？
“达观”在不同年代的不同写法
罗塞塔石碑，是最早的“破译机”，是人类跨越语言障碍的象征。
罗塞塔石碑
文字语义理解四代的发展历程。
符号主义
语法规则
统计学习
深度学习
用词向量（Word2Vec）技术来获取相关词汇。
我们以《全唐诗》为例，来看计算机是如何对文字进行处理。
分析了《全唐诗》5万多首，我们发现，均每5首诗里有3.9首有“人”，充分体现了唐诗的以人为本。
季节方面，“春”的出现比“冬”多得多，出现颜色最高频率是白色，其次是绿和黄。
唐诗的出现的情绪词：77%是悲，17%是思。剩下情绪都是打酱油的存在。
其中悲、思的情感，在唐诗中有许多的替代词。
汉语中很多词都有替代词，其中替代词最多的，是“我”，有超过一千多种表达方式。
寡人、洒家、奴家、老夫、咱、俺、朕，怎么让计算机去理解不同的“我”的意思？
活字印刷和古腾堡印刷让文字大范围复制和传播，“知识使人自由”。
“清明时节雨纷纷，路上行人欲断魂。借问酒家何处有，牧童遥指杏花村。”清新隽永的诗句流传至今，是得益于印刷技术的发明。
印刷术是中国古代四大发明之一，从雕版印刷到活字印刷，为知识传播创造了条件。
而真正使印刷术流行起来的，是18世纪的古腾堡印刷术，让人类具备了大规模的文字传播能力。
18世纪，欧洲笼罩在天主教的阴影之下。
当时的普通老百姓，是没有资格阅读圣经的。圣经的生产，要靠手工抄写。抄写需要大量抄书的人，培养抄书的人又需要大量的书，这就陷入了先有鸡还是先有蛋的困境。
于是圣经只能由少数识字的人，誊写在羊皮纸上，往往一本圣经册子，就需要两年的时间。因此稀少而珍贵，只有神父可以阅读传诵。于是，天主教拥有了对圣经的绝对解释权，便通过宗教去控制人的思想。
印刷术发明后，纸质本的圣经大量传播，普通人才可以阅读。人们直接和上帝对话，并恍然大悟，摆脱了天主教思想上的洗脑控制，这也间接引发了马丁路德的宗教改革，创立“新教”基督教。
约翰内斯·古腾堡
2005年，德国曾评选过历史上最具影响的德国人，古腾堡排在第八，远在爱因斯坦和铁血宰相俾斯麦之前。
古腾堡印刷术大大加速了知识的传播效率和范围，保存下了人类许多珍贵的思想、故事、诗歌。摧毁了一个文化上封闭、技术上停滞不前的旧世纪，并带来了欧洲中世纪思想启蒙，唱响了“黑暗中世纪”的挽歌，使欧洲从蒙昧走向开化，大幅度加速了人类文明的进化速度。文化的先进促进了欧洲近现代在世界的霸主地位，这一切源于文字传播的便捷。
无论对于人类总体或国家，知识的增加促进文明的发展，会给个体带来更多的自由度。而文明的发展、知识的增加，又使人对人类自身的存在意义有更深的理解。某种角度上，文明即人类个体自由意识的发展史，知识的启蒙和普及又推动文明的进程。
知识使人自由，拥有知识，就拥有了获得自由的权利。人类文明璀璨如银河，知识，即是宇宙中浩瀚的星海。人类对文字处理方式的升级迭代，恰如划破寂寂长夜的流星，在茫茫宇宙中不过转瞬即逝，却照亮整片夜空。
来源：网络
编辑：满天星科技-Mishra
感谢耐心学习基础知识，喜欢的给小编点个赞
满天星科技，为您每日推荐值得最深度的好文章！欢迎各界科技爱好者联系我们，交流合作。
邮箱：sufeng668@163.com
以上是关于文字的起源与文本挖掘的前世今生的主要内容，如果未能解决你的问题，请参考以下文章
文本挖掘与AI结合，达观数据让机器真正读“懂”文字 | 爱分析访谈