文献阅读：迈向6G智简网络——基于语义通信的网络新范式

Posted 2023-04-01 一去不复返的通信er

目录

• • 动机：为什么作者想要解决这个问题？
  • 贡献：作者在这篇论文中完成了什么工作(创新点)？
  • 规划：他们如何完成工作？
  • 理由：通过什么实验验证它们的工作结果
  • 自己的看法

动机：为什么作者想要解决这个问题？

• 作者前期提出的 Ubiquitous-X 6G网络仍面临一些挑战：
  ①连接数量爆炸性增长
  ②传统分层网络协议灵活性降低
  ③具有差异化服务需求的新兴应用不断涌现等

• 现有的基于人工智能、具备语义觉知能力的通信技术在网络的各个协议层中均取得了一定的进展，但智能语义通信尚缺乏系统的框架性设计。因此，亟需构建一个内嵌语义智能（semantic intelligence,SI）并贯穿至各协议层的新型语义通信架构

贡献：作者在这篇论文中完成了什么工作(创新点)？

• 提出了全新的语义表征框架模型，即语义基（semantic base）

• 引入了一个智能高效的语义通信（intelligent and efficient semantic communication, IE-SC）网络架构
  IE-SC架构的核心：语义智能（semantic intelligence,SI）平面，实现语义环境表征、背景知识管理、语义推理和决策等

• 设计了三个语义赋能的全新抽象协议层——语义赋能的物理承载（semantic-empowered physical-bearing, S-PB）层、语义赋能的网络协议（semantic-empowered network protocol, S-NP）层和语义赋能的应用意图（semantic-empowered application-intent, S-AI）层，它们能够重塑现有的网络协议层。SI平面通过语义信息流（semantic information flow,S-IF）协调这三个语义协议层：
  ①S-AI层，辨识和分解用户的意图；
  ②S-NP层，实现语义赋能的智能网络交互协议；
  ③S-PB层，实现语义赋能的物理层信息传输。

规划：他们如何完成工作？

• 一、语义基

  香农经典信息理论提出了“Bit”，它不仅仅是一个信息度量单位，更代表着一个关于信息熵的表征和度量框架。
  根据这一观点，提出了“Seb”的概念，作为语义信息的一个表征框架。Seb提供了一种模块化和高度抽象化的方法来表示语义信息，从而使语义通信更加有效。
  关于语义基的解释见论文3.1，太抽象了，看不懂😭😭😭

• 二、 IE-SC 网络架构

  
  SI：负责语义表征、知识管理、语义决策和推理等功能，统领协调三个语义赋能的抽象协议层
  S-AI层：辨识和分解用户的意图
  S-NP层：实现语义赋能的智能网络交互协议
  S-PB层：实现语义赋能的物理层信息传输
  S-IF：环境信息和网络内部信息的高层抽象表示，其中环境信息包括物理环境、频谱环境、电磁环境等方面的信息，网络内部信息包括网络层信息、决策信息和其他相关的智能信息。

  2.1 SI平面

  （1）语义环境表征：通过过滤和语义提取处理内部和外部环境信息；环境信息在SI平面进行汇聚，经过语义分类后，形成环境表征。随后，语义信息被嵌入到S-IF中，并经SI平面和不同层的接口在网络中流动。
  （2）背景知识管理背景知识管理：网元和协议层中的背景知识，如上下文知识和环境信息等，会影响 S-AI、S-NP和 S-PB层的性能；因此，SI平面需负责协调背景知识交换。具体而言，SI平面可以在语义提取后对知识进行分类、整合和存储，再通过S-IF分享知识。
  （3）语义决策和推理语义决策和推理：SI平面能够评估网络性能并综合用户的不同意图。具体而言，S-AI层通过 S-IF将分解后的用户意图反馈给 SI平面。然后，SI平面综合这些意图和网络功能以评估网络可达的性能，据此展开网络各层运转的决策。最后，这些决策信息被传送到控制平面，以实现意图驱动的语义信息传输和网络管理

  2.2 S-PB层

  S-PB层主要包含下列模块：
  （1）语义编/译码：根据模块化设计方法，信息的编码和译码过程是在语义层面实现的，与系统中的其他模块（如信道编码）无关。
  （2）语义觉知的信源-信道联合编/译码：根据联合设计方法，信源编/译码和信道编/译码可以联合设计以支持语义编/译码。
  （3）信道信息的语义提取/利用：提取和整合信道状态/语义信息，如衰落、干扰和信噪比（SNR）等，促进语义信息的传输
  然而我根本看不懂这些的是啥，笑着看下去😭😭😭

  2.3 S-NP层
  S-NP层的主要功能是利用智能网络协议有效地服务上层的应用意图。应用意图与通信的目的密切相关。S-NP层的设计主要集中在语义交互机制和策略上。具体而言，S-NP层包括以下几个关键模块：

  （1）语义信息计算：该模块从 S-IF中提取意图信息，并从相关模块处获取知识。
  （2）语义协议解析：该模块分析当前协议的可用功能。
  （3）语义协议形成：该模块优化原始协议或形成一个新的协议以满足应用意图。
  （4）语义信息转换：该模块根据生成的协议对语义信息进行封装或转化。

  本文设计了一条在 IE-SC架构中构建 S-NP层的线路图：

  一般而言
  首先，可以根据交互意图来修改现有的分层协议以使其具备语义觉知能力；然后，逐步将这些协议整合成一个新的自主协议
  具体而言
  首先，在特定意图的指导下，Ubiquitous-X 6G框架中的“灵” ，可以使用语义信息计算和协议解析模块来感知和过滤与意图相关的协议功能，减少与意图无关的协议冗余。
  然后，“灵”可以基于意图相关的协议功能，针对特定意图以适当的优先级重新编排协议功能。语义协议生成模块可以产生具有明确语义意识的增强协议。具有强大智能的“灵”可以学习并积累各种增强协议的策略，利用学习到的策略、经验，新的意图可以被快速辨识并与 S-NP层中合适的语义觉知协议相匹配。
  最后，得益于人工智能技术，通过不断累积的知识，可望形成能够支持一般性意图的综合、自主协议。

  2.4 S-AI层
  每个通信用户或对象都有一个与特定网络服务有关的意图。用户的意图通常被分解并转化为网络的具体部署、配置或控制策略等，语义在用户意图的表达和网络对该意图的理解两方面均扮演着重要角色。S-AI层有三个主要功能：
  （1）意图挖掘：在收到来自用户/应用的原始意图表达后，S-AI层提取、分析、聚合和综合这些意图，以便进一步处理。
  （2）意图分解：提取的意图被分解为一组子意图，用以指导每层功能的执行。
  （3）语义表示：S-AI层对子意图集进行语义表示，促进SI平面的决策。
  

理由：通过什么实验验证它们的工作结果

• S-PB层中语义通信的三个案例
  ①基于上下文的文本语义编/译码方法

  见论文3.2.3

  ②工业场景下图像信源的语义编码

  见论文3.2.3
  

  ③基于深度学习的端到端语义编码/解码

  与模块化设计不同，一体化设计思路中信源编码和信道编码可以由神经网络联合设计、表征。
  最近有学者提出了深度学习赋能的语义通信系统（DeepSC）。语义发送端直接将信源信息映射为传输符号，该发送端由语义编码器和信道编码器组成，均由神经网络实现。在接收端，含噪信息由语义接收端恢复

• 语义通信网络的潜在应用场景(具体见论文4节)
  ①空-天-地-海一体化网络
  ②工业物联网
  ③智能无人机器网络

自己的看法

• 本文主要提出了语义表征框架模型—语义基，但未对语义基做具体说明，很抽象
• 构建了面向“智简”6G的“一面-三层”智能高效语义通信（intelligent and efficient semantic communication, IE-SC）网络架构，引入以下概念：
  语义赋能的物理承载（semantic-empowered physical-bearing, S-PB）层
  语义赋能的网络协议（semantic-empowered network protocol, S-NP）层
  语义赋能的应用意图（semantic-empowered application-intent, S-AI）层
  语义智能（semantic intelligence,SI）
  语义信息流（semantic information flow , S-IF）
• 后面的研究可能会在S-NP层或S-AI层展开

文献阅读：基于双中心迁移学习的卷积神经网络在乳腺癌DCE-MRI分子亚型预测中的应用

 

 【文献题目】Prediction of breast cancer molecular subtypes on DCE-MRI using convolutional neural network with transfer learning between two centers.

[Yang Zhang, Jeon-Hor Chen, Yezhi Lin, Siwa Chan, Jiejie Zhou, Daniel Chow, Peter Chang, Tiffany Kwong, Dah-Cherng Yeh, Xinxin Wang, Ritesh Parajuli, Rita S. Mehta, Meihao Wang, Min-Ying Su. Prediction of breast cancer molecular subtypes on DCE-MRI using convolutional neural network with transfer learning between two centers. European Radiology (2021) 31:2559–2567]

目的：应用传统卷积神经网络（CNN）和递归CNN的深度学习算法，在MRI上区分三种乳腺癌分子亚型。

方法：根据激素受体（HR）和HER2受体分为3个亚型：（HR+/HER2−), HER2+ 和三重阴性（TN）；利用传统CNN和卷积长短期记忆网络（CLSTM），以覆盖肿瘤ROI的最小包围盒作为深度学习的输入，在训练数据集中建立模型；然后，运用迁移学习对模型进行重新调整，并在测试集中进行评估。

结果：在训练数据集中，使用十倍交叉验证评估平均准确度，CLSTM的结果（0.91）远高于CNN（0.79）；将所建立的模型应用于独立测试数据集，其精度为0.4-0.5；通过调整参数进行迁移学习，在测试集1上，CNN和CLSTM的平均准确度分别达到0.91和0.83，在测试集2上，CNN和CLSTM的准确度分别从0.47和0.39提高到0.78和0.74。总体而言，迁移学习可以提高分类准确率30%以上。

结论：结合CLSTM的递归网络可以跟踪DCE采集过程中信号强度的变化，与传统CNN相比，在训练过程中获得了更高的精度。对于使用不同设置获取的数据集，可以应用迁移学习来重新调整模型并提高精度。

本研究目的是应用深度学习网络在MRI上区分乳腺癌的三种分子亚型，包括：HR阳性&HER2阴性（HR+/HER2−), HR阴性&HER2阴性（即三重阴性，TN），以及HER2阳性（HER2+）。以包含肿瘤和肿瘤周围组织的最小边界框作为输入，利用传统CNN和卷积长短期记忆（CLSTM）的递归网络，在DCE-MRI中考虑时间信息，并对所得结果进行比较。另外，通过迁移学习对模型进行重新调整，以研究其在不同临床环境下的普遍应用。

1、3D肿瘤分割：

利用模糊C均值（FCM）聚类算法，从第2帧DCE图像中减去对比前图像，在对比增强图上分割肿瘤；

2、深度学习网络：

（1）CNN

图1 卷积神经网络（CNN）结构示意图

共7层卷积，输入32*32*5，卷积核3*3，stride = 2，分别作用于第2, 4, 6个卷积层，每个卷积层后都有一个ReLU函数，以保证快速训练和稀疏表示；训练使用Adam优化器，采用 L2 正则化项，学习率为0.001。

（2）CLSTM

图2 卷积长短期记忆网络（CLSTM）结构示意图

CLSTM是一种递归神经网络（RNN），具有卷积层来实现输入变换和递归变换，该架构可以从一系列按时间顺序获取的图像中提取空间特征和时间特征。输入为32*32*1，5个DCE集分别输入，输出3个子类别。

3、模型评估和迁移学习

• 第一个模型是使用十折交叉验证的训练数据集开发的。每个病例都有一次机会被纳入验证组。
• 除3-亚型分类外，采用二元分类法绘制ROC曲线，并用DeLong检验对CNN和CLSTM的结果进行统计学比较。

为了考虑使用不同设置获得的数据集，应用迁移学习对参数进行微调，针对测试数据集开发了另一个模型。

• 在迁移学习中，用训练数据集建立的预训练模型作为基础，而不是在反向传播过程中使用随机He初始化方法，也就是说，使用训练数据集中训练网络的权值作为初始值。
• 采用10倍交叉验证法对测试-1的病例进行迁移学习训练，并对测试-2进行评价；然后反过来用测试-2进行训练，用测试-1进行评价。
• 这种替代方法可用于评估迁移学习方法的鲁棒性。

4、结果