TCP数据段中的紧急指的是啥

Posted 2023-04-22

同的协议组成，实际上是一个协议组，TCP 用户数据报表协议(也
称作TCP 传输控制协议，Transport Control Protocol。可靠的主机到主机层协议。这里要先
强调一下，传输控制协议是OSI 网络的第四层的叫法，TCP 传输控制协议是TCP/IP 传输的
6 个基本协议的一种。两个TCP 意思非相同。)。TCP 是一种可靠的面向连接的传送服务。
它在传送数据时是分段进行的，主机交换数据必须建立一个会话。它用比特流通信，即数据
被作为无结构的字节流。通过每个TCP 传输的字段指定顺序号，以获得可靠性。是在OSI
参考模型中的第四层，TCP 是使用IP 的网间互联功能而提供可靠的数据传输，IP 不停的把
报文放到网络上，而TCP 是负责确信报文到达。在协同IP 的操作中TCP 负责：握手过程、
报文管理、流量控制、错误检测和处理（控制），可以根据一定的编号顺序对非正常顺序的
报文给予从新排列顺序。关于TCP 的RFC 文档有RFC793、RFC791、RFC1700。
在TCP 会话初期，有所谓的“三握手”：对每次发送的数据量是怎样跟踪进行协商使
数据段的发送和接收同步，根据所接收到的数据量而确定的数据确认数及数据发送、接收完
毕后何时撤消联系，并建立虚连接。为了提供可靠的传送，TCP 在发送新的数据之前，以
特定的顺序将数据包的序号，并需要这些包传送给目标机之后的确认消息。TCP 总是用来
发送大批量的数据。当应用程序在收到数据后要做出确认时也要用到TCP。由于TCP 需要
时刻跟踪，这需要额外开销，使得TCP 的格式有些显得复杂。下面就让我们看一个TCP 的
经典案例，这是后来被称为MITNICK 攻击中KEVIN 开创了两种攻击技术：
TCP 会话劫持
SYN FLOOD（同步洪流）
在这里我们讨论的时TCP 会话劫持的问题。
先让我们明白TCP 建立连接的基本简单的过程。为了建设一个小型的模仿环境我们假
设有3 台接入互联网的机器。A 为攻击者操纵的攻击机。B 为中介跳板机器（受信任的服务
器）。C 为受害者使用的机器（多是服务器），这里把C 机器锁定为目标机器。A 机器向B
机器发送SYN 包，请求建立连接，这时已经响应请求的B 机器会向A 机器回应SYN/ACK
表明同意建立连接，当A 机器接受到B 机器发送的SYN/ACK 回应时，发送应答ACK 建立
A 机器与B 机器的网络连接。这样一个两台机器之间的TCP 通话信道就建立成功了。
B 终端受信任的服务器向C 机器发起TCP 连接，A 机器对服务器发起SYN 信息，使
C 机器不能响应B 机器。在同时A 机器也向B 机器发送虚假的C 机器回应的SYN 数据包，
接收到SYN 数据包的B 机器（被C 机器信任）开始发送应答连接建立的SYN/ACK 数据包，
这时C 机器正在忙于响应以前发送的SYN 数据而无暇回应B 机器，而A 机器的攻击者预
测出B 机器包的序列号（现在的TCP 序列号预测难度有所加大）假冒C 机器向B 机器发送
应答ACK 这时攻击者骗取B 机器的信任，假冒C 机器与B 机器建立起TCP 协议的对话连
接。这个时候的C 机器还是在响应攻击者A 机器发送的SYN 数据。
TCP 协议栈的弱点：TCP 连接的资源消耗，其中包括：数据包信息、条件状态、序列
号等。通过故意不完成建立连接所需要的三次握手过程，造成连接一方的资源耗尽。
通过攻击者有意的不完成建立连接所需要的三次握手的全过程，从而造成了C 机器的
资源耗尽。序列号的可预测性，目标主机应答连接请求时返回的SYN/ACK 的序列号时可预
测的。（早期TCP 协议栈，具体的可以参见1981 年出的关于TCP 雏形的RFC793 文档）
TCP 头结构
TCP 协议头最少20 个字节，包括以下的区域（由于翻译不禁相同，文章中给出
相应的英文单词）：
TCP 源端口(Source Port)：16 位的源端口其中包含初始化通信的端口。源端口和
源IP 地址的作用是标示报问的返回地址。
TCP 目的端口(Destination port)：16 位的目的端口域定义传输的目的。这个端口指
明报文接收计算机上的应用程序地址接口。
TCP 序列号（序列码,Sequence Number）：32 位的序列号由接收端计算机使用，重
新分段的报文成最初形式。当SYN 出现，序列码实际上是初始序列码（ISN），而第一个数
据字节是ISN+1。这个序列号（序列码）是可以补偿传输中的不一致。
TCP 应答号(Acknowledgment Number)：32 位的序列号由接收端计算机使用，重
组分段的报文成最初形式。，如果设置了ACK 控制位，这个值表示一个准备接收的包的序
列码。
数据偏移量(HLEN)：4 位包括TCP 头大小，指示何处数据开始。
保留(Reserved)：6 位值域，这些位必须是0。为了将来定义新的用途所保留。
标志(Code Bits)：6 位标志域。表示为：紧急标志、有意义的应答标志、推、重置
连接标志、同步序列号标志、完成发送数据标志。按照顺序排列是：URG、ACK、PSH、
RST、SYN、FIN。
窗口(Window)：16 位，用来表示想收到的每个TCP 数据段的大小。
校验位(Checksum)：16 位TCP 头。源机器基于数据内容计算一个数值，收信息机
要与源机器数值结果完全一样，从而证明数据的有效性。
优先指针（紧急,Urgent Pointer）：16 位，指向后面是优先数据的字节，在URG
标志设置了时才有效。如果URG 标志没有被设置，紧急域作为填充。加快处理标示为紧急
的数据段。
选项(Option)：长度不定，但长度必须以字节。如果没有选项就表示这个一字节
的域等于0。
填充：不定长，填充的内容必须为0，它是为了数学目的而存在。目的是确保空
间的可预测性。保证包头的结合和数据的开始处偏移量能够被32 整除，一般额外的零以保
证TCP 头是32 位的整数倍。
标志控制功能
URG：紧急标志
紧急(The urgent pointer) 标志有效。紧急标志置位，
ACK：确认标志
确认编号(Acknowledgement Number)栏有效。大多数情况下该标志位是置位的。
TCP 报头内的确认编号栏内包含的确认编号(w+1，Figure：1)为下一个预期的序列编号，同
时提示远端系统已经成功接收所有数据。
PSH：推标志
该标志置位时，接收端不将该数据进行队列处理，而是尽可能快将数据转由应用
处理。在处理telnet 或rlogin 等交互模式的连接时，该标志总是置位的。
RST：复位标志
复位标志有效。用于复位相应的TCP 连接。
SYN：同步标志
同步序列编号(Synchronize Sequence Numbers)栏有效。该标志仅在三次握手建立
TCP 连接时有效。它提示TCP 连接的服务端检查序列编号，该序列编号为TCP 连接初始端
(一般是客户端)的初始序列编号。在这里，可以把TCP 序列编号看作是一个范围从0 到4，
294，967，295 的32 位计数器。通过TCP 连接交换的数据中每一个字节都经过序列编号。
在TCP 报头中的序列编号栏包括了TCP 分段中第一个字节的序列编号。
FIN：结束标志
带有该标志置位的数据包用来结束一个TCP 回话，但对应端口仍处于开放状态，
准备接收后续数据。
服务端处于监听状态，客户端用于建立连接请求的数据包(IP packet)按照TCP/IP
协议堆栈组合成为TCP 处理的分段(segment)。
分析报头信息： TCP 层接收到相应的TCP 和IP 报头，将这些信息存储到内存中。
检查TCP 校验和(checksum)：标准的校验和位于分段之中(Figure：2)。如果检验
失败，不返回确认，该分段丢弃，并等待客户端进行重传。
查找协议控制块(PCB)：TCP 查找与该连接相关联的协议控制块。如果没有找
到，TCP 将该分段丢弃并返回RST。(这就是TCP 处理没有端口监听情况下的机制) 如果该
协议控制块存在，但状态为关闭，服务端不调用connect()或listen()。该分段丢弃，但不返
回RST。客户端会尝试重新建立连接请求。
建立新的socket：当处于监听状态的socket 收到该分段时，会建立一个子socket，
同时还有socket和pub建立。这时如果有错误发生，会通过标志位来拆除相应
的socket 和释放内存，TCP 连接失败。如果缓存队列处于填满状态，TCP 认为有错误发生，
所有的后续连接请求会被拒绝。这里可以看出SYN Flood 攻击是如何起作用的。
丢弃：如果该分段中的标志为RST 或ACK，或者没有SYN 标志，则该分段丢弃。
并释放相应的内存。
发送序列变量
SND.UNA ： 发送未确认
SND.NXT ： 发送下一个
SND.WND ： 发送窗口
SND.UP ： 发送优先指针
SND.WL1 ： 用于最后窗口更新的段序列号
SND.WL2 ： 用于最后窗口更新的段确认号
ISS ： 初始发送序列号
接收序列号
RCV.NXT ： 接收下一个
RCV.WND ： 接收下一个
RCV.UP ： 接收优先指针
IRS ： 初始接收序列号
当前段变量
SEG.SEQ ： 段序列号
SEG.ACK ： 段确认标记
SEG.LEN ： 段长
SEG.WND ： 段窗口
SEG.UP ： 段紧急指针
SEG.PRC ： 段优先级
CLOSED 表示没有连接，各个状态的意义如下：
LISTEN ： 监听来自远方TCP 端口的连接请求。
SYN-SENT ： 在发送连接请求后等待匹配的连接请求。
SYN-RECEIVED ： 在收到和发送一个连接请求后等待对连接请求的确认。
ESTABLISHED ： 代表一个打开的连接，数据可以传送给用户。
FIN-WAIT-1 ： 等待远程TCP 的连接中断请求，或先前的连接中断请求的确认。
FIN-WAIT-2 ： 从远程TCP 等待连接中断请求。
CLOSE-WAIT ： 等待从本地用户发来的连接中断请求。
CLOSING ： 等待远程TCP 对连接中断的确认。
LAST-ACK ： 等待原来发向远程TCP 的连接中断请求的确认。
TIME-WAIT ： 等待足够的时间以确保远程TCP 接收到连接中断请求的确认。
CLOSED ： 没有任何连接状态。
TCP 连接过程是状态的转换，促使发生状态转换的是用户调用：OPEN，SEND，
RECEIVE，CLOSE，ABORT 和STATUS。传送过来的数据段，特别那些包括以下标记的数
据段SYN，ACK，RST 和FIN。还有超时，上面所说的都会时TCP 状态发生变化。
序列号
请注意，我们在TCP 连接中发送的字节都有一个序列号。因为编了号，所以可以
确认它们的收到。对序列号的确认是累积性的。TCP 必须进行的序列号比较操作种类包括
以下几种：
①决定一些发送了的但未确认的序列号。
②决定所有的序列号都已经收到了。
③决定下一个段中应该包括的序列号。
对于发送的数据TCP 要接收确认，确认时必须进行的：
SND.UNA = 最老的确认了的序列号。
SND.NXT = 下一个要发送的序列号。
SEG.ACK = 接收TCP 的确认，接收TCP 期待的下一个序列号。
SEG.SEQ = 一个数据段的第一个序列号。
SEG.LEN = 数据段中包括的字节数。
SEG.SEQ+SEG.LEN-1 = 数据段的最后一个序列号。
如果一个数据段的序列号小于等于确认号的值，那么整个数据段就被确认了。而
在接收数据时下面的比较操作是必须的：
RCV.NXT = 期待的序列号和接收窗口的最低沿。
RCV.NXT+RCV.WND：1 = 最后一个序列号和接收窗口的最高沿。
SEG.SEQ = 接收到的第一个序列号。
SEG.SEQ+SEG.LEN：1 = 接收到的最后一个序列号。 参考技术A 指的是当紧急指针代码位被设置时为有效字段，如果有效，这个值指明了当前序列号的八位组的依稀值，即第一个非紧急数据的起始位置。本回答被提问者采纳

大数据中的Spark指的是啥？

Spark是一种通用的大数据计算框架，和传统的大数据技术MapReduce有本质区别。前者是基于内存并行计算的框架，而mapreduce侧重磁盘计算。Spark是加州大学伯克利分校AMP实验室开发的通用内存并行计算框架，用于构建大型的、低延迟的数据分析应用程序。
Spark同样支持离线计算和实时计算两种模式。Spark离线计算速度要比Mapreduce快10-100倍。而实时计算方面，则依赖于SparkStreaming的批处理能力，吞吐量大。不过相比Storm，SparkStreaming并不能做到真正的实时。
Spark使用强大的函数式语言Scala开发，方便简单。同时，它还提供了对Python、Java和R语言的支持。
作为大数据计算框架MapReduce的继任者，Spark具备以下优势特性。
1，高效性
不同于MapReduce将中间计算结果放入磁盘中，Spark采用内存存储中间计算结果，减少了迭代运算的磁盘IO，并通过并行计算DAG图的优化，减少了不同任务之间的依赖，降低了延迟等待时间。内存计算下，Spark 比 MapReduce 快100倍。
2，易用性
不同于MapReduce仅支持Map和Reduce两种编程算子，Spark提供了超过80种不同的Transformation和Action算子，如map,reduce,filter,groupByKey,sortByKey,foreach等，并且采用函数式编程风格，实现相同的功能需要的代码量极大缩小。
3，通用性
Spark提供了统一的解决方案。Spark可以用于批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark MLlib）和图计算（GraphX）。
4，兼容性
Spark能够跟很多开源工程兼容使用。如Spark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器，并且Spark可以读取多种数据源，如HDFS、HBase、MySQL等。 参考技术A 谢谢邀请！
spark最初是由伯克利大学的amplab于2009年提交的一个项目，现在已经是Apache软件基金会最活跃的项目，对于spark,apache给出的官方定义是：spark是一个快速和通用的大数据处理引擎。可以理解为一个分布式大数据处理框架，spark是基于Rdd(弹性分布式数据集)，立足于内存计算，在“one stack to rule them all” 的思想引导下 ，打造了一个可以流式处理（spark streaming）,机器学习（mllib）,实时查询（spark sql）,图计算（graphx）等各种大数据处理，无缝连接的一栈式计算平台，由于spark在性能和扩展上快速，易用，通用的特点，使之成为一个一体化，多元化的大数据计算平台。
spark的一栈式优势
1 快速处理，比hadoop快100倍，因为spark是基于内存计算，而hadoop是基于磁盘计算
2易用性，spark支持多种语言
3 通用性强，可以流式处理，及时查询，图计算，机器学习
4 可以和hadoop数据集成，运行在yarn上，统一进行资源管理调度
5 活跃和壮大的社区
以上是关于spark的简单定义，希望我的回答可以采纳，谢谢 参考技术B 以计算PI为例子
进入spark的安装目录
单机local模式提交任务
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local examples/jars/spark-examples*.jar
yarn-client模式执行计算程序
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client examples/jars/spark-examples*.jar
Standalone模式计算
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://masterIp:7077 examples/jars/spark-examples*.jar
转载于:https://my.oschina.net/u/3264690/blog/1528169 参考技术C Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是--Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。