万字详解！搜狐智能媒体基于 Zipkin 和 StarRocks 的微服务链路追踪实践
Posted StarRocks
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了万字详解！搜狐智能媒体基于 Zipkin 和 StarRocks 的微服务链路追踪实践相关的知识，希望对你有一定的参考价值。
, , , , , , , , , , service_name_idx (p20220104 [(p20220105 [(= = = = = = = = = = ( p20220104 [(p20220105 [(= = = = = = = = = = ROUTINE zipkin_routine_load zipkin kind, localEndpoint_serviceName, traceId, tmp_tag_error, tag_error = error_msg = tmp_tag_error, dt = from_unixtime(/ hr = from_unixtime(/ = from_unixtime(/ = = = = = = = = = KAFKA ( = = );
.addSource(getKafkaSource()) hr, SQL 查询的结果如下图所示，在超时的 Trace 请求中，性能瓶颈服务或服务间调用的比例分布。 实践效果 — 通过 Zipkin Server 查询 StarRocks，获取的服务拓扑信息如下图所示： 图 14 提升微服务监控工程效率 Metric 和 Logging 数据采集，很多需要用户手动埋点和安装各种采集器 Agent，数据采集后存储到 ElasticSearch 等存储系统，每上一个业务，这些流程都要操作一遍，非常繁琐，且资源分散不易管理。 而使用 Zipkin + StarRocks 的方式，只需在代码中引入对应库 SDK，设置上报的 Kafka 地址和采样率等少量配置信息，Tracing 便可自动埋点采集，通过 zikpin server 界面进行查询分析，非常简便。 总结与展望 — 后续有几个优化点，可以进一步提升链路追踪系统的分析能力和易用性： 参考文档 — 《云原生计算重塑企业IT架构 - 分布式应用架构》: What is Upstream and Downstream in Software Development? Metrics, tracing, and logging: The 3 pillars of system observability:logs, metrics and tracing: observability 3 ways: logging, metrics and tracing: Dapper, a Large-Scale Distributed Systems Tracing Infrastructure: Jaeger:www.jaegertracing.io Zipkin:https://zipkin.io/ opentracing.io: opencensus.io: opentelemetry.io: Microservice Observability, Part 1: Disambiguating Observability and Monitoring: How to Build Observable Distributed Systems: Monitoring and Observability: Monitoring Isn\'t Observability: Spring Cloud Sleuth Documentation: 5G车联网技术主要涉及车载设备、路侧设施、网络、云平台、安全和高精度定位。车联网车载设备有前装和后装不同的产品形态；路侧设施包括4G/5G蜂窝基站通信基础设备、C-V2X专用通信基础设施、路侧智能设施、MEC（多接入边缘计算/移动边缘计算）设备；网络层面在5G时代会重点部署网络切片；云平台考虑分级部署，并建设云控平台；安全方面将从网络通信、业务应用、车载终端和路侧设备三个方面保障；高精度定位通过GNSS或其差分补偿RTK、无线电（例如蜂窝网、局域网等）、惯性测量单元、传感器以及高精度地图实现。 本文节选自《5G与车联网技术》一书的第5章，部分内容有所删减。本书主编吴冬升，东南大学博士，现任高新兴科技集团股份有限公司高级副总裁、粤港澳大湾区自动驾驶产业联盟副理事长。 智能网联主要通过OBU（On Board Unit,车载单元）实现。OBU是一种安装在车辆上用于实现V2X通信的硬件设备，可实现和其他车辆OBU（PC5）、路侧RSU（PC5）、行人（PC5）和V2X平台（Uu）之间通信。OBU上需要集成通信网络，包括4G/5GUu通信芯片和模组，LTE-V2X/5G NR-V2X通信芯片和模组。 智能网联汽车的车载终端OBU形态多样化，包括传统的2G/3G/4G T-BOX（远程信息处理器）、Tracker（追踪器）、OBD（车载自动诊断系统）、UBI、智能后视镜、行车记录仪，以及ETC有源车载终端OBU和汽车电子标志无源OBU等。随着5G商用化时代和C-V2X预商用时代来临，智能网联汽车车载终端的产品形态正在发生变化。 传统智能网联车载终端包括T-BOX、Tracker、OBD、UBI、ETC OBU、汽车电子标志OBU等。 T-BOX（Telematic BOX）是前装智能车载终端，满足车规级要求，集成2G、3G或4G无线模块，直接与汽车CAN总线通信，获取车身状态、车况信息等，并且将这些参数上传到云平台，同时可以接收云平台下发的指令并回传执行结果，具有自检、远程查询、远程参数设置和远程升级等功能。前装设备满足车规级。通常来说车规级要求高于工规级，工规级要求高于商业级。比如温度要求，一般来说，商业级（0～70℃）、工规级（-40～85℃）、车规级（-40～120℃）、军工级（-55～150℃）。 Tracker（追踪器）能实现定位管理，知道车辆的实时位置信息。Tracker根据配置不同，功能也不同，实现的也不再仅仅是一个定位功能。比如4G Tracker可以做到4G通信、车辆定位、车辆状态检测、异常提醒、4G Wi-Fi、蓝牙4.0/3.0数传、驾驶行为分析、行驶里程统计、远程设置及维护等功能。 OBD（On-Board Diagnostics）是后装设备，能在车辆运行过程中实时监测发动机电控系统及车辆的其他功能模块工作状况，如发现工况异常，则根据特定的算法判断出具体的故障。OBD接口的位置一般在方向盘下的内饰板中，靠近驾驶员膝盖附近，采用OBD-Ⅱ接口标准，梯形16针DLC形式接插件，读取车辆CAN总线信息。有了OBD上报的各类数据，通过搭建车队管理平台，可以实现车队的量化考核（统计排名等），安全用车（驾驶评分、车辆健康评估、安全告警等），效率提升（评估车辆和司机工作量等），成本透明（里程油耗监控等）。 UBI（Usage-Based Insurance/User-Behavior Insurance）即基于车主行为差异化保险，一般集成六轴陀螺仪算法和碰撞识别技术。三轴陀螺仪分别感应Roll（左右倾斜）、Pitch（前后倾斜）、Yaw（左右摇摆）全方位动态信息，六轴陀螺仪是指三轴加速器（三轴加速器就是感应XYZ立体空间三个方向，前后左右上下轴向的加速）和三轴陀螺仪合在一起的称呼。有了UBI设备，保险公司可以实现针对不同客户的精准定价，还可以实现无需人员现场出勤的索赔管理等业务。同时，车企还能够利用UBI数据进行产品优化，消费者可以利用UBI数据进行驾驶行为分析等。 ETC OBU是有源设备，一般安装在后视镜座底部附近的挡风玻璃后面，工作在5.8GHz频段。与安装在收费车道上的路侧单元（简称RSU）按照GB/T20851-2007标准的专用短程通信（DSRC）协议进行无线通信。带IC卡的ETC OBU称为双片式，不带IC卡的称为单片式。 汽车电子标志OBU是无源设备，安装在汽车前挡风玻璃上，工作在920～925MHz频段。ETC OBU因为需要电池提供电力，使用寿命一般为5年，而汽车电子标志OBU不需要额外电力，使用寿命可伴随车辆终身。车辆速度支持方面，ETC系统空中交易一次200ms左右，一般支持车速为60km/h，汽车电子标志空中识读一次20ms左右，可支持车速达到240km/h。 OBU的基本功能包括业务、管理和安全三类，其中业务功能围绕V2X业务的实现，完成BSM消息的上报、V2X消息的接收与解析、CAN数据的读取与解析、消息的展示与提醒；管理功能负责完成设备的认证、管理与维护；安全功能负责实现OBU设备自身，以及OBU与其他交互对象之间信息交互的安全保护，OBU功能如图1所示。 图1 OBU功能 业务功能围绕V2X业务的实现，完成BSM（车辆安全消息）的上报，V2X消息的接收与解析、CAN数据的读取与解析、消息的展示与提醒等功能。管理功能负责完成设备的认证、管理和维护。安全功能负责实现OBU设备自身以及OBU与其他交互对象间信息交互的安全保护。 目前的LTE-V2X OBU主要做消息展示与提醒，对应前装和后装有不同的产品形态。前装方面，除了C-V2X功能集成到T-BOX外，消息显示与提醒可以放到液晶仪表盘或者中控显示屏。典型C-V2X+T-BOX前装设备的主要硬件包括LTE-V2X模块、GNNS（全球导航卫星系统）、LTE、MCU（微控制单元）、CAN控制器、车载以太网、电源管理、LTE-V2X双天线/LTE天线/GNSS天线等。 后装方面，在国家第一个车联网先导区无锡，中国移动发布了YJ801智能后视镜C-V2X试商用版本，能够实现红绿灯信号推送、导航、定位等功能；在美国怀俄明州交通局（WYDOT）DSRC项目中使用OnboardHMI设备，可以看到严重预警信息（例如极端大雾天气、道路施工等）、普通预警信息（例如雨雪天气等）、限速信息、前向碰撞预警、车辆速度信息等；在美国佛罗里达州Tampa，由坦帕-希尔斯堡高速公路管理局（THEA）牵头的DSRC项目中部署智能后视镜HMI设备，可显示前车紧急刹车信息、限速信息、车辆速度信息等。 ①5G融合。随着5G商用时代到来，支持5G的车载终端会陆续推出。5G、LTE、LTE-V2X、Wi-Fi-6、蓝牙、GNSS、北斗等，可能需要多达18根天线提供相关业务，鲨鱼鳍复合天线及分布在车辆周围的各种其他天线已经无法满足需求，支持多频通信、具有远程数据处理功能的智能天线将应运而生。 ②ETC、汽车电子标志融合。ETC和汽车电子标志产品，将与C-V2X功能融合。例如半前装ETC OBU可以连接C-V2X+T-BOX设备，与CAN总线隔离，实现不停车收费。汽车电子标志OBU可以连接C-V2X+T-BOX设备，提供车辆信息交互的“身份根”信息。 2018年12月，工信部在《车联网（智能网联汽车）产业发展行动计划》明确提出，到2020年，车联网用户渗透率达到30%以上，新车驾驶辅助系统（L2）搭载率达到30%以上，联网车载信息服务终端的新车装配率达到60%以上。中国汽车工程学会预测，2025年、2030年我国销售新车联网比率将分别达到80%、100%，联网汽车销售规模将分别达到2800万辆、3800万辆。预测到2025年L1/L2联网汽车占比55%，L3联网汽车占比20%，L4/L5联网汽车占比5%。尽管中国汽车产业面临产销量下滑挑战，智能网联汽车依然将迎来快速发展期。 5G智能网联路侧基础设施主要包括通信基础设施（4G/5G蜂窝基站）、C-V2X专用通信基础设施（多形态的RSU）、路侧智能设施、MEC（多接入边缘计算/移动边缘计算）设备。 中国目前共有558万个4G基站，而5G基站建设大概率会采取先城区、再郊区，先热点、再连片，先低频、再高频，先室外、再室内，先宏站、再小微基站的模式，积极稳妥分步推进。除了宏站，5G发展还涉及大量小微基站、光传输、核心网、多接入边缘计算等。预计中国5G投资周期十年，总投资金额1.6万亿元。 C-V2X RSU是部署在路侧的通信网关，解决的是感知层面的网联化。RSU的基本功能包括业务、管理和安全三类。RSU功能如图2所示。 图5-2 RSU功能 业务能力围绕V2X业务的实现，汇集路侧交通设施和道路交通参与者的信息，上传至V2X平台，并将V2X消息广播给道路交通参与者。管理功能负责完成设备认证、管理和维护。安全功能负责实现RSU设备自身，以及RSU与其他交互对象之间信息交互的安全保护。 RSU具有不同的产品形态。基础版本支持LTE-V2X PC5通信能力，汇集路侧智能设施和道路交通参与者的信息，上传至云平台，并将V2X消息广播给道路交通参与者。RSU还有LTE Uu+LTE-V2X PC5双模版本。5G时代到来后，RSU产品形态将更加多样化，比如5G Uu+LTE-V2X PC5版本、LTE-V2X PC5+5G NR-V2X PC5版本，或者5G Uu+LTE-V2X PC5+5G NR-V2X PC5版本。除此之外，交通部主推的ETC路侧设备、公安部主推的汽车电子标志路侧设备，甚至是交通信号灯都存在和V2X合一的产品形态，如图5-3所示。RSU产品形态除了丰富通信能力外，还有一种可能，向智能化RSU演进，即RSU上集成智能化边缘计算能力，除了网联化能力外，还将具备决策和控制能力。 图3 C-V2X RSU产品形态演进之路 路侧智能设施包括智能化交通控制设施（交通信号灯、标志、标线、护栏等）和摄像头、毫米波雷达、激光雷达等各类环境感知设备，其中应用较多的是交通信号灯和多传感器的融合。 交通信号灯信息可以通过信号灯控制中心平台传递到车联网云平台，再传递给RSU，然后通过RSU广播给车载OBU。但是由于信号灯控制中心平台处于公安内网，需要跨越边界网关传递信息，存在十几秒时延，无法及时向通过路口的车辆推送红绿灯信息。较好的处理方式是在每个路口都由信号灯路口控制器分出一路信号给RSU，直接由RSU广播给车载OBU。 采用单一传感器存在诸多挑战，比如摄像头没有深度信息、受外界条件影响大；毫米波雷达无法探知高度信息、行人探测效果弱；激光雷达距离有限（16线约100m，32线约200m）、角分辨率不足、环境敏感度高（受大雪、大雨、灰尘影响）等。 因此路侧可以考虑采取多传感器融合方式，比如大于200m范围采用毫米波雷达，200～80m采用激光雷达+毫米波雷达，80m以内采用摄像头+激光雷达+毫米波雷达，如图5-4所示。毫米波雷达和激光雷达实时采集环境信息，分析路面所有大机动车、小机动车、非机动车、行人等的位置、速度、角度和距离，判断障碍物的危险系数，有效提前预警；雷达和摄像头安装得越近越好，有利于激光雷达三维坐标标定到图像上，这样摄像头可以为雷达检测到的障碍物提供融合识别数据，并能提供障碍物真实的图像信息。例如车道线检测，先在摄像头图像中检测出车道线，然后再将激光雷达生成的点投射到图像上，找出落在车道线上的点在激光雷达坐标系中的坐标，通过这些坐标生成激光雷达坐标系中的车道线。 图4 多传感器融合的路侧智能设施 3GPP在TS23.285（V2X服务架构增强）中定义了4G蜂窝网络支持V2X应用的改造架构，在蜂窝网络原有的架构中，增加了V2X应用服务器、V2X控制功能（CF）、V2X应用等网元/功能。3GPP进一步基于TS23.501引入关键5GC网元，再增加MEC，形成潜在的C-V2X演进架构，如图5-5所示。如UMTS（通用移动通信系统）、E-UTRAN（3G的无线接入网）、MME（移动管理节点）、S/P-GW、HSS（归属签约用户服务器）等4G网元功能，将演变为5G NR、AMF（接入和移动管理功能）、SMF（会话管理功能）、UPF（用户面功能）、UDM（统一数据管理）的5G架构，而V2X应用服务器将成为5G体系中的应用程序功能（AF）。 MEC支持多接入技术，其部署既可以和4G网络结合，也可以在5G部署后与5G NR边缘节点结合。针对低时延、高可靠性需求的C-V2X业务，在引入MEC技术后，相比部署在中心云上可以显著降低业务响应时间。MEC也可以为车载/路侧/行人终端提供在线辅助计算功能，实现快速的任务处理与反馈。另外，MEC具备本地属性，可以提供区域化、个性化的本地服务，同时降低回传网络负载压力。也可以将接入MEC的本地资源与网络其他部分隔离，将敏感信息或隐私数据控制在区域内部。 图5 基于MEC的C-V2X整体架构 面向LTE-V2X的MEC业务架构如图6所示，其架构具有如下特点。 图6 面向LTE-V2X的MEC业务架构 ①可采用多种LTE-V2X车载终端（OBU）、路侧单元（RSU）及摄像头、雷达等其他路侧智能化设备接入网络或MEC平台，即各类型终端可以选择通过Uu或PC5接口接入LTE-V2X网络进而接入MEC平台，或通过其他合理的接入技术直接接入MEC平台。 ②可灵活部署MEC平台，即MEC平台可选择部署在路侧单元（RSU）后，或部署在eNB节点后，抑或部署在其他合理的位置。 ③可灵活配置网络中MEC平台的层级数目，即网络中可部署多级MEC平台，下级MEC平台可作为上级MEC平台的接入端，且当网络中存在多层级MEC平台时，不限制上下级MEC平台之间的网络连接方式。 ④MEC平台分为三层，包括虚拟化基础设施、微服务组件、接入管理、应用管理以及V2X服务器。MEC接入管理可以接入RSU、OBU、智能化交通控制设施（交通信号灯、标志、标线、护栏等）、摄像头、毫米波雷达、激光雷达等各类环境感知设备的信息，同时向上连接云平台。MEC需要具备多传感器融合处理能力，比如摄像头+激光雷达+毫米波雷达融合分析算法；还需要具备ITS相关协议处理能力，比如针对交叉路口防碰撞预警业务，在车辆经过交叉路口时，MEC通过对车辆位置、速度及轨迹分析研判，分析出可能存在的碰撞风险，通过RSU传输到车辆OBU，起到预警目的。 基于MEC的C-V2X业务场景主要包括信息服务类、安全驾驶类和驾驶效率类。为了支撑这些C-V2X业务，MEC平台除了基础能力外，还需要提供其他相应的能力，例如，V2X相关应用的管理能力、V2X用户的位置服务能力、V2X业务分流及QoS服务能力、大数据存储和智能分析能力、V2X用户身份识别和车辆管理能力，以及协同管理能力等。 依据是否需要路侧协同以及车辆协同，可以将MEC与C-V2X融合场景分为“单车与MEC交互”“单车与MEC及路侧智能设施交互”“多车与MEC协同交互”“多车与MEC及路侧智能设施协同交互”四大类[4]。 无需路侧协同的C-V2X应用可以直接通过MEC平台为车辆或行人提供低时延、高性能服务；当路侧部署了能接入MEC平台的路侧雷达、摄像头、智能红绿灯、智能化标志等智能设施时，相应地C-V2X应用可以借助路侧感知或采集的数据为车辆或行人提供更全面的信息服务。在没有车辆协同时，单个车辆可以直接从MEC平台上部署的相应C-V2X应用获取服务；在多个车辆同时接入MEC平台时，相应地C-V2X应用可以基于多个车辆的状态信息，提供智能协同的信息服务，如图7所示。 图7 MEC与C-V2X融合场景 5G对网络进行了全面设计，可以对各类资源及QoS进行端到端管理。网络切片是SDN/NFV技术应用于5G网络的关键服务，一个网络切片将构成一个端到端的逻辑网络，涵盖所有网段，包括无线网络、有线网络、传输网、核心网、业务应用，按切片需求方的需求灵活地提供一种或多种网络服务，将所需的网络资源灵活动态地在全网中面向不同的需求进行分配及能力释放，并进一步动态优化网络连接，降低成本，提升效益。 网络切片不是一个单独的技术，它基于云计算、虚拟化、软件定义网络、分布式云架构等几大技术群实现，通过上层统一的编排让网络具备管理、协同能力，从而实现基于一个通用的物理网络基础架构平台，能够同时支持多个逻辑网络的功能。 网络切片的能力包括超高带宽、超低时延、海量连接、切片编排与自动部署、SLA性能保障、切片能力开放、切片商城。其中超高带宽、超低时延、海量连接是5G提供的基础能力，在网络切片中也可以根据垂直行业需要进行定制化的设计；切片编排与自动部署、SLA性能保障则是切片运维和运营需要的端到端核心能力，主要实现垂直行业应用的快速创新和上线，并保证SLA满足用户的要求；切片能力开放和切片商城则是5G网络切片的用户侧能力，主要提供网络切片的用户接口，方便用户订购、管理网络切片，并和垂直行业自身的系统和应用融合，打造行业的数字化应用。网络切片的工作流程如图8所示。 图8 网络切片流程 5G网络可以为车联网提供eMBB、mMTC、URLLC不同类型的网络切片。eMBB切片可以承载车载VR实时通信、全景合成等业务；mMTC切片可以承载汽车分时租赁等业务；URLLC切片可以承载AR导航等业务。 统一的云平台是未来车联网的重要组成部分。云平台作为连接网络与应用服务的桥梁，首先应支持共性平台建设，具有一定的通用性、灵活性、安全性以及稳定性；其次需要保证各类用户的体验，具有网络开放能力，实现网络间的互联互通，支持泛在接入，通过模块化实现云平台的灵活弹性，保证用户永远在线，并对客户做出实时响应；最后，要实现多场景支撑功能，例如主动安全、路径规划、共享数据以及协同感知等[5]。 车联网云平台作为车联网V2X业务的基础能力平台，旨在为V2X业务及上层应用提供数据高并发接入、融合分析、高精度定位、网络能力开放、边缘计算、业务连续性保障等基础能力，以满足车联网辅助驾驶、自动驾驶的业务需求[10]。 5G车联网云边协同，可部署三级计算体系，其云平台架构如图9所示。云中心平台主要支撑全网业务，并提供全局管理功能，包括全网业务运营管理、全局交通环境感知及优化、多级计算能力调度、应用多级动态部署、跨区域业务及数据管理等功能。V2X区域中心平台主要支撑省/市区域范围内业务，包括区域业务运营管理、区域交通环境感知及优化、区域数据分析/开放/应用托管、边缘协同计算调度、V2X边缘节点管理等功能，可服务对时延要求较高的业务场景。V2X边缘节点主要支撑边缘范围内高实时、高带宽的V2X业务，包括边缘范围内边缘数据融合感知、动态全景感知图构建等功能，可服务于高级辅助驾驶和自动驾驶等应用。 图9 车联网云平台架构 车联网云平台提供网络协同融合感知、实时计算/分析、数据存储/开放、能力聚合/开放、资源调度、协同计算等多种基础功能，同时，云平台在参照多级架构进行部署时，各级平台功能可依据所提供的应用服务按需进行部署，如图10所示。 图10 车联网云平台功能 云控平台是通过“人车路网云一体化”，为智能驾驶提供协同感知、协同决策、协同控制服务的基础性平台。云控平台采用自主可控、安全可靠的云控基础软件系统，建设逻辑统一、物理分散的云计算中心，标准统一、开放共享的基础数据中心，实现人、车辆、基础设施、交通环境等领域的基础数据整合应用，为智能汽车的研发制造、安全运行、交通管理、应用服务等提供支撑。 5G车联网云构建的一体化开放数据公共服务平台和云控平台，如图11所示，可为车载终端、一体化路侧智能设施、第三方车联网应用平台提供高并发接入、实时计算、应用托管、数据开放、决策控制等能力。海量微观数据和宏观数据，如微观的个人驾驶行为数据，宏观的交通数据等，将接入到云平台。车联网数据经过清洗、脱敏、建模、分析以及可视化后，一方面可用于提供一体化开放数据公共服务，衍生出大量面向主机厂、一级供应商、运营商、行业客户、政府管理者、普通消费者的增值服务；另外一方面可用于提供云控服务实现智能决策和实时调控。 图11 一体化开放数据和云控平台 智能网联汽车面临诸多的信息安全威胁，包括外部威胁，如车联网移动终端远程控制APP防护、充电桩操作系统防护和电量数据采集数据加密传输、智能车钥匙防止破解开锁、OBD接口CAN报文防护等；终端威胁，如T-BOX威胁、IVI威胁、终端升级OTA（空中下载技术）威胁、车载OS威胁、接入风险、传感器风险、车内网络传输风险、车载终端架构的安全威胁等；网络威胁，如认证风险（没有验证发送者的身份信息、伪造身份、动态劫持等）、传输风险（车辆信息没有加密或强度不够、密钥信息暴露、所有车型使用相同的对称密钥等）、协议风险（一种协议伪装成另一种协议等）；云端威胁，如数据隐私性、数据完整性、数据可恢复性等。 车联网主要从网络通信、业务应用、车载终端和路侧设备三个方面保障LTE-V2X系统安全需求[7]。 LTE-V2X网络通信安全包含蜂窝通信接口通信安全和直连通信接口通信安全，在系统设计时应满足如下安全需求。 蜂窝通信接入过程中，终端与服务网络之间应支持双向认证，确认对方身份的合法性。蜂窝通信过程中，终端与服务网络应对LTE网络信令支持加密、完整性以及抗重放保护，对用户数据支持加密保护，确保传输过程中信息不被窃听、伪造、篡改、重放。 直连通信过程中，系统应支持对消息来源的认证，保证消息的合法性；支持对消息的完整性及抗重放保护，确保消息在传输时不被伪造、篡改、重放；应根据需要支持对消息的机密性保护，确保消息在传输时不被窃听，防止用户敏感信息泄露。直连通信过程中，系统应支持对真实身份标志及位置信息的隐藏，防止用户隐私泄露。 基于云平台的业务应用与移动互联网“云、管、端”的业务交互模式相同，故其安全需求与现有网络业务应用层安全需求基本一致，需确保业务接入者及服务者身份的真实性、业务内容访问的合法性、数据存储及传输的机密性及完整性，平台操作维护管理的有效性，并做好日志审计确保可追溯性。 基于直连通信的业务应用具有新的特点，需要满足传输带宽、处理实时性等各方面要求，由此要求安全附加信息尽量精简，运算处理时间尽量压缩，以满足车联网业务快速响应的特点。在业务消息的传输过程中，系统还应支持数据源的认证，保证数据源头的合法性，防止假冒终端或伪造的数据信息；支持对消息的完整性及抗重放保护，防止消息被篡改、重放；根据需要可支持消息的机密性，保证消息在传输时不被窃听，防止用户私密信息泄露；同时支持对终端真实身份标志及位置信息的隐藏，防止用户隐私泄露。 车载终端和UE型RSU具有很多共同的安全需求，其内容涉及硬件设计、系统权限管理、运行环境安全、资源安全管理等方面，主要安全需求如下。 ①应注意有线和无线接口的安全防护。②应具备对敏感数据的存储和运算进行隔离的能力。③应支持系统启动验证功能，固件升级验证功能，程序更新和完整性验证功能以及环境自检功能，确保基础运行环境的安全。④应支持访问控制和权限管理功能。⑤应具有安全信息采集能力和基于云端的安全管理能力。⑥应具有入侵检测和防御能力。 除了上述共同的安全需求外，UE型RSU还应支持物理安全防护能力、防拆卸或拆卸报警能力、部署位置变动的报警能力等。eNB型RSU形态与eNB类似，应参考现有eNB设备安全技术要求及安全防护要求进行安全保护。 为了实现OBU、RSU等V2X设备间的安全认证和安全通信，LTE-V2X车联网系统使用基于公钥证书的PKI机制确保设备间的安全认证和安全通信，采用数字签名等技术手段实现V2V/V2I/V2P直连通信安全。密码算法应采用国家密码管理局批准的国密算法，数字证书应符合国家标准或者行业标准的技术要求。 为了能够对基于数字证书的应用层安全机制提供有效支撑，LTE-V2X车联网系统需要建立一套完整的CA管理系统，实现证书颁发、证书撤销、终端安全信息收集、数据管理、异常分析等一系列与安全相关的功能，确保V2X业务的安全。“四跨”测试验证安全基础PKI/CA系统，包括伪造限速预警防御（在路边配置一个攻击RSU，广播伪造限速信息20km/h，演示车辆能够过滤不可信的RSU消息）、伪造红绿灯信息防御（在非交叉路口配置一个攻击RSU，持续广播信号灯消息，演示车辆在通过该点位过程中，不触发任何红绿灯相关预警和提示）、伪造紧急车辆防御（在路侧放置一台不可信OBU，未实现通信安全身份认证机制，持续对外广播伪造的紧急车辆消息，演示车辆路过时，不会触发前向碰撞预警）、伪造前向碰撞预警防御（在路侧放置一台不可信OBU，未实现通信安全身份认证机制，持续对外广播伪造的前方车辆消息，演示车辆路过时，不会触发前向碰撞预警）。 引入满足LTE-V2X场景的消息认证专用安全芯片，存储个人身份证书和签名私钥，提供数字签名、签名验证和数据加解密等密钥服务。智能网联汽车在周边有200台其他智能网联汽车的极端情况下，实现V2V功能，每秒钟将接收200×10=2000条消息，因此安全芯片需要保障性能、算法功能、可靠性、安全性及应用能力。 定位技术是车联网的关键技术之一，是实现车辆安全通行的重要保障。在车联网应用中，不同的应用场景对定位的要求也不同。例如辅助驾驶对车的定位精度要求在米级，而自动驾驶业务对定位的精度要求为亚米级甚至厘米级。虽然不同应用对定位精度要求不同，但定位的连续性是车联网业务安全可靠的必要前提，考虑到环境（遮挡、光线、天气）、成本以及稳定性等因素，单纯采用某一种定位技术并不能满足车联网业务的定位需求。 根据场景以及定位性能的需求不同，车辆定位方案是多种多样的。在大多数的车联网应用场景中，通常需要通过多种技术的融合来实现精准定位，包括GNSS（全球导航卫星系统）、无线电（蜂窝网、局域网等）、惯性测量单元（IMU）、传感器以及高精度地图。其中，GNSS或其差分补偿RTK（实时动态），是最基本的定位方法。考虑到GNSS技术在遮挡场景、隧道以及室内的不稳定性（或不可用），其应用场景受限于室外环境。基于传感器的定位是车辆定位的另一种常见方法，然而高成本和对环境的敏感性也限制了其应用前景。通常，GNSS或传感器等单一技术难以满足现实复杂环境中车辆高精度定位的要求，无法保证车联网定位的稳定性。因此会通过其他辅助方法如惯性导航、高精度地图等，以满足高精度定位需求。 车联网主要应用场景有交通安全业务、交通效率业务、信息服务业务三大类，各类中典型业务对定位的需求如表1所示。 表1 C-V2X主要应用场景及定位指标 同时，自动驾驶作为车联网的典型应用已经逐步渗透到人们的生活中，封闭或半封闭园区的无人摆渡、无人清扫、无人派送，以及矿区的无人采矿、无人运输等，已经成为无人驾驶的典型应用。高精度定位是实现无人驾驶或者远程驾驶的基本前提，因此自动驾驶对定位性能的要求也非常严苛，其中L4/L5级自动驾驶对于定位的需求如表2所示。 表2 L4/L5级自动驾驶汽车定位指标 全球导航卫星系统（Global Navigation Satellite System,GNSS）是能在地球表面或近地空间的任何地点为用户提供全天候的三维坐标、速度以及时间信息的空基无线电导航定位系统，包括美国的GPS、俄罗斯的格洛纳斯卫星导航系统（GLONASS）、欧洲的伽利略系统（GALILEO）和中国的北斗系统（BDS）。 高精度GNSS增强技术通过地面差分基准参考站进行卫星观测，形成差分改正数据，再通过数据通信链路将差分改正数据播发到流动测量站，进而流动测量站根据收到的改正数进行定位。 视觉定位是通过摄像头或激光雷达等视觉传感器设备获取视觉图像，再提取图像序列中的一致性信息，根据一致性信息在图像序列中的位置变化估计车辆的位置。根据事先定位所采用的策略，视觉定位可分为基于路标库和图像匹配的全局定位、同时定位与地图构建的SLAM（即时定位与地图构建）、基于局部运动估计的视觉里程计三种方法。 ①全局定位。全局定位需要预先采集场景图像，建立全局地图或路边数据库，当车辆需要定位时，将当期位置图像与路边数据库进行匹配，再估计当期图像与对应路边之间的相对位置，最终得到全局的定位信息。 ②V-SLAM。同时定位与地图构建基于采集到的视觉信息，在车辆行驶的过程中对经过的区域进行地图构建和定位。 ③视觉里程计。视觉里程计（VO）是以增量式地估计移动机器人的运动参数。视觉里程计关注如何计算图像序列中相邻图像间所反映出的机器人位姿变化，并将局部运动估计的结果累积到车辆轨迹中。 [1]吴冬升.智能网联车载终端渗透率提升之道[J].通信世界.2019:30-33. [2]IMT-2020（5G）推进组.LTE-V2XOBU白皮书[R].2019. [3]IMT-2020（5G）推进组.LTE-V2XRSU白皮书[R].2019. [4]IMT-2020（5G）推进组.MEC与C-V2X融合白皮书[R].2019,1. [5]中国联通.中国联通车联网白皮书[R].2017. [6]中国移动.中国移动车联网V2X平台白皮书[R].2019. [7]IMT-2020（5G）推进组.LTE-V2X安全技术[R].2019. [8]IMT-2020（5G）推进组.车辆高精度定位白皮书[R].2019. 以上是关于万字详解！搜狐智能媒体基于 Zipkin 和 StarRocks 的微服务链路追踪实践的主要内容，如果未能解决你的问题，请参考以下文章 .map( .flatMap(_.asScala.map(_.asInstanceOf[JSONObject])) .map(jsonToBean(_)) .keyBy(=> keyOfTrace(span)) .window(ProcessingTimeSessionWindows.withGap(Time.seconds( .aggregate(TraceAggregateFunction) .flatMap(=> spans) .addSink( StarRocksSink.sink( StarRocksSinkOptions.builder().withProperty( hr, req_count, / req_count * timeout_rate, error_count / req_count * error_rate, avg_duration, tp95, tp99 ( hr, req_count, avg_duration, > error_count, percentile_approx(tp95, percentile_approx(tp99 zipkin localEndpoint_serviceName = kind = dt = hr, ) tmp hr req_count, / req_count * timeout_rate, error_count / req_count * error_rate, avg_duration, tp95, tp99 ( hr, req_count, avg_duration, > error_count, percentile_approx(tp95, percentile_approx(tp99 zipkin localEndpoint_serviceName = kind = dt = hr, ) tmp hr( * zipkin dt = localEndpoint_serviceName = ( spans.id spans.parentId parentId, spans.name spans.duration spans (* spans kind = = spans.traceId = tmp.traceId avg_duration, percentile_approx(inner_duration, tp95, percentile_approx(inner_duration, tp99 ( l.name (l.duration - inner_duration api_spans l api_spans r l.parentId = r.id ) tmp tbl (* zipkin dt = avg_duration, percentile_approx(tp95, percentile_approx(tp99 ( c.localEndpoint_serviceName s.localEndpoint_serviceName c.name c.duration (* tbl kind = (* tbl kind = c.id = s.id c.traceId = s.traceId ) tmp service, / ( traceId, service, ROW_NUMBER() traceId rank4 ( tbl ( l.traceId traceId, l.id l.parentId parentId, l.kind kind, l.duration l.localEndpoint_serviceName localEndpoint_serviceName zipkin_trace_perf l zipkin_trace_perf r l.traceId = r.traceId l.dt = r.dt = r.tag_error = r.localEndpoint_serviceName = r.name = r.kind = r.duration > ) traceId, service, ( traceId, service, (c_duration - s_duration) ROW_NUMBER() traceId (c_duration - s_duration) rank2 ( c.traceId traceId, c.id service, c.duration c_duration, s_duration (* tbl kind = (* tbl kind = c.id = s.id c.traceId = s.traceId ) tmp1 ) tmp2 rank2 = traceId, service, ( traceId, service, (s_duration - c_duration) ROW_NUMBER() traceId (s_duration - c_duration) rank2 ( s.traceId traceId, s.id s.localEndpoint_serviceName service, s.duration s_duration, c_duration, ROW_NUMBER() s.traceId, s.id (* tbl kind = (* tbl kind = s.id = c.parentId s.traceId = c.traceId ) tmp1 = ) tmp2 rank2 = ) tmp3 ) tmp4 rank4 = service desc
https://developer.aliyun.com/article/717072
https://reflectoring.io/upstream-downstream/
https://peter.bourgon.org/blog/2017/02/21/metrics-tracing-and-logging.html
https://iamondemand.com/blog/the-3-pillars-of-system-observability-logs-metrics-and-tracing/
https://speakerdeck.com/adriancole/observability-3-ways-logging-metrics-and-tracing
https://static.googleusercontent.com/media/research.google.com/en//archive/papers/dapper-2010-1.pdf
https://opentracing.io/docs/
https://opencensus.io/
https://opentelemetry.io/docs/
https://bravenewgeek.com/microservice-observability-part-1-disambiguating-observability-and-monitoring/
https://www.infoq.com/presentations/observable-distributed-ststems/
https://copyconstruct.medium.com/monitoring-and-observability-8417d1952e1c
https://orangematter.solarwinds.com/2017/09/14/monitoring-isnt-observability/
https://docs.spring.io/spring-cloud-sleuth/docs/current-SNAPSHOT/reference/html/getting-started.html#getting-started
万字详解5G车联网技术
01 5G车联网车载设备
1.1 传统智能网联车载终端
（1）T-BOX
（2）Tracker
（3）OBD
（4）UBI
（5）ETC OBU
（6）汽车电子标志OBU
1.2 C-V2X车载终端
（1）OBU基本功能
（2）OBU产品形态
（3）OBU未来融合产品形态
1.3 车载终端部署趋势
02 5G车联网路侧设施
2.1 5G通信基础设施
2.2 C-V2X专用通信基础设施
（1）RSU基本功能[3]
（2）RSU产品形态
2.3 路侧智能设施
（1）交通信号灯
（2）多传感器融合
2.4 MEC
（1）基于MEC的C-V2X整体架构
（2）面向LTE-V2X的MEC业务架构
（3）MEC与C-V2X融合场景
03 5G车联网网络
04 5G车联网云平台
4.1 5G车联网云平台架构[6]
4.2 5G车联网云平台功能
4.3 5G车联网云控平台
05 5G车联网安全
5.1 车联网安全需求
（1）网络通信安全需求
（2）业务应用安全需求
（3）车载终端和路侧设备安全需求
5.2 直连通信场景下应用层安全机制[7]
06 5G车联网高精度定位[8]
6.1 车联网定位需求
6.2 基于RTK差分系统的GNSS定位
6.3 传感器与高精地图匹配定位
参考文献