深入分析java web技术内幕目录一览

Posted 2020-08-12

Web请求过程

• 如何发起请求：browser，httpclient
• http解析：chrome ，cache
• Dns域名解析：域名缓存
• cdn:负载，动态加速，回源

Java I/O

• I/0类库的基本架构:字节操作，字符操作，字节字符的转化
• 磁盘的I/O：内核空间，用户空间，同步，异步，内存映射
• 网络I/O工作机制：tcp状态转化，网络传输的因素，socket的工作机制，通信链路，数据传输
• NIO的工作方式：BIO cpu被抢占，channel，select，selectionkey，bytebuffer，数据分发
• I/O优化：磁盘I/O优化：raid，
• tcp网络参数：timeout，端口范围，网络I/O：减少交互次数，减少网络传输大小，编码，同步/异步，阻塞/非阻塞。

设计模式：适配器模式(从一个接口态转成另一种接口)，装饰器模式（扩展现有接口的功能）

Java编码问题

• 常见的编码：ASCII(128)，ISO-8859-1(256)，GB2312，GBK，GB18030,UTF-16,UTF-8

• 编码解码
  web中涉及的编码：

• url编码：url编码和querystring编码分开，设置connector的编码URLEncoding="UTF-8" useBodyEncodingForURI="true".
• Http Header编码：不可以传输费AscII字符，如果需要传输，先用URLEncoder编码，服务端再解码
• POST表单：编码由contenttype设定，服务端用filter设置request.setCharacterEncoding解码，上传是字节流不编码。

• JS编码：js文件的编码与html的编码不一致，所以默认设置下charset。encodeUrlComponent 两次编码解码

• 多语言支持:nginx 增加一个多语言转换。

Javac编译原理

• 词法分析，语法分析，符号表构建，annotation处理，标注和语法检查，数据流分析，类型转化，字节码
• 实现类：com.sun.tools.javac.parser.Scanner ,Parser
• 访问者模式：将稳定的数据结构和对数据结构变化多端的操作解耦

深入class文件结构

• jvm指令集
• class文件头
• 常量池
• 类信息
• Field和methods
• 类属性
• javap

深入classloader工作机制

• classloader：class加载到jvm，类由谁加载，加载成jvm统一的对象格式
• classloader:findClass,defineClass,resolveClass
• 类型：Bootstrap Classloader,ExtClassloader，AppClassLoader
• 自定义的class，类的热部署：
• java的动态加载：jsp动态加载

JVM体系结构与工作方式

• JVM体系结构：

  通过模拟一个计算机达到计算机所具有的功能：指令集，计算单元，寻址，寄存器，存储。

  类加载，执行引擎（解释执行，JIT本地执行，寄存器执行）不同的jvm实现不同，内存区，本地方法调用

• JVM工作机制

  基于栈的工作机制：与平台无关，指令紧凑，减少数据量

JVM内存管理

• 物理内存与虚拟内存：虚拟内存与物理内存 n:1 当一个虚拟内存不活跃时，会将该映射的物理内存移到磁盘文件中(页面文件)。

• 内核空间与用户空间，

• Java内存组件：堆，线程，类and类加载，NIO，JNI

• JVM内存结构：寄存器，堆，栈，方法区，常量池

• JVM内存分配：静态分配，堆分配，栈分配

• JVM内存回收：根对象无法到达的对象可以回收(垃圾检测)，分代垃圾回收 y，s1，s2，old，perm
  serial collector，parallel collector，cms collector
  cms针对old和perm区，minor gc采用多线程
  DisableExplicitGC,System.gc().变成空调，没有释放NIO,需要改成 ExplicitGCInvokesConcurrent
  direct memory 分析工具 sjdrectmem

Servlet工作原理

• Servlet容器：tomcat的启动类 XX.startup.Tomcat，一个web应用对应一个StandardContext容器，添加的listener继承了lifecyclelistener接口
  globalwebXml>webfragement.xml>web.xml;Servlet被包装成StandardWrapper

• Servlet实例:DefaultServlet和JspServlet

• Servlet体系结构：采用门面设计模式拿到该拿的数据

• Servlet如何工作：通过 XX.http.mapper 找到对应的wrapper容器，必须要要执行filter链

• Servlet中的listener：ServletContextListener在启动后不能再添加新的，spring 的ContextLoadListener实现了该listener，初始化spring容器

• Filter如何工作：多个filter串成一个FilterChain，url匹配：精确匹配，路劲匹配，后缀匹配

Session与Cookie

session与cookie是为了保持用户与后端服务器的交互状态，cookie的数量与大小有限制

• 理解cookie：不超过50个，大小不超过4095

• 理解session：standardsession对象持久化到session.ser中，必须调用sevlet容器的stop方法，request.getSession() 创建

• cookie安全与压缩：cookie可修改（失效时间，加密，结合浏览器或ip特点的唯一key，httpOnly），有安全隐患，可以采用gzip和deflate进行压缩突破存储限制，减少带宽

• 分布式session框架：应用可写的session项和cookie项统一管理，session分布式缓存存储，InputHttpSession
  跳转应用，sessionId在所有域名下都写入cookie中，另外根据用户的私密信息生成唯一key(比如请求ip，证书文件，浏览器信息)。

• 表单重复提交：每次请求是带上一个token，校验token和session中的是否一致，请求后disable按钮

• 多端session统一：cookie和session要统一，拿统一的session，二维码扫码登录:PC定时拉取该二维码登录有没有登录，手机扫完之后，发送二维码信息，用户的sessionid，发送到服务，标志校验通过，把sessionid发送到终点，唯一信息。

Tomcat的系统架构与设计模式

• tomcat的总体设计：

  connector和container，container对应多个service，一个service可以设置多个connector

  connector负责请求数据和返回数据的封装成request和response，处理这个请求由container完成

  tomcat5中默认的connector是coyote。

  container是责任链模式，包含engine>host>context>Wrapper,容器可以在backgroudprocess中定义周期性的事件，

  其他组件：security，logger，session，mbeans，naming

• 门面模式

不能将自己的数据过多的暴露出去，通过一层门面进行限制，httprequest和httprequestfacade

• 观察者模式

  由 subject，concretesubject，observer组成，

  LifecycleEvent定义主题，LifecycleSupport管理event和observer的关系

• 命令模式

把发出命令的责任和执行命令的责任分开 command，invoker，receiver组成，HttpProcessor和ContainerBase

• 责任链模式

  责任链模式就是很多对象与对象的家引用形成一条链，例如tomcat中的pipeline和valve。

Jetty的工作原理解析

• Jetty的基本架构：所有的扩展组件都作为handler添加到server中，有handlerwrapper和handlercollection构成

• Jetty的启动过程：handler有父子关系，启动注册在jmx上的mbean，最后启动connector

• 接受请求：基于http请求：connectorendpoint，ajp请求：基于ajp13parser上完成，NIO处理:监听和处理分开

• 处理请求：ServletHolder 是 Servlet的装饰类，添加到handler中

• 与Jboss集成：基于ajp集成

• 与tomcat的比较：短生命周期的连接采用tomcat，长连接采用jetty

spring框架的设计理念

• spring的骨骼架构：核心为bean，core,context,core是发现，建立和维护bean之间关系的帮助类，context是最终管理平台，bean是业务模型。

• 核心组件：bean:BeanFactory，BeanDefinition,

ApplicationContext：继承beanfactory和resourceloader，core：资源的访问方式，context的资源加载，解析和描述委托给resolver

BeanFactoryPostProcessor和BeanPostProcessor：beanfactory和bean初始化时执行。
InitializingBean和DisposableBean 分布在bean实例创建和销毁时调用。

FactoryBean：不是预设的球模型，由用户自定义

• AOP的特性：继承FactoryBean，以及月java Proxy实现动态代理

• 代理模式：为实际对象创建代理对象，实际执行时，可以增加一些对原对象的额外操作。

• 策略模式：完成某个操作有多种实现，根据不同场景选择不同的实现，例如动态代理有cglib，jdk proxy等多种实现。

Spring MVC的工作机制和设计模式

• mvc的总体设计：dispatchServlet是核心，实现8个功能：initMultipartResolver 处理文件上传；initLocalResolver 处理应用的国际化；initThemeResolver：定义一个主题；initHandlerMappings，请求映射关系；initHandlerAdapters，根据handler类型定义不同的处理规则；initHandlerExceptionsResolvers：handler出错时统一处理；initRequestToViewNameTranslator；initViewResolver

• control的总体设计：HandlerMapping和HandlerAdapters两个组件提供，handlerMapping管理url与handler的对应关系，所有的interceptor必须实现HandlerInterceptor。HandlerAdapter帮助定义各种handler，默认提供4种。
  整个调用从dispatch的doService方法开始。

• Model设计：页面渲染需要的参数存储在modelmao中

• view设计：InternalResourceViewResolver create和render页面。

• 模板模式：大的逻辑已经定义，业务只需要实现一些具体步骤，例如spring的abstractview

Ibatis的系统架构和映射原理

将固定不变的脚本ibatis配置实现。

• 类层次结构：交互类型的框架 client，executor，session

• 设计策略：parametermap和resultmap,typehandler负责类型转换

• 运行原理：session负责事务管理

• sql解析：配置文件解析成statement

• 对象映射：DataExchange和AccessPlan实现真正的数据映射

• 工厂模式：DataExchangeFactory，DataSourceFactory。

Velocity工作原理

• 总体架构：主要由app、context、runtime一些辅助类，暴露使用的有Velocity和VelocityEngine，context封装了渲染所需的变量

• 解析：解析成JTree

• 事件处理：判空，include，取值$

• 常用优化：减少树节点数量，

• 与jsp比较：ParserController将jsp编译成servlet，jsp依赖servlet环境，编译执行velocity反射执行

• 合成模式:部分整体模式，部分和整体都实现一个方法，来实现子处理

• 解释器模式:将一定格式的文本解释成特定的数据结构，将vm解释成AST抽象语法树。

Velocity优化实践

• 现实存在的问题：页面大，cpu压力大，临时对象多，gc影响大，空白字符多，浪费带宽

• 高效的模板引擎：将velocity编译java类，将反射变成直接调用，字符输出改成字节输出

• 其他方法：去掉非中文空格，压缩tab和换行，合并相同的数据，异步渲染。

大浏览量系统的静态化设计

• java的QPS上万很难。

• 动静区分

• 静态化方案选择

问题：是否一致性hash，是否使用esi，是否使用物理机，谁来压缩，网卡选择
共享cache，与应用拆分，进行回源

• 失效：时间驱动被动失效，主动失效：监控变化，java发布，vm发布

• cdn化，cdn分布全国，主动发purge给cache失效，二级cdn。

框架设计的思考

• 解决什么问题，现有框架是否不能解决，是不是比其他方案好

• 需要简化开发的框架。

• 框架设计原则：ocp（开闭原则，扩展开放，修改关闭），LSP（里氏代换，凡是父类能用的地方，子类皆可以）；
  DIP（依赖倒转）依赖抽象，不依赖于具体，ISP(接口隔离)：接口尽可能单一，CARP(合成/聚合复用原则)尽可能聚合/合成使用，不使用继承。LOD(迪米特原则)，一个对象应到对其他对象细节尽可能少的了解。

优化的理论基础

• 减少程序的封装程度

• 简单的程序复杂化

• 减少翻译的代价

• 变的转为不变的