transform插件

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了transform插件相关的知识,希望对你有一定的参考价值。

transform插件用于修改POST请求的body和http响应的body,可以理解为一个过滤器,或者nginx的body_filter。

有两个地方可以添加transform回调函数,TS_HTTP_REQUEST_TRANSFORM_HOOK和TS_HTTP_RESPONSE_TRANSFORM_HOOK,分别是过滤POST请求的body和http响应的body。在适当的hook点判断是否需要使transform逻辑生效,需要的话在相应的transform hook点添加回调函数。比如遮掩过一个场景,在缓存查询结束的时候判断查询结果是hit还是miss,miss的话需要在http响应body末尾添加一些内容,这样响应的内容连同被添加的内容会当成整个的响应内容被缓存住,后续的请求如果在缓存查询结束判断查询结果是hit就会将transform后的结果响应出去。

有两个vio,input_vio(write vio)和output_vio(read vio)。每个vio都有配套的TSIOBuffer和TSIOBufferReader一起工作。

数据的流向是input_vio->分片插件->output_vio。transform plugin对应一个continuation和一个回调函数,假设这个回调函数叫plutin_handler,plutin_handler根据不同的event有不同的逻辑。分片插件每transform一些东西,都会触发上游的TS_EVENT_VCONN_WRITE_READY事件,并且触发下游的TS_EVENT_IMMEDIATE事件。如果分片插件判断已经没有数据需要继续处理了,会触发上游的TS_EVENT_VCONN_WRITE_COMPLETE事件,并且触发下游的TS_EVENT_IMMEDIATE事件。或者可以这样理解。整个流程分为三部分,上游,分片插件,下游。下游处理完数据会通过TSContCall触发上游的TS_EVENT_VCONN_WRITE_READY或TS_EVENT_VCONN_WRITE_COMPLETE事件,上游准备好了数据会通过TSVIOReenable触发下游的TS_EVENT_IMMEDIATE事件。


重点函数:

TSVConnWrite:

tsapi TSVIO TSVConnWrite(TSVConn connp, TSCont contp, TSIOBufferReader readerp, int64_t nbytes);

生成一个vio,有什么操作的话会触发contp,要写的字节数就是nbytes


TSVConnWriteVIOGet:

tsapi TSVIO TSVConnWriteVIOGet(TSVConn connp);

获取一个VConnection的input_vio(write_vio),VConnection是input_vio的实施者


TSVIOContGet:

tsapi TSCont TSVIOContGet(TSVIO viop);

获取一个vio的continuation,continuation是vio的使用者,是transform的上游


TSTransformOutputVConnGet:

tsapi TSVConn TSTransformOutputVConnGet(TSVConn connp);

获取一个下游的VConnection


TSVIONDoneGet:

tsapi TSIOBuffer TSVIOBufferGet(TSVIO viop);

获取一个vio已经操作完成的字节数


TSVIONBytesSet:

tsapi void TSVIONBytesSet(TSVIO viop, int64_t nbytes);

设置这个vio将要处理的字节数,第二个参数要比TSVIONDoneGet得到的结果大


TSVIONBytesGet:

tsapi int64_t TSVIONBytesGet(TSVIO viop);

获取这个vio将要处理的字节数


TSIOBufferCopy:

tsapi int64_t TSIOBufferCopy(TSIOBuffer bufp, TSIOBufferReader readerp, int64_t length, int64_t offset);

将内容从一个TSIOBufferReader拷贝到一个TSIOBuffer,拷贝的字节数是length,偏移量是offset


TSIOBufferReaderConsume:

tsapi void TSIOBufferReaderConsume(TSIOBufferReader readerp, int64_t nbytes);

拷贝操作结束后要执行这个函数,要消费input_vio指定字节数


TSVIONDoneSet:

tsapi void TSVIONDoneSet(TSVIO viop, int64_t ndone);

拷贝操作结束后要执行这个函数,要告知input_vio已经消费了多少字节


TSVConnClosedGet:

tsapi int TSVConnClosedGet(TSVConn connp);

判断connp是否已经被关闭,connp是transform插件本身的contiuation

如下是一个完整的transform插件,实现的功能是在读源站的响应头时添加transform插件。如果缓存查询结果是hit则不需要回源,也就不会添加transform插件了。插件的逻辑是在响应末尾添加"hello world\n"字符串。

#include <limits.h>
#include <stdio.h>
#include <string.h>
#include <ts/ts.h>

#define ASSERT_SUCCESS(_x) TSAssert ((_x) == TS_SUCCESS)

typedef struct {
	TSVIO output_vio;
	TSIOBuffer output_buffer;
	TSIOBufferReader output_reader;
	int append_needed;
} MyData;

static TSIOBuffer append_buffer;
static TSIOBufferReader append_buffer_reader;
static int append_buffer_length;

static MyData *
my_data_alloc() {
	MyData *data;

	data = (MyData *) TSmalloc(sizeof(MyData));
	TSReleaseAssert(data);
	data->output_vio = NULL;
	data->output_buffer = NULL;
	data->output_reader = NULL;
	data->append_needed = 1;

	return data;
}

static void my_data_destroy(MyData * data) {
	if (data) {
		if (data->output_buffer)
			TSIOBufferDestroy(data->output_buffer);
		TSfree(data);
	}
}

static void handle_transform(TSCont contp) {
	TSVConn output_conn;
	TSVIO write_vio;
	MyData *data;
	int64_t towrite;
	int64_t avail;

	/*获取transform插件的下游VConnection,这个VConnection会接收transform插件的处理完的数据
	  这个VConnection会触发contp的TS_EVENT_VCONN_WRITE_READY,TS_EVENT_VCONN_WRITE_COMPLETE
	  或TS_EVENT_ERROR事件*/
	output_conn = TSTransformOutputVConnGet(contp);
	/*获取input_vio,通过input_vio可以获取到input_buffer*/
	write_vio = TSVConnWriteVIOGet(contp);
	/*获取这个contp的数据,没有的话初始化并且TSContDataSet*/
	data = TSContDataGet(contp);
	if (!data) {
		towrite = TSVIONBytesGet(write_vio);
		if (towrite != INT64_MAX) {
			towrite += append_buffer_length;
		}
		data = my_data_alloc();
		data->output_buffer = TSIOBufferCreate();
		data->output_reader = TSIOBufferReaderAlloc(data->output_buffer);
		/*获取output_vio,并且指定要向其传送的字节数,字节数就是http响应body的长度加上"hello world\n"的长度*/
		data->output_vio = TSVConnWrite(output_conn, contp, data->output_reader, towrite);
		TSContDataSet(contp, data);
	}
	/*如果input_buffer已经为空,说明上游不会再有数据传到transform插件*/
	if (!TSVIOBufferGet(write_vio)) {
		if (data->append_needed) {
			data->append_needed = 0;
			TSIOBufferCopy(TSVIOBufferGet(data->output_vio), append_buffer_reader, append_buffer_length, 0);
		}
		TSVIONBytesSet(data->output_vio, TSVIONDoneGet(write_vio) + append_buffer_length);
		TSVIOReenable(data->output_vio);

		return;
	}
	/*获取还有多少数据需要处理,也即还有多少东西会从上游发送来到transform插件*/
	towrite = TSVIONTodoGet(write_vio);
	if (towrite > 0) {
		avail = TSIOBufferReaderAvail(TSVIOReaderGet(write_vio));
		if (towrite > avail) {
			towrite = avail;
		}
		if (towrite > 0) {
			TSIOBufferCopy(TSVIOBufferGet(data->output_vio), TSVIOReaderGet(write_vio), towrite, 0);
			TSIOBufferReaderConsume(TSVIOReaderGet(write_vio), towrite);
			TSVIONDoneSet(write_vio, TSVIONDoneGet(write_vio) + towrite);
		}
	}
	/*获取还有多少数据需要处理,也即还有多少东西会从上游发送来到transform插件*/
	if (TSVIONTodoGet(write_vio) > 0) {
		/*如果上游还有数据需要传送*/
		if (towrite > 0) {
			/*通知下游可以读数据了*/
			TSVIOReenable(data->output_vio);
			/*如果上游尚有数据会发送过来,需要通知上游可以继续发送数据了*/
			TSContCall(TSVIOContGet(write_vio), TS_EVENT_VCONN_WRITE_READY, write_vio);
		}
	}
	else {
		/*如果上游已经没有更多的数据,需要执行append的逻辑了,也即将"hello world\n"添加到响应数据末尾*/
		if (data->append_needed) {
			data->append_needed = 0;
			TSIOBufferCopy(TSVIOBufferGet(data->output_vio), append_buffer_reader, append_buffer_length, 0);
		}
		/*设置output_vio需要处理的字节数,这样output_vio处理完这些内容就可以发送TS_EVENT_VCONN_WRITE_COMPLETE
		  给transform插件了*/
		TSVIONBytesSet(data->output_vio, TSVIONDoneGet(write_vio) + append_buffer_length);
		/*通知下游可以读数据了*/
		TSVIOReenable(data->output_vio);
		/*如果上游尚有数据会发送过来,需要通知上游可以继续发送数据了*/
		TSContCall(TSVIOContGet(write_vio), TS_EVENT_VCONN_WRITE_COMPLETE, write_vio);
	}
}

static int append_transform(TSCont contp, TSEvent event, void *edata) {
	/*如果transform插件已经被关闭,需要释放资源*/
	if (TSVConnClosedGet(contp)) {
		my_data_destroy(TSContDataGet(contp));
		TSContDestroy(contp);
		return 0;
	} else {
		switch (event) {
		case TS_EVENT_ERROR: {
			TSVIO write_vio;
			write_vio = TSVConnWriteVIOGet(contp);
			/*通知上游出错了*/
			TSContCall(TSVIOContGet(write_vio), TS_EVENT_ERROR, write_vio);
		}
			break;
		case TS_EVENT_VCONN_WRITE_COMPLETE:
			/*如果下游触发了TS_EVENT_VCONN_WRITE_COMPLETE事件,需要关闭下游的VConnection*/
			TSVConnShutdown(TSTransformOutputVConnGet(contp), 0, 1);
			break;
		case TS_EVENT_VCONN_WRITE_READY:
		default:
			handle_transform(contp);
			break;
		}
	}

	return 0;
}

static int transformable(TSHttpTxn txnp) {
	TSMBuffer bufp;
	TSMLoc hdr_loc;
	TSHttpStatus resp_status;

	TSHttpTxnServerRespGet(txnp, &bufp, &hdr_loc);
	//判断源站给的状态码,只有源站返回200时才会执行transform逻辑
	if (TS_HTTP_STATUS_OK == (resp_status = TSHttpHdrStatusGet(bufp, hdr_loc))) {
		ASSERT_SUCCESS(TSHandleMLocRelease(bufp, TS_NULL_MLOC, hdr_loc));
		return 1;
	} else {
		ASSERT_SUCCESS(TSHandleMLocRelease(bufp, TS_NULL_MLOC, hdr_loc));
		return 0;
	}
}

static int transform_plugin(TSCont contp, TSEvent event, void *edata) {
	TSHttpTxn txnp = (TSHttpTxn) edata;

	switch (event) {
	case TS_EVENT_HTTP_READ_RESPONSE_HDR:
		//只有缓存查询结果为miss的时候才会回源,才会执行这个case的逻辑
		if(transformable(txnp))
		{
			TSVConn connp;
			connp = TSTransformCreate(append_transform, txnp);
			TSHttpTxnHookAdd(txnp, TS_HTTP_RESPONSE_TRANSFORM_HOOK, connp);
		}

		TSHttpTxnReenable(txnp, TS_EVENT_HTTP_CONTINUE);
		return 0;
	default:
		break;
	}

	return 0;
}

static int data_prepared() {
	append_buffer = TSIOBufferCreate();
	append_buffer_reader = TSIOBufferReaderAlloc(append_buffer);
	TSIOBufferWrite(append_buffer, "hello world\n", sizeof("hello world\n") - 1);
	append_buffer_length = TSIOBufferReaderAvail(append_buffer_reader);

	return 1;
}

int check_ts_version() {

	const char *ts_version = TSTrafficServerVersionGet();
	int result = 0;

	if (ts_version) {
		int major_ts_version = 0;
		int minor_ts_version = 0;
		int patch_ts_version = 0;

		if (sscanf(ts_version, "%d.%d.%d", &major_ts_version, &minor_ts_version, &patch_ts_version) != 3) {
			return 0;
		}
		if (major_ts_version >= 2) {
			result = 1;
		}
	}

	return result;
}

void TSPluginInit(int argc, const char *argv[]) {
	TSPluginRegistrationInfo info;
	info.plugin_name = "append-transform";
	info.vendor_name = "MyCompany";
	info.support_email = "[email protected]";

	if (TSPluginRegister(TS_SDK_VERSION_3_0, &info) != TS_SUCCESS) {
		TSError("Plugin registration failed.\n");
		goto Lerror;
	}
	if (!check_ts_version()) {
		TSError("Plugin requires Traffic Server 3.0 or later\n");
		goto Lerror;
	}
	if (!data_prepared()) {
		TSError("[append-transform] Failed to prepared data\n");
		goto Lerror;
	}
	TSHttpHookAdd(TS_HTTP_READ_RESPONSE_HDR_HOOK,TSContCreate(transform_plugin, NULL));
	return;

Lerror:
	TSError("[append-transform] Unable to initialize plugin\n");
}


以上是关于transform插件的主要内容,如果未能解决你的问题,请参考以下文章

VSCode插件开发全攻略代码片段设置自定义欢迎页

Wordpress - 将代码片段包含到布局的选定部分的插件

Word 文档的优秀代码片段工具或插件?

vim代码片段插件ultisnips的使用

css常用代码片段 (更新中)

从零开始配置vim(27)——代码片段