oracle 超长字符串连接问题

Posted 2023-04-30

coutry city
中国 广州

中国 海南
美国 波士顿
美国 纽约

需要得到的结果 ： 中国 广州 海南

美国 波士顿 纽约
因为拼接的字段很长超过10000字符，所以求具体处理sql语句。

这个不是合并吗，如果查出来的字符超过1万没关系吧，只要sga够大就行了。连接就用wm_concat或者listagg追问

嗯，可以了。请问哪种字符格式能支持10000多字的。。我用clob好像还报缓冲区太小

追答

你改下缓冲区大小试下，clob好像支持2G吧

参考技术A 自定义function 返回 colb字段，在function 中拼接字符串，不会有长度限制
-- 建表
CREATE TABLE tb(
coutry VARCHAR2(20),
city VARCHAR2(20)
)
-- 插入数据
INSERT INTO tb VALUES('中国','广州');
INSERT INTO tb VALUES('中国','海南');
INSERT INTO tb VALUES('美国','波士顿');
INSERT INTO tb VALUES('美国','纽约');
COMMIT;
-- 创建function
create or replace function str_add (
v_coutry IN VARCHAR2
) return CLOB
IS
ctlob CLOB :='';
CURSOR cur IS SELECT * FROM tb WHERE coutry =v_coutry ;
BEGIN
FOR c IN cur LOOP
ctlob :=ctlob||' '|| c.city;
END LOOP;
RETURN (ctlob);
END;
-- 使用function 查询
SELECT coutry, str_add(coutry) From tb GROUP BY coutry
-------------------输出----------------------
中国 广州 海南
美国 波士顿 纽约

nginx解决超长字符串请求

一、问题发现
1.可能因为base64字符太长，导致后端处理时出错，表现为前端请求报400错误；
2.前端传数据到后端时可能base64字符串中的特殊字符被替换，例如+被替换成空格，表现为上传的图片不完整
二、问题解决
1.问题1解决方法：
1.1.在配置文件中设置server.max-http-header-size（最大http请求头大小），其默认值为8KB，通常图片的base64会超过默认值，但是也不是越大越好（我设置2MB，然后前端再限制一下图片的大小或者压缩图片），大了反而有大问题，详情请看server.max-http-header-size的坑
2.问题2解决方法：
2.1.前端对base64字符串编码之后再传给后端处理，后端不需要解码，因为接收base64字符串时springmvc会进行一次解码
2.2.也可以通过将被替换的字符手动换回来，不过不推荐使用，你不知道究竟还有没有其他特殊字符被替换
String replace = base64.replace(" ", “+”);
MultipartFile multipartFile = BASE64DecodedMultipartFile.base64ToMultipart(replace);

nginx如何解决超长请求串
nginx是一个强大的http服务器，但是在使用过程中发现，当遇到超长的post请求或者get请求时，nginx会返回413、400、414等状态码，这是因为请求串长度超过了nginx默认的缓存大小或者请求串大小，那么我们需要怎么样来解决这些问题呢？
针对POST请求，我们可以调整如下两个配置项来解决：
client_body_buffer_size
语法：client_body_buffer_size the_size
默认值：8k/16k
使用字段：http, server, location
这个指令可以指定连接请求使用的缓冲区大小。
如果连接请求超过缓存区指定的值，那么这些请求或部分请求将尝试写入一个临时文件。
默认值为两个内存分页大小值，根据平台的不同，它可能是8k或16k

client_max_body_size
语法：client_max_body_size size
默认值：client_max_body_size 1m
使用字段：http, server, location
这个指令指定允许客户端请求的最大的单个文件字节数，它出现在请求头部的Content-Length字段。
如果请求大于指定的值，客户端将收到一个"Request Entity Too Large" (413)错误。
需要记住，浏览器并不知道怎样显示这个错误。

同时针对post请求还需要注意下面这个参数的配置，如果不打开这个选项当请求串大于client_body_buffer_size大小时，需要手动去读取存储在磁盘的请求，这里需要注意的是存入磁盘的请求是一个完整的请求并不是大于client_body_buffer_size的部分
client_body_in_single_buffer
语法：client_body_in_single_buffer
默认值：off
使用字段：http, server, location这个指令(0.7.58版本)指定将一个完整的连接请求放入缓冲区，当使用$request_body时推荐使用这个指令以减少复制操作。
如果无法将一个请求放入单个缓冲区，将会被放入磁盘。

针对get请求，我们可以通过修改另外两个配置来解决请求串超长的问题：client_header_buffer_size 语法：client_header_buffer_size size 默认值：1k 使用字段：http, server 这个指令指定客户端请求的http头部缓冲区大小绝大多数情况下一个头部请求的大小不会大于1k不过如果有 来自于wap客户端的较大的cookie它可能会大于1k，Nginx将分配给它一个更大的缓冲区，这个值可以在 large_client_header_buffers里面设置。 large_client_header_buffers 语法：large_client_header_buffers number size 默认值：large_client_header_buffers 4 4k/8k 使用字段：http, server 指令指定客户端请求的一些比较大的头文件到缓冲区的最大值，如果一个请求的URI大小超过这个值，服务 器将返回一个"Request URI too large" (414)，同样，如果一个请求的头部字段大于这个值，服务器 将返回"Bad request" (400)。 缓冲区根据需求的不同是分开的。 默认一个缓冲区大小为操作系统中分页文件大小，通常是4k或8k，如果一个连接请求将状态转换为 keep-alive，这个缓冲区将被释放。

那么有人就会觉得奇怪了，为什么修改http header的大小就能解决get请求串过长的问题呢， 这就要从http协议的get请求说起了，其实GET提交，请求的数据会附在URL之后（就是把数据放置在 HTTP协议头中）。

大家看到没，其实get请求的参数就是存放在http header中的，所以修改header的大小限制 当然可以解决请求串过长的问题啦。此外还有给大家澄清一点啦，HTTP协议没有对传输的数据大小进行限 制，HTTP协议规范也没有对URL长度进行限制，我们日常生活中遇到的长度限制都是各个浏览器或者http 请求工具自己干的。