文件读写

Posted yusq77

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了文件读写相关的知识,希望对你有一定的参考价值。

最近在做一个大数据模拟器的功能,数据达到上亿级别,但频繁插入SQL导致效率过低。优化mysql的插入和查询效率,把for循环中的插入修改为一行进行插入多个记录可以大幅度优化速度。

Linux 查看文件大小

  • stat filepath
  • wc -c filename,得到字节数
  • du -b filepath 参数-b表示以字节计数;du -h filepath 直接得出人好识别的文件大小
  • ls -l filepath 第五列为文件字节数;ls -h filepath  -h参数得到人好读的文件大小

查询MySQL当前支持最大的字节数

show VARIABLES like %max_allowed_packet%;

读写文件实例

技术图片
/*  Copyright (C) 2019 * Ltd. All rights reserved.
 *      Create date : 2019-05-21 16:13:24
 *================================================*/

#include <stdio.h>
#include <string.h>
#include <time.h>

#define LENGTH 4*1024*1024

int STRTOK()
{
    //生成口令用户
    FILE *file;
    char line[300];
    char *p;
    int flag;
    int n1[10];
    file = popen("head -2 policy.csv | tail -1", "r");
    if (NULL != file)
    {
        while (fgets(line, 300, file) != NULL)
        {
           p=strtok((char *)line,",");
           printf("p = %s\n", p);
           int h = 0;
           for(; h<1; ++h)
           {
               p = strtok(NULL, ",");
               n1[h] = atoi(p);
               printf("n1[%d]:%d\n", h, n1[h]);
           }
           flag=atoi(p);
           printf("flag = %d\n", flag);
        }
    }
    pclose(file);
    return 0;
}

int mysqlBat()
{
    FILE *fp = NULL;
    fp = fopen("./mysql.txt", "w");
    char line[LENGTH] = {0};
    char str[32] = "values(‘%s‘,%d,%d)";
    char m_str[32] = ", values(‘%s‘,%d,%d)";
   // snprintf(line, sizeof(LENGTH), "%s", m_str);
    strcat(line, str);
    printf("strlen(line) = %d\n", strlen(line));
    int i;
    for(i=1;i<1000;i++)
    {
        printf("m_str= %s\n", m_str);
        strcat(line, m_str);
        //snprintf(line+strlen(line), sizeof(LENGTH)-strlen(line), ", %s",  m_str);
    }
    printf("line = %s\n", line);
    fprintf(fp, "%s", line);
    fclose(fp);
    return 0;
}

int main(int argc, char *argv[])
{
    mysqlBat();
    return 0;
}
View Code

 

以上是关于文件读写的主要内容,如果未能解决你的问题,请参考以下文章

Android tcp/ip 读写缓冲区脱离主代码

读写锁 与 互斥锁

Java-jxl插件Excel文件读写报错jxl.read.biff.BiffException: Unable to recognize OLE stream

Java-jxl插件Excel文件读写报错jxl.read.biff.BiffException: Unable to recognize OLE stream

VSCode自定义代码片段——.vue文件的模板

java中ReentrantReadWriteLock读写锁的使用