linux 下如何使用shell 把处理好的csv文件导入到数据库下
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了linux 下如何使用shell 把处理好的csv文件导入到数据库下相关的知识,希望对你有一定的参考价值。
我在linux下使用shell做了一下文件的处理,最后保存为一个csv格式的文件。("1","2","3","4")这样的。
请我如何能使用shell的方式连接数据库。并且把这个表导入到mysql的数据库中的。
我最终想实现的就是,每天定时运行shell处理数据并把数据写入到数据库中。
linux 下,可以使用cli程序把csv文件导入到数据库。具体代码如下:
$ORACLE_HOME/bin/sqlplus -S username/password@instanceName > /dev/null 2>&1 <<!!
#对sqlplus作一些设置,使之只输出我们需要的文本
set echo off
set pagesize 0
set verify off
set feedback off
set termout off
set linesize 3000
set trimspool on
#查询输出到临时文件
spool /tmp/some_tmp.csv
#select语句
select column1||\',\'||column2||\',\'||column3 ....
from some_table where condition
spool off
#这里可以添加多个查询,且每个查询可输出到不同的文件,如下面注释
#spool /tmp/some_tmp.csv
#select column1||\',\'||column2||\',\'||column3 ....
#from some_table where condition
#spool off
set markup html off
quit
!!
#计算记录总行数,如果是0则不发邮件
NUM=`cat /tmp/some_tmp.csv | wc -l`
if[ $NUM -gt 0 ]
then
#先写excel的每列的title
echo \'Title_Of_Column1, Title_Of_Column2, ....Title_Of_ColumnN\' > /tmp/attachement.csv
#数据正文
cat /tmp/some_tmp.csv >> /tmp/attachement.csv
#发邮件
(
echo "From: user@somehost.com"
echo "To: user1@somehost.com"
echo "MIME-Version: 1.0"
echo "Content-Type: multipart/mixed;"
echo \' boundary="A_Boundary_Name_You_Can_Change_It"\'
echo "Subject: Subject"
echo ""
echo ""
#附件分隔符,上面的boundary前面加--
echo "--A_Boundary_Name_You_Can_Change_It"
echo \'Content-Transfer-Encoding: x-uuencode\'
echo \'Content-Type: text/csv;\'
echo \' name="attachement.csv"\'
echo \'Content-Disposition: attachment;\'
echo \' filename="attachement.csv"\'
echo ""
uuencode /tmp/attachement.csv attachement.csv
echo "--A_Boundary_Name_You_Can_Change_It"
#附件结束
) | mailx -t
fi
#删除临时文件
rm -f /tmp/*.csv
exit 0 参考技术A 把你的CSV文件的内容转化成SQL语句,
再用MYSQL导入,这样应该可行. 参考技术B php可以读这个csv的文件,用php做个cli程序将这个导入数据库比较简单。
然后做个定时任务,每天定时运行 就行了本回答被提问者采纳 参考技术C mysql没有命令行导入csv格式数据的方法吗?追问
我不知道啊。所以问啊
以上是关于linux 下如何使用shell 把处理好的csv文件导入到数据库下的主要内容,如果未能解决你的问题,请参考以下文章
Linux环境下shell输出的中文文件windows打开乱码问题处理
如何在linux Shell脚本里面把一个数组传递到awk内部进行处理
如何使用 shell 脚本将 xlsx 文件转换为 csv 文件?