OGG运维优化脚本-信息修改类--长事务跳过

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了OGG运维优化脚本-信息修改类--长事务跳过相关的知识,希望对你有一定的参考价值。

文件名: skiptrans.sh skip.sh

所在路径:$HOME/ggscript/ggtrandata

功能:该脚本用于重启抽取进程时跳过长事务,可自动识别1小时以上的长事务并批量跳过,skiptrans.sh通过edit脚本选择调用,skip.sh用于在其他脚本中调用用,例如allstop.shgoldengate进程停止脚本

Ps:目前该脚本目前仅适用于AIXLINUX系统 

skiptrans.sh

#!/bin/bash
function date2seconds {
    echo "$*" | awk ‘{
        z=int((14-$2)/12); y=$1+4800-z; m=$2+12*z-3;
        j=int((153*m+2)/5)+$3+y*365+int(y/4)-int(y/100)+int(y/400)-2472633;
        j=j*86400+$4*3600+$5*60+$6
        print j
    }‘
}

cd $HOME/ggscript/ggtrandata
echo $login
echo $dir

dir=$PWD 
echo $dir
cd $HOME/ggserver

echo "searching the Extract name......"
(echo info all;echo exit)|./ggsci|grep "EXTRACT" |awk ‘BEGIN {FS=" +"} {print $3}‘|grep  ‘^E‘
read -p "Please enter the extract name:" extract


echo "loading the trans data.....please wait....."
(echo send $extract showtrans thread 1;echo exit)|./ggsci > $dir/thread1
echo "Thread 1 data load compete"
(echo send $extract showtrans thread 2;echo exit)|./ggsci > $dir/thread2
echo "Thread 2 data load compete"


cd $dir


cat thread1|awk ‘BEGIN{}{FS=" "} /^XID:/{print $2}‘|sed  -e ‘/^$/d‘ > xid1
cat thread1|awk -F ‘Time:           ‘ ‘{print $2}‘|sed  -e ‘/^$/d‘ > time1
paste time1 xid1 > trandata
cat thread2|awk ‘BEGIN{}{FS=" "} /^XID:/{print $2}‘|sed  -e ‘/^$/d‘ > xid2
cat thread2|awk -F ‘Time:           ‘ ‘{print $2}‘|sed  -e ‘/^$/d‘ > time2
paste time2 xid2 > trandata2

cat trandata2 >> trandata

sydate=`date +"%Y-%m-%d:%H:%M:%S"`
echo $HSYSTIME
date2seconds `echo $sydate | sed ‘s/-/ /g;s/:/ /g‘` > secondssys
HSYSTIME=`cat secondssys`
echo $HSYSTIME
rm -f secondssys
#date2seconds `echo $sydate | sed ‘s/-/ /g;s/:/ /g‘`


NUX=`sed -n ‘$=‘ trandata`

i=1
cat /dev/null > trains
while(($i<=$NUX));  do

str=`sed -n "${i}p"  trandata |awk ‘{print $1}‘`
echo $str
date2seconds `echo $str | sed ‘s/-/ /g;s/:/ /g‘` > secondssys
HGTI=`cat secondssys`
rm -f secondssys
echo $HGTI
echo $HSYSTIME
POOR=`expr $HSYSTIME - 3600`
echo $POOR
echo "--------------------"
if [ "$HGTI" -le "$POOR" ]
        then
                sed -n "${i}p"  trandata |awk ‘{print $2}‘ >> trains
fi

i=`expr $i + 1`

done

sed ‘s/^/send ‘$extract‘ skiptrans /‘ trains > trains1
sed ‘s/$/ force/‘ trains1 > skiptrains 

cd $HOME/ggserver

cat $HOME/ggscript/ggtrandata/skiptrains > dirdat/skiptrains

echo   OBEY dirdat/skiptrains |./ggsci


skip.sh

#!/bin/bash
echo $dir
cd $HOME/ggscript/ggtrandata
dir=$PWD
cd $HOME
if [ -f .profile ];then
        . .profile
fi

if [ -f .bash_profile ];then 
        . .bash_profile
fi

cd $dir

function date2seconds {
    echo "$*" | awk ‘{
        z=int((14-$2)/12); y=$1+4800-z; m=$2+12*z-3;
        j=int((153*m+2)/5)+$3+y*365+int(y/4)-int(y/100)+int(y/400)-2472633;
        j=j*86400+$4*3600+$5*60+$6
        print j
    }‘
}


if [ $# -eq 0 ]; then
        echo "skip EXTRACT"
        exit 2
fi

extract=$1

if [ `echo $extract|grep ^E` ];then
         IType=EXTRACT

elif [ `echo $extract|grep ^P` ];then
	echo "only can operate the EXTRACT  process"
	exit 2
elif  [ `echo $extract|grep ^R` ];then
        echo "only can operate the extract process"
        exit 2
else
        echo "only can operate the EXTRACT  process"
        exit 2
fi

val=`echo $extract.PRM|tr A-Z a-z`

cd $HOME/ggserver/dirprm
if [ ! -e $val ]; then
        echo "the EXTRACT is not exist"
        exit 2
fi

cd $dir
echo $login

echo $dir
cd $HOME/ggserver



echo "loading the trans data.....please wait....."
(echo send $extract showtrans thread 1;echo exit)|./ggsci > $dir/thread1
echo "Thread 1 data load compete"
(echo send $extract showtrans thread 2;echo exit)|./ggsci > $dir/thread2
echo "Thread 2 data load compete"


cd $dir


cat thread1|awk ‘BEGIN{}{FS=" "} /^XID:/{print $2}‘|sed  -e ‘/^$/d‘ > xid1
cat thread1|awk -F ‘Time:           ‘ ‘{print $2}‘|sed  -e ‘/^$/d‘ > time1
paste time1 xid1 > trandata
cat thread2|awk ‘BEGIN{}{FS=" "} /^XID:/{print $2}‘|sed  -e ‘/^$/d‘ > xid2
cat thread2|awk -F ‘Time:           ‘ ‘{print $2}‘|sed  -e ‘/^$/d‘ > time2
paste time2 xid2 > trandata2

cat trandata2 >> trandata

sydate=`date +"%Y-%m-%d:%H:%M:%S"`
echo $HSYSTIME
date2seconds `echo $sydate | sed ‘s/-/ /g;s/:/ /g‘` > secondssys
HSYSTIME=`cat secondssys`
echo $HSYSTIME
rm -f secondssys
#date2seconds `echo $sydate | sed ‘s/-/ /g;s/:/ /g‘`


NUX=`sed -n ‘$=‘ trandata`

i=1
cat /dev/null > trains
while(($i<=$NUX));  do

str=`sed -n "${i}p"  trandata |awk ‘{print $1}‘`
echo $str
date2seconds `echo $str | sed ‘s/-/ /g;s/:/ /g‘` > secondssys
HGTI=`cat secondssys`
rm -f secondssys
echo $HGTI
echo $HSYSTIME
POOR=`expr $HSYSTIME - 3600`
echo $POOR
echo "--------------------"
if [ "$HGTI" -le "$POOR" ]
        then
                sed -n "${i}p"  trandata |awk ‘{print $2}‘ >> trains
fi

i=`expr $i + 1`

done

sed ‘s/^/send ‘$extract‘ skiptrans /‘ trains > trains1
sed ‘s/$/ force/‘ trains1 > skiptrains 

cd $HOME/ggserver

cat $HOME/ggscript/ggtrandata/skiptrains > dirdat/skiptrains

echo   OBEY dirdat/skiptrains |./ggsci


本文出自 “netsman” 博客,请务必保留此出处http://netsman.blog.51cto.com/5750076/1939634

以上是关于OGG运维优化脚本-信息修改类--长事务跳过的主要内容,如果未能解决你的问题,请参考以下文章

OGG运维优化脚本-信息修改类--快速注释

OGG运维优化脚本-信息修改类--批量注释

OGG运维优化脚本-信息修改类--附加日志增加

OGG运维优化脚本(二. 五)-信息修改类--快速加表

OGG运维优化脚本(十四)-信息同步类--定义文件自动下发

OGG运维优化脚本(十三)-信息同步类--进程信息上传