有米实习-用到的shell脚本和Python脚本记录

Posted 2020-06-19 Key_Ky

Shell：
LOG_DATE=`date -d "1 day ago" +%Y-%m-%d` #以指定格式设置一天前的年份月份日期

aws s3 ls $LAST5_BASE_PATH > ${TMP_FILE} #将s3这个位置的文件清单输出到tmp.txt文件中

if grep -q $LOG_DATE $TMP_FILE; then #查找是否存在

spark-submit --master "local[*]" /root/Downloads/packageStat/selectTopNAppPackage.py $TEST_1 $TEST_2 $android_OUTPUT_BASE_PATH $ios_OUTPUT_BASE_PATH #提交py文件加输入参数

Python：
eval函数：将字符串"{key:value}"转为字典
datetime.strptime(date_string, format)：将格式字符串转换为datetime对象
time.strftime(fmt)：返回自定义格式化字符串。例子：time.strftime("%Y%m%d-%H:%M:%S")