sh URLリストを読み込み，存在しないURLのみファイルに追记书き出し。

Posted 2021-05-07

#!/bin/sh
# URLリストを読み込み，存在しないURLのみファイルに追記書き出し．

FILE_PATH=urls.txt

S3_PATH=$1
DL_PATH=${S3_PATH}

cat ${FILE_PATH} | while read line
do
  #echo ${line} >> notExist.txt
  wget --spider ${line} 2>&1 | grep -Ei -B 3 "(unable to resolve host address|404 not found|302 found)" & >> notExist.txt &
done