#!/bin/bash

   
dir=/home/ueda/GIHYO tmp=/tmp/$$ today=$(date +%Y%m%d)
   
cd $dir/LOG cat secure > $tmp-$today
   
awk '{print FILENAME,$0}' secure-* $tmp-$today | #1:ファイル名 2:ログの内容 #過去のログファイル名から年月日だけ取り出す sed -e 's/^[^-]*-//' | #1:ファイル年月日 2:ログの内容 #年と月日を分ける sed -e 's/^..../& /' #1:ファイル年 2:ファイル月日 3:ログの内容 

#!/bin/bash -vx # # SECURE_NORMALIZE secureログの正規化 # # usage: ./SECURE_NORMALIZE # written by R. Ueda (USP研究所) Dec. 30, 2011

   
dir=/home/ueda/GIHYO tmp=/tmp/$$ today=$(date +%Y%m%d)
   
cd $dir/LOG cat secure > $tmp-$today
   
#前半のコメントは省略 awk '{print FILENAME,$0}' secure-* $tmp-$today | sed -e 's/^[^-]-//' | sed -e 's/^..../& /' | #1:ファイル年 2:ファイル月日 3:ログの内容 #出力例：2011 1230 Dec 30 13:40:06 cent su: pam_u #月だけ頭に出して英語表記を数字表記に変える awk '{print $3,$0}' | #1:ログ月 2:ファイル年 3:ファイル月日 4:ログの内容 #前回登場した月の英語表記を数字に変換するsedスクリプト sed -f $dir/SYS/MONTH - | #ログから日付を持ってきてログ月にくっつける #一桁の日付を二桁に（既出のgsubを使うが普通はsprintf） awk '{gsub(/^.$/,"0&",$5);$1=$1$5;print}' | #1:ログ月日 2:ファイル年 3:ファイル月日 4:ログの内容 #ログの月日がファイルの月日より後なら昨年のデータ awk '{if($1>$3){$2--};print}' | #1:ログ月日 2:ログ年 3:ファイル月日 4:ログの内容 #出力例：0911 2011 1012 Sep 11 19:17:44 localhost awk '{$1=$2$1;$2="";$3="";$4="";$5="";print}' | #日付の後に無駄なスペースがたくさん入るので消す sed -e 's/ / /' > $dir/LOG/SECURE
   
rm -f $tmp-* exit 0 

#!/bin/bash # HTTPD_ACCESS_NORMALIZEスクリプト

   
cat $dir/LOG/httpd/access_{log.,log} | #「でりみた」という文字を区切り文字にデータを分ける。 sed -e 's/^\(..\) \(..\) \(..\) \[\(..*\)\] "\(..\)" \(..\) \(..\) "\(..\)" "\(..\)"$/\1でりみた\2でりみた\3でりみた\4でりみた\5でりみた\6でりみ>た\7でりみた\8でりみた\9/' | #を\に sed -e 's//\\/g' | #空白を_に sed -e 's/ //g' | #デリミタを空白に sed -e 's/でりみた/ /g' 

dir=/home/ueda/GIHYO tmp=/tmp/$$ cat $dir/LOG/httpd/access_{log.,log} > $tmp-data

   
awk -F\" '{print $1}' $tmp-data | awk '{print sprintf("%010s",NR),$0}' | awk '{print $1,1,$2;print $1,2,$3;\  print $1,3,$4;print $1,4,$5,$6}' > $tmp-1-4
   
awk -F\" '{print $2}' $tmp-data | awk '{print sprintf("%010s",NR),5,$0}' > $tmp-5
   
awk -F\" '{print $3}' $tmp-data | awk '{print sprintf("%010s",NR),$0}' | awk '{print $1,6,$2;print $1,7,$3}' > $tmp-6-7
   
awk -F\" '{print $4}' $tmp-data | awk '{print sprintf("%010s",NR),8,$0}' > $tmp-8
   
awk -F\" '{print $6}' $tmp-data | awk '{print sprintf("%010s",NR),9,$0}' > $tmp-9
   
sort -m -k1,2 -s $tmp-{1-4,5,6-7,8,9} 

#!/bin/bash -vx # # HTTP_ACCRESS_NORMALIZE accrss_logの正規化 # usage: ./HTTP_ACCESS_NORMALIZE # # written by R. Ueda (USP研究所) Nov. 29, 2011 dir=/home/ueda/GIHYO

   
dlmt=ﾃﾞﾞﾃﾘﾞﾃﾞﾘﾃﾞﾞﾞﾘﾞﾃﾞﾘﾞ reg='^\(..\) \(..\) \(..\) \[\(..*\)\] "\(..\)" \(..\) \(..\) "\(..\)" "\(..\)"$' str="\\1$dlmt\\2$dlmt\\3$dlmt\\4$dlmt\\5$dlmt\\6$dlmt\\7$dlmt\\8$dlmt\\9"
   
#"や[ ]、空白を目印にレコードを9分割する。 sed "s;$reg;$str;" $dir/LOG/httpd/access_{log.*,log} | #を\に sed 's//\\/g' | #空白を_に sed 's/ //g' | #デリミタを空白に戻す sed "s/$dlmt/ /g" | #出力例：119.147.75.140 - - 23/Nov/2011:15:14:13+0900 ... #日時を先頭に awk '{a=$4;$4="";print a,$0}' | #出力例：23/Nov/2011:15:14:13_+0900 119.147.75.140 - - ... sed 's;^\(..\)/\(...\)/\(....\):\(..\):\(..\):\(..\)_[^ ];\2 \1 \3 \4\5\6;' | #出力例：Nov 23 2011 151413 119.147.75.140 - - ... sed -f $dir/SYS/MONTH | #出力例：11 23 2011 151413 119.147.75.140 - - ... awk '{d=$3$1$2;$1="";$2="";$3="";print d,$0}' | #1:日付 2:時刻 3-10:あとの項目 #間延びした区切りの空白を戻す。 sed 's/ / /g' > $dir/LOG/ACCESS_LOG
   
exit 0