WAVE ログ

連続する同じ内容の行をまとめる

ゆう — 2008-07-08T18:59:32+09:00

uniq コマンド
連続する同じ行がある場合それらを削除して表示することができる。
オプションを使用することで、いろいろな表示方法を選べる。

#　cat sample.txt
Hello World !
Hello World !
Hello World !
Hello World !
How are you ?

に対して

連続する行をまとめて表示

#　uniq sample.txt
Hello World !
How are you ?

連続する同じ行がいくつあるか表示

#　uniq -c sample.txt
4 Hello World !
1 How are you ?

連続する同じ行のみ表示

#　uniq -d sample.txt
Hello World !

1度しか現れない行のみ表示

#　uniq -u sample.txt
How are you ?

テキストファイルの内容を逆順に表示

ゆう — 2008-07-03T18:54:53+09:00

tac コマンド
テキストファイルの内容を区切り文字を基準に逆順に表示する。
デフォルトでは区切り文字は改行文字なので行単位で逆順に表示される。

#　tac file.txt

オプション
-s　区切り文字：区切り文字を指定する。

フィールド，カラムを取り出して表示する

ゆう — 2008-05-23T13:53:03+09:00

cut コマンド

オプション
-c 位置：取り出すカラムの位置を指定する。（複数指定可、範囲指定可）
-f 位置：取り出すフィールドの位置を指定する。（複数指定可、範囲指定可）
-d 区切り文字：フィールドの区切り文字を指定する。

最初の3文字を出力する。

#　cut -c1-3 list.txt

ファイルの各行のスペースで区切られた2番目のフィールドを切り出す。

#　cut -d' ' -f2 list.txt

Postfix + amavisd-new + Clam AntiVirus + Procmail + SpamAssassin の設定

ゆう — 2008-03-19T17:57:59+09:00

一応正常に動いているみたいなので、メモっておきます。
受信メールサーバーはIMAPを使っています。

１）Procmail の設定ですが、

#　vi /etc/procmailrc

SHELL=/bin/bash
PATH=/usr/bin:/bin
DROPPRIVS=yes
MAILDIR=$HOME/Maildir
DEFAULT=$MAILDIR/
SPAM=$MAILDIR/.Spam/
LOGFILE=$HOME/.procmail.log # ログ出力先
#VERBOSE=ON # 詳細ログ出力

# 未承諾広告メール削除※システムの文字コードがEUCの場合
:0
* ^Subject:.*iso-2022-jp
* ^Subject:\/.*
* ? echo "$MATCH" | nkf -meZ2 | sed 's/[[:space:]]//g' | egrep '未承諾広告※'
/dev/null

# SpamAssassinによるスパムチェック
:0fw
|/usr/bin/spamc

# SpamAssassinがスパム判定したメールはスパム専用メールボックスへ配送
:0
*^X-Spam-Flag: YES
$SPAM

こんな感じです。
すべての受信メールを SpamAssassin に送ってスパムチェックをさせています。

ここで、

:0fw
|/usr/bin/spamc

の「f」は「アクションに指定されているコマンドをフィルタとして取り扱う。」ということだそうです。つまり、SpamAssassin をフィルタとして使うということですよね。この「f」がないとフィルタにならずに SpamAssassin に行ったきり戻ってこず、結果的に受信されないという状態になります。
ちなみに、「w」は「アクションに指定したフィルタやコマンドが終了するまで待つ。」ということらしいです。

２）スパム対策は、Procmail を使って SpamAssassin でするので、amavisd-new の spam メールフィルタは停止させています。
コメントアウト解除

#　vi /etc/amavisd.conf

#X@bypass_spam_checks_maps

再起動。

#　service amavisd restart

これを停止させるとかなりメモリの節約になります。

３）SpamAssassin 設定ファイルは TLEC のを使っています。
スパムメールと判断する閾値が TLEC の設定を使うと、

required_score 13.0

なので、これを「5.0」に書き換えるように以下のスクリプトを使用しています。

いくらか使っていれば学習して「13.0」でも良いようになるのかもしれませんが、僕の場合とりあえず最初は「5.0」～「7.0」ぐらいにしておかないとスパムをうまく振り分けてくれませんでした。

#　vi spamassassin-update

#!/bin/bash

PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
# TLEC(http://tlec.linux.or.jp/)よりSpamAssassin設定ファイル最新版ダウンロード
cd /etc/mail/spamassassin
wget -qN http://tlec.linux.or.jp/docs/user_prefs
cp user_prefs local.cf
# スパム判断したメールを添付形式にしないように設定
echo "report_safe 0" >> local.cf

# ok_languagesオプション削除
sed -i '/^ok_languages/d' /etc/mail/spamassassin/local.cf

# local.cfのrequired_scoreを「5.0」に変更
required_score=5.0
sed -i "s/required_score.*/required_score $required_score/g" /etc/mail/spamassassin/local.cf

# SpamAssassin再起動
/etc/rc.d/init.d/spamassassin restart > /dev/null

ちなみに、各ユーザ毎に設定するなら、
各ユーザホームディレクトリにある、.spamassassin/user_prefs ファイルの required_score を設定します。local.cf より優先します。

コメントでエラー

ゆう — 2008-03-17T14:28:18+09:00

もう長いこと、このブログにコメントが付いていないのですが、あ、いや、もともと正常な（？）コメントは滅多に付かずに付くのはスパムばかりなのですが、それすら付かなかったんですよね。

コメントしようとするとなんかエラー出るのかなぁ、とか思っていたんですが、今まで調べてみなかったんですわ。
んで、この度、試しに自分でコメント入れようとしてみたら、

エラーが発生しました:
Unmatched ) in regex; marked by <-- HERE in m/140.109.225.239) <-- HERE / at /var/www/html/blog/lib/MT/App/Comments.pm line 208.

…だって。あら!?やっぱり。

調べたら、「禁止IP」として登録しているIPアドレスに「)」が付いちゃってて、
140.109.225.239)
こんなんなってました。
コレ、「禁止IP」から削除したら直りましたわ。

このIP、登録したの１年以上前だった。長い間コメント付けられず申し訳ありませんでした。
でも、これからまた、スパムに悩まされるだけかしら。（苦笑）

テキストファイルを行単位で並べ替える

ゆう — 2008-03-13T18:05:16+09:00

sort コマンド

オプション
-n：数値として並べ替える。
-r：降順に並べ替える。（指定しない場合は昇順）
-t 文字：指定文字を区切り文字とする。（デフォルトは空白）
-k 数値1（,数値2）：数値1番目のフィールドから数値2番目のフィールドをキーとする。（先頭フィールドは1）

#　cat list.txt
yuna 95
runa 32
honoka 44
hinata 74
mao 19
haruna 89
kanon 65
mana 55
haruka 100
nanami 82

に対して、

#　sort -n -r -k 2,2 list.txt
haruka 100
yuna 95
haruna 89
nanami 82
hinata 74
kanon 65
mana 55
honoka 44
runa 32
mao 19

#　sort -k 1,1 list.txt
haruka 100
haruna 89
hinata 74
honoka 44
kanon 65
mana 55
mao 19
nanami 82
runa 32
yuna 95

複数の列をもとにデータを並べ替える

#　cat list.txt
yuna 5
runa 2
honoka 3
hinata 3
mao 1
haruna 4
kanon 3
mana 3
haruka 5
nanami 4

に対して、
第２フィールドを数値として降順に並べ替え、同じになったものを第１フィールドで並べ替える

#　sort -k 2,2nr -k 1,1 list.txt
haruka 5
yuna 5
haruna 4
nanami 4
hinata 3
honoka 3
kanon 3
mana 3
runa 2
mao 1

テキストファイルの行頭，行末に文字列を追加する

ゆう — 2008-03-03T15:59:24+09:00

行頭に「"」を追加する

#　sed -i 's/^/"/g' file.txt

行末に「"」を追加する

#　sed -i 's/$/"/g' file.txt

文字列「AAAA」を含む行の行頭に「;」を追加する

#　sed -i '/AAAA/s/^/;/g' file.txt

テキストファイルの行を削除する

ゆう — 2007-04-29T09:48:40+09:00

45行目を削除する

#　sed -i '45d' file.txt

5行目から20行目までを削除する

#　sed -i '5,20d' file.txt

「pattern」を含む行を削除する

#　sed -i '/pattern/d' file.txt

テキストファイルの内容を行番号つきで表示する

ゆう — 2007-04-28T20:53:56+09:00

#　less -N file.txt

テキストファイルの行数を数える

ゆう — 2007-04-22T09:40:52+09:00

#　wc file.txt

行数、単語数、バイト数、ファイル名の順に表示される

#　wc -l file.txt

行数、ファイル名が表示される

行数のみ得たい場合は、grep を使う

#　grep -c '' file.txt

コピペ用メモ

ゆう — 2007-01-12T21:55:21+09:00

いつもコピペを使っていて、いっこうに覚えられないので、使うたびにコピペ元を探しているようなのをまとめてメモっておきます。まったくの個人用です。(^^;

【HTML】
文字コード（UTF-8）

ファビコン

外部スタイルシート読み込み

外部ジャバスクリプト読み込み

【スタイルシート】
@cherset "utf-8";
text-align: center;
position:relative; top:**px; left:**px;
font: normal **px sans-serif;
font-size: **px;
font-weight : normal;
color:#******;

.button {width:**px;height:**px;}

.*** a:link {
text-decoration:underline;
color:#******;
}

.*** a:visited {
text-decoration:none;
color:#******;
}

.*** a:hover {

}

.*** a:active {

}

ファイルを結合する

ゆう — 2006-11-30T07:20:34+09:00

#　cat test.aa test.ab test.ac > file.txt

test.aa ＋ test.ab ＋ test.ac の順番に結合される

#　cat test.* > file.txt

ワイルドカードを使うとファイルは昇順に結合される

ファイルを分割する

ゆう — 2006-11-19T21:13:16+09:00

「file」を8行ごとに分割

#　split -8 file new_

ファイル確認

#　ls
file　　　new_aa　　　new_ab　　　new_ac

分割されたファイルの前半部分は「new_」となり、その後に「aa」～「ac」が振られていく。

検索件数を表示するタグ

ゆう — 2006-11-10T11:15:20+09:00

<$MTSearchResultCount$> です。

検索結果の数を表示します。
～内で使用します。

検索結果の表示順を昇順（古い方から順にエントリーを表示）にする

ゆう — 2006-11-09T21:32:21+09:00

Movable Type ディレクトリ（ .cgi スクリプトを格納しているディレクトリ）にある、Movable Type の設定ファイル mt.cfg または mt-config.cgi （Movable Type のバージョンにより異なります）の ResultDisplay を ascend とする。デフォルトでは、

# ResultDisplay ascend

と、# でコメントアウトしてあり、デフォルト値： descend（降順：新しい方から順にエントリーが表示）になっている。

Movable Type の設定ファイルを編集かぁ。検索画面のテンプレート・ファイル default.tmpl にタグを追加するんじゃないのね、道理でうまくいかなかった訳だ。(^^;
Movable Type の設定ファイルって、インストールした時に CGIPath なんかを指定したファイルですね。
ちなみに、ヘルプから見れるマニュアルに、これ以外にも説明がたくさん載ってますわ。Movable Type 3.2 だと、「Movable Type 3.2 マニュアル」-「付録」-「環境設定ファイル (mt-config.cgi) 」。