监控错误日志实例

 作者：田逸（sery@16.com）

目的:

1、  发现日志是否产生某个关键字(如系统日志的error)。

2、  不从头重复检查。日志文件不停滚动，每次从头检查的话，会查到已经发现的错误，就不符合我们的需求。

3、  发现新的关键字字日志中即发送报警。

原理：

用linux的diff工具，对比两个文件，并以grep提取我们要关注的“关键字”，如果有输出，则表明有异常，然后报警，再把源文件拿去覆盖对比的那个对象文件。

实验：

1、  工具：nagios插件check_log.

2、  文件：/var/log/messages及/var/log/message.arc。文件/var/log/messages本不存在的，执行命令后，自动生成。

我们先来看一下/var/log/messages 的内容：

Mar 21 04:02:10 MONITOR syslogd 1.4.1: restart.

Mar 23 15:03:32 MONITOR kernel: Kernel logging (proc) stopped.

Mar 23 15:03:32 MONITOR kernel: Kernel log daemon terminating.

Mar 23 15:03:33 MONITOR exiting on signal 15

Mar 23 15:03:33 MONITOR syslogd 1.4.1: restart.

Mar 23 15:03:33 MONITOR kernel: klogd 1.4.1, log source = /proc/kmsg started.

现在执行 ./check_log  -F /var/log/messages -O /var/log/messages.arc -q “stop” 输出如下（因为/var/log/messages.arc无内容）：

(1)    < Mar 23 15:03:32 MONITOR kernel: Kernel logging (proc) stopped.

执行完毕后，两个文件的内容就一致了。当我们再次执行 ./check_log  -F /var/log/messages -O /var/log/messages.arc -q “stop” 时，输出内容为：Log check ok – 0 pattern matches found,这表明当前并没有新的“stop”产生。

接下来，改一下文件/var/log/messages.arc,比如我把stoped去掉一个s字母，然后执行./check_log  -F /var/log/messages -O /var/log/messages.arc -q “stop”,则会得出第一次执行的输出。

结论和改进：

可以满足一定的需求，如以error做正则表达式来判断是否有错误产生。

改进脚本，使其有一定量的error产生时，发送警告，多余一个量，则发送critical告警。

                              2010/3/23  sery