サーバーのハードディスクがお亡くなりに。。。
このブログを運営しているのは、自宅サーバーなのですが、そのサーバーのデータ用ハードディスクがお亡くなりになった。。。(ToT)
数日前から、このサーバーへのアクセスが非常に重くなっていたのです。
WEBページの表示が遅いだけでなく、メールの送受信も遅くなっていました。
で、MRTGを見たら、確かにWEBのセッション数は減っている。しかし、それほどサーバーが重くなるほどの負荷はかかっていないし、アクセスログを見てもそんな感じでもない。コンソールからtopコマンドでシステムの負荷をモニターしていたが、全然負荷がかかっていない。
で、何が原因かわからないまま、数日が過ぎ、ふと、/var/log/messageのログをみたら。。。
Σ(ﾟ□ﾟ*)ナニーッ!!
以下のようなログメッセージが延々と出続けている。
May 21 05:21:30 sv1 kernel: ide: failed opcode was: unknown
May 21 05:21:30 sv1 kernel: end_request: I/O error, dev hdd, sector 173408911
May 21 05:21:34 sv1 kernel: hdd: dma_intr: status=0x51 { DriveReady SeekComplete Error }
May 21 05:21:34 sv1 kernel: hdd: dma_intr: error=0x40 { UncorrectableError }, LBAsect=173408911, high=10, low=5636751, sector=173408911
あわてて、ネットで「DriveReady SeekComplete Error」を検索してみると。。。。
ハードディスクがお亡くなりになる前兆だそうだ。。。。
案の定、それから何度かサーバーを再起動をかけていたら、ついには起動しなくなった。。。(ToT)
ディスクの使用状況は以下のような感じだった。
[root@sv1 log]# df -h
Filesystem サイズ 使用 残り 使用% マウント位置
/dev/hda1 35G 6.6G 26G 21% /
tmpfs 473M 0 473M 0% /dev/shm
/dev/mapper/VolGroup00-LogVol00
95G 1.8G 88G 2% /home
/dev/mapper/VolGroup01-LogVol00
50G 1.4G 46G 3% /home2
よくよく調べてみると、マウントポイントの「/dev/VolGroup00/LogVol00」でディスクエラーを吐いている。
で、ディスクの修復を試みてみた。
fsck -R /dev/VolGroup00/LogVol00
上記コマンドで/etc/fstabに記述してあるディスクをチェックして、自動修復してくれるはずなのだが、途中でエラーを吐いて終わってしまう。
次に下のコマンドで手動でやってみることにした。
fsck /dev/VolGroup00/LogVol00
で、なんとかすべてのクラスタを修復し、何とかサーバーは起動できるようになったが、数分後、またシステムログに以下のログが。。。。
May 21 05:21:30 sv1 kernel: ide: failed opcode was: unknown
May 21 05:21:30 sv1 kernel: end_request: I/O error, dev hdd, sector 173408911
May 21 05:21:34 sv1 kernel: hdd: dma_intr: status=0x51 { DriveReady SeekComplete Error }
May 21 05:21:34 sv1 kernel: hdd: dma_intr: error=0x40 { UncorrectableError }, LBAsect=173408911, high=10, low=5636751, sector=173408911
この時点で諦めました（＾＾；）
もうこのハードディスクはダメだ、と。。。
で、今日新しいハードディスクを買ってきて、ハードディスクを交換しようと試みる。
とりえあず、問題のハードディスクはデータドライブだったので、システムを再構築する必要がなかったのでほっとしたのだが、データが吸い出せなくては問題だ。
で、大丈夫なディスクの方にデータを移動しようと思い、rsyncコマンドをかけるが、読みとりエラー(ToT)
一か八かでコピーコマンド(cp)をかけてみると、「I/O Error」は数回出たものの、いちをデータをすべてコピーできた。。。ほっ。
で、NGのハードディスクを新しいハードディスクに交換し、データを打つし直して復旧。
あ～、疲れた（＾＾；）
次回は、今回の作業の備忘録、Linuxでのハードディスクの増設を解説します（笑）
教訓：
- 「DriveReady SeekComplete Error」がでたら、諦めて、速やかにバックアップ後、新しいハードディスクに交換すること（笑）
コメントする