ログ収集とは、システムや機器が自動で残す記録を集め、後から使える状態にしておく取り組みです。障害の原因調査だけでなく、利用状況の分析やAIの学習にも使えるため、データ活用の入口として位置づける企業が増えています。一方で、集めたログをそのまま分析に使えるわけではありません。
本記事では、分析やAI活用を目的としたログ収集について、対象になるログの種類から収集の方法、課題までを、データ基盤の構築を検討する企業のご担当者に向けて解説します。なお、セキュリティ対策や内部統制を目的としたログ管理は扱いません。自社での取り組みを進める材料としてお使いください。
ログとは、システムや機器が動作の内容を時系列で残した記録です。誰がいつ何をしたか、どの処理がいつ失敗したかが、人手を介さずに残ります。ログ収集は、各所に散らばった記録を1か所へ集める作業を指す言葉です。
ただし、ログ収集はただ記録を集めるだけではなく、集めたあとどこへ蓄積してどう検索し、活用できるかまで含めて設計しなければなりません。
集めたあとの使い道を先に決めておくと、取得する項目も保存の期間も自然に絞り込めます。反対に、使い道を決めないまま範囲を広げると、費用だけが増えて誰も見ないログが積み上がる状態になりかねません。
ログ収集の対象になるログは、出どころによって性質が大きく変わります。分析に使われる代表的な4つを紹介します。
Webサイトのアクセスログとは、いつどのページが閲覧されたかを示す記録です。閲覧の時刻、対象のページ、接続元の情報などが1行ずつ残ります。
アクセスログの特徴は利用者の動きを追える点です。どのページで離脱が多いか、どのような順序でページが見られているかなどを、担当者の感覚ではなく記録から確認できます。
業務システムの操作ログと認証ログは、誰がいつ何をしたかを示す記録です。操作ログは画面での操作やファイルの扱いを、認証ログはログインとログアウトを残します。
業務システムの操作ログや認証ログを活用すれば、業務の流れを数字で捉えることが可能です。たとえば、ある申請が入力から承認まで平均で何日かかかっているかが可視化できれば、承認フローの見直しなどにも役立つでしょう。
一方で、操作ログと認証ログには個人が特定できる情報が含まれます。取得の目的と使い道を社内で共有したうえで扱ってください。
機器やセンサーの稼働ログは、設備がどう動いていたかを残した記録です。温度や振動、稼働の時間、停止した時刻などが、一定の間隔で書き込まれます。
設備の状態を後からたどれるため、故障の原因調査や予兆の検知に使えます。機器やセンサーが停止する前の値の変化などを蓄積できるため、分析すれば次に同じ兆候が出た時点で対応できるようになります。
ただし、記録する間隔を細かくするほどデータの量も増えていきます。常時は一定の間隔で残し、異常を検知したときだけ細かく残す設計にすると、量を抑えたまま必要な情報を確保できるはずです。
センサーが出すデータの扱い方は「センサーデータとは？種類や活用例、分析に活かすための課題と進め方をわかりやすく解説」でくわしく解説しています。
車両や建設機械が出す運転のログも、分析の対象になります。走行の距離や時間、速度、急ブレーキの発生といった記録が、車載の機器から送られます。
運転のログを収集するメリットは、現場で起きたことをその場にいない担当者が確認できることです。運行の管理や安全運転の指導に使われるほか、AIや自動運転技術の開発での学習材料にも活用できます。
なお、車両のログは通信が届かない場所を走るあいだ途切れます。機器にいったん記録し、通信が回復してからまとめて送る仕組みがあるかを確認しておきましょう。
ログ収集の方法は、対象の機器と求める頻度によって決まります。代表的な3つを紹介します。
ログ収集のもっとも基本的な方法が、機器やサーバーから直接ログを受け取る形です。対象の機器に設定を入れ、決められた宛先へ記録を送らせます。
機器やサーバーから直接データを受け取るメリットは、追加の仕組みを用意せずに始められることです。多くの機器やOSが標準で送信の機能をもっており、宛先や形式を決めればすぐに使い始めることができます。
ただし、対象の台数が増えるほど設定や管理の手間が増えるのがデメリットです。機器を入れ替えるたびに設定を入れ直さなければならないため、どの機器がどこへログを送っているかの管理も必要です。
ログを記録する機器が多い場合は、連携ツールでまとめて収集する方法もあります。機器ごとに個別の設定を作るのではなく、ツール側で受け口と送り先を管理できるのが特徴です。
この仕組みであれば形式の変換を途中で挟むことができるため、日付の書き方や項目名が機器ごとに異なっても、共通の形式で統一できて便利です。
ただし、ツールを挟む分、ツールがうまく稼働しないとログ収集が停止します。ツール自体の稼働監視システムもあわせて導入しましょう。
システム間でデータをつなぐ手法は「データ連携とは？代表的な手法とメリット、進まないときの対処法を解説」で解説しています。
収集したログの分析まで考えるのであれば、自動化もおすすめです。ログは絶えず生まれ続けるため、手作業の工程が収集から蓄積の間に入らないほうが効率的です。
たとえば、収集から蓄積、加工までが自動化すれば、分析担当者はログを加工した記録を受け取って、内容を確認するだけで済みます。
ただし、自動化の仕組みはどこかの工程でエラーが発生するとその後のフローが全て停止するのが難点です。エラー監視の仕組みも含めて検討しましょう。
このような自動化の仕組みの全体像は「データパイプラインとは？仕組みや種類、ETLとの違いと構築のポイントを解説」で解説しています。
ログ収集は単に記録の蓄積と思われがちですが、思わぬ課題も多いです。先に押さえておきたい4つの課題を解説します。
ログの形式は、システムごとに違います。同じ日時でも書き方が異なり、同じ利用者を指す項目でも名前がそろっていないためです。
形式がそろわないままでは、システムをまたいだ追跡ができません。ある利用者が営業支援システムで操作したあと、基幹システムで何をしたかを追おうとしても、両者を結び付ける手がかりがない状態になります。
対策としては集める前に、項目名と日時の書き方をそろえる決まりを作っておきましょう。利用者を示す項目、時刻、対象のシステム名といった共通の項目だけでも先に定義しておくと、後から追加するシステムにも同じ形をあてはめられます。
機器ごとに時刻がズレることもあります。ログを突き合わせる場面で時刻がズレていると、正しい情報が得られません。これはそれぞれの機器が自前の時計で時刻を書き込むため、わずかな差が生まれた結果です。
そのため、基準となる時刻に全機器を合わせる仕組みを、収集の前に用意してください。あわせて、時刻の表記に時差の情報を含めておくと、拠点をまたいだ突き合わせでも迷いません。
ログの量が増えすぎて保管費用が膨らむのも問題です。ログは件数が多いうえ、対象とするシステムが増えるほど管理も煩雑になります。
対策として、用途ごとに保存の期間を分けて決めておきましょう。日々の障害調査に使うログは短期間で足りる一方で、傾向の分析に使うログは集計した形で長く残すなどの切り分けをおこなうのがおすすめです。
ただし、費用を抑えたいからと保存期間を短くしすぎるのも危険です。あとから過去を振り返りたくなった時点で記録が消えていると、調査そのものができません。古いログは安価な保管先へ移すなど、消さずに費用を下げる方法も検討してみてください。
ログには、個人情報や業務上の機密が含まれる場合があります。操作ログには利用者の名前や閲覧した画面の情報が残り、アクセスログには接続元の情報が残るためです。
つまり、ログを集めた場所そのものが、守るべき対象になります。誰でも中身を見られる状態にしておくと、ログの流出が最大の情報漏えいにつながりかねません。
ログを収集する際は閲覧できる範囲を役割ごとに絞り、必要のない項目は集めない判断も検討してください。取得の目的と保存の期間を社内で明文化しておくと、運用の判断に迷わなくなります。
ログ収集とは、システムや機器が残す記録を1か所に集め、後から使える状態にしておく取り組みです。対象になるのは、Webサイトのアクセスログ、業務システムの操作ログと認証ログ、機器やセンサーの稼働ログ、車両や設備の運転のログなど多岐にわたります。
集め方は、機器から直接受け取る方法、連携ツールで集約する方法、収集から蓄積までを自動化する方法の3つが基本です。対象の台数が増えるほど、後の2つを検討する場面が多くなります。
一方で、形式の不統一、時刻のずれ、保管の費用、個人情報の扱いという4つの課題があり、いずれも集め始めてから表面化します。ログを集める前に、使い道と保存の決まりを固めておきましょう。
弊社ブライセンは、アノテーション・収集・蓄積にとどまらないデータ基盤の設計と構築を手がけています。現場から生まれる大量の記録を、分析やAIに使える形へ整える工程を担ってきました。要件定義から基盤の構築、運用と改善までを一貫して支援する体制です。
ログは集まっているものの形式がそろわず分析まで進めない、保管の費用が想定を超えている、といった課題をおもちの方は、お気軽にご相談ください。
