skillup

技術ブログ

プログラミング全般

ログ検索について(Application Insightsを例に)

投稿日:

現在のプロジェクトではインフラ環境をAzureで構築していますが、ログをApplication Insights(Azure上の管理画面から使えるサービス)で管理してます。

世界一わかりみの深いAPM 〜Application Insightsでアプリケーションパフォーマンス管理に全集中!!〜

テスト、ログ、エラーハンドリングはどの現場でも重要になる最大事項ですが、ログについてはどのようにだすかもそうですが、どこに出すか、どのように抽出するかも重要になってきますね・・・・

どこに出すか(告知をするか)

レガシーな環境ですとサーバーに出すのが一般的かとは思いますが、サーバーに出すと

  • 適度な抽出や複雑な検索(IPが××でレベルがINFOで検索語句に’〇〇’が入っている)がしづらい
  • ログローテが不完全だとサーバーパンクする(過去に数回ありました・・・汗)
  • サーバーに入れない環境などでは当然見れない(今だと結構増えてると思います。)
  • 定期的なログのトレース(アクセス解析的なもの)をするのには当然独自にスクリプトを組む必要がある

のようなデメリットがあります。

そのため、管理画面から見れるツールなどを使うことが一般的ではないでしょうか。AWSでしたらcloudwatchとかazureだとApplication Insightsのようなものになると思います。

これらのサービスを使うと上記に挙げたデメリットが解決できます。

またエラー(特に例外系のシステムエラー)の場合はSentryなどのエラーレポートサービスやそうでなくてもメールなどで告知する仕組みが必要になるでしょう。

どのように抽出するか

今回Application Insightsで驚いたのですが、検索対象のカラムが10から20ぐらいありました。

sessionIDやAPIの場合はアクセスURL、IP、国、都市、クラス、システム名などなど・・・

まあわけがわからないものが多かったのですが・・・汗

自分が実務で検索するときに必要になるキーなどについて触れておこうと思います。

ログレベル

これを考えない方はいないと思いますが、debug,info,warning,error,fatalのうちどれで抽出するのかということになります。一般的にはfatalやerrorを元にそこにいくまでを辿る必要が出てきます。

特定の検索語句

エラーが起こった時のログの解析としてはなんらかのエラーが起こり、エラーが起こっているリクエスト開始からエラーの起こる地点までの調査・・となることが多いと思います。

その場合、一般的には

  • リクエストパラメーターに含まれているクエリの一部
  • エラーコード

などで検索することが多いでしょう。

システム名やアクセス元

今まではあまり意識することはなかったんですが、複数のアプリやAPIが混合していると、自分が関わっているシステムのログを抽出するだけでもものすごい大変だったりします。

その場合、自分のシステム名やあるいはアクセスしているIPなどで抽出することができればログの解析が容易になります。

その他の注意点

一般的には本番環境ではある程度のレベル以上のログ(ある程度のレベル)を出すことが多いようなのですが、少なくともリリースまでは全レベルを出しておかないととても追えないと思います。(特にSQL)

-プログラミング全般
-,

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

テストコードを読みやすくする

リーダブルコードも最終章に近づいてきましたね。 今回はテストコードについて。 以前のプロジェクトではテストコードを書いていたのですが、今携わっているプロジェクトでは書いてないです・・・ テストを書く目 …

no image

ミスを少なくする工夫について

プログラマであればだれもが「いかにバグを少なくするか」に腐心すると思います。 ところが、人間がある以上、バグ(ミス)は絶対にゼロにはなりません。バグ云々以前に、「人間はもともとミスをする生き物だ」とい …

no image

Observeパターンについて

Contents1 Observeパターン2 他の対策2.1 プログラムで頑張って制御2.1.1 メリット2.1.2 デメリット2.2 Databaseのtirggerを使う(DB更新系のみ)2.2. …

no image

VSCodeのPluginなど

Vscodeで使っているPluginなど Contents1 基本2 UML3 git4 PHP コードフォーマット5 golang6 CSV整形 基本 Japanese Language Pack …

no image

シェルスクリプト ファイル読み込み・switchなど

以前のエントリーに引き続き、シェルスクリプトでログを解析する処理があってそこで覚えたことなどをまとめておきます。 Contents1 ファイル読み込み2 switch文2.1 基本パターン2.2 条件 …

アーカイブ