TAG

logstash

  • 2021年12月21日
  • 2023年3月6日

【Logstash】不要な項目(フィールド)を削除してElasticsearchのデータ容量を節約する

LogstashはElasticsearchにデータを投入するためのツールで、リアルタイムに生成されるデータを随時加工し、Elasticsearchに送出することができます。 Logstashを使ってデータを入れる際、全ての項目を入れなくてよいケースもあると思います。不要なデータを削ることは、容量を […]

  • 2021年9月22日
  • 2023年4月21日

【Logstash】一定周期で取得するデータを集約してElasticsearchに取り込む方法

Logstashはデータを加工しながらElasticsearchにリアルタイムに投入するツールです。Logstashでは単にインプットのデータを送出するだけでなく、一定期間のデータを集約して平均値等を算出し、レコードとして出力できます。 今回は、一定期間のデータを集約してレコードとしてElastic […]

  • 2021年3月11日
  • 2023年4月25日

【Logstash】インデックス名を動的につけてElasticsearchにデータを投入する

今回は、LogstashからElasticsearchにデータを投入する際に、インデックス名を動的につけて投入する方法を紹介します。 例えば株価データを取り込む場合、データの項目として株価というのは共通ですが、会社ごとにインデックスを分けたい場合があります。 そういったときに、今回紹介する方法は非常 […]