- 2021年12月21日
- 2023年3月6日
【Logstash】不要な項目(フィールド)を削除してElasticsearchのデータ容量を節約する
LogstashはElasticsearchにデータを投入するためのツールで、リアルタイムに生成されるデータを随時加工し、Elasticsearchに送出することができます。 Logstashを使ってデータを入れる際、全ての項目を入れなくてよいケースもあると思います。不要なデータを削ることは、容量を […]
LogstashはElasticsearchにデータを投入するためのツールで、リアルタイムに生成されるデータを随時加工し、Elasticsearchに送出することができます。 Logstashを使ってデータを入れる際、全ての項目を入れなくてよいケースもあると思います。不要なデータを削ることは、容量を […]
Logstashはデータを加工しながらElasticsearchにリアルタイムに投入するツールです。Logstashでは単にインプットのデータを送出するだけでなく、一定期間のデータを集約して平均値等を算出し、レコードとして出力できます。 今回は、一定期間のデータを集約してレコードとしてElastic […]
今回は、LogstashからElasticsearchにデータを投入する際に、インデックス名を動的につけて投入する方法を紹介します。 例えば株価データを取り込む場合、データの項目として株価というのは共通ですが、会社ごとにインデックスを分けたい場合があります。 そういったときに、今回紹介する方法は非常 […]
前回は、Elastic Stackのうち、ElasticsearchとKibanaの環境を構築しました。 今回は、Logstash環境を構築して、Elasticsearchにデータを投入していきたいと思います! Logstashとは Logstashはサーバーサイドデータ処理パイプラインとして、デー […]