Kekeの日記

エンジニア、読書なんでも

2018-08-14から1日間の記事一覧

Apache Azkaban, Airflow, Luige, Oozie比較

本記事 Apache Azkaban, Airflow, Luige, Oozieのこれらはワークフロー管理に使われるOSSです。 HadoopやSparkなどを使って分散処理をナイトリーに行なっている場合、そのスケージュールリングだったり監視などが大変になってきます。 そのような中で、ワー…

PrestoでApache Kafkaに分散クエリを投げる

対象読者 分散SQL環境を構築したい方 Prestoに入門したい方 Kafkaの中身にクエリを投げたい方 Prestoとは 分散SQLクエリエンジン 以下のようなアーキテクチャです。 特徴 - 分散しているので高速なクエリが叩ける。Hiveはバッジ処理を目的とするため遅い。 -…