Kekeの日記

エンジニア、読書@1915keke

Apache Stormのトポロジーチュートリアル

本記事ではApache Stormのトポロジーを中心しに解説していこうと思います。 前提知識 StormのAPIがデザインパターンBuilderを使用しますので知らなければ学習してください。 用語 topology: SpoutとBoltから構成されるネットワーク構造。 tuple: 流れるデー…

Apache Azkaban, Airflow, Luige, Oozie比較

本記事 Apache Azkaban, Airflow, Luige, Oozieのこれらはワークフロー管理に使われるOSSです。 HadoopやSparkなどを使って分散処理をナイトリーに行なっている場合、そのスケージュールリングだったり監視などが大変になってきます。 そのような中で、ワー…

PrestoでApache Kafkaに分散クエリを投げる

対象読者 分散SQL環境を構築したい方 Prestoに入門したい方 Kafkaの中身にクエリを投げたい方 Prestoとは 分散SQLクエリエンジン 以下のようなアーキテクチャです。 特徴 - 分散しているので高速なクエリが叩ける。Hiveはバッジ処理を目的とするため遅い。 -…

Apache AvroとProtocol Buffers

本記事 Apache Kafkaなどメッセージ配送のためのOSSを使用していると何かしらシリアライズすることになります。 そこでXMLやJSON, ASN.1など選択しないといけません。どれが一体良いのでしょうか? 本記事では、どのようにしてシリアライズすればいいかを解説…

YamlのAnchor&、Extend<<、Extended Inline<< &について

本記事 CIやKubernetesなどインフラに関する設定項目は、多くの場合yamlで書くようになります。 つまり、yamlをマスターすることが何よりもCIやPaasなどのドキュメントを読むくらい大事なのです。 CircleCIやテンプレートを書くときなど、yamlを書くことは多…

メッセージングセマンティクスEffectively-once

本記事 Apache Kafkaとよく似たApache Pulsarと呼ばれる新しいOSSが登場しました。 本記事はPub/Sub型メッセージ配送方法の信頼性について解説し、Pulsarで登場したセマンティクスEffectively-onceを解説します。 メッセージ配送方式とは Pub/Sub型メッセー…

Apache Pulsar 2.1.0の大進化

昨日、Apache Pulsar2.1.0がリリースされました。 そこで大きな変化について解説したいと思います。 個人的には2.1.0によって、かなり使い勝手の良いものになったのではないかと思っているので解説していこうと思います。 Agenda 0 Apache Pulsar入門 1 Puls…

モバイルアプリ開発とガチインフラ構築をやってみる

はじめに 完全に日記です。 特に技術的に解説してみようと思っていなく、実装の感想などを主に書いています。 簡単なモバイルアプリを作りましたが、アニメーションを除けば基本的な機能は実装してます。 動機 研究室ではスーパコンピューターを使ってのシミ…

宣言的Spinnaker設計 継続的デリバリーのさらに上にいく

tl;dr 学部4年になり忙しくなるので、よりすべてを「自動化」しようと思いました。 最近自分が考案した 宣言的継続的デリバリー(Declartive Continuous Delivery) を紹介させていただきます。 まず、宣言的継続的デリバリーを定義させていただきます。 宣言…

Start your Bitcoin app with just 4 lines of code. go-btcrpc

Hey Guys. A great announcement to everyone who wants to use blockchain. I made a simple bitcoin library to interact with your bitcoin node called go-btcrpc. What's JSONRPC? JSONRPC is like JSON but the object is a bit different. Unlike JSO…

Ripple開発者コミュニティを作りました

TL;DR Rippleの開発者コミュニティを作りました XRP testnetで10000XRP持っていないと入れません Rippleについて熱く議論できればなと思います ->リップル開発者コミュニティ はじめに 本来ならばslackinのように自動招待をしたかったのですが、忙しくできま…

綿矢りさ「蹴りたい背中」が読みたくなる痺れるフレーズ集

自分が2017年読んだ小説の中でトップ3に入るくらい面白かったので紹介します。 「いまさら?」って思うかもしれませんが、大人になってから読むと何倍も楽しめたので、ぜひ皆さんにも読んでみてほしいです。 蹴りたい背中 (河出文庫)作者: 綿矢りさ出版社/メ…

JSON-RPC1.0と2.0

この記事はBlockChain Advent Calendar 2017 15日目の記事となっています。 非情報系の3年生なので、技術的に説明不足なことがあったらすみません。 招待制のウォレットを作ったので紹介させていただきます。 これは実験的に招待制にしたので、意味があるか…

誰もがつまづくDjangoをHerokuにデプロイするときあるある

はじめに 今回は「ツナキチ」というニューラルネットワークによる画像認識を用いて人間の顔が一体何% ネコっぽいのかを調べられるWebサイトを作りました。 時間がなくてsafariではデザインが崩れてしまってます。いずれ直します!) 明示的にHerokuでデプロ…

ScalaでMVCを構築する手順

はじめに Scalaの超軽量フレームワーク「Scalatra」上でMVC構造を構築するまでを解説します。 Scalatraだけでなく、Scalaは記事が少なすぎる。 タグを見るとわかるが、Scalatraに限って8です。 圧倒的少なさから入門もしにくいし、、、 そのせいで、普段はSw…

golang+gormで画像をバイナリ化してDBに保存する

はじめに 過去に長期インターンでRubyonRailsをやっていたのでその経験も活かして記事にしました。 はてなブログ記事 やりたいこと 今回は自分のプロフィール(冬仕様)であるこの画像をバイナリ化してDBに保存しようと思います。(184MB) この記事はRuby on R…

ブログをはじめました

どうも。@1915kekeです。 今日からブログを開始します! 自己紹介 最初に簡単に自己紹介すると Twitterアカウントは@1915kekeです。気軽にフォローしてください。 大学3年生 趣味は読書、プログラミングです。 帰国子女でTOEIC945点もってます。 ロボットを…