cloverrose's blog

Python, Machine learning, Emacs, CI/CD, Webアプリなど

Hadoop

pywebhdfsにHAとFederationをサポートするPRがマージされた

WebHDFSについて WebHDFSはhdfsコマンドではなくREST APIにhttpでアクセスできる便利なもの。 Hoop(httpfs)とwebhdfsの違い - たごもりすメモとかが図もあってわかりやすいと思う。 背景1 (hdfsコマンドへの不満) MapReduceなどを使って解析を行って、その結…