WebHDFSについて WebHDFSはhdfsコマンドではなくREST APIにhttpでアクセスできる便利なもの。 Hoop(httpfs)とwebhdfsの違い - たごもりすメモとかが図もあってわかりやすいと思う。 背景1 (hdfsコマンドへの不満) MapReduceなどを使って解析を行って、その結…

PythonでJSONを読み書きする機会が割りとあったんですが、改めて調べたり、公式ドキュメントをちゃんと読んだら便利な機能を知ったのでメモしておきます。 jsonファイルの辞書を順番通りにloadしたい 設定ファイルとしてJSONを使っている時、普通にloadする…