ビッグデータ Apache Pigで辞書を当てる方法
あるフィールドに用意したキーワードが含まれるレコードを取得したいことがよくあると思います。
Pig でそれを実現する方法を記事にまとめました。
システム開発
ビッグデータ ビッグデータ ビッグデータ処理のエラーハンドリング実装例
ビッグデータ分析では処理前に読み込むファイルが存在するか確認したり, 排他制御したり等色々細かい対応が必要だったりします。
そういった時に使う処理のサンプルコードをまとめましたので使えるパターンがありましたらぜひ参考にしてみてください。
Git 【Git】ついつい毎回検索してしまうGitコマンドまとめ
Git 関連でよく使うのに毎回検索してしまうコマンドたちをまとめました。
私がよく使うコマンドなのでオプションが足りない場合は -h オプションを付けて他のオプションのヘルプを確認してください。
ビッグデータ ビッグデータ分析でよく使う Hadoop コマンドまとめ
Hadoop を操作する際によく使うコマンドを整理してまとめました。
ジョブ関連
Hadoop のジョブを一覧表示する
$ yarn application -list
Hadoop のジョブを強制終了する
...
Lambda Lambdaでクエリストリングを取得する方法まとめ
API Gateway 経由で Lambda を実行する場合 lambda_handler の引数 event には API Gateway からのリクエスト情報が格納されています。そこからクエリストリングを取得できます。
S3 AWS CLI S3 コマンド使い方まとめ
Amazon S3 でフォルダの作成方法や再帰的にファイルをコピーする方法などよく行う操作なのについ検索してしまう AWS CLIコマンドたちをまとめました。
特に複数月のデータを再帰的に複製する処理はビッグデータの前処理でよく使うので重宝しています。
性能評価 JMeterメトリクスをInfluxDBに格納しGrafanaで可視化する
性能評価をする際に JMeter のメトリクスをリアルタイムで監視したかったので，Backend Listner で JMeter のメトリクスを InfluxDB に格納し，Grafana で可視化しました。
概要
ソフト内...
ビッグデータ ビッグデータ分析で使用するシェルコマンドまとめ
ビッグデータ分析で使用してきたシェルコマンドをまとめました。
ターミナル表示
echo で文字列エスケープ
$ echo "\""
"
echo で改行表示
-e で改行を表示出来ます。
$ txt...
ビッグデータ ビッグデータ分析で使用するPythonコードまとめ
Python でビッグデータ分析処理をする際によく使うコードをまとめました。
Python でシェルコマンドを実行したり, 標準出力を扱ったりとシェル芸を組み合わせることもあります。
ロギングや Pandas でのデータ加工,...
Spring MVC 【Spring MVC】Spring MVC で作成した API に String 配列を渡す
プロジェクト作成
で Gradle Project を生成します。
Project: Gradle ProjectLanguage: JavaSpring Boot: 2.6.1Project MetadataGroup: ...