機械学習 【画像認識】犬の種類を判定するAIを作成する方法
イントロ
機械学習に入門しました。ざっとぐぐったところこんな感じで進めていくようです。
大量の画像を用意する
教師／テストデータを作成する
モデルを作成する
モデルで評価する
今回は、画像認識でシェ...
まいたけ＠エンジニア
機械学習 
ビッグデータ Apache Pig 使い方まとめ
Apache Pig では Hadoop の MapReduce 処理を簡単に記述することが出来ます。
そんな Apache Pig でよく使う処理をまとめました。
ビッグデータ 【ビッグデータ分析】APIを並列処理化することによる処理時間短縮方法
ビッグデータ処理で最新のユーザー情報を大量に取得しなければいけない場合があります。
そういった場合にユーザー1人ずつ順番で処理していたら数百万オーダーになるとチリツモで途方も無い処理時間がかかってしまいます。
そこでユーザーを分割して分割したユーザーごとに並列で API を実行すれば並列数分処理時間が短縮されます。
ビッグデータ Apache Pigで辞書を当てる方法
あるフィールドに用意したキーワードが含まれるレコードを取得したいことがよくあると思います。
Pig でそれを実現する方法を記事にまとめました。
ビッグデータ ビッグデータ処理のエラーハンドリング実装例
ビッグデータ分析では処理前に読み込むファイルが存在するか確認したり, 排他制御したり等色々細かい対応が必要だったりします。
そういった時に使う処理のサンプルコードをまとめましたので使えるパターンがありましたらぜひ参考にしてみてください。
Git 【Git】ついつい毎回検索してしまうGitコマンドまとめ
Git 関連でよく使うのに毎回検索してしまうコマンドたちをまとめました。
私がよく使うコマンドなのでオプションが足りない場合は -h オプションを付けて他のオプションのヘルプを確認してください。
ビッグデータ ビッグデータ分析でよく使う Hadoop コマンドまとめ
Hadoop を操作する際によく使うコマンドを整理してまとめました。
ジョブ関連
Hadoop のジョブを一覧表示する
$ yarn application -list
Hadoop のジョブを強制終了する
...
Lambda Lambdaでクエリストリングを取得する方法まとめ
API Gateway 経由で Lambda を実行する場合 lambda_handler の引数 event には API Gateway からのリクエスト情報が格納されています。そこからクエリストリングを取得できます。
アクセサリー Macを傷から守るエレコムのプロテクターフィルム
現役 SE が実際に愛用している MacBook Air のプロテクターフィルム について、正直にレビューをしています。
よく汚れる MacBook Air のトラックパッドとパームレストを保護できるフィルムは必需品です。
S3 AWS CLI S3 コマンド使い方まとめ
Amazon S3 でフォルダの作成方法や再帰的にファイルをコピーする方法などよく行う操作なのについ検索してしまう AWS CLIコマンドたちをまとめました。
特に複数月のデータを再帰的に複製する処理はビッグデータの前処理でよく使うので重宝しています。