並列化

ビッグデータ

【ビッグデータ分析】APIを並列処理化することによる処理時間短縮方法

ビッグデータ処理で最新のユーザー情報を大量に取得しなければいけない場合があります。 そういった場合にユーザー1人ずつ順番で処理していたら数百万オーダーになるとチリツモで途方も無い処理時間がかかってしまいます。 そこでユーザーを分割して分割したユーザーごとに並列で API を実行すれば並列数分処理時間が短縮されます。
タイトルとURLをコピーしました