Dask

比較的大きなデータセットや分散データ分析に使える、オープンソースの Python 並列計算ツール。

詳しい紹介

Dask はオープンソースの Python 並列計算ライブラリで、NumPy、pandas、scikit-learn の使い方を拡張して、比較的大きなデータセットや並列タスクを処理できます。研究者は、大規模な表、リモートセンシングデータ、シミュレーションの出力、一括計算タスクの処理に使えます。

適用場面:Python による並列計算、ビッグデータ分析、一括タスク、シミュレーション出力の処理、データエンジニアリング

注意:小さなデータセットには通常 Dask は不要で、まず pandas、Polars、DuckDB を使うほうが簡単です。