最近、数十万のデータを処理するために Python が使用されました.2 台のコンピューターが昼夜を問わずすべてのデータを処理するために実行されました.タスクを実現する過程で、私は自分の問題点と欠陥を認識しました. . これでタスクは完了し、マルチスレッドに関する徹底的な調査を行う準備が整いました
プログラムを高速化する方法:
- マルチスレッドの同時実行
- 複数の CPU を並列に
- 並列の複数のマシン
関連するテクノロジーとライブラリ:
- ねじ切り
- マルチプロセッシング
- Hadoop/ハイブ/スパーク