How large a cluster can Spark scale to?
Many organizations run Spark on clusters of thousands of nodes. The largest cluster we know has 8000 of them. In terms of data size, Spark has been shown to work well up to petabytes. It has been used to sort 100 TB of data 3X faster than Hadoop MapReduce on 1/10th of the machines, winning the 2014 Daytona GraySort Benchmark, as well as to sort 1 PB. Several production workloads use Spark to do ETL and data analysis on PBs of data.
Até que tamanho o Spark pode escalar?
Muitas organizações executam o Spark em clusters de milhares de nós. O maior cluster que conhecemos tem 8000 deles. Em termos de tamanho de dados, o Spark tem sido mostrado para funcionar bem até petabytes. Ele foi usado para classificar 100 TB de dados 3X mais rápido do que o Hadoop MapReduce em 1/10 das máquinas, ganhando o Daytona GraySort Benchmark de 2014, bem como para classificar 1 PB. Várias cargas de trabalho de produção usam o Spark para fazer ETL e análise de dados em PBs de dados.