AWS S3 vs谷歌云 vs Azure:云存储性能的比较

我正在建立一个新的可以迅速处理大量科学数据的云产品。迄今为止我们最大的客户数据集大约有3000个表,平均每个40到80MB,总计150GB。我们的目标是在10秒或更少的时间之内处理它们。每个表都可以被独立处理,因此我们着重并行化,即部署使用了1000个或更多的vCPU。棘手的部分是如何快速阅读那么多的数据到内存中。现在大约80%的计算时间是花在读取数据上的,这就导出了将要连载的三篇文章的重点是:云
相关文章
相关标签/搜索