说明：如果访问 GitHub 比较慢的话，可以关注我的知乎账号（Python-Jack），上面的“从零开始学Python”专栏（对应本项目前 20 天的内容）比较适合初学者，其他的专栏如“数据思维和统计思维”、“基于Python的数据分析”、“说走就走的AI之旅”等也在持续更新中 ...

本文介绍了五个 Dask 并行计算技巧，通过这些技巧，你可以轻松应对大规模数据处理的挑战。 在数据科学和机器学习领域，处理大规模数据集是一个常见的挑战。传统的单机计算往往难以应对海量数据的处理需求，这时并行计算就显得尤为重要。Dask 是一个 ...

在当今以数据为核心的商业竞争中，数据已然成为企业的“新油”。然而，许多公司依然执着于使用传统的CSV文件来存储和交换数据，虽然这是一种相对简单的存储方式，但面对数据量的不断增长，这些文件的体积也如同积木般不断叠高，最终可能让我们的数据 ...

随着数据规模的不断扩大，传统的数据处理工具难以应对大规模数据的挑战。Pandas 作为 Python 数据分析领域的核心工具，因其直观的 API 和丰富的功能而备受欢迎。然而，Pandas 受限于单机内存的限制，难以处理超过内存大小的数据集。为了解决这一问题，Dask ...

让大规模数据处理和AI触手可及。 36氪获悉，「未来速度」日前完成数百万美元天使轮融资，由耀途资本独家投资，融资资金将用于产品研发、用户体验改善和云平台搭建。 未来速度成立于2022年，旗下产品Xorbits为分布式数据科学计算框架，旨在加速Python生态下 ...

Pandas和Numpy大家都不陌生了，代码运行后数据都加载到RAM中，如果数据集特别大，我们就会看到内存飙升。但有时要处理的数据并不适合RAM，这时候Dask来了。 Dask是开源免费的。它是与其他社区项目（如Numpy，Pandas和Scikit-Learn）协调开发的。 Dask支持Pandas的DataFrame ...

关于 Python 性能的一个常见抱怨是全局解释器锁（GIL）。由于 GIL，同一时刻只能有一个线程执行 Python 字节码。因此，即使在现代的多核机器上，使用线程也不会加速计算。 Dask 库可以将 Python 计算扩展到多个核心甚至是多台机器。 关于 Python 性能的一个常见抱怨 ...

在上一个教程中，我们已经理解了分布式计算的概念和 Dask 简介。除了 Dask 接口的介绍，我们还了解了什么是 Dask 集群以及如何安装 Dask。 ### 桌面界面 正如我们已经讨论过的，Dask 接口有多种用于分布式计算的并行算法集。数据科学从业者很少使用基本的用户 ...