Xorbits 数据平台可以加速和扩展企业的数据科学工作流,超越单机内存限制,轻松扩展到需要的集群规模。
主要特点
基于开源分布式数据科学计算框架 Xorbits,Xorbits 数据平台可以利用多核或 GPU 来加速单台机器上的计算,或扩展到数千台机器以支持处理数 TB 的数据。
兼容 NumPy、pandas 等接口,除了 import 替换,其他代码无需改动
Xorbits 能轻松处理 TB 级大规模数据
Xorbits 和其他流行的分布式数据科学相比,性能最强
Xorbits 支持跑在许多环境,笔记本、集群、Kubernetes 和云平台
只用修改一行代码,代码就能拥有并行计算和处理大规模数据的能力。
Xorbits 数据平台支持处理 TB 级数据,可以读取多种数据格式,如 Parquet、CSV、数据库、HDF5 和 Zarr 等。
Xorbits 的愿景是加速整个 Python 数据科学世界,不止于 pandas,NumPy 和 scikit-learn,诸如 XGBoost、LightGBM 等,也可以得到加速。
在数据驱动的时代领先一步