高效使用 PyODPS 最佳实践

PyODPS 是 MaxCompute(ODPS) Python SDK，为 MaxCompute 对象提供了 Python 端的操作接口，同时，对于熟悉 Pandas 的用户来说，它提供了 DataFrame API 来用类似 Pandas 的接口进行大规模数据分析以及处理，并能够方便的将 MaxCompute 的分布式 DataFrame 向本地 Pandas DataFrame 转换。正因为如此的方便灵活，在实际使用过程中，不少用户容易把 PyODPS 用成单机处理模式，没有最大限度发挥 MaxCompute 分布式运算的性能。本文主要介绍如何高效地使用 PyODPS 处理数据。

概念

首先介绍基本概念。PyODPS 作为一个 SDK，本身运行于各种客户端，如下图所示，PyODPS 位于紫色部分，可以在是个人 PC，也可以是 DataWorks 的调度节点，或者 PAI Notebooks 的运行环境。需要注意的是，DataWorks 中的 PyODPS 节点也是一个资源非常受限的客户端运行容器，内置了 PyODPS 包以及必要的 Python 环境，并不使用 MaxCompute 资源，有较强的内存限制。因此合理利用 PyODPS 提供的分布式 DataFrame 功能，将主要的计算提交到 MaxCompute 分布式执行而不是在 PyODPS 客户端节点下载处理，是正确使用 PyODPS 的关键。这篇文章详细介绍了 PyODPS 代码跑在哪里。

尽量避免数据下载

很多用户习惯于用 Pandas 处理数据。PyODPS 提供了 to_pandas 接口，可以直接将 MaxCompute 数据转化成 Pandas DataFrame 数据结构，这个接口很受欢迎。但这个接口只应该被用于获取小规模数据做本地开发调试使用，而不是用来大规模处理数据。使用这个接口会触发下载行为，将位于 MaxCompute 中的海量数据下载到本地，如果后续操作的都是本地的 DataFrame，则丧失了 MaxCompute 的大规模并行计算能力。而且，数据量稍大，单机内存就很容易产生 OOM。

正确的使用方式，是使用 PyODPS DataFrame 接口来完成数据处理。常见的需求，比如需要对每一行数据处理然后写回表，或者一行数据要拆成多行，都可以通过 PyODPS DataFrame 中的 map 或者 apply 实现，有的甚至只需要一行代码，足够高效与简洁。使用这些接口我们最终都会翻译成 SQL 到 MaxCompute 计算集群做分布式计算，并且本地几乎没有任何的内存消耗，显然相比于单机有很大的性能提升。下面我们以一个实际的例子来说明。

一个例子：分词

用户需要通过分析每天产生的日志字符串来提取一些信息，有一个只有一列的表，它的类型是 string，通过 jieba 分词可以将中文语句分词，然后再找到想要的关键词存储到信息表里。很多人会习惯于单机处理数据的思维，一行一行的读出数据，然后一行一行地处理数据，然后再一行一行的写入目标表，所以代码会变成这样：

import jieba
t = o.get_table('word_split')
out = []
with t.open_reader() as reader:
    for r in reader:
        words = list(jieba.cut(r[0]))
        #
        # 处理逻辑，产生出 processed_data
        #
        out.append(processed_data)
out_t = o.get_table('words')
with out_t.open_writer() as writer:
    writer.write(out)

我们分析一下整个流程，下载上传数据消耗了大量的时间，并且在执行脚本的机器上需要很大的内存处理所有的数据，特别对于 DataWorks 用户，很容易超过默认分配的内存值，导致 OOM 运行报错。所以这样的问题应该怎么解决呢？答案就是利用 MaxCompute 的分布式能力，PyODPS 就能帮你做到这一点。

高效的分词

当我们提出用 PyODPS DataFrame 改写时，很多人望而却步，现实情况中，我上面代码中隐去的逻辑可能非常非常复杂，有的甚至上千行，用户会觉得改起来是不是太复杂了，改写成本是不是太多，其实大可不必担心，中间的处理过程大部分是不需要动的，我们利用 apply接口就能做到分布式的执行:

from odps import output
out_table = o.get_table('words')
df = o.get_table('word_split').to_df()
@output(out_table.schema.names, out_table.schema.types)
def handle(row):
    import jieba
    words = list(jieba.cut(r[0]))
    #
    # 处理逻辑，产生出 processed_data
    #
    yield processed_data
df.apply(handle, axis=1).persist(out_table)

我们可以看到复杂逻辑都可以放在 handle 这个函数里，这个函数会被自动序列化到服务端作为 UDF 使用，在服务端调用执行，而且因为 handle 在服务端实际执行时也是对每一行进行处理的，所以逻辑上是没有区别的，不同的是，这样写的程序在提交到 MaxCompute 端执行时可以有多台机器帮你同时处理数据，可想而知时间上会节约很多，最后调用 persist 接口会将产生的数据直接写到另一张 MaxCompute 表中，所有的数据产生与消费都在 MaxCompute 集群完成，也节约了本地的网络与内存。另外在这个例子中我们也使用到了三方包，MaxCompute 是支持自定义函数中使用三方包的，可以参考 文章。所以，用户大可不必担心代码改动带来的成本，事实上主要逻辑几乎不要改动就可以享受到 MaxCompute 的大规模计算能力。

总结

利用 PyODPS，我们有很多种更高效操作 MaxCompute 数据的方式，大家有自己在实践过程中获得的感悟也可以积极分享出来，共同提升 MaxCompute Python 生态。最后，分享一句 Pandas 作者的一句话：精通面向数组的编程和思维方式是成为 Python 科学计算牛人的一大关键步骤。多多使用 apply, map 接口，让我们的数据飞起来！