序列化Python类

Question

class bean :
    def __init__(self, puid, pogid, bucketId, dt, at) :
    self.puid = puid
    self.pogid = pogid
    self.bucketId = bucketId
    self.dt = (datetime.datetime.today() - datetime.datetime.strptime(dt, "%Y-%m-%d %H:%M:%S")).days
    self.absdt=dt
    self.at = at

我也读

类、函数和方法不能pickle--如果您pickle，则对象的类不pickle，只是标识它属于什么类的字符串。

那么，这是否意味着这些类不能被序列化？

def myfun():
    **Some Logic **
    t1 = bean(<params>)
    t2 = bean(<params2>)
    temp = list()
    temp.append(t1)
    temp.append(t2)
    return temp

现在它是如何最终被称为

PairRDD.map(myfun).collect()

引发异常的

<function __init__ at 0x7f3549853c80> is not JSON serializable

Answer 1

首先，以您的例子为例，pickle将非常有效。pickle不序列化“函数”，它只序列化“数据”--因此，如果您在远程脚本上有您试图序列化的类型，即如果您在接收端导入了类型“bean”--您可以使用pickle或cpickle，一切都可以工作。

所有跨语言序列化解决方案（例如JSON、XML)永远不会提供传输类“代码”的能力，因为没有合理的方法来表示它。如果您在两端使用相同的语言（如这里），有方法使其工作-例如，您可以封送对象，pickle结果，发送它，在接收端接收，unpickle和unmarshal，您有一个对象及其函数-这实际上是发送代码和eval()-在接收端将其发送..

下面是一个基于酸洗对象类的快速示例：

test.py

import datetime
import pickle

class bean:
    def __init__(self, puid, pogid, bucketId, dt, at) :
        self.puid = puid
        self.pogid = pogid
        self.bucketId = bucketId
        self.dt = (datetime.datetime.today() - datetime.datetime.strptime(dt, "%Y-%m-%d %H:%M:%S")).days
        self.absdt=dt
        self.at = at
    def whoami(self):
        return "%d %d"%(self.puid, self.pogid)

def myfun():
    t1 = bean(1,2,3,"2015-12-31 11:50:25",4)
    t2 = bean(5,6,7,"2015-12-31 12:50:25",8)
    tmp = list()
    tmp.append(t1)
    tmp.append(t2)
    return tmp

if __name__ == "__main__":
    with open("test.data", "w") as f:
        pickle.dump(myfun(), f)
    with open("test.data", "r") as f2:
        obj = pickle.load(f2)
    print "|".join([bean.whoami() for bean in obj])

运行它：

ben@ben-lnx:~$ python test.py 
1 2|5 6