tensorflow馈送列表功能（多热）到tf。估计员

Question

某些要素列的数据类型为list。它们的长度可以不同。我想将此列编码为一个多热点分类特性，并将其提供给tf。估计器。我尝试了以下操作，但错误无法获取显示为字节的元素。我认为这是深度学习中的常见做法，尤其是推荐系统，例如深度学习

import pandas as pd
import tensorflow as tf

OUTDIR = "./data"

data = {"x": [["a", "c"], ["a", "b"], ["b", "c"]], "y": ["x", "y", "z"]}
df = pd.DataFrame(data)

Y = df["y"]
X = df.drop("y", axis=1)

indicator_features = [
    tf.feature_column.indicator_column(
        categorical_column=tf.feature_column.categorical_column_with_vocabulary_list(
            key="x", vocabulary_list=["a", "b", "c"]
        )
    )
]

model = tf.estimator.LinearClassifier(
    feature_columns=indicator_features, model_dir=OUTDIR
)

training_input_fn = tf.estimator.inputs.pandas_input_fn(
    x=X, y=Y, batch_size=64, shuffle=True, num_epochs=None
)

model.train(input_fn=training_input_fn)

出现以下错误：

信息：tensorflow:使用默认配置。信息：tensorflow:使用配置：{u model_dir'：'testalg'，'u tf_random_seed'：无，'u save_summary_steps'：100，'u save_checkpoints_steps'：无，'u save_checkpoints_secs'：600，'u session_config'：无，'u keep_checkpoint_max'：5，'u keep_checkpoint_每小时：10000，'u log_step_count(步数(步数)100，'u train(分布：'n'：无，'u设备(无，'u服务规范，'，“\u任务类型”：“工作者”，“任务id”：0，“集群中的全局id”：0，“主节点”：“，”评估主节点”：“，”，“首席节点”：True，“副本数量”：0，“工作者副本数量”：1}”信息：tensorflow:调用模型\ fn。信息：tensorflow:调用模型\ fn完成。信息：tensorflow:创建检查点SaverHook。信息：tensorflow:图形已完成。信息：tensorflow:运行本地\初始化\操作。信息：tensorflow:运行本地\初始化\操作完成。信息：tensorflow:向协调器报告错误：，无法获取作为字节的元素。信息：tensorflow:保存检查点将0的ints导入testalg/model.ckpt。----------------------------------------内部错误回溯（最近一次调用）/home/yinan.li1/anaconda3/lib/python3.6/site-packages/tensorflow/python/client/session.py in_do_call（self，fn，*args）1321尝试：-

/家/沂南。li1/anaconda3/lib/python3。6/站点包/tensorflow/python/client/session。py in_run_fn（feed_dict、fetch_list、target_list、options、run_元数据）1306返回self_调用_tf_sessionrun（-

/home/yinan.li1/anaconda3/lib/python3.6/site-包/tenstorflow/python/客户端/session.py_call_tf_sessionrun（自，选项，feed_dict，fetch_list，target_list，run_metadata）1408自。_session，选项，feed_dict，fetch_list，target_list，-

无法以字节形式获取元素。

在处理上述异常期间，发生了另一个异常：

（）44 45中的内部错误回溯（最近一次调用）---

/home/yinan.li1/anaconda3/lib/python3.6/site-包/tenstorflow/python/估计器/estimator.py（自，input_fn，钩子，步骤，max_steps，saving_listeners）364 365saving_listeners=_check_listeners_type（saving_listeners）-

/home/yinan.li1/anaconda3/lib/python3.6/site-包/tenstorflow/python/估计器/estimator.py_train_model（自己，input_fn，钩子，saving_listeners）1117
返回自己。_train_model_distributed（input_fn，钩子，saving_listeners）1118其他：-

/home/yinan.li1/anaconda3/lib/python3.6/site-包/tenstorflow/python/估计器/estimator.py_train_model_default（自己，input_fn，钩子，saving_listeners）
1133返回自己。_train_with_estimator_spec（estimator_spec，worker_hooks，1134
钩子，global_step_tensor，-

/家/沂南。li1/anaconda3/lib/python3。6/站点包/tensorflow/python/estimator/estimator。带估计器规范（自我、估计器规范、工作钩子、钩子、全局步进张量、保存侦听器）的py in\u train\u 1334 loss=None 1335而非mon\u sess。应该停止（）吗-

/家/沂南。li1/anaconda3/lib/python3。6/站点包/tensorflow/python/培训/监控会话。退出时的py（self、异常类型、异常值、回溯）687如果[errors.OutOfRangeError，StopIteration]中的异常类型为688异常类型=无--

/家/沂南。li1/anaconda3/lib/python3。6/站点包/tensorflow/python/培训/监控会话。py in_close_internal（self，exception_type）724如果self_sess为None:725 raise RUNTIMERROR（'会话已关闭'）--

/home/yinan.li1/anaconda3/lib/python3.6/site-包/tenstorflow/python/训练/monitored_session.py在关闭（自我）972如果自我。_sess： 973尝试：--

/家/沂南。li1/anaconda3/lib/python3。6/站点包/tensorflow/python/培训/监控会话。py处于关闭状态（self）1116 self_库德。加入（1117
停止\u宽限期\u秒=self.\u停止\u宽限期\u秒-

/home/yinan.li1/anaconda3/lib/python3.6/site-包/tenstorflow/python/训练/coordinator.py在加入（自我，线程，stop_grace_period_secs，ignore_live_threads）387自我。_registered_threads=set（）388如果自我。_exc_info_to_raise：--

/home/yinan.li1/anaconda3/lib/python3.6/site-包/six.py在恢复（tp， value， tb）683 value=tp（）684 ifvalue.tracebacknot tb：--

/家/沂南。li1/anaconda3/lib/python3。6/站点包/tensorflow/python/estimator/inputs/queues/feeding_queue_runner。py in_run（self、sess、enqueue_op、feed_fn、coord）92 try:93 feed_dict=None如果feed_fn不是其他feed_fn（）---

/家/沂南。li1/anaconda3/lib/python3。6/站点包/tensorflow/python/client/session。py-in-run（self，fetches，feed_-dict，options，run_-metadata）898 try:899 result=self_运行（无、获取、馈送、选项、--

/家/沂南。li1/anaconda3/lib/python3。6/站点包/tensorflow/python/client/session。py in_run（self、handle、fetches、feed_dict、options、run_metadata）
1133如果final_fetches或final_targets或（handle和feed_dict张量）：1134 results=self_是否运行（句柄、最终目标、最终抓取、-

/家/沂南。li1/anaconda3/lib/python3。6/站点包/tensorflow/python/client/session。如果句柄为None，则在_do_run（self、handle、target_list、fetch_list、feed_dict、options、run_metadata）1314中复制：1315返回self_do_call（_run_fn、提要、获取、目标、选项、-

/家/沂南。li1/anaconda3/lib/python3。6/站点包/tensorflow/python/client/session。py in_do_call（self，fn，*args）1333，KeyError除外：1334 pass-

无法以字节形式获取元素。




Answer 1

我认为您案例中的一个问题是pandas中的列类型实际上是object而不是string。如果将其转换为单独的字符串列，则可以消除此错误。请记住，基本的TensorFlow tf。stringdtype允许您构建字节字符串的张量

下面的代码将克服上面的错误，但它不会完全解决您的问题。列表的长度变量必须通过填充或列表或类似的东西来处理，因为再次indicator_column可能会遇到处理缺失值的问题。

X2= pd.DataFrame(X['x'].values.tolist(), columns=['x1','x2'])

feat1 = tf.feature_column.categorical_column_with_vocabulary_list(
            key="x1", vocabulary_list=["a", "b", "c"]
        )
feat2 = tf.feature_column.categorical_column_with_vocabulary_list(
            key="x2", vocabulary_list=["a", "b", "c"]
        )
indicator_features = [
    tf.feature_column.indicator_column(
        categorical_column=feat1
    ),tf.feature_column.indicator_column(
        categorical_column=feat2
    )
]

training_input_fn = tf.estimator.inputs.pandas_input_fn(
    x=X2, y=Y, batch_size=64, shuffle=True, num_epochs=None
)