联合学习时的张量型错误

Question

我试图使用tenstorflow联邦学习工具为我的数据。我有两个数据集（dataset和dataset2）从csv文件中获得，其中前15列是功能，最后一列是标签。我将我的熊猫数据帧转换为tenstorflow数据集。然而，在迭代器处，有一个奇怪的类型错误。我是新来的tenrflow和发送代码：任何帮助将不胜感激。提前感谢。

from __future__ import absolute_import, division, print_function
from sklearn.preprocessing import MinMaxScaler
from keras.models import Model

import collections
import numpy as np
import tensorflow as tf
import tensorflow_federated as tff
from numpy import loadtxt
from keras.models import Sequential
from keras.layers import Dense
from numpy import loadtxt
from keras.models import Sequential
from keras.layers import Dense
import pandas as pd


X_train= pd.read_csv('./daily_frames_HR.csv')



values = X_train.values

values = values.astype('float32')
# normalize features
scaler = MinMaxScaler(feature_range=(0, 1))
scaled = scaler.fit_transform(values)
# frame as supervised learning

train = values[:, :]
# split into input and outputs
X, y = train[:, :-2], train[:, -1]


def create_compiled_keras_model():
  model = tf.keras.models.Sequential([
    tf.keras.layers.Dense(
      12, activation=tf.nn.softmax, kernel_initializer='zeros', input_dim=15)])

  return model

def model_fn():
  keras_model = create_compiled_keras_model()

  keras_model.compile(loss='binary_crossentropy', optimizer='sgd', metrics= 
   ['SparseCategoricalAccuracy'])
  X_train = pd.read_csv('./daily_frames_HR.csv')

  values = X_train.values

  values = values.astype('float32')
  # normalize features
  scaler = MinMaxScaler(feature_range=(0, 1))
  scaled = scaler.fit_transform(values)
  # frame as supervised learning

  train = values[:, :]
  # split into input and outputs
  X, y = train[:, :-2], train[:, -1]

  sample_batch = collections.OrderedDict([('x', X), ('y', y)])
  return tff.learning.from_compiled_keras_model(keras_model, sample_batch)


  iterative_process = tff.learning.build_federated_averaging_process(model_fn)

  state = iterative_process.initialize()

  X2_train= pd.read_csv('./lab_frames_HR.csv')
  values2 = X2_train.values

  values2 = values2.astype('float32')
  # normalize features
  scaler = MinMaxScaler(feature_range=(0, 1))
  scaled = scaler.fit_transform(values2)
  # frame as supervised learning

  train2 = values2[:, :]
  # split into input and outputs
  X2, y2 = train2[:, :-2], train2[:, -1]

  X2=pd.DataFrame(X2)
  y2=pd.DataFrame(y2)

  X=pd.DataFrame(X)
  y=pd.DataFrame(y)


dataset = tf.data.Dataset.from_tensor_slices((X2.values, y2.values))

dataset2= tf.data.Dataset.from_tensor_slices((X.values, y.values))


list = [dataset, dataset2]

state, metrics = iterative_process.next(state, list)
print('round  1, metrics={}'.format(metrics))

错误消息如下：

回溯（最近一次调用）：文件“/home/affectech/Desktop/Fed_-son/Fed_-son.py”，第117行，处于状态，度量=迭代过程。下一个（状态，列表）文件“/home/affectech/Desktop/Fed_son/venv/lib/python3.6/site packages/tensorflow_federated/python/core/impl/utils/function_utils.py”，第666行，在call arg=pack_args（self.\u type_signature.parameter，args，kwargs，context）文件中“/home/affectech/Desktop/Fed_son/venv/lib/python3。6/站点包/tensorflow\u federed/python/core/impl/utils/function\u utils。py”，第424行，在pack_args上下文）文件“/home/affectech/Desktop/Fed_son/venv/lib/python3中。6/站点包/tensorflow\u federed/python/core/impl/utils/function\u utils。py“，第346行，在pack_args_to_anonymous_tuple result_elements.append（（名称、上下文、摄取（arg_值、元素类型）））文件“/home/affectech/Desktop/Fed_son/venv/lib/python3中。6/站点包/tensorflow\u federated/python/core/impl/reference\u executor。py”，第629行，在摄取返回到表示文件中，表示文件类型（参数，类型规格，句柄可调用）/主页/影响技术/桌面/Fed_-son/venv/lib/python3。6/站点包/tensorflow\u federated/python/core/impl/reference\u executor。py”，第241行，在值文件“/home/affectech/Desktop/Fed_son/venv/lib/python3中的v类型的to_表示中。6/站点包/tensorflow\u federated/python/core/impl/reference\u executor。py”，第241行，在值文件“/home/affectech/Desktop/Fed_son/venv/lib/python3中代表v。6/站点包/tensorflow\u federated/python/core/impl/reference\u executor。py”，第200行，在值文件“/home/affectech/Desktop/Fed_son/venv/lib/python3中的v类型的to_表示法中。6/站点包/tensorflow\u federated/python/core/impl/reference\u executor。py“，第200行，在值文件“/home/affectech/Desktop/Fed_son/venv/lib/python3中代表v。6/站点包/tensorflow\u federated/python/core/impl/reference\u executor。py”，第192行，在to_表示法中，用于_类型可调用的_处理程序）文件“/home/affectech/Desktop/Fed_son/venv/lib/python3。6/站点包/tensorflow\u federated/python/core/impl/reference\u executor。py“，第165行，在类型规范{}的to_表示法中。格式（推断的类型规范，类型规范））类型错误：值表示法的张量类型float32[15]与类型规范float32[？，15]不匹配。

退出代码1的过程结束

Answer 1

我看到的一个问题是

X, y = train[:, :-2], train[:, -1]

您正在丢失此处的最后一个专题专栏，很可能是

X, y = train[:, :-1], train[:, -1]

使此脚本混淆的是函数体中对train、X和y的重新定义。此程序永远不会出现您发布的错误，因为X2在使用时没有定义。我建议不要重复使用变量名作为一般规则，这将使程序更易于调试。

然后，当你收到关于某物形状的投诉时，在错误发生之前打印它（或它的一部分），这将有助于诊断错误。

Answer 2

看起来像是调用iterative_process.next（state， list）期望数据集列表（list）是批处理数据集列表。如果您不希望每个批处理有多个示例，批处理大小甚至可以是1。

batch_size = 1
list = [dataset.batch(batch_size), dataset2.batch(batch_size)]

使用print（迭代\u过程.下一步.type\u签名）和tf可以打印不同对象的类型。数据实验的获取结构（数据集）。