当前位置: 首页 > 知识库问答 >
问题:

从雪花[复制]加载数据后使用cur.fetch_pandas_all()创建的无唯一熊猫数据帧索引

阚允晨
2023-03-14

我使用下面的代码加载数据从雪花到熊猫的数据帧很长一段时间,直到我更新了雪花连接器-python==2.7.0和pyrow==5.0.0

    ctx = connector.connect(
        user=user,
        password=pwd,
        account="***.eu-central-1",
        warehouse="***",
        database="***",
    )

    cur = ctx.cursor()

    cur.execute(data_sql)

    # Issue occurs here
    long_data_df = cur.fetch_pandas_all()

一切都按预期进行,但是在更新到所提到的版本后,数据帧是用非唯一的数据帧索引生成的。

使用pyarrow==3.0.0和Snow flake-连接器-python==2.4.6(我不确定这个更改/错误发生在哪个版本中),数据帧如下所示

当您尝试使用非唯一索引pd.concat数据帧时,会出现问题,它会在pandas.errors.InvalidIndexError中失败:仅对唯一值的Index对象进行重新索引

共有1个答案

丁嘉
2023-03-14

我们不想降级pyarrow和snowflake连接器python包,我们通过添加

long_data_df = long_data_df.reset_index(drop=True)
 类似资料:
  • 我正在尝试制作一个数据帧,以便可以轻松地将其发送到CSV,否则我必须手动执行此过程。。 我希望这是我的最终输出。每个人都有一个月和年的组合,从2014年1月1日开始,一直到2016年1月12日: 到目前为止的代码: 当我尝试循环创建数据帧时,它要么不工作,要么出现索引错误(因为不匹配列表),我不知所措。 我已经做了一点很好的搜索,并找到了以下一些类似的链接,但我不能反向工程的工作,以适应我的情况。

  • 拿着字典: 我如何把这个字典变成一个数据框,其中的值是列?即。我想要一个数据框显示: 这种形式似乎根本得不到! 谢谢 这是一个不同的问题,另一个问题只是问如何将字典的值放入数据帧,我问的是如何获得我概述的特定形式

  • 我正在尝试连接到数据帧。它们看起来像这样 期望的最终目标是: 我一直试图使用pd.merge和。连接函数与on='外'设置不成功

  • 我得到以下输出: 当我尝试使用Res_fs1、Res_fs2、Res_ps1、Res_ps2创建numppy数组时 我得到这个错误消息说键错误,虽然键存在:

  • 我有一本字典的形式: 例如, 我想转换成熊猫数据帧与列1的用户名和其他列的电影评级,即: 但是,一些用户没有对电影进行评分,因此这些电影不包括在该用户键()的值()中。在这种情况下,只需用NaN填充条目就好了。 现在,我迭代键,填充列表,然后使用此列表创建数据帧: 但这只给了我一个用户的数据框,这些用户对片场中的所有电影都进行了评分。 我的目标是通过迭代电影标签(而不是上面显示的暴力方法)来追加到

  • 有可能获得数据帧中每个唯一项的最后一个条目吗?我有一个这样的数据框架: 所以我想得到用户的最后记录,例如数据帧它必须返回, 是否可以按日期获取最后一条记录。 谢谢