当前位置: 首页 > 知识库问答 >
问题:

pandas read_sql未读取所有行

阳勇
2023-03-14

我正在通过Pandas的read_sql和外部应用程序(DbVisualizer)运行完全相同的查询。

DbVisualizer返回206行,而pandas返回178行。

我试过根据如何在不耗尽内存的情况下从sql查询中创建大型pandas数据帧?中提供的信息读取pandas by chucks中的数据,它没有做出任何改变。

造成这种情况的原因和补救方法是什么?

select *
from rainy_days
where year=’2010’ and day=‘weekend’

这些栏目包括:日期、年份、工作日、当天的降雨量、温度、地理位置(每个位置行)、风力测量值、前一天的降雨量等。

确切的python代码(减去连接细节)是:

import pandas
from sqlalchemy import create_engine

engine = create_engine(
   'postgresql://user:pass@server.com/weatherhist?port=5439',
)

query = """
        select *
        from rainy_days
        where year=’2010’ and day=‘weekend’
        """
df = pandas.read_sql(query, con=engine)

共有1个答案

靳祺然
2023-03-14

https://github.com/xzkostyan/clickhouse-sqlalchemy/issues/14

如果使用纯Engine.Execute,则应注意手动格式化

 类似资料:
  • 我对java librairie OpenCSV有问题。我没有读完我的CSV文件的所有行,我只读了第二行,我不知道为什么... 我的CSV文件: 我使用OpenCSV创建一个android列表,只有“Julie”“Julie”这一行被添加了3次...

  • 我试图在Spring Boot 1.5.1项目中设置并使用YAML as配置文件。 我的YAML文件如下所示: 读取hue.get用户()非常好。但是,hue.get场景()由于某种原因返回null。我的色调配置Java代码如下所示: 我也尝试用前缀来注释每个类,hue.scenes.sunstatus、scenes.sunstatus和sunstate的格式都是如此。 此外,我还尝试使用@Val

  • 问题内容: 我想使用BufferedReader在控制台中输入多行文本,然后单击“ Enter”以查找整个文本长度的总和。问题在于,似乎我进入了一个无限循环,当我按“ Enter”键时,程序并没有结束。我的代码如下: 你能告诉我我在做什么错吗? 问题答案: 阅读所有行的惯用方式是。另外,我建议发表声明。就像是 如果你想,当你收到一个空行来结束循环,在添加一个测试为循环 JLS-14.15。该声明说

  • 如何使用将所有可用字符读入? 编辑 1。委托不关心字符串有多长,它只需要处理通过套接字到达的任何哈达-以及它的全部内容 2。我不需要将数据切成块--我希望读取到达 3的每一个信息。是的,我有一个无限循环,因为我需要保持与套接字的连接并监听数据,直到客户端删除连接-当我获得时。我为套接字使用单独的线程,因为会有更多的套接字要听。

  • 我们从kafka向SparkStreaming发送了15张唱片,但是spark只收到了11张唱片。我用的是spark 2.1.0和kafka_2.12-0.10.2.0。 密码 bin/Kafka-console-producer . sh-broker-list localhost:9092-topic input data topic # 1 2 3 4 5 6 7 8 9 10 11 12

  • 我尝试在Kafka中创建新主题时启动动态消费者,但动态启动的消费者总是缺少起始/第一条消息,但从那里开始消费消息。我正在使用kafka-python模块,并且正在使用更新的KafkaConsumer和KafkaProducer。 请建议一些解决这个问题的方法,或者我必须包含在我的生产者和消费者实例中的任何配置。