后端 - 如何实现物联网设备位置数据高效存储与查询？
物联网设备每隔1s上传一次自身所在位置经纬度，需求要支持任意时间段的历史数据查询，有什么建议的数据库架构方案？
之前类似需求一直用MySQL分表实现的，查询SQL比较复杂，而且查询速度也不快
共有1个答案
针对物联网设备位置数据的高效存储与查询，以下是一些建议的数据库架构方案：
- 时间序列数据库：考虑使用专门的时间序列数据库，如InfluxDB、TimescaleDB等。这些数据库专为处理时间戳数据而设计，提供了高效的数据插入、查询和聚合功能。
- 列式存储：列式存储数据库如Apache Cassandra、HBase等，非常适合存储大量的稀疏数据。在物联网场景中，设备的位置数据往往是稀疏的，即大多数时间设备可能处于静止状态或移动缓慢。列式存储可以更有效地存储和查询这类数据。
- 分布式存储：对于大量数据的存储和查询，可以考虑使用分布式数据库，如Apache Hadoop的HBase、Google的Bigtable等。这些数据库可以水平扩展，以支持大规模数据的存储和查询。
- 数据压缩和索引：对于位置数据，可以考虑使用数据压缩技术来减少存储空间的占用。同时，为数据建立合适的索引，如空间索引（R-tree、Quadtree等），可以显著提高查询效率。
- 数据归档：对于历史数据，可以考虑将其归档到成本较低的存储介质上，如磁带库、HDFS等。这样既可以降低存储成本，又可以保持数据的长期可用性。
- 查询优化：针对复杂的查询需求，可以考虑使用数据库查询优化器或自定义查询优化策略来提高查询效率。同时，定期对数据库进行维护，如数据整理、索引重建等，也有助于提高查询性能。
综上所述，针对物联网设备位置数据的高效存储与查询，可以考虑使用时间序列数据库、列式存储、分布式存储等技术，并结合数据压缩、索引、归档和查询优化等策略来优化数据库架构。
另外，由于物联网设备数量众多且数据产生频繁，还需要考虑数据的传输和接入层面的优化，如使用消息队列（Kafka、RabbitMQ等）来解耦数据的生产和消费，以及使用数据压缩和批量处理来减少网络传输的开销。这些措施可以进一步提高整个系统的性能和可靠性。
-
物联网设备是非标准设备，可以相互无线连接到网络并能够传输数据。物联网设备正在扩大互联网连接，超越了智能手机，笔记本电脑，平板电脑和台式机等标准设备。通过技术嵌入这些设备使我们能够通过网络进行通信和交互，并且可以远程监控和控制它们。 有许多种基于IEEE 802.15.4标准的物联网设备。这些设备包括无线电池，可连接的传感器板和接口板，对研究人员和开发人员非常有用。 物联网设备包括计算机设备，软件，
-
我正在使用Facenet算法进行人脸识别。我想基于此创建应用程序，但问题是Facenet算法返回一个长度为128的数组，即每个人的人脸嵌入。 对于人物识别，我必须找到两个人面部嵌入之间的欧几里得差异，然后检查它是否大于阈值。如果是，那么这些人是相同的；如果它小于，那么这些人是不同的。 比方说，如果我必须在10k人的数据库中找到人x。我必须计算每个人嵌入的差异，这是没有效率的。 有没有办法有效地存储
-
是每个设备都创建数据库 还是一类设备（产品）创建一个数据库好 从资源消耗和性能方面来说? 我想每个设备都创建一个数据库, 这样可以方便的管理单个设备的数据过期时间等等, 但是每个数据库都会创建一个路径, 设备量大了之后, 比如几W个设备, 会不会影响文件系统性能和增加系统资源消耗
-
本文向大家介绍物联网如何影响大数据，包括了物联网如何影响大数据的使用技巧和注意事项，需要的朋友参考一下 当涉及到当今最受关注的两种技术时，大数据和物联网(IoT)可能正处于主导地位。在过去的几年中，大数据在许多领域都取得了进步。尽管物联网恰好与众不同，但它已与大数据紧密相连。 什么是大数据？ 大数据本质上是大量复杂形式的数据。具体来说，它还涉及使用预测分析和方法，这些方法和方法可从此类数据中提取有
-
我想要/期望看到的是下面的搜索显示连接的。当pubsub演示运行时，查询返回为空。它是空的这一事实告诉我，pubsub示例是作为MQTT客户机连接的，而不是作为设备连接的。如何作为设备连接？ 请注意，我已经通过AWS CLI启用了。 评论中的其他细节：
-
问题内容： 我目前有一个电子表格类型程序，该程序将其数据保存在HashMaps的ArrayList中。当我告诉您这还不理想时，您无疑会感到震惊。开销似乎使用的内存比数据本身多5倍。 这个问题询问有效的馆藏库，答案是使用Google馆藏。 我的跟进是“ 哪一部分？ ” 。我一直在阅读文档，但感觉不像是哪种类最适合。（我也向其他图书馆或建议开放）。 因此，我正在寻找可以使我以最小的内存开销存储密集电子