如何加快cron作业/数据库更新

Question

我有一个cron作业，每小时运行一次，用API的每小时数据更新本地数据库。

数据库按行存储每小时数据，API返回24个数据点，代表过去24小时。

有时数据点会丢失，所以当我拿回数据时，我不能只更新最近一个小时的数据——我还需要检查我以前是否有过这些数据，并填补发现的任何空白。

一切都在运行和工作，但cron作业每次至少需要30分钟才能完成，我想知道是否有任何方法可以使此运行更好/更快/更高效？

我的代码如下所示：（为简洁起见，代码摘要！）

// loop through the 24 data points returned
for($i=0; $i<24; $i+=1) {

// check if the data is for today, because the past 24 hours data will include data from yesterday
if ($thisDate == $todaysDate) {

// check if data for this id and this time already exists
$query1 = "SELECT reference FROM mydatabase WHERE ((id='$id') AND (hour='$thisTime'))";

// if it doesnt exist, insert it
if ($datafound==0) {
$query2 = "INSERT INTO mydatabase (id,hour,data_01) VALUES ('$id','$thisTime','$thisData')";
}

}
}

有1500个不同的ID，所以它这样做了1500次！

有没有什么方法可以加快或优化这段代码，使其运行得更快、更高效？

Answer 1

这看起来并不复杂，应该在几秒钟内运行。所以在不知道数据库的情况下，我的第一个猜测是数据库中缺少索引。因此，请检查您的id字段上是否有索引。如果您的代码> ID 字段不是您唯一的密钥，您应该考虑在2个字段上添加另一个索引：代码> ID <代码>和<代码>小时<代码>。如果这些还没有出现，这应该可以节省大量时间。

另一个想法可能是在一个sql查询中检索过去24小时的所有数据，将值存储在一个数组中，如果您已经只在数组中读取了这些数据，请进行检查。