MySQL中删除重复数据的简单方法
MYSQL里有五百万数据，但大多是重复的，真实的就180万，于是想怎样把这些重复的数据搞出来，在网上找了一圈，好多是用NOT IN这样的代码，这样效率很低，自己琢磨组合了一下，找到一个高效的处理方式，用这个方式，五百万数据，十来分钟就全部去除重复了，请各位参考。
第一步：从500万数据表data_content_152里提取出不重复的字段SFZHM对应的ID字段到TMP3表
create table tmp3 as select min(id) as col1 from data_content_152 group by SFZHM;
第二步：创建新表RES
CREATE TABLE `res` ( `id` int(11), `sfz` char(20) ) ENGINE=MyISAM;
第三步：把TMP3表ID对应到data_content_152里需要提取的数据添加到RES表的SFZ字段
INSERT INTO res (sfz) SELECT sfzhm FROM data_content_152,tmp3 where data_content_152.id=tmp3.col1
至此，就在MYSQL里实现了，给数据表data_content_152完全删除重复数据，把去重复后的数据导入到RES表。
-
本文向大家介绍删除MySQL重复数据的方法，包括了删除MySQL重复数据的方法的使用技巧和注意事项，需要的朋友参考一下 本文实例讲述了删除MySQL重复数据的方法。分享给大家供大家参考。具体方法如下： 项目背景 在最近做的一个linux性能采集项目中，发现线程的程序入库很慢，再仔细定位，发现数据库里面很多冗余数据。因为在采集中，对于同一台设备，同一个时间点应该只有一个数据，然而，数据库中存入了多个
-
本文向大家介绍Mysql删除重复的数据 Mysql数据去重复，包括了Mysql删除重复的数据 Mysql数据去重复的使用技巧和注意事项，需要的朋友参考一下 MySQL数据库中查询重复数据 select * from employee group by emp_name having count (*)>1; Mysql 查询可以删除的重复数据 select t1.* from employee
-
本文向大家介绍mysql定时删除过期数据记录的简单方法，包括了mysql定时删除过期数据记录的简单方法的使用技巧和注意事项，需要的朋友参考一下 1. 连接登录MySQL后，先查看MySQL是否开启了事件功能： 命令：show variables like '%sc%'; 发现event_sheduler是OFF关闭的; 2. 打开event_scheuler: 临时开启(mysql服务重启后之后失
-
问题内容： 有谁知道一种简单的方法将数据库从一台计算机复制到文件，然后将其导入另一台计算机？ 问题答案： 以下是一些选择： mysqldump 做到这一点最简单，可以保证工作的方法是使用。请在此处查看实用程序的手册页： http://dev.mysql.com/doc/refman/5.1/en/mysqldump.html 基本上，它转储重建数据库内容所需的SQL脚本，包括创建表，触发器和其他对
-
问题内容： 使用rails或mysql查询删除mysql数据库中重复记录的最佳方法是什么？ 问题答案： 您可以通过以下方式将不同的记录复制到新表中：
-
问题内容： 我有一张桌子，上面有一些ID +标题。我想使title列唯一，但是它已经有60万条记录，其中有些是重复的（有时是几十次）。 如何删除除一个以外的所有重复项，以便之后可以向标题栏添加一个唯一键？ 问题答案： 此命令添加唯一键，并删除所有会产生错误的行（由于唯一键）。这将删除重复项。 编辑：请注意，对于某些版本的MySQL ，此命令可能不适用于InnoDB表。解决方法请参阅此帖子。（感谢“