mysql 去除重复记录数据

1.ignore：如果有新的重复数据，忽略新的数据，保留旧的数据

新建一张表：user_download_failure_file 字段：user_id,export_file_path，将user_id设置为主键或者unique索引，这里设置为unique索引

insert IGNORE into user_download_failure_file (user_id,export_file_path) values('23','gggsdfds')

在user_id中添加了unique索引，重复添加数据，避免了重复，但是数据库中存储的一直是第一次的数据。

2.on duplicate key update：添加新数据执行添加操作，添加重复数据执行update后面的操作。如果添加的数据在库中存在，后者覆盖前者

在user_id中添加了unique索引，使用on duplicate key update 语法 insert  into user_download_failure_file (user_id,export_file_path) values('33','gggsdfds')

on duplicate key update

user_id='33',export_file_path='gh'

如果您指定了ON DUPLICATE KEY UPDATE，并且插入行后会导致在一个UNIQUE索引或PRIMARY KEY中出现重复值，则执行旧行UPDATE。

如果行作为新记录被插入，则受影响行的值为1；如果原有的记录被更新，则受影响行的值为2。