最常见的方式就是为字段设置主键或唯一索引，当插入重复数据时，抛出错误，程序终止，但这会给后续处理带来麻烦，因此需要对插入语句做特殊处理，尽量避开或忽略异常，下面我简单介绍一下，感兴趣的朋友可以尝试一下：
这里为了方便演示，我新建了一个user测试表，主要有id，username，sex，address这4个字段，其中主键为id(自增)，同时对username字段设置了唯一索引：
当插入数据时，如出现错误时，如重复数据，将不返回错误，只以警告形式返回。所以使用ignore请确保语句本身没有问题，否则也会被忽略掉。例如：
INSERT IGNORE INTO user (field) VALUES ('xxx')
注意 ignore 有其他副作用，请查看 ignore 的具体含义。
2、on duplicate key update
当primary或者unique重复时，则执行update语句，如update后为无用语句，如id=id，则同1功能相同，但错误不会被忽略掉。
例如，为了实现name重复的数据插入不报错，可使用一下语句：
INSERT INTO user (field) VALUES ('xxx') ON duplicate KEY UPDATE id = id
这种方法有个前提条件，就是，需要插入的约束，需要是主键或者唯一约束（在你的业务中那个要作为唯一的判断就将那个字段设置为唯一约束也就是unique key）。
3、insert … select … where not exist
根据select的条件判断是否插入，可以不光通过primary 和unique来判断，也可通过其它条件。例如：
INSERT INTO user (field) SELECT 'xxx' FROM dual WHERE NOT EXISTS (SELECT id FROM user WHERE id = 1)
这种方法其实就是使用了mysql的一个临时表的方式，但是里面使用到了子查询，效率也会有一点点影响，如果能使用上面的就不使用这个。
4、replace into
如果存在primary or unique相同的记录，则先删除掉。再插入新记录。
REPLACE INTO user SELECT 1, 'telami' FROM books
这种方法就是不管原来有没有相同的记录，都会先删除掉然后再插入。