Kommentare zu: MySQL: Doppelte Datensätze löschen

Von: Daniel

Daniel — Thu, 06 Dec 2012 15:55:44 +0000

Hallo Greg! Freut mich, dass es dir geholfen hat. Das SQL-Statement hat ja Subqueries und die könnten langsam sein, wenn kein Index gesetzt ist. Du kannst das ja für deinen Fall mal mit “explain” testen, dann sollte die Bremse sichtbar werden.

Von: Greg

Greg — Thu, 06 Dec 2012 13:45:46 +0000

Tausend Dank für die Anleitung. Ein Skript wurde mehrfach gestartet und hat mir zig tausend Duplicates in eine Tabelle gehauen. Dein Ansatz hat mir viel Zeit gespart und ich habe wieder einiges dazu gelernt. Vielen Dank nochmals.
PS: Auf große Tabellen angewendet braucht das Löschquery aber seine Zeit (bei mir > 10 min)

Von: keiner

keiner — Thu, 15 Nov 2012 13:56:51 +0000

@bennson

Sehr gefährlich was Du da vorschlägst!!!
Da sieht man, dass Du nicht weiß wie ein DBMS funktioniert… sorry

MySQL kann einfach nicht mit einem Statement realisieren, dass doppelte Datensätze gelöscht werden und nur einer davon stehen bleibt… zumindest ist mir das nicht bekannt.

Noch mal zum Delete-Statement:
Damit löscht Du die doppelten Einträge, richtig!
Allerdings alle!!! Es wird keiner mehr übrig bleiben…
Warum? Na dafür musst Du verstehen wie ein DBMS arbeitet – bin ganz schlecht im erklären, daher lasse ich es direkt sein.
Aber hier als Gedankenansatz:
DELETE FROM a
USING db.tpl a
WHERE a.ID != (select min(c.id) from db.tpl c where c.mail=a.mail group by c.id)

Tipp: Ganz trivial ausgedrückt: Dein Join ist vollkommen irrelevant, da es keine Eingrenzung der Daten ergibt, welcher Datensatz am Ende stehenbleiben muss, da sich das Join immer auf die ursprüngliche Datenmenge vor dem Löschen bezieht und daher immer ein Ergebnis mit einer ID geben wird. Ergo: es werden alle Sätze gelöscht… Bei meinem Gedankenanreiz wird der Satz durch die min(id) bestimmt..

In anderen DBMS funktioniert sowas, da man dort bei einem gleichzeitigen Löschvorgang trotzdem noch Daten aus der Tabelle auslesen darf.
Allerdings funktioniert sowas nicht in MySQL

Von: Timo

Timo — Wed, 25 Jul 2012 10:07:17 +0000

Vielen, vielen Dank!

Hat super geholfen;
ganu die Idee wusste ich nicht umzusetzen.

Von: bennson

bennson — Fri, 18 Nov 2011 08:44:08 +0000

DELETE FROM a

USING `db`.`tbl` a, `db`.`tbl` b
WHERE b.Mail = a.Mail
AND b.ID != a.ID

Von: doppelte Einträge in MySQL Datenbank finden « JimiHUY

doppelte Einträge in MySQL Datenbank finden « JimiHUY — Mon, 17 Jan 2011 09:58:15 +0000

[...] ich heute 17.01.11 auf diesen Blog Eintrag gestosen. Hier wird ein anderer Lösungsansatz gewählt. http://blog.ebene7.com/2011/01/12/mysql-doppelte-datensaetze-loeschen/ veröffentlicht unter: Allgemein Kommentar schreiben Kommentare (0) Trackbacks (0) ( [...]

Von: Clemens

Clemens — Wed, 12 Jan 2011 09:42:55 +0000

Das ist schön und gut, dass die Ids aber referentielle Abhängigkeiten mit anderen Tabellen haben könnten, wird hier gar nicht behandelt.

Ich hatte letztens mal wieder einen schönen vermüllten Datensatz mit Nutzerregistrierungen und den unterschiedlichsten Merkmalen.
Duplikate habe ich mit mehreren Methoden, von grob auf fein herausgesucht.. Das waren einfach mehrere Queries, die mit GROUP BY und COUNT() und HAVING COUNT() > 1 einzelne Duplikate gefunden haben. So funktioniert es auch über mehrere Tabellen hinweg mit einem JOIN.

In einer Schleife wurden dann die tatsächlichen Duplikate mit allen IDs und weiteren Merkmalen herausgesucht.
So konnte ich in späteren Datensätzen gegebenenfalls nicht mehr vorhandene Merkmale erhalten, mir die Reihenfolge aussuchen und mit einem Update auf die referentiellen Abhängigkeiten auf die neue ID hinweisen.

Da das eine einmalige Aktion ist, ist die Rechenintensität zu verschmerzen..