Forum Debian Users Gang

winnetou · 2013-03-12 03:51:16

Miałem ostatnio jazdy z dyskami. Skończyło się na photorec'u. Wszystko było by pięknie gdyby nie to, że część plików została odzyskana X razy. To co photorec odzyskał już posortowałem - kosztowało mnie to kilkanaście godzin przed moniotrem ale na tym na czym mi zależało (fotki) zostało w 95-98% odzyskane. Teraz pytanie za milion punków - jakiego softu użyć do odnajdywania duplikatów? Testowałem fdups i łamańca z perlem i md5 ale to nie działa dokładnie tak jak by pasowało.
Część plików to rawy, część jpg/png. Jpg/png można w sumie olać - bo to co wiem, że jest z rawów wywołam sobie jeszcze raz. Jak ugryźć duplikaty RAWów? Mógłbym to zrobić ręcznie ale nie na 10k plików :) Na oko wiem gdzie są duplikaty ale znalezienie ich ręcznie w katalogu, który ma 1-2k plików będzie "troszkę" uciążliwe.

Dawno temu (jak jeszcze dinozaury biegały po ziemi) korzystałem z takiego softu pod win 98/XP i spisywał się genialnie (ale nie pamiętam nazwy więc vbox w win XP i zasoby montowane po sambie odpadają)

Wszelkie sugestie mile widziane ;)
Jak ktoś ma pomysł/alogrytm na wykorzystanie diffa również będę mega zainteresowany.

andreq · 2013-03-12 08:27:35

W Digikam-ie jest funkcja wyszukiwania duplikatów, u mnie z NEF-ami poszło bardzo dobrze.

pioki · 2013-03-12 08:32:35

Możesz też spróbować coś takiego:

Kod:

md5sum * | sort -n | uniq -w 32 -d

warto zajrzeć do `man uniq` zamiast opcji -d (wypisuje które pliki mają duplikaty) można rozważyć użycie -u lub -D...

Ostatnio edytowany przez pioki (2013-03-12 09:04:47)

winnetou · 2013-03-12 11:34:51

pioki - podobne łamańce tstowałem - średnio się spisały. Na razie znalazłem FSLint wygląda na to, że się całkiem z sensem spisze.
Digikama zaraz obczaję ;)

yossarian · 2013-03-12 11:51:04

Może coś z tego:
http://forum.dug.net.pl/viewtopic.php?pid=215231#p215231

prosze · 2013-03-12 12:52:56

Kod:

find $PWD -name "*.jpg" | awk 'BEGIN{FS="."}{system("mkdir " $NF "; mv -v --backup=numbered  " $0 " " $NF)}'

Wyszukuje pliki wg wzorca (w katalogu bieżącym i jego podkatalogach) i tworzy katalogi o takiej samej nazwie jak rozszerzenie pliku.
Dla prawidłowego działania żaden z katalogów nie może mieć w swojej nazwie kropki "." Przenosi pliki do katalogów o takiej samej nazwie jak rozszerzenie pliku. Przenoszone są również duplikaty plików, które dostają kolejny numer, ale są ukryte (włączyć wyświetlanie ukrytych plików).

winnetou · 2013-03-12 14:45:39

@prosze - fotki mam już posortowane (o czym pisałem w pierwszym poście).
Jest sobie przykładowe drzewko katalogów

Kod:

 Atex_inne
    f105063971.orf
    f105107051.orf
    f105253619.orf
    f105485267.orf
    f105671531.orf
    f75639707.orf
    f87833259.orf
    f88071251.orf
    f93880411.orf
     f94419915.orf
 Atex_studio
    f108285019.orf
    f108307083.orf
    f108329003.orf
    f108350979.orf
    f206202019.orf
    f206225059.orf
    f206247587.orf
    f206270371.orf
    f206293155.orf
     f206315683.orf

I w katalogu są duplikaty ;]
sortowanie po rozszerzeniach już dawno sobie zrobiłem i do tego rawy jeszcze posortowałem "kategoriami". Teraz tylko rozbija się o wynalezienie duplikatów i usunięcie/przeniesienie do innego katalogu. Zabawy z md5 już testowałem i momentami nie bardzo zdaje to egzamin.

@yossarian - rdfind nie widzę w gentoo (a nie chce mi się kompilować ręcznie ;P). duff i LSlint raczej dają radę. - wstępnie na 10k rawów znalazło mi
41GB duplikatół w 2290 plików ;)

--- EDYTKA ---
duff/fslint mają jedna wadę - problem z minimalnymi różnicami np w jasności fotki ;/ No ale w sumie są w stanie zwolnić mi jakieś 60-70GB miejsca z duplikatów. A to już duuuużo. Nic to pokombinuje z innymi algorytmami (sha1/sha512 i md5 nie wyłapują tych różnic) a digikam zassa mi połowe kde ;(

Ostatnio edytowany przez winnetou (2013-03-13 01:12:22)

pioki · 2013-03-13 06:09:41

duff ma opcję -t:

-t Thorough mode. Distrust digests as a guarantee for equality. In thorough mode, duff compares files byte by byte when their sizes
match.

ale ja bym chyba nie zaryzykował ;)

lukaz1987 · 2013-03-13 12:34:37

Freedup http://www.freedup.org/download.html

Ostatnio edytowany przez lukaz1987 (2013-03-13 12:36:44)

Forum Debian Users Gang

Ogłoszenie

#1 2013-03-12 03:51:16

winnetou - złodziej wirków ]:->

Duplikaty plików

#2 2013-03-12 08:27:35

andreq - Członek DUG

Re: Duplikaty plików

#3 2013-03-12 08:32:35

pioki - Użytkownik

Re: Duplikaty plików

Kod:

#4 2013-03-12 11:34:51

winnetou - złodziej wirków ]:->

Re: Duplikaty plików

#5 2013-03-12 11:51:04

yossarian - Szczawiożerca

Re: Duplikaty plików

#6 2013-03-12 12:52:56

prosze - Użytkownik

Re: Duplikaty plików

Kod:

#7 2013-03-12 14:45:39

winnetou - złodziej wirków ]:->

Re: Duplikaty plików

Kod:

#8 2013-03-13 06:09:41

pioki - Użytkownik

Re: Duplikaty plików

#9 2013-03-13 12:34:37

lukaz1987 - Członek DUG

Re: Duplikaty plików

Stopka forum