Forum Debian Users Gang

morfik · 2012-02-27 17:13:35

Czy istnieje jakieś narzędzie które umożliwi defragmentacje systemu plików ext3?

Mam partycję 650gb, nigdy nie byłą ona zajęta w stopniu przewyższającym 50% (obecnie jest na niej 340gb). Po ostatnim sprawdzeniu systemu plików podsumowanie wyrzuciło ponad 55% pofragmentowanych plików :] W tej chwili na tej pratycji znajduje się 19002 elementów. I pytanie moje jest skąd aż taka fragmentacja plików przy tak dużej ilości wolnego miejsca?

Przeszukując wątki na forum andreq napisał

... nie ma się czym przejmować - nie spotkałem fragmentacji większej niż 10% i to po paru latach użytkowania.

Mój dysk ma przepracowane około 7tys godzin - młody dysk, ma niecały rok.

I jeszcze takie pytanie - czy istnieje możliwość podglądnięcia, które pliki są pofragmentowane oraz ile mają części? Tak jak na winie? Bo 55% pofragmentowanych plików za bardzo nie daje pełnego obrazu tego jak bardzo pofragmenteowane są pliku, jedynie co mogę stwierdzić z raportu fsck to to, że liczba pofragmenteowanych plików wynosi 10451 ale już czy te pliki mają 2 fragmenty czy 2000, to już nie pisze :] Jeżeli bym miał choć listę plików pofragmentowanych, to mógłbym sposobem na "murzyna" je "poscalać".

P@blo · 2012-02-27 18:57:42

raven18 napisał(-a):
Najlepsza metoda defragmentacji to copy > paste

http://forum.dug.net.pl/viewtopic.php?pid=161207#p161207

morfik · 2012-02-27 19:23:37

Oszalałeś chyba :D Nie będę kopiował 360gb...

Co do samego sposobu ctrl+c, ctrl+v - to jest sposób na "murzyna" tak jak pisałem powyżej. Co nie zmienia też faktu, że pliki mogą być rozrzucone po całym dysku i kopiowanie kolejnych plików może jeszcze bardziej pogłębić fragmentację :] Nie mam też żadnych danych jak wygląda rozmieszczenie plików na dysku, a wątpię by były one ułożone jeden po drugim :]

Niemniej jednak, dalej nie wiem które pliki są pofragmentowane i ile maja kawałków. Bo jeżeli plik ma 2 kawałki, to nie będę go kopiował. Ale jeżeli ten plik ma 2 tyś części, to by należało :]

Yampress · 2012-02-27 19:44:19

dyski sa teraz tak szybkie , że nie ma sensu defragmentować. To windowsowy termin i zabieg dla tego to systemu...

Ostatnio edytowany przez Yampress (2012-02-27 19:45:54)

gindek · 2012-02-27 19:48:56

morfik napisał(-a):
Oszalałeś chyba :D Nie będę kopiował 360gb...

o_0 .... a jak myslisz na czym polega 'łindowłsowy' zabieg "defragmentacji" ?

[edit]
nie ma programu
magic_stick , który uruchamiasz i pstryk jest.

termin defragmetancja wywodzi sie od fragmentacji czyli podziału plików na mniejsze cześci w skótek czego traci się ich ciągłość w zapisie na dysku.

proces defragmentacji polega na 'posklejaniu' tych plików, tak aby na powierzchni dysku twaredego tworzyły ciągłość.

[edit2]
w windzie występował taki problem ponieważ system zapisywał informacje pokoleji sektor po sektorze, trafial na zajete miejsce to szukal pierwszego wolnego ( nawet kiedy wolna przestrzen byla absurdalnie mala ) kiedy kopiowales np. 10 MB, to powiedzmy że było to zapisywane w 20 miejscach.

cud ext3 polega na zapisaniu 10MB w odpowiednim miejsu na dysku :], tam gdzie sie zmiesci, w całości bez dzielenia go, natomiast jeżeli zachodzi potrzeba dzielenia pliku , to jest dzielony na duże porcje.

Ostatnio edytowany przez gindek (2012-02-27 19:55:16)

dominbik · 2012-02-27 20:07:02

swoją drogą nie wiem jak można było osiągnąć 55% fragmentacji. ja na partycjach w 75% zajętych nie mam na pewno więcej niż 10% (co prawda EXT4)

fervi · 2012-02-27 20:57:13

Bo Morfik utworzył miliony plików po 10KB, a potem usunął co drugi i wgrał film :D Film musiał być fragmentowany, więc mu to zajęło 55% :D

Fervi

BlackEvo · 2012-02-27 21:30:10

A ja mam taki o to problem bo pewien komunikat mi się nie podoba... :/

Kod:

fsck -nvf /dev/sda5 
fsck from util-linux 2.20.1
e2fsck 1.42 (29-Nov-2011)
Uwaga! /dev/sda5 jest zamontowany.
Uwaga: pominięto odtwarzanie z kroniki z powodu sprawdzania w trybie tylko
do odczytu.
Przebieg 1: Sprawdzanie i-węzłów, bloków i rozmiarów
Przebieg 2: Sprawdzanie struktury katalogów
Przebieg 3: Sprawdzanie łączności katalogów
Przebieg 4: Sprawdzanie liczników odwołań
Przebieg 5: Sprawdzanie sumarycznych informacji o grupach
Błędna liczba wolnych bloków (2999840, naliczono 2999759).
Poprawić? nie


 /dev/sda5: ********** UWAGA: System plików nadal ma błędy ********** 


  105778 użytych i-węzłów (10.82%)
      80 plików nieciągłych (0.1%)
      95 katalogów nieciągłych (0.1%)
         liczba i-węzłów z blokami ind/dind/tind: 0/0/0
         Histogram głębokości ekstentów: 90155/29
  906208 użytych bloków (23.20%)
       0 wadliwych bloków
       1 duży plik

   82835 zwykłych plików
    6873 katalogi
      12 plików urządzeń znakowych
      25 plików urządzeń blokowych
       2 potoki
     524 dowiązania
   16022 dowiązania symboliczne (15547 szybkich dowiązań symbolicznych)
       0 gniazd
--------
  106293 pliki

Jest to partycja root a /home mam także na osobnej i też jest komunikat, że "system plików nadal ma błędy"

Ostatnio edytowany przez BlackEvo (2012-02-27 21:30:38)

ArnVaker · 2012-02-27 21:43:20

BlackEvo: To puść fsck. :) Ale takie, które faktycznie coś zrobi — bez opcji -n (np. fsck -fyCv partycja).

PS Na partycji niezamontowanej lub zamontowanej read-only oczywiście.

morfik · 2012-02-27 21:49:35

gindek napisał(-a):
o_0 .... a jak myslisz na czym polega 'łindowłsowy' zabieg "defragmentacji" ?

Przecie wiem na czym polega defragmentacja. Problem nie jest w tym, czy kopiować, czy nie, tylko co mam kopiować :] Na winie mam ładną rozpiskę który plik w ilu jest kawałkach. Jak już pisałem wcześniej na tej partycji jest prawie 20k plików, z czego tylko połowę(?) trzeba przekopiować. I jak już pisałem wcześniej - plik w 2 kawałkach dla mnie nie wymaga kopiowania, ale plik co ma 2k części już tak. Problem jest w ustaleniu, które pliki są pofragmentowane ...

gindek napisał(-a):
w windzie występował taki problem ponieważ system zapisywał informacje pokoleji sektor po sektorze, trafial na zajete miejsce to szukal pierwszego wolnego

Może to był win 95 :D Na xp to nie jest do końca prawda. Kiedyś wgrywając paru GB plik, patrzyłem czy wypełni przestrzenie między plikami czyli się sfragmentuje. I co się okazało, wgrał cały plik w wolne miejsce.

gindek napisał(-a):
cud ext3 polega na zapisaniu 10MB w odpowiednim miejsu na dysku :], tam gdzie sie zmiesci, w całości bez dzielenia go

No dziwny ten cud skoro partycja ma wolne ponad 300gb (zwykle miała ponad 450 wolnego), a największy plik ma chyba 3gb, do tego plików jest 20k i ponad połowa ma co najmniej 2 części :]

Fakt jest faktem, że sporo plików się przez tę partycję przewija, niemniej jednak po to dałem jej prawie 650GB, żeby zmniejszyć fragmentacje ale widać to nie działa za dobrze :]

dominbik napisał(-a):
swoją drogą nie wiem jak można było osiągnąć 55% fragmentacji.

Też się zdziwiłem jak zobaczyłem podsumowanie :D

BlackEvo - puść sobie shutdown -rF now :)

Ostatnio edytowany przez morfik (2012-02-27 22:00:33)

BlackEvo · 2012-02-27 21:58:05

ArnVaker napisał(-a):
BlackEvo: To puść fsck. :) Ale takie, które faktycznie coś zrobi — bez opcji -n (np. fsck -fyCv partycja).

PS Na partycji niezamontowanej lub zamontowanej read-only oczywiście.

Podziękował :)

ArnVaker · 2012-02-27 22:02:04

Jeszcze odnośnie „System plików nadal ma błędy”: wydaje mi się, że to w ogóle normalne jest przy użyciu opcji -n.

Puściłem „prawdziwe” fsck (wszystko było OK), przekręciłem system i już też mam:

Kod:

# fsck -nvf /dev/sda7
fsck from util-linux 2.20.1
e2fsck 1.42 (29-Nov-2011)
Uwaga! /dev/sda7 jest zamontowany.
Uwaga: pominięto odtwarzanie z kroniki z powodu sprawdzania w trybie tylko
do odczytu.
Przebieg 1: Sprawdzanie i-węzłów, bloków i rozmiarów
Przebieg 2: Sprawdzanie struktury katalogów
Przebieg 3: Sprawdzanie łączności katalogów
Przebieg 4: Sprawdzanie liczników odwołań
Przebieg 5: Sprawdzanie sumarycznych informacji o grupach
Błędna liczba wolnych bloków (3307123, naliczono 3306651).
Poprawić? nie

Błędna liczba wolnych i-węzłów (997998, naliczono 997976).
Poprawić? nie


DEBIAN: ********** UWAGA: System plików nadal ma błędy **********


  101442 użyte i-węzły (9.23%)
     136 plików nieciągłych (0.1%)
     110 katalogów nieciągłych (0.1%)
         liczba i-węzłów z blokami ind/dind/tind: 0/0/0
         Histogram głębokości ekstentów: 95408/53
 1084638 użytych bloków (24.70%)
       0 wadliwych bloków
       1 duży plik

   87290 zwykłych plików
    7906 katalogów
      12 plików urządzeń znakowych
      25 plików urządzeń blokowych
       3 potoki
      15 dowiązań
    6214 dowiązań symbolicznych (5950 szybkich dowiązań symbolicznych)
       5 gniazd
--------
  101470 plików

Wolne bloki i wolne i-węzły od razu się nie zgadzają i krzyczy, że to błąd.

morfik · 2012-02-27 22:15:37

Mi nie wywala, także to nie jest normalne :D

ArnVaker · 2012-02-27 22:20:00

Ale robisz coś z tą partycją po puszczeniu normalnego fsck? Bo u mnie zaraz po normalnym fsck z opcją -n też jest OK. Ale wystarczy, że przekręcę system i wtedy sprawdzę z opcją -n na zamontowanej partycji / i już mu się te wolne bloki i i-węzły nie zgadzają.

BlackEvo · 2012-02-27 22:20:45

No mi także. Najpierw init 1, potem odmontowałem /home na drugiej prartycji i po ponownym zamontowaniu dalej taki zonk. W read-only już tego nie ma.

Fakt, to nie jest normalne :D

morfik · 2012-02-27 22:28:17

Ja znalazłem z kolei program filefrag :] I generalnie rzecz biorąc wyrzucił mi coś takiego:

Kod:

film.avi: 24145 extents found, perfection would be 1 extent

Czy te 24145 to mają być części :D?

ArnVaker · 2012-02-27 22:31:28

IMO to jest normalne jednak. :P

niezamontowana partycja:

Kod:

fsck -nvf /dev/sda8
…
czysto

montuję ją gdzieś:

Kod:

fsck -nvf /dev/sda8
…
czysto

po utworzeniu jakiegokolwiek pliku:

Kod:

fsck -nvf /dev/sda8
…
Błędna liczba wolnych i-węzłów (996316, naliczono 996315).
Poprawić? nie

********** UWAGA: System plików nadal ma błędy **********

po odmontowaniu:

Kod:

fsck -nvf /dev/sda8
…
czysto

Zatem wyszło mi, że to pojawia się w przypadku zamontowanej partycji, jeżeli ww. wartości zmienią się od ostatniego odmontowania.

morfik · 2012-02-27 22:45:24

ArnVaker - to chyba logiczne, że raczej nie powinno się nic robić na partycji, którą się sprawdza, nawet z opcją -n :D Tak samo jak będziesz pakował sobie katalog tar'em i usuniesz/zmienisz jakiś plik podczas tej operacji, to tar przerwie pakowanie i wywali błąd :D

ArnVaker · 2012-02-27 22:51:20

morfik napisał(-a):
ArnVaker - to chyba logiczne, że raczej nie powinno się nic robić na partycji, którą się sprawdza, nawet z opcją -n :D

Tak? No nie wiem, dzisiaj pierwszy raz w życiu używałem w ogóle opcji -n. ;) Zresztą ja nie tworzę tego pliku w trakcie sprawdzania, tylko przed sprawdzaniem. Chodzi raczej o to, że aktualne wartości pewnie zapisywane są przy odmontowywaniu partycji i jak potem sprawdza się na zamontowanej po wprowadzeniu jakichś zmian (pomijając już sensowność takiego sprawdzania), to obecne wartości po prostu nie zgadzają się z tymi zapisanymi.

morfik · 2012-02-27 23:58:30

Faktycznie, musi sobie uaktualniać staty wolnych i-nodów przy odmontowaniu sytemu plików. Temu lepiej zawsze skanować na niepodmontowanym albo przemontować i nic nie wgrywać :D

Co do głównego tematu:

Kod:

filefrag film*
film.avi: 24145 extents found, perfection would be 1 extent
film (kopia).avi: 187 extents found, perfection would be 1 extent
film (kolejna kopia).avi: 198 extents found, perfection would be 1 extent

Chętnie bym porozmawiał z tym co zaprojektował ext3 bez narzędzia do defragmentacji :D Nawet po skopiowaniu pliku (730MB), na dysku z wolnym miejscem ponad 300GB (tam jest MB, a tu GB), ma 187 cześći, kolejna kopia ma już 198 kawałków.

Na tej partycji musi być niezła sieka skoro plik 730,3 MB (730263552 bajty) został w "najlepszym możliwym wypadku" podzielony na 187 kawałków - to daje 3,9 MB (3905153 bajty) największej wolnej przestrzeni między plikami :D

Ale mama mówiła że linuxy nie wymagają defragmentacji - no i widać do czego to prowadzi :D

fervi · 2012-02-28 07:56:23

Problem w tym, że defragmentacja to nerdowskie pojęcie. Możesz defragmentować np. Windowsa, ale robisz to? Raczej nie, to już bardziej zapomniana technika

Fervi

BlackEvo · 2012-02-28 08:31:25

ArnVaker napisał(-a):
IMO to jest normalne jednak. :P

niezamontowana partycja:
Kod:
fsck -nvf /dev/sda8
…
czysto
montuję ją gdzieś:
Kod:
fsck -nvf /dev/sda8
…
czysto
po utworzeniu jakiegokolwiek pliku:
Kod:
fsck -nvf /dev/sda8
…
Błędna liczba wolnych i-węzłów (996316, naliczono 996315).
Poprawić? nie

********** UWAGA: System plików nadal ma błędy **********
po odmontowaniu:
Kod:
fsck -nvf /dev/sda8
…
czysto
Zatem wyszło mi, że to pojawia się w przypadku zamontowanej partycji, jeżeli ww. wartości zmienią się od ostatniego odmontowania.

Tak właśnie dzieje się za każdym razem gdy np. dojdzie plik z logiem z kadu/Psi itp... [ przed skanowaniem ]
Mało tego, odmontowany /home i przeskanowany to jak piszesz - jest czysto.

Ciekawostka - na ext4 jest dokładnie tak samo

ArnVaker · 2012-02-28 08:48:29

BlackEvo napisał(-a):
Ciekawostka - na ext4 jest dokładnie tak samo

Też właśnie na ext4 sprawdzałem, zapomniałem napisać.

gindek · 2012-02-28 18:54:37

morfik napisał(-a):
gindek napisał(-a):
o_0 .... a jak myslisz na czym polega 'łindowłsowy' zabieg "defragmentacji" ?
Przecie wiem na czym polega defragmentacja. Problem nie jest w tym, czy kopiować, czy nie, tylko co mam kopiować :] Na winie mam ładną rozpiskę który plik w ilu jest kawałkach. Jak już pisałem wcześniej na tej partycji jest prawie 20k plików, z czego tylko połowę(?) trzeba przekopiować. I jak już pisałem wcześniej - plik w 2 kawałkach dla mnie nie wymaga kopiowania, ale plik co ma 2k części już tak. Problem jest w ustaleniu, które pliki są pofragmentowane ...

gindek napisał(-a):
w windzie występował taki problem ponieważ system zapisywał informacje pokoleji sektor po sektorze, trafial na zajete miejsce to szukal pierwszego wolnego
Może to był win 95 :D Na xp to nie jest do końca prawda. Kiedyś wgrywając paru GB plik, patrzyłem czy wypełni przestrzenie między plikami czyli się sfragmentuje. I co się okazało, wgrał cały plik w wolne miejsce.

gindek napisał(-a):
cud ext3 polega na zapisaniu 10MB w odpowiednim miejsu na dysku :], tam gdzie sie zmiesci, w całości bez dzielenia go
No dziwny ten cud skoro partycja ma wolne ponad 300gb (zwykle miała ponad 450 wolnego), a największy plik ma chyba 3gb, do tego plików jest 20k i ponad połowa ma co najmniej 2 części :]

ad1.
360GB wierz mi lub nie ale to nie jest dużo, przynajmniej do przemielenia na dysku.

ad2. na xp nie bylo problemu bo tam jest ntfs, wiec jezeli ladowales plik na partycje ntfs to mnie tez nie dziwi ze sie wrzucilo w "wolna przestrzen", ale że problem fragmentacji plikow na ntfs byl bardzo znikomy to nie jest zadna tajemnica.

ad3. to byl przyklad nie wiedzialem jaki jest stan twojej wiedzy to dalem ci przyklad zebys zalapal. ale dzieki ci wielki ze mnie oswieciles ile jest 650 - 360.

idac dalej .. 20k plikow to nie jest duzo,

[edit]
off top , arn ile masz partycji ?

Ostatnio edytowany przez gindek (2012-02-28 18:56:05)

morfik · 2012-02-28 23:57:00

Wiem ze 20k plików to nie jest dużo, zwłaszcza na 650GB - w samym LVMie mam 361.691 elementów o całkowitym rozmiarze 12,1 GB. LVM o wielkości 45GB. Niemniej jednak, 55% fragmentacji to jest bardzo dużo i jeżeli nie zmniejszę fragmentacji, to za rok będzie tam 99% :]

Gdyby to był ntfs, to bym się logował co tydzień może co dwa na wina i bym sobie robił defraga. Po pół godzinie (może mniej) system by mi połączył większość plików (częstrzy defrag, mniejszy burdel i mniej sprzątania). Na linuxie co prawda, bardzo fajne jest podejście jeżeli chodzi o błędy systemu plików i trzymanie tego systemu plików w należytym stanie, szkoda, że tego samego podejścia zabrakło przy fragmentacji :]

Forum Debian Users Gang

Ogłoszenie

#1 2012-02-27 17:13:35

morfik - Cenzor wirtualnego świata

Defragmentacja ext3

#2 2012-02-27 18:57:42

P@blo - Nadworny matematyk

Re: Defragmentacja ext3

raven18 napisał(-a):

#3 2012-02-27 19:23:37

morfik - Cenzor wirtualnego świata

Re: Defragmentacja ext3

#4 2012-02-27 19:44:19

Yampress - Imperator

Re: Defragmentacja ext3

#5 2012-02-27 19:48:56

gindek - Zubr, bydle na etacie.

Re: Defragmentacja ext3

morfik napisał(-a):

#6 2012-02-27 20:07:02

dominbik - Członek DUG

Re: Defragmentacja ext3

#7 2012-02-27 20:57:13

fervi - Użytkownik

Re: Defragmentacja ext3

#8 2012-02-27 21:30:10

BlackEvo - Driver

Re: Defragmentacja ext3

Kod:

#9 2012-02-27 21:43:20

ArnVaker - Kapelusznik

Re: Defragmentacja ext3

#10 2012-02-27 21:49:35

morfik - Cenzor wirtualnego świata

Re: Defragmentacja ext3

gindek napisał(-a):

gindek napisał(-a):

gindek napisał(-a):

dominbik napisał(-a):

#11 2012-02-27 21:58:05

BlackEvo - Driver

Re: Defragmentacja ext3

ArnVaker napisał(-a):

#12 2012-02-27 22:02:04

ArnVaker - Kapelusznik

Re: Defragmentacja ext3

Kod:

#13 2012-02-27 22:15:37

morfik - Cenzor wirtualnego świata

Re: Defragmentacja ext3

#14 2012-02-27 22:20:00

ArnVaker - Kapelusznik

Re: Defragmentacja ext3

#15 2012-02-27 22:20:45

BlackEvo - Driver

Re: Defragmentacja ext3

#16 2012-02-27 22:28:17

morfik - Cenzor wirtualnego świata

Re: Defragmentacja ext3

Kod:

#17 2012-02-27 22:31:28

ArnVaker - Kapelusznik

Re: Defragmentacja ext3

Kod:

Kod:

Kod:

Kod:

#18 2012-02-27 22:45:24

morfik - Cenzor wirtualnego świata

Re: Defragmentacja ext3

#19 2012-02-27 22:51:20

ArnVaker - Kapelusznik

Re: Defragmentacja ext3

morfik napisał(-a):

#20 2012-02-27 23:58:30

morfik - Cenzor wirtualnego świata

Re: Defragmentacja ext3

Kod:

#21 2012-02-28 07:56:23

fervi - Użytkownik