Nie jesteś zalogowany.
Jeśli nie posiadasz konta, zarejestruj je już teraz! Pozwoli Ci ono w pełni korzystać z naszego serwisu. Spamerom dziękujemy!

Ogłoszenie

Prosimy o pomoc dla małej Julki — przekaż 1% podatku na Fundacji Dzieciom zdazyć z Pomocą.
Więcej informacji na dug.net.pl/pomagamy/.

#1  2011-05-03 15:06:45

  krzys.tk - Użytkownik

krzys.tk
Użytkownik
Zarejestrowany: 2010-05-07

[SOLVED] Dobór systemu plików

Siemanko!
Właśnie dołożyłem dysk SATA do komputera pracującego pod Debianem Lenny 32bit. Posiadam już na nim pewne dane których nie chciałem utracić a dysk był używany wcześniej pod Windowsem więc zostawiłem system plików NTFS. Zamontowałem go przy użyciu ntfs-3g po czym zaobserwowałem gwałtowny wzrost użycia CPU. Widać to wyraźnie na wykresach lstata:

http://img847.imageshack.us/img847/3285/tydzien.th.png  http://img715.imageshack.us/img715/7133/dzienw.th.png

Dodam, że na dysku przechowuję głównie średnie (15-100MB) i duże (4-6GB) pliki które często zapisuję i odczytuję bo serwerek wykorzystuję do seedowania torrentów. Zastanawiam się nad zmianą systemu plików lub sposobu montowania. Czy moglibyście mi coś doradzić?

Ostatnio edytowany przez krzys.tk (2011-05-09 19:23:09)

Offline

 

#2  2011-05-03 15:30:39

  ArnVaker - Kapelusznik

ArnVaker
Kapelusznik
Skąd: Midgard
Zarejestrowany: 2009-05-06

Re: [SOLVED] Dobór systemu plików

Ja bym doradził przesiadkę na Squeeze i ext4. :)

Offline

 

#3  2011-05-03 17:18:14

  krzys.tk - Użytkownik

krzys.tk
Użytkownik
Zarejestrowany: 2010-05-07

Re: [SOLVED] Dobór systemu plików

A dlaczego wlasnie ext4 ? Czytalem, ze ani ext ani NTFS nie nadaje sie do duzych partycji. A chyba do takich zalicza sie moja ktora ma 500GB.

Offline

 

#4  2011-05-03 17:29:14

  winnetou - złodziej wirków ]:->

winnetou
złodziej wirków ]:->
Skąd: Jasło/Rzeszów kiedyś Gdańs
Zarejestrowany: 2008-03-31
Serwis

Re: [SOLVED] Dobór systemu plików

Jak już to nie do dużych partycji a do dużych plików :) (aczkolwiek ja się nie znam ;])


extX jest stosunkowo uniwersalnym FS'em i całkiem nieźle radzi sobie zarówno z dużą ilością małych plików jak i dużymi plikami. Jeśli masz tylko duże pliki (+700MB to warto się zainteresować XFS) Jeśli masz w grom malutkich plików to lepiej coś w stylu reiserfs/ext(3|4)

FS'y z rodziny extX mają ten bonus, że przy montowaniu można podać flagę commit=X - gdzie X jest czasem (w sekundach) zapisu dziennika. Więc jeśli np masz więcej operacji odczytu niż zapisu warto zwiększyć tę wartość (domyślnie- AFAIR to 5s) np do 300. extX dostaje wtedy skrzydeł.

No i zostaje jeszcze kwestia formatowania samego systemu extX.
Przy formatowaniu dla małych plików warto zwiększyć liczbę inodów oraz zmniejszyć block size (bs) - przy czym zmniejszenie bs wiąże się z koniecznością częstszego zapisu/odczytu (domyślny BS zarówno dla extX jak i ntfs to 4k). Dla dużych plików można spokojnie zmniejszyć liczbę inodów oraz zwiększyć bs - też doda skrzydeł FS'owi.


LRU: #472938
napisz do mnie: ola@mojmail.eu
Hołmpejdż | Galerie | "Twórczość" || Free Image Hosting

Offline

 

#5  2011-05-03 17:32:11

  ArnVaker - Kapelusznik

ArnVaker
Kapelusznik
Skąd: Midgard
Zarejestrowany: 2009-05-06

Re: [SOLVED] Dobór systemu plików

W sumie wybór ext4 wydaje się najbardziej naturalny aktualnie… Reszta albo jeszcze nie jest gotowa (btrfs), albo jest już stara (reiserfs — wyleciał już nawet z instalatora Debiana, ext3), albo w ogóle mało kto tego używa (xfs, jfs), albo ma jeszcze inne dziwne problemy (reiser4). Co do tego że nie nadaje się na duże partycje, to nigdy nie słyszałem szczerze mówiąc (sam mam na nim partycje po 10GiB oraz 420GiB).

Offline

 

#6  2011-05-03 18:15:43

  krzys.tk - Użytkownik

krzys.tk
Użytkownik
Zarejestrowany: 2010-05-07

Re: [SOLVED] Dobór systemu plików

winnetou napisał(-a):

FS'y z rodziny extX mają ten bonus, że przy montowaniu można podać flagę commit=X - gdzie X jest czasem (w sekundach) zapisu dziennika. Więc jeśli np masz więcej operacji odczytu niż zapisu warto zwiększyć tę wartość (domyślnie- AFAIR to 5s) np do 300. extX dostaje wtedy skrzydeł.

U mnie z tym jest różnie. Generalnie więcej bedę odczytywał aniżeli zapisywał. Chociaż trzeba też uwzglednic sytuacje gdy bede coś sciagał i jednocześnie udostepniał. Dysponuję sporym łączem rzędu kilkudziesięciu mb w obie strony a pliki które ściągam moga mieć po 700mb ale składają się zwykle z częsci po 15, 50 albo 100MB. Czy w takim wypadku grzebanie coś przy czasie zapisu dziennika ma sens?

Myslę nad ext4 ze zwiększonym blocksize. Rozumiem że trzeba to zrobić w momencie samego zakładania partycji i tworzenia systemu plików. Jaka wartośc bs w moim przypadku była by odpowiednia? 16k, 64k, 256k zamiast standardowych 4kb czy to troszkę za dużo?

Offline

 

#7  2011-05-03 18:30:03

  winnetou - złodziej wirków ]:->

winnetou
złodziej wirków ]:->
Skąd: Jasło/Rzeszów kiedyś Gdańs
Zarejestrowany: 2008-03-31
Serwis

Re: [SOLVED] Dobór systemu plików

BS trzeba ustawić już w trakcie formatowania partycji. Jak masz chwile czasu to weź jakąś partycję kilku/kilkudziesięciomegową i przeporwać kilka testów np przy pomocy dd :) Niezbyt miarodajne narzędzie ale np w połączeniu z iotop/iostat da poglądowy obraz na to jak jest partycja wykorzystywana i jak się zachowuje system w czasie odczytu/zapisu.

Samo zwiększenie commita np do 60 już sporo daje a nie jest jakoś szczególnie niebezpieczne (na lapku mam commita na 60s i śmiga idealnie) zawsze możesz się pokusić o ustawienie np 120 czy 180s. Zwiększenie commita zawsze ma sens :)

Co do bs to ustawia się go tak:

Kod:

mkfs.ext4 -b X /dev/sdaX

Jeśli chodzi o rozmiar bloku, imho, spokojnie możesz ustawić na 64k lub nawet 128k (przy czym weź pod uwagę że jak na tej pratycji znajdzie się plik o rozmiarze mniejszym od rozmiaru bloku to niewykorzystanie miejsce pójdzie na spacer :))


LRU: #472938
napisz do mnie: ola@mojmail.eu
Hołmpejdż | Galerie | "Twórczość" || Free Image Hosting

Offline

 

#8  2011-05-03 20:35:53

  krzys.tk - Użytkownik

krzys.tk
Użytkownik
Zarejestrowany: 2010-05-07

Re: [SOLVED] Dobór systemu plików

Jesli chodzi o commita to pokombinuje sobie jak sformatuje partycje. Z bs bedzie gorzej bo mam mnostwo danych na tej partycji i jest to jedyna partycja na dysku. Moge dac Ci slowo harcerza ze plikow ponizej 1MB bede mial mniej niz palcy u jednej reki. Ustawie bs na 128k w takim razie. Głównym moim celem jest zmniejszenie tych kosmicznych cpu loadow.

Chodzi mi po glowie jeszcze jedno rozwiazanie: czy montujac dysk innym programem niz ntfs-3g osiagne swoj cel? Jakiego programu moge do tego uzyc? Robiac zwykle mount /dev/sda1 nie moge nic zapisac/przeniesc z tego dysku.

Offline

 

#9  2011-05-03 21:30:00

  Minio - Użyszkodnik

Minio
Użyszkodnik
Skąd: Poznań, Polska
Zarejestrowany: 2007-12-22
Serwis

Re: [SOLVED] Dobór systemu plików

ntfs-3g to jedyny rozsądny program do montowania NTFS pod Linuksem. Alternatywnie można skorzystać ze sterownika wbudowanego w kernel, ale to taka nominalna alternatywa — realnie sterownik z kernela nie jest żadnym konkurentem dla ntfs-3g.

Offline

 

#10  2011-05-03 22:14:36

  Tracerneo - Członek Drużyny Użytkowników Gentoo

Tracerneo
Członek Drużyny Użytkowników Gentoo
Zarejestrowany: 2010-09-30

Re: [SOLVED] Dobór systemu plików

Osobiście odradzam sterownik wbudowany w kernel. Dość dużo z nim problemów. Podobno jest możliwość zapisu, ale mnie się tego nie udało uruchomić. :P Jedynie ntfs-3g jest znanym mi, działającym programem do obsługi partycji NTFS.

Offline

 

#11  2011-05-03 22:43:11

  ArnVaker - Kapelusznik

ArnVaker
Kapelusznik
Skąd: Midgard
Zarejestrowany: 2009-05-06

Re: [SOLVED] Dobór systemu plików

Nigdy nie próbowałem używać sterownika dostępnego w kernelu w trybie zapisu, ale nawet informacja z pomocy nie brzmi zbyt zachęcająco.

Kod:

  │ CONFIG_NTFS_RW:                                                                                                                                      │  
  │                                                                                                                                                      │  
  │ This enables the partial, but safe, write support in the NTFS driver.                                                                                │  
  │                                                                                                                                                      │  
  │ The only supported operation is overwriting existing files, without                                                                                  │  
  │ changing the file length.  No file or directory creation, deletion or                                                                                │  
  │ renaming is possible.  Note only non-resident files can be written to                                                                                │  
  │ so you may find that some very small files (<500 bytes or so) cannot                                                                                 │  
  │ be written to.                                                                                                                                       │  
  │                                                                                                                                                      │  
  │ While we cannot guarantee that it will not damage any data, we have                                                                                  │  
  │ so far not received a single report where the driver would have                                                                                      │  
  │ damaged someones data so we assume it is perfectly safe to use.                                                                                      │  
  │                                                                                                                                                      │  
  │ Note:  While write support is safe in this version (a rewrite from                                                                                   │  
  │ scratch of the NTFS support), it should be noted that the old NTFS                                                                                   │  
  │ write support, included in Linux 2.5.10 and before (since 1997),                                                                                     │  
  │ is not safe.                                                                                                                                         │  
  │                                                                                                                                                      │  
  │ This is currently useful with TopologiLinux.  TopologiLinux is run                                                                                   │  
  │ on top of any DOS/Microsoft Windows system without partitioning your                                                                                 │  
  │ hard disk.  Unlike other Linux distributions TopologiLinux does not                                                                                  │  
  │ need its own partition.  For more information see                                                                                                    │  
  │ <http://topologi-linux.sourceforge.net/>                                                                                                             │  
  │                                                                                                                                                      │  
  │ It is perfectly safe to say N here.                                                                                                                  │  
  │                                                                                                                                                      │  
  │ Symbol: NTFS_RW [=n]                                                                                                                                 │  
  │ Type  : boolean                                                                                                                                      │  
  │ Prompt: NTFS write support                                                                                                                           │  
  │   Defined at fs/ntfs/Kconfig:51                                                                                                                      │  
  │   Depends on: BLOCK [=y] && NTFS_FS [=m]                                                                                                             │  
  │   Location:                                                                                                                                          │  
  │     -> File systems                                                                                                                                  │  
  │       -> DOS/FAT/NT Filesystems                                                                                                                      │  
  │         -> NTFS file system support (NTFS_FS [=m])

Offline

 

#12  2011-05-03 22:47:47

  bobycob - Członek z Ramienia

bobycob
Członek z Ramienia
Skąd: Wrocław
Zarejestrowany: 2007-08-15

Re: [SOLVED] Dobór systemu plików

Korciło mnie aby to napisać, jednak nie chciało mi się sprawdzać ewentualnych zmian. :)
Ta notka w źródłach kernela nie zmieniła się od 10 lat.

Ostatnio edytowany przez bobycob (2011-05-03 22:48:20)

Offline

 

#13  2011-05-03 22:51:16

  winnetou - złodziej wirków ]:->

winnetou
złodziej wirków ]:->
Skąd: Jasło/Rzeszów kiedyś Gdańs
Zarejestrowany: 2008-03-31
Serwis

Re: [SOLVED] Dobór systemu plików

może być i sprzed 20 ;) W jajcu zapis na ntfs nadal jest oznaczony jako "new" ;]


LRU: #472938
napisz do mnie: ola@mojmail.eu
Hołmpejdż | Galerie | "Twórczość" || Free Image Hosting

Offline

 

#14  2011-05-03 22:56:05

  bobycob - Członek z Ramienia

bobycob
Członek z Ramienia
Skąd: Wrocław
Zarejestrowany: 2007-08-15

Re: [SOLVED] Dobór systemu plików

Chyba jedynym przypadkiem użycia (pół świadomego) możliwości zapisu to minidystrybucje do usuwania haseł użytkowników windows:D i pewnie do tego go stworzone;).
Sterownik ntfs jest w takiej formie od początku mojej przygody z linuksem - wtedy to był problem bo to linuks był tym drugim systemem. Na szczęście nawet już nie pamiętam kiedy to było ;) Z tymi 10 latami może przesadziłem w roku 2000 bylem jeszcze amigowcem.

Ostatnio edytowany przez bobycob (2011-05-03 22:57:24)

Offline

 

#15  2011-05-03 22:59:03

  ArnVaker - Kapelusznik

ArnVaker
Kapelusznik
Skąd: Midgard
Zarejestrowany: 2009-05-06

Re: [SOLVED] Dobór systemu plików

winnetou: A to nie jest czasem tak, że zawsze jako „new” oznaczone są opcje, które właśnie pojawiły się po wybraniu ich zależności? :)

Offline

 

#16  2011-05-03 23:27:15

  winnetou - złodziej wirków ]:->

winnetou
złodziej wirków ]:->
Skąd: Jasło/Rzeszów kiedyś Gdańs
Zarejestrowany: 2008-03-31
Serwis

Re: [SOLVED] Dobór systemu plików

a wiesz Kapeluszniku, że może i dość :)


LRU: #472938
napisz do mnie: ola@mojmail.eu
Hołmpejdż | Galerie | "Twórczość" || Free Image Hosting

Offline

 

#17  2011-05-08 02:15:21

  krzys.tk - Użytkownik

krzys.tk
Użytkownik
Zarejestrowany: 2010-05-07

Re: [SOLVED] Dobór systemu plików

Właśnie sformatowałem dysk na ext4. Zanotowałem dużą poprawę wydajności lecz obciążenie procesora wciąż jest wysokie. W dodatku nie udało mi się uzyskać większy block size. Gdy formatowałem go poleceniem mkfs.ext4 -b 65536 /dev/sda1 owszem formatował się ale próba zamontowania skutkowała:

Kod:

mount: wrong fs type, bad option, bad superblock on /dev/sda1,
       missing codepage or helper program, or other error
       In some cases useful info is found in syslog - try
       dmesg | tail  or so

zarówno przy ext3 jak i ext4. Nie do końca mnie to satysfakcjonje bo w dodatku starciłem trochę na pojemności. Z poprzednich 465GB zostało mi już tylko 439GB. Po drodze wyłapałem coś, że 5% powierzchni zarezerwowano dla superużytkownika. O co w tym chodzi i czy idzie się tego pozbyć?

Ostatnio edytowany przez krzys.tk (2011-05-08 02:17:38)

Offline

 

#18  2011-05-08 08:44:33

  ArnVaker - Kapelusznik

ArnVaker
Kapelusznik
Skąd: Midgard
Zarejestrowany: 2009-05-06

Re: [SOLVED] Dobór systemu plików

krzys.tk napisał(-a):

Po drodze wyłapałem coś, że 5% powierzchni zarezerwowano dla superużytkownika. O co w tym chodzi i czy idzie się tego pozbyć?

Ten wątek (cały!) zobacz: http://forum.dug.net.pl/viewtopic.php?id=16118.

Offline

 

#19  2011-05-08 08:52:48

  Jacekalex - Podobno człowiek...;)

Jacekalex
Podobno człowiek...;)
Skąd: /dev/random
Zarejestrowany: 2008-01-07

Re: [SOLVED] Dobór systemu plików

krzys.tk napisał(-a):

A dlaczego wlasnie ext4 ? Czytalem, ze ani ext ani NTFS nie nadaje sie do duzych partycji. A chyba do takich zalicza sie moja ktora ma 500GB.

Diabelnie dziwne.
Na ext4 mam kilka obrazów płyt dvd i cd, wszystko działa, a na reiserfs miałem kiedyś obraz partycji 75 Gb w pliku *.bin - i też mu się nic nie stało.

Dlatego bardzo proszę o źródło informacji "ze ani ext" sie nie nadaje do dużych plików.
Bo z mojego doświadczenia na ext4 znacznie wolniej niż na ext2 i 3 oraz reiserfs działają bazy SQL.
Innych objawów negatywnych nie zauważyłem, ale ext4 używam tylko 2 lata (od wersji beta). :D


Pozdrawiam
;-)

Ostatnio edytowany przez Jacekalex (2011-05-09 19:40:28)


W demokracji każdy naród ma taką władzę, na jaką zasługuje ;)
Si vis pacem  para bellum  ;)       |       Pozdrawiam :)

Offline

 

#20  2011-05-08 09:28:33

  andreq - Członek DUG

andreq
Członek DUG
Skąd: Nisko
Zarejestrowany: 2005-01-11

Re: [SOLVED] Dobór systemu plików

Prawidłowe rozmiary bloków to 1024, 2048, 4096 - oczywiście da się ustawić większy ale jądro i tak obsługuje dane w blokach po 4096 (PAGE_SIZE) <<przynajmniej w przypadku x86 i x86_64>>, więc prawdopodobnie stad problemy z zamontowaniem.

Proponuję abyś stworzył system plików z użyciem

Kod:

mkfs.ext4 -T largefile

lub

Kod:

mkfs.ext4 -T largefile4

I zamontował go z opcją noatime

Co do obciążenia procka, bez wyników top/htop, trudno zgadywać jaki proces go obciąża.

Offline

 

#21  2011-05-08 10:27:25

  thalcave - prawie jak admin

thalcave
prawie jak admin
Skąd: odległa galaktyka
Zarejestrowany: 2007-05-17

Re: [SOLVED] Dobór systemu plików

Jacekalex napisał(-a):

krzys.tk napisał(-a):

A dlaczego wlasnie ext4 ? Czytalem, ze ani ext ani NTFS nie nadaje sie do duzych partycji. A chyba do takich zalicza sie moja ktora ma 500GB.

Diabelnie dziwne.
Na ext4 mam kilka obrazów płyt dvd i cd, wszystko działa, a na reiserfs miałem kiedyś obraz partycji 75 Gb w pliku *.bin - i też mu się nic nie stało.

Dlatego bardzo proszę o źródło informacji "ze ani ext" sie nie nadaje do dużych plików.
Bo z mojego doświadczenia na ext4 znacznie wolniej niż na ext2 i3 oraz reiserfs działają bazy SQL.
Innych objawów negatywnych nie zauważyłem, ale ext4 używam tylko 2 lata (od wersji beta). :D


Pozdrawiam
;-)

Tak naprawdę to "ani NTFS" też nie jest prawdą. Przecież to FAT32 ma ograniczenie do plików 2GB. Większe, na Windowsie, przechowuje się właśnie na NTFS.

Koledze chyba się ciut pomyliło.


linux register user: 484281
"It's great to be here. It's great to be anywhere"
Keith Richards

Offline

 

#22  2011-05-08 10:41:08

  krzys.tk - Użytkownik

krzys.tk
Użytkownik
Zarejestrowany: 2010-05-07

Re: [SOLVED] Dobór systemu plików

Przeform... przepraszam, stworzyłem system plików z użyciem opcji largefile dowiadując się później, ze system sam tworzy tę opcję po pojawieniu się na partycji plików powyżej 2GB. Zmniejszyłem liczbę superbloków dla roota i dodałem opcję noatime. Prędkośc kopiowania nieznacznie wzrosła (z 55 do 57 MB/s) ale loady pozostają wysokie. Wyniki z top'a mam/pamietam. Wcześniej lwią częśc zasobów zabierał mount.ntfs-3g. Teraz wygląda to tak:

Kod:

top - 10:33:22 up 11 min,  2 users,  load average: 1.85, 0.94, 0.42
Tasks: 105 total,   3 running, 102 sleeping,   0 stopped,   0 zombie
Cpu(s): 13.0%us, 75.7%sy,  0.0%ni,  0.0%id,  6.0%wa,  0.0%hi,  5.3%si,  0.0%st
Mem:   3116704k total,  3026876k used,    89828k free,     2680k buffers
Swap:   979956k total,      624k used,   979332k free,  2835884k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 3046 krzys     20   0  5664 2660 1676 R 79.5  0.1   2:36.08 mc
  149 root      20   0     0    0    0 S  6.0  0.0   0:06.62 pdflush
  151 root      15  -5     0    0    0 S  4.0  0.0   0:05.92 kswapd0
 2975 root      15  -5     0    0    0 S  2.7  0.0   0:02.34 kjournald2

@Jacekalex: "Największa wada: oba ww. systemy plików są jednowątkowe. Mała wydajność dla DUŻYCH systemów plików." to cytat stąd Fakt tyczy się to ext3 więc zagalopowałem się mówiąc, ze extX ogólnie nie nadaje się do dużych systemów.

Offline

 

#23  2011-05-08 11:29:14

  bobycob - Członek z Ramienia

bobycob
Członek z Ramienia
Skąd: Wrocław
Zarejestrowany: 2007-08-15

Re: [SOLVED] Dobór systemu plików

Taki pomysł może wysokie obciążenie powoduje sterownik urządzenia a nie system plików?

Offline

 

#24  2011-05-09 18:55:44

  andreq - Członek DUG

andreq
Członek DUG
Skąd: Nisko
Zarejestrowany: 2005-01-11

Re: [SOLVED] Dobór systemu plików

@krzys.tk

Tu najwięcej CPU zajmuje Ci mc?! czasem cron/anacron nie uruchamia Ci jakichś zadań?

Offline

 

#25  2011-05-09 19:20:59

  krzys.tk - Użytkownik

krzys.tk
Użytkownik
Zarejestrowany: 2010-05-07

Re: [SOLVED] Dobór systemu plików

Skad podejrzenien co do crona? Mam nad nim pełną kontrole i nie uruchamia mi niczego nieporządanego. Mc figurował bo akurat kopiowałem nim pliki. Tutaj mam wykres na ktorym pierwsze 6 godzin pochodzi jeszcze z okresu panowania NTFSa, pozniej odmontowalem dysk, w niedziele na rano zalozylem system plikow i kopiowalem dane:. Reszta to już normalna praca z torrentami.

http://img809.imageshack.us/img809/2788/1load1.th.png

Wyraźnie widać jak loady powróciły do akceptowalnego poziomu. Są wyższe niż poprzednio ale winę zrzućmy na kontroler RAID bo komputer nie ma wbudowanej SATY więc dysk podłączam po kontrolerze na PCI.

Generalnie osiągnąłem to co chciałe więc temat możemy uznać za zamkniety. Dzięki wszytskim za podpowiedzi!

Ostatnio edytowany przez krzys.tk (2011-05-09 19:21:58)

Offline

 

Stopka forum

Powered by PunBB
© Copyright 2002–2005 Rickard Andersson
To nie jest tylko forum, to nasza mała ojczyzna ;-)