Forum Debian Users Gang

A czy oprócz plików tekstowych utf8 coś jeszcze powiększa? Interesuję się tym, bo mam teraz iso, ale wraz z przesiadką na nowy dysk chętnie bym się przesiadł na UTF

Niestety istnieje grupa twardogłowych, dla których iso to jakaś, dla mnie niezrozumiała, świętość.

UTF-8 nic nie powiększa.... Powiększenia są tak małe, że niezauważalne... Lepiej stosować UTF-8 wszędzie, gdzie się da. Osobiście jeszcze nie udało się mi przełączyć kodowania konsolek linuksowych jako UTF-8, ale już na stronkach internetowych UTF-8 to standard i kto ma inne ten będzie mieć problemy.

Czemu utf8, a nie isoCOŚ_AM?  No właśnie ;) Co jest łatwiej zapamiętać? ISów jest od gromów, a utf8 jest tylko jedno, czyli system będzie bardziej uniwersalny.

Poza tym w UTF8 jest to piękne, że to wygląda cudownie jak obok łacińskich znaczków są ruskie, arabskie i japońskie.

Zestaw znaków Unicode jest jeden, to w nawiasie to tylko metody kodowania tych znaków. W każdej z metod ten sam znak jest przyporządkowany na tej samej pozycji, natomiast w różnych iso na tej samej pozycji są umierszczone różne znaki. Poprawnie w tym kontekście winno się mówić zestaw znaków iso-8859-2 (character set), a nie kodowanie iso-8859-2.
UTF-8 jest powszechnie przyjętą metodą kodowania (w bajtach) znaków (bytestirngs) , a nie jednym z dostępnych zestawów znaków unicode.

To tak w kwestii ścisłości.

Dorzucę jeszcze http://effbot.org/zone/unicode-objects.htm. To mi pomogło sobie uświadomić o co tak na prawdę chodzi. :)

Ostatnio edytowany przez czadman (2008-10-05 18:48:04)

azhag napisał(-a):

Po pierwsze — sam sobie zaprzeczasz (najpierw nie, potem jednak tak).

Chyba się zapomniało ze szkoły, że coś co ma nikłe znaczenie jest pomijane.

azhag napisał(-a):

Po drugie — szybki test:

pawian@debian /tmp $ echo "Zażółć gęślą jaźń" > latin2
pawian@debian /tmp $ iconv -f ISO88592 -t UTF8 latin2 > utf8                   
pawian@debian /tmp $ ll latin2 utf8
-rw-rw-r-- 1 pawian pawian 18 paź  5 17:05 latin2
-rw-rw-r-- 1 pawian pawian 27 paź  5 17:05 utf8

plik utfowy jest 50% większy (po prawdzie tutaj mamy nadreprezentację polskich diakrytyków)

To jest test najgorszego przypadku. W zwykłym tekście polskie literki tak często się nie pojawiają.

Przykład:
"Od 25-07-2008 w domenie DUG-a można korzystać z komunikatora Jabber/XMPP. Życzymy przyjemnego korzystania. :) Rejestrację konta można wykonać za pomocą dowolnego klienta obsługującego tę sieć. Serwer: jabber.dug.net.pl. Szczegóły w wątku na forum."

const1b: 248 B
utf8: 262 B

Czyli ok. 5%. A co jest napisane w pierwszym poście? Wyniki badań są zgodne. Na pocieszenie podpowiem, że wątpię by książka Władcy Pierścieni w UTF-8 zajmowała na tyle więcej by nie trzymać jej w tym formacie. W sumie mowa o plikach TXT, bo w ODT, DOCkach czy PDFach to już kompletnie nie ma znaczenia, bo znacznie więcej zajmują tam bajty obsługujące wygląd (formatowanie). Ot choćby w takim XHTMLu.

azhag napisał(-a):

Błąd w założeniu: porównujesz wiele ISO* z jednym z Unicode'ów (a jest ich: UTF-7, -8, -16LE, -16BE, -32LE, -32BE, UCS-2LE, UCS-2BE). UTF-8 jest jedno? ISO-8859-2  też jest tylko jedno!

Błąd w rozumowaniu... Ja tylko pokazałem, że łatwiej zapamiętać nazwę "UTF-8" niż nazwę " ISO-8859-2".

azhag napisał(-a):

No, od czasu do czasu trzeba sobie poflame'ować. ;)

Ja nie chwale się jakimiś angielskimi słówkami z czata. Polska - polski język. (lol = lubię orzechy laskowe)


Nawiązując do pierwszego postu jeszcze: na korzyć utf-8 przemawia fakt, że jest to standard na stronach www (DUG nie używa tego), standard w MySQL (innych chyba też), standard w programach, np. w SDL, Qt4, Notatniku w WinXP są obsługi utf-8. Wszelkie ISO jest pomału wypierane.

Kwintesencja: jak możesz to ustaw utf-8 dla systemu. Bo system isowaty ma to do siebie, że jak program wypluwa coś w UTF8 to konsolki tekstowe potrafią się psuć od tego. Po prostu nie obsługują bajtów, które nie są znakami... (te nadmiarowe w utf-8)

W tym przypadku unicode jest rodzajem alfabetu z bardzo dużą ilością znaków. Jeden alfabet zamiast kilku różnych, w tym przypadku unifikacja jest potrzebna jak najbardziej i nie ma wpływu n rozwój oprogramowania, natomiast zapewnia lepszą komunikację. Odpada potrzeba obsługi różnych stron kodowych w oprogramowaniu bo nie trzeb się martwić o takie pierdoły jak poprawne wyświetlanie narodowych znaków diakrytycznych.

Polecam poczytać Zen of Python :)

rychu napisał(-a):

trochę się rozpędziłeś. a czy to, że windows jest standardem to przemawia na jego korzyść? jak również inne rzeczy, takie jak np. zwykła ludzka głupota i złodziejstwo.

Standard standardowi nierówny. Windows jest standardem nieformalnym (kwestia popularności) podczas gdy Unicode jest standardem formalnym, zatwierdzonym ISO, IETF, CBŚ i Ministra Zdrowia.

Tak z boku: jak spojrzeć na różne dyskusje odnośnie standaryzacji (chociażby format OOXML od MS) to można stwierdzić, że dominująca pozycja projektu FLOSS jest nazywana standardem, a nie-FLOSS — monopolem. Czasami nie chodzi o to, żeby otrzymać dobrze opisany standard, ale o to żeby standardem stało się bliższe nam rozwiązanie...

Minio napisał(-a):

Czasami nie chodzi o to, żeby otrzymać dobrze opisany standard, ale o to żeby standardem stało się bliższe nam rozwiązanie...

ta bo to się wokół kassy kreci :p

czadman, chodzi mi o to, że wprowadzanie skostniałych reguł właściwie hamuje rozwój i niszczy ducha open source: tak naprawdę wielki boom linuksowych aplikacji zawdzięczamy chaosowi panującemu w tym środowisku. wszelki postęp dokonuje się właśnie nie poprzez metodologię a la pan edison (który właściwie zaprojektował tylko żarówkę, i to jeszcze zrobił to źle), ale dzięki wariatom, którzy są nękani przypadkowymi pomysłami i wprowadzają je w życie nie bacząc, co inni powiedzą.

jesli będziemy wprowadzać powszechnie obowiązujące standardy, to wkrótce każdy człowiek będzie nosił mundurek i czerwoną książeczkę.

rychu napisał(-a):

Minio napisał(-a):

Czasami nie chodzi o to, żeby otrzymać dobrze opisany standard, ale o to żeby standardem stało się bliższe nam rozwiązanie...

ta bo to się wokół kassy kreci :p

czadman, chodzi mi o to, że wprowadzanie skostniałych reguł właściwie hamuje rozwój i niszczy ducha open source: tak naprawdę wielki boom linuksowych aplikacji zawdzięczamy chaosowi panującemu w tym środowisku. wszelki postęp dokonuje się właśnie nie poprzez metodologię a la pan edison (który właściwie zaprojektował tylko żarówkę, i to jeszcze zrobił to źle), ale dzięki wariatom, którzy są nękani przypadkowymi pomysłami i wprowadzają je w życie nie bacząc, co inni powiedzą.

jesli będziemy wprowadzać powszechnie obowiązujące standardy, to wkrótce każdy człowiek będzie nosił mundurek i czerwoną książeczkę.

Owszem, zgadzam się, ale rozmawiamy o kodowaniu znaków. To, że "t" jest oznaczone przez symbol "t". Czy wyobrażasz sobie, że nagle ktoś jakiś wariat wymyśli sobie, ze "t" będziemy oznaczać symbolem np. "a", bo tak będzie nowocześniej? Są pewne rzeczy, które powinny być ustalone, nawet w chaosie panuje pewien porządek. Pewne skostniałe reguły są niezbędne aby funkcjonować. Być może Edison, źle zaprojektował żarówkę, ale źle z punktu widzenia obecnej techniki, ale też nikt mu współczesny nie zrobił tego lepiej. Ktoś kiedyś zaprojektował wiele standardów kodowania znaków i nie zrobił tego źle, bo było to podyktowane pewnymi ograniczeniami, np. oszczędnością pamięci. Teraz takiego ograniczenia nie ma. Oczywiście ktoś sobie może wprowadzić za kilka lat do swojego nowego systemu jakieś inne kodowanie znaków, tylko to nie będzie postęp tylko idiotyzm. Kolor, który nazywamy czerwonym, zawsze będzie nazywany czerwonym chyba, że jakaś czerwona menda wymyśli sobie, że od dnia blabla na czerwony będziemy mówić niebieski. Ostatnio ktoś wymyślił, że "ponownie" to znaczy "kolejny raz z rzędu" :). Jak by się poczuli webmasterzy, gdyby ktoś przyporządkował inaczej niż obecnie szesnastkowe kody do kolorów? Nie sadzę, żeby którykolwiek nazwał to postępem. Żyjemy w świecie, w którym istnieją pewne stałe kody naturalne i wymyślone przez człowieka, aminokwasy, które tworzą DNA, wyrazy twarzy (uśmiech, smutek, zmartwienie), symbole pierwiastków chemicznych, nazwy kolorów, smaki i pewnie można by tego sporo nawyliczać po dłuższym zastanowieniu.

Oczywiście DNA nie składa się z aminokwasów, merdnęło mi się. :)

Ostatnio edytowany przez czadman (2008-10-06 08:41:40)

Taaaa Bardzo miło panowie za wspaniłe referaty bravo 5 +
Dlamnie utf-8 czy iso-8859 to jeden czort byle działało sprawnie szybko zwinnie eleastyczńie

ale w wielu miejscach wypieranie innych rozwiazan przez "jedynie sluszny standard" jest porzyteczne ... takimi sytuacjami jest np. standard zasilania sieciowego czy (jeszcze lepszym, bo bardziej powszechnym i bardziej pasujacym do tematu) kodowanie ascii, ktore okresla przypisanie wartosci liczbowych do podstawowych znakow "alfabetu lacinskiego"

i tak samo wydodnym (a zarazem neutralnym technicznie) jak to ze w kazdym wspolczesnym komputerze bez wzgledu na ustawienia kodowan itp literze a odpowiada 97 (ascii) wygodnym byloby aby taka sama wartosc (taki sam ciag bajtow) w kazdym komputerze odpowiadala np. znakowi ą (utf)

bercik napisał(-a):

literze a odpowiada 97 (ascii) wygodnym byloby aby taka sama wartosc (taki sam ciag bajtow) w kazdym komputerze odpowiadala np. znakowi ą (utf)

I to powinno być podsumowaniem tego tematu.