Karakterkódolás - Laptörténet

HG2ECZ: HIGHLIGHTSYNTAX helyett

2009-02-09T02:28:54Z

HIGHLIGHTSYNTAX helyett <source lang="...">

HG2ECZ: HIGHLIGHTSYNTAX helyett

2009-02-09T02:26:30Z

HIGHLIGHTSYNTAX helyett <source lang="...">

HG2ECZ: kategória

2006-10-09T19:33:30Z

kategória

HG2ECZ: kategória

2006-09-25T10:01:24Z

kategória

HG2ECZ: kódjavítás

2006-09-19T22:56:20Z

kódjavítás

HG2ECZ: /* Az UTF-8 kódolás - wchar*/

2006-09-19T22:44:33Z

Az UTF-8 kódolás - wchar

HG2ECZ: /* Az UTF-8 kódolás - javítás */

2006-09-19T22:41:18Z

Az UTF-8 kódolás - javítás

HG2ECZ: /* Az UTF-8 kódolás */

2006-09-19T22:37:47Z

Az UTF-8 kódolás

HG2ECZ: utf8 javítva

2006-09-19T16:21:39Z

utf8 javítva

HG2ECZ: +kategória, átláthatóság

2006-09-19T11:53:43Z

+kategória, átláthatóság

@@ 223. sor: / 223. sor: @@
 ISO-8859-2 -es terminálon UTF-8 karakterek (és fordítva) az ékezetes karakterek helyett ákom-bákom jelenik meg. A POSIX rendszereknél (Linux, BSD, Solaris, stb.) az ''iconv'' nevű programmal konvertálhatunk a leg egyszerűbben. Egy példa állománynevek ISO-8859-2 -ről UTF-8-ba konvertálásra:
-<HIGHLIGHTSYNTAX language="bash">for i in *.jpg; do uj=`echo "$i" | iconv -f iso8859-2 -t utf-8`; mv "$i" "$uj"; done</HIGHLIGHTSYNTAX>
+<source lang="bash">for i in *.jpg; do uj=`echo "$i" | iconv -f iso8859-2 -t utf-8`; mv "$i" "$uj"; done</source>
 Illetve egy másik, amikor nem az állomány nevét, hanem a tartalmát szeretnénk iso8859-2 -ről utf-8-ba konvertálni például Linux alatt:
-<HIGHLIGHTSYNTAX language="bash">for i in *.txt; do iconv -f iso8859-2 -t utf-8 < "$i" > "$i.tmp"; mv "$i.tmp" "$i"; done</HIGHLIGHTSYNTAX>
+<source lang="bash">for i in *.txt; do iconv -f iso8859-2 -t utf-8 < "$i" > "$i.tmp"; mv "$i.tmp" "$i"; done</source>
 POSIX rendszerek esetén a terminál átkapcsolása UTF-8 kódolásról például ISO8859-2-re: LC_CTYPE környezeti változó értékét változtassuk át hu_HU.utf8 -ról hu_HU-ra. Például xterm indításához:
-<HIGHLIGHTSYNTAX language="bash">LC_CTYPE=hu_HU xterm</HIGHLIGHTSYNTAX>
+<source lang="bash">LC_CTYPE=hu_HU xterm</source>
 És az így elindított xterm ISO8859-2 karakterkódolással és annak korlátaival fog rendelkezni, ezáltal a visszafelé kompatibilis biztosítható, amely a régi vagy Windows alól szerkesztett szövegállományokhoz jöhet jól, amit még onnan is akarnak olvasni.

@@ 166. sor: / 166. sor: @@
 És végül egy UTF8 - Unicode konverter függvény:
-<HIGHLIGHTSYNTAX language="c">#include <wchar.h>
+<source lang="c">#include <wchar.h>
 int unicode_to_utf8(wchar_t wc, unsigned char *utf8) { // return: hany byte-os, -1: error
@@ 211. sor: / 211. sor: @@
      return bytes;
+}
-</HIGHLIGHTSYNTAX>
+</source>
 == Az UTF-8 felhasználása ==

← Régebbi változat		A lap 2006. október 9., 19:33-kori változata
251. sor:		251. sor:
	\|}		\|}

−	~~[[Kategória: Konstruktőri ismeretek]]~~[[Kategória:Rádióamatőr adatátvitel]]	+
		+	[[Kategória:Rádióamatőr adatátvitel]]

← Régebbi változat		A lap 2006. szeptember 25., 10:01-kori változata
251. sor:		251. sor:
	\|}		\|}

−	[[Kategória: Konstruktőri ismeretek]][[Kategória:Rádióamatőr ~~adatátviteli protokollok~~]]	+	[[Kategória: Konstruktőri ismeretek]][[Kategória:Rádióamatőr adatátvitel]]

@@ 185. sor: / 185. sor: @@
      i=bytes;
      if (i > 1) utf8[--i]=0x80+(wc&0x3f);       // 10xx xxxx adatblokkok
-     if (i > 1) utf8[--i]=0x80+((wc&0x7ff)>>6);
+     if (i > 1) utf8[--i]=0x80+((wc&0x0fff)>>6);
-     if (i > 1) utf8[--i]=0x80+((wc&0xffff)>>12);
+     if (i > 1) utf8[--i]=0x80+((wc&0x3ffff)>>12);
      return bytes;
+}

@@ 166. sor: / 166. sor: @@
 És végül egy UTF8 - Unicode konverter függvény:
-<HIGHLIGHTSYNTAX language="c">#include <stdio.h>
+<HIGHLIGHTSYNTAX language="c">int unicode_to_utf8(wchar_t wc, unsigned char *utf8) { // return: hany byte-os, -1: error
      int bytes, i;
      if (wc < 0x80) {           // ASCII
@@ 179. sor: / 177. sor: @@
          bytes=3;
          utf8[0]=0xe0+(wc>>12); // 0x1110 xxxx
-     } else if (wc < 110000) {
+     } else if (wc < 0x200000) {
          bytes=4;
          utf8[0]=0xf0+(wc>>18); // 0x1111 0xxx

@@ 144. sor: / 144. sor: @@
 Képzeljük el azt az esetet, hogy 8-nál több bitet szeretnénk átvinni, azonban nem szeretnénk okvetlen 16 bites számot felhasználni. Erre egy lehetőség, hogy amikor a 0x7F-nél nagyobb értéket szeretnénk átvinni, akkor 110x xxxx bináris előtagot teszünk elé, ahogy az alábbi táblázat mutatja. Az x-ek a tetszőleges állapotú karakter leíró bitek.
-{|
+{| style="background-color: #f0f0f0"
-! Unicode karakter érték<br>(hexadecimális) ||        UTF-8 érték (bináris)
+! Unicode karakter érték<br>(hexadecimális) || UTF-8 érték<br>(bináris) || Megjegyzés
 |-
-| 0000 - 007F || 0xxxxxxx
+| 0000 - 007F || 0xxx xxxx || 1 byte-al 7 bites ASCII
 |-
-| 0080 - 07FF || 110xxxxx 10xxxxxx
+| 0080 - 07FF || 110x xxxx 10xx xxxx || 2 byte-al 11 bites karakterkód
 |-
-| 0800 - FFFF || 1110xxxx 10xxxxxx 10xxxxxx
+| 0800 - FFFF || 1110 xxxx 10xx xxxx 10xx xxxx || 3 byte-al 16 bies karakterkód
 |}
-Továbbá még 3 bitet hozzáilleszthetünk egy 4. byte felhasználásával, amely 1111 0xxx formátumú.
+A gyakorlatban a mára már 20 bitessé duzzadt Unicodot választották a karakter elrendezés alapjának, amely 65536 különböző karakter megjelenítésére képes az ASCII szabvanyos 128 (0...0x7F) illetve az ISO8859-2 256 karakterével szemben.
 Ez azt is jelenti, hogy a 7 bites (0..0x7F) ASCII átviteléhez továbbra is elegendő az 1 byte-os 0xxx xxxx forma. Ez alapvető tervezési szempont volt. Azonban ha 127 feletti értéket szeretnénk átvinni, pontosabban a 128 és 2047 (0x80..0x07FF) közöttit, akkor ezt 2 byte felhasználásával tudjuk megtenni.
@@ 163. sor: / 163. sor: @@
 Ne felejtsük el, hogy a statisztika szerint a legtöbbet az angol ABC betűit használjuk, és csak sokkal ritkábban használjuk a több byte-ot foglaló ékezeteket illetve speciális karaktereket. Ezáltal végeredményként byte-okat spórolunk meg az átvitt illetve tárolt szövegben, miközben bármely nyelv karakterkészletéből lehetőségünk nyílik karaktert beilleszteni a szövegbe.
 == Az UTF-8 felhasználása ==

@@ 142. sor: / 142. sor: @@
 Az UTF-8 a ''8-bit Unicode Transformation Format'' (8 bites Unicode átalakítási formátum). Feladata, hogy az előzőekben ismertetett 16 bites Unicode karakterkészletet változó hosszúságban átvigye, azaz csak akkor használjon több byte-os kódot, ha olyan karaktert kívánunk átvinni, amely az ASCII kódtáblában nem szerepel.
-Kepzeljük el azt az esetet, hogy 8-nál több bitet szeretnénk átvinni, azonban nem szeretnénk okvetlen 16 bites számot felhasználni. Ezt megtehetjük úgy is, hogy egy 8 bites szám felső 1-es bitjeinek száma a legelső 0-ig azt mutatja, hogy van még utána az egyesek számának megfelelő byte, ami ugyanennek a sok bites értéknek a bitjeit adja.
+Képzeljük el azt az esetet, hogy 8-nál több bitet szeretnénk átvinni, azonban nem szeretnénk okvetlen 16 bites számot felhasználni. Erre egy lehetőség, hogy amikor a 0x7F-nél nagyobb értéket szeretnénk átvinni, akkor 110x xxxx bináris előtagot teszünk elé, ahogy az alábbi táblázat mutatja. Az x-ek a tetszőleges állapotú karakter leíró bitek.
-Alább az x-ek jelzik az összerakható biteket, a többi a fix értékű biteket. Ezek szerint:
+{|
+! Unicode karakter érték<br>(hexadecimális) ||        UTF-8 érték (bináris)
 |-
-| '''Bitenkénti kinézete:'''|| 110x xxxx || 10xx xxxx || 0xxx xxxx
+| 0000 - 007F || 0xxxxxxx
 |-
-| '''Ennyi bit többletet ad:''' || 5 || 6 || 7
+| 0080 - 07FF || 110xxxxx 10xxxxxx
 |-
-| '''Összes hasznos bit:''' || 18 || 13 || 7
+| 0800 - FFFF || 1110xxxx 10xxxxxx 10xxxxxx
 |}
 A gyakorlatban a 16 bites Unicodot választották a karakter elrendezés alapjának, amely 65536 különböző karakter megjelenítésére képes az ASCII szabvanyos 128 (0...0x7F) illetve az ISO8859-2 256 karakterével szemben.
-Ez azt is jelenti, hogy a 7 bites (0..0x7F) ASCII átviteléhez továbbra is elegendő az 1 byte-os 0xxx xxxx forma. Ez alapvető tervezési szempont volt. Azonban ha 127 feletti értéket szeretnénk átvinni, pontosabban a 128 és 8191 (0x80..0x1FFF) közöttit, akkor ezt 2 byte felhasználásával tudjuk megtenni.
+Ez azt is jelenti, hogy a 7 bites (0..0x7F) ASCII átviteléhez továbbra is elegendő az 1 byte-os 0xxx xxxx forma. Ez alapvető tervezési szempont volt. Azonban ha 127 feletti értéket szeretnénk átvinni, pontosabban a 128 és 2047 (0x80..0x07FF) közöttit, akkor ezt 2 byte felhasználásával tudjuk megtenni.
--65535-ig (0x1FFF-0xFFFF) pedig 3 byte-ba kódolt karakterek következnek. Érdekességképp ilyen 3 byte-os a magyar also 99 ( &#8222; ) és a felso 99 ( &#8221; ) alakú idezőjel is. A Unicode táblában a 8222 illetve 8221 számértéket viseli. Mindeközben a számítástechnikai macskaköröm ( " ) mindössze 1 byte-os, mert az eredeti ASCII kódkészlet tartozéka.
+-65535-ig (0x0800-0xFFFF) pedig 3 byte-ba kódolt karakterek következnek. Érdekességképp ilyen 3 byte-os a magyar also 99 ( &#8222; ) és a felso 99 ( &#8221; ) alakú idezőjel is. A Unicode táblában a 8222 illetve 8221 számértéket viseli. Mindeközben a számítástechnikai macskaköröm ( " ) mindössze 1 byte-os, mert az eredeti ASCII kódkészlet tartozéka.
 Ne felejtsük el, hogy a statisztika szerint a legtöbbet az angol ABC betűit használjuk, és csak sokkal ritkábban használjuk a több byte-ot foglaló ékezeteket illetve speciális karaktereket. Ezáltal végeredményként byte-okat spórolunk meg az átvitt illetve tárolt szövegben, miközben bármely nyelv karakterkészletéből lehetőségünk nyílik karaktert beilleszteni a szövegbe.

@@ 52. sor: / 52. sor: @@
 | cp850 || Európa (nyugat)
 |-
-| cp852 || Közép/Kelet-Európa
+| cp852 || Közép/Kelet-Európa, '''magyar'''
 |-
 | cp855 || Cirill
@@ 101. sor: / 101. sor: @@
 | ISO 8859-1 || Latin 1 || Nyugat-Európa
 |-
-| ISO 8859-2 || Latin 2 || Szláv/Közép-Európa
+| ISO 8859-2 || Latin 2 || Szláv/Közép-Európa, '''magyar'''
 |-
 | ISO 8859-3 || Latin 3 || Eszperantó, Galician, máltai, török
@@ 196. sor: / 196. sor: @@
 És az így elindított xterm ISO8859-2 karakterkódolással és annak korlátaival fog rendelkezni, ezáltal a visszafelé kompatibilis biztosítható, amely a régi vagy Windows alól szerkesztett szövegállományokhoz jöhet jól, amit még onnan is akarnak olvasni.
-== Magyar ékezetes betűk ==
+== Tesztszövegek magyar ékezetes betűk ellenőrzéséhez ==
-Kezdetben nem vala ékezet (7bites).
+Alább olyan szövegeket olvashatunk, amely minden magyar ékezetes betűt tartalmaz:
-Próbálkoztak a TAAVIRATOZAASBAN elterjedt kódolással.
+{| border="1" align="center"
+!Kisbetűvel || Nagybetűvel
 |-
 |árvíztűrő tükörfúrógép || ÁRVÍZTŰRŐ TÜKÖRFÚRÓGÉP
 |-
@@ 275. sor: / 211. sor: @@
 | tüskéshátú kígyóbűvölő || TÜSKÉSHÁTÚ KÍGYÓBŰVÖLŐ
 |}