マッピング検証

投稿日: 投稿者: マスター

Firebird
SJIS_0208/EUCJ_0208/UNICODE_FSS

マッピング検証

アーティクルID：38

更新履歴

2003/9/15 V1.5(RC6)の検証結果を追加
2003/8/19 V1.0.3の検証結果を追加
2003/7/29 上記結果に伊浪氏の投稿情報を反映
2003/7/22 上記結果に伊浪氏の投稿情報を反映
2003/6/28 V1.5RC3による検証および結果整理

検証記事作成者：Minoru Yoshida / Timeful System,Inc. , 井浪さん
編集担当者： 三浦しゅう(ウェブ担当)
ML記事： マッピング検証, Re: [Firebird-jp-general] マッピング検証, Re: [Firebird-jp-general] マッピング検証, Re: [Firebird-jp-general] マッピング検証, Re: マッピング検証

検証目的

日本語Windows上で以下のキャラクタセットの登録/検索によりコードマッピング結果を確認する。

  • SJIS_0208 のテーブルに対する読み書きで正常か。
  • EUCJ_0208 のテーブルに対する読み書きで正常か。
  • UNICODE_FSS のテーブルに対する読み書きで正常か。

Firebird V1.0 検証環境 : 2003/8/19

Firebird V1.0.3 Windows SuperServer
サーバ Firebird V1.0.3 SuperServer / Windows2000(sp2)
クライアント (Local環境)
データベース MAPV1103.gdb(Zip圧縮)
USER:SYSDBA / DEFAULT CHARACTER SET SJIS_0208 / Dialect3
SJIS_0208検証用テーブル:SJIS
EUCJ_0208検証用テーブル:EUCJ
UNICODE_FSS検証用テーブル:UNICODE
接続キャラクタセット SJIS_0208
検証ツール B-Pla1/Data Definition    B-Pla2/Data Conversion   Middleware:IBObjects

Firebird V1.5 検証環境:2003/9/15

Firebird V1.5 RC6 Linux SuperServer
サーバ Linux RedHat8.0
クライアント Windows2000(sp2)
データベース MAPV15.fdb(zip圧縮)
USER:SYSDBA / DEFAULT CHARACTER SET SJIS_0208 / Dialect3
SJIS_0208検証用テーブル:SJIS
EUCJ_0208検証用テーブル:EUCJ
UNICODE_FSS検証用テーブル:UNICODE
接続キャラクタセット SJIS_0208
検証ツール B-Pla1/Data Definition    B-Pla2/Data Conversion   Middleware:IBObjects

検証データ

1バイト文字

SJIS 数 分類
00-  1F 32 制御コード(テスト対象外)
20-  7E 95 JIS X 0201英数記号
7F 1 制御コード(テスト対象外)
80 1 未定義
A0 1 未定義
A1-  DF 63 JIS X 0201カナ
FD-  FF 3 未定義
合計 163  

2バイト文字

SJIS 分類 数(非文字含) 文字数 備考
8140-EFFC JIS X 0208範囲内 8836 6355  
F040-FCFC JIS X 0208範囲外 2444 388 IBM選定文字388文字
合計   11280 6743  

(注)UNICODE_FSS時の２バイト対象文字は以下を想定します。

分類 JIS区画 数
数字・記号・かな 01～08区 524
第1水準 16～47区 2965
第2水準 48～84区 3390
合計   6879

検証テーブルと検証方法

テーブル 検証列(列/型/キャラクタセット) INSERT/COMPARE結果列 他
SJIS S_STR VARCHAR(1) CHARACTER SET SJIS_0208 S_INSERT/S_COMPARE
EUC E_STR VARCHAR(1) CHARACTER SET EUCJ_0208 E_INSERT/E_COMPARE
UNICODE U_STR VARCHAR(1) CHARACTER SET UNICODE_FSS U_INSERT/U_COMPARE

  • 検証データ(前述)は合計11443件(文字)のテキストファイルとして使用します。
  • 検証データ内検証文字を上記検証列にINSERTします。INSERT結果列:”OK”とします。
  • 検証データより検証列をSELECTして比較します。一致データはCOMAPRE結果列:”OK”とします。
  • INSERTエラーデータは検証列:”X”,INSERT結果列:”NG”としてINSERTします。
  • 不一致データは検証列:”X”,COMAPRE結果列:”NG”としてUPDATEします。
  • 上記INSERT結果:”OK”かつCOMAPRE結果列:”OK”の検証文字を正常とし正常件数を集計します。
  • 上記以外のINSERT結果:”NG”またはCOMAPRE結果列:”NG”の検証文字をエラー(注)としエラー件数を集計します。
  • (注)Firebird側コード変換範囲の対象外という意味です。ご了承ください。

    Firebird V1.0 検証結果 : 2003/8/19

    1バイト文字 JIS X 0201

    SJIS 数 サーバ 想定する正常件数 正常件数 エラー件数 メモ
    20-  7E 95 SJIS 95(100%) 95 0  
    95 EUCJ 95(100%) 95 0  
    95 UNI 95(100%) 95 0  
    80 1 SJIS 1(100%)  1 0  
    1 EUCJ 0(  0%) 0 1 未定義
    1 UNI 0(  0%) 0 1 未定義
    A0 1 SJIS 1(100%) 1 0  
    1 EUCJ 1(100%) 1 0 8EA0で変換
    1 UNI 0(  0%) 0 1 未定義
    A1-  DF 63 SJIS 63(100%) 63 0  
    63 EUCJ 63(100%) 63 0 複数バイト変換OK
    63 UNI 63(100%) 63 0 複数バイト変換OK
    FD-  FF 3 SJIS 3(100%) 3 0  
    3 EUCJ 0(  0%) 0 3 未定義
    3 UNI 0(  0%) 0 3 未定義

    2バイト文字 JIS X 0208 (8140-EFFC)

    SJIS  数 サーバ 想定する正常件数 正常件数 エラー件数 メモ
    8140-EFFC 8836 SJIS 8836(100%)  8836 0  
    8836 EUCJ 8836(100%) 8836 0  
    8836 UNI 6879( 78%) 6879 1957 実際にある文字が対象となる。検証データ(注)参照

    2バイト文字 JIS X 0208範囲外(F040-FCFC)

    SJIS  数 サーバ 想定する正常件数 正常件数 エラー件数 メモ
    FA40-FC4B 388 SJIS 388(100%) 388 0  
    388 EUCJ 0(  0%) 15 373  
    388 UNI 0(  0%) 2 386  
    上記以外 2056 SJIS 2056(100%) 2056 0  
    2056 EUCJ 0(  0%) 176 1880  
    2056 UNI 0(  0%) 176 1880  

    Firebird V1.5 検証結果:2003/9/15 ・・・V1.0と同一結果です。

    1バイト文字 JIS X 0201

    SJIS 数 サーバ 想定する正常件数 正常件数 エラー件数 メモ
    20-  7E 95 SJIS 95(100%) 95 0  
    95 EUCJ 95(100%) 95 0  
    95 UNI 95(100%) 95 0  
    80 1 SJIS 1(100%)  1 0  
    1 EUCJ 0(  0%) 0 1 未定義
    1 UNI 0(  0%) 0 1 未定義
    A0 1 SJIS 1(100%) 1 0  
    1 EUCJ 1(100%) 1 0 8EA0で変換
    1 UNI 0(  0%) 0 1 未定義
    A1-  DF 63 SJIS 63(100%) 63 0  
    63 EUCJ 0(  0%) 63 0 2バイト変換OK
    63 UNI 63(100%) 63 0  
    FD-  FF 3 SJIS 3(100%) 3 0  
    3 EUCJ 0(  0%) 0 3 未定義
    3 UNI 0(  0%) 0 3 未定義

    2バイト文字 JIS X 0208 (8140-EFFC)

    SJIS  数 サーバ 想定する正常件数 正常件数 エラー件数 メモ
    8140-EFFC 8836 SJIS 8836(100%)  8836 0  
    8836 EUCJ 8836(100%) 8836 0  
    8836 UNI 6879( 78%) 6879 1957 実際にある文字が対象となる。検証データ(注)参照

    2バイト文字 JIS X 0208範囲外(F040-FCFC)

    SJIS  数 サーバ 想定する正常件数 正常件数 エラー件数 メモ
    FA40-FC4B 388 SJIS 388(100%) 388 0  
    388 EUCJ 0(  0%) 15 373  
    388 UNI 0(  0%) 2 386  
    上記以外 2056 SJIS 2056(100%) 2056 0  
    2056 EUCJ 0(  0%) 176 1880  
    2056 UNI 0(  0%) 176 1880  

    マッピング検証結果資料/参考資料

    マッピング検証基礎資料(区画別集計一覧)

    マッピングエラー文字一覧(Shift-Jisテキスト)

    ASH multimedia lab 様 http://ash.jp/code/index.htm 文字コード、標準化について

旧Firebird日本ユーザー会サイトから移行した過去記事です。内容は当時の記録です。記事内のリンクなどはリンク切れなどにご注意ください。

過去記事掲載時URL（閉鎖予定）：http://tech.firebird.gr.jp/firebird/index.php?firebird_xsite=38