オフライン学習

1.概　要

　オフライン学習機能とは、Wnn6 の変換効率向上と資源の削減を目的に、以下の処理を行うモジュールをいいます。

• ユーザ辞書、頻度ファイル、FI 関係ユーザ辞書、 FI 関係頻度ファイルに対する、変換効率向上のための頻度の再配置
• ディスク、メモリ資源の削減（不必要な単語の削除）
• 登録語自動反映モジュールの起動　（注）

　オフライン学習機能は、対象となる環境の情報を獲得して、学習処理を行います。

（注）

登録語自動反映モジュールは、必ず、オフライン学習機能から（自動的に）起動するようにして、決して単独では起動させないようにしてください。

2.機能説明

2.1 オフライン学習

1. jserver、wnnds のロック

   　オフライン学習の対象となる辞書、頻度ファイルを読み込む可能性のある jserver と wnnds と接続して、ロック命令を発行します。
   　ロックにより、jserver と wnnds の機能は以下のように制御されます。
   

   ロックにより動作しなくなる機能
   

   ・頻度学習 ・FI 学習 ・自動学習（無変換／文節切り） ・単語登録／単語削除 ・辞書・頻度ファイルの読み込み ・ユーザ辞書・ユーザ頻度ファイルの削除 ・ユーザ学習用ディレクトリ作成 ・辞書ファイル／頻度ファイルの作成 ・コメントの設定（ファイル／単語） ・ファイルのパスワード設定 ・辞書への品詞テーブル設定

   ロック後も動作する機能
   

   ・変換処理 ・単語検索 ・クライアントの終了処理

   　オフライン学習の終了時には、jserver、wnnds へのロック解除命令を 発行して、上記の制御を終了します。

2. 登録語自動反映モジュールの起動
   
   　登録語自動反映モジュールを起動します。
   　登録語自動反映モジュールとは、すべてのユーザ辞書を調査して、 複数のユーザで登録されている単語を、マージ辞書に登録するシステムをいいます。
   
   　登録語自動反映機能により、単語がユーザ辞書からマージ辞書へ移動すると、 FI 関係ユーザ辞書の更新が必要となる場合があります。
   　FI 関係ユーザ辞書が更新された場合、オフライン学習は、更新された辞書内 の FI 関係を再構築します。
   

   （参）

   登録語自動反映モジュールについての詳しい解説は、後述の「4. 登録語自動反映機能」にあります。

3. 学習処理

   　オフライン学習では、ユーザ辞書、頻度ファイル、FI 関係ユーザ辞書、 FI 関係頻度ファイルに対して、変換効率の向上・頻度の飽和防止・ ディスク/メモリ容量の削減のための学習処理を行います。
   

   (1)頻度下げ

   　同一単語の、前々回→前回→今回（現在から 2 回前までを記憶）の 仮頻度の推移から、以下のパターン別に、頻度下げの処理を行います。

   パターン	処　理
   前々回・前回・今回の頻度がすべて同じ。	頻度を下げます。
   前回の処理で頻度下げが発生。	頻度を下げます。
   上記以外のすべてのパターン。	頻度はそのまま。

   (2)単語削除

   　頻度が 0 になった単語を、辞書から自動的に削除します。
   　辞書の種類により、以下のように対応が異なります。
   • ユーザ辞書・頻度ファイル
     　　同一単語の、前々回→前回→今回（現在から 2 回前までを記憶）の 仮頻度がすべて 0 の場合に、単語を削除します。
   • FI 関係ユーザ辞書・FI 関係頻度ファイル
     　　接続頻度が 0 の場合に、単語に対する FI 関係データを削除します。

2.2 Entries

　Entries ファイルとは、オフライン学習における、 環境とその保存ディレクトリの対応関係を定義するもので、 システムから自動的に出力されます。

形式:

/usr/local/lib/wnn6/offline/Entries

オフライン学習における環境保存のためのディレクトリ構成


Entries ファイルは以下のような書式で出力されます。


target_directory　save_directory target_directory　save_directory 　・　　　　　　・　　　　 　・　　　　　　・

target_directory	:	対象となる環境のディレクトリ名を絶対パス名で出力します。
save_directory	:	保存ファイルのあるディレクトリ名を出力します。 上図の offline ディレクトリからの相対パス名で出力します。

以下に、Entries ファイルの出力例を示します。


（例）

/usr/local/lib/wnn6/ja_JP/dic/usr/user1　user1 /usr/local/lib/wnn6/ja_JP/dic/usr/user2　user2

　基本的に save_directory に指定されるディレクトリ名は、 target_directory の basename がセットされます。
　既に、同一 save_directory 名が存在する場合は、 " _ " に続いてシリアルナンバーが付加されるようになります。

以下に、save_directory 名にシリアルナンバーが付加された場合の出力例を示します。


（例）

/usr/local/lib/wnn6/ja_JP/dic/usr/userA　userA /home/userA　userA_1 /usr/local/userA　userA_2

3. 起　動

　システム管理者は、オフライン学習の起動にあたって、あらかじめ、 cron の設定と、offlinerc ファイルの設定を行わなければなりません。

3.1 offlinerc

　オフライン学習の動作を規定するテキストファイルです。
　オフライン学習を起動するにあたって、offlinerc ファイルは、 必ず、設定しておく必要があります。

形式:

/usr/local/lib/wnn6/offlinerc

　offlinerc は以下のような書式で作成します。

キーワード　設定値（パス名、数字など） キーワード　設定値（パス名、数字など） キーワード　設定値（パス名、数字など） 　　・　　　　・ 　　・　　　　・ 　　・　　　　・

　キーワードと設定値の間には [SPACE] または [TAB] を入力して、区切ります。
　"; " で始まる行と "/* " と " */" で囲まれた範囲はコメントと解釈されます。
　同一のキーワードが複数設定された場合は、ファイル中で最後に記述されている指定が有効になります。（注）


（注）

ただし、キーワード "target" を除きます。

　以下に、offlinerc のキーワード一覧を示します。

キーワード	設　定　内　容
target	オフライン学習を行う環境のディレクトリを指定します。 さらに、このディレクトリの下にディレクトリがある場合は、再帰的にすべてのディレクトリを指定したことになります。 target は複数行に渡って、指定することができます。 本キーワードは省略不可です。（注）
	target ディレクトリパス名 1 target ディレクトリパス名 2 　・　　　　　　・ 　・　　　　　　・
jserver_list	オフライン学習で処理する辞書、頻度ファイルを読み込む可能性のある jserver が起動しているホスト名で指定します。 ここで指定された jserver に対して、ファイルのセーブ、ロックのプロトコルを送ります。 引数であるホスト名を省略すると、jserver のロックは行われません。 一度に複数個を指定する場合は、"," で区切ります。 下記のキーワード wnnds_list での指定個数と合わせて、50 個のホストを指定することができます。 本キーワードは省略不可です。（注）
	jserver_list ホスト 1,ホスト 2,ホスト 3,…
wnnds_list	オフライン学習で処理する辞書、頻度ファイルを読み込む可能性のある wnnds が起動しているホスト名で指定します。 ここで指定された wnnds に対して、ファイルのセーブ、ロックのプロトコルを送ります。 引数であるホスト名を省略すると、wnnds のロックは行われません 一度に複数個を指定する場合は、"," で区切ります。 上記のキーワード jserver_list での指定個数と合わせて、50 個のホストを指定することができます。 本キーワードは省略不可です。（注）
	wnnds_list ホスト 1,ホスト 2,ホスト 3,…

（注）

offlinerc ファイルの記述で、target / jserver_list / wnnds_list の各キーワードを省略することはできません。 　（その他のキーワードについては、その限りではありません。） 　jserver_list / wnnds_list のキーワードは、引数であるホスト名を省略することができますが、 target のキーワードについては、必ず、引数にオフライン学習を行う環境のディレクトリを指定しなければなりません。

　offlinerc のキーワード jserver_list と wnnds_list によるホストの指定方法を以下に示します。

記述形式	説　明
host_name	ホスト名（または、IP アドレス）のみを指定 します。 標準ポート番号が適用されます。
host_name:offset_number	標準ポート番号に offset_number を加算した ポート番号を使用します。
host_name/port_number	ポート番号として port_number を使用します

キーワード	設　定　内　容
udmerge_command	オフライン学習から起動する、登録語自動反映モジュールのコマンドライン（オプションを含む）を指定します。 省略時には、/usr/local/bin/Wnn6/udmerge がセットされます。
	udmerge_command コマンドライン
delete_entry	ユーザ辞書におけるエントリの自動削除の実行を on（実行する）/ off（実行しない）で指定します。 省略時には、off がセットされます。
	delete_entry on(/off)
decrease_percent	オフライン学習で、頻度を下げる場合の下げ率を % で指定します 0 〜 100 の整数値で指定します。 省略時には、50% に設定されます。
	decrease_percent 下げ率
offline_dir	オフライン学習における、環境とその保存ディレクトリの対応関係を出力する、Entries ファイルのディレクトリパス名を指定します 省略時には /usr/local/lib/wnn6/offline がセットされます。
	offline_dir ディレクトリパス名
update_count	一つの環境の使用回数が、ここで指定される数値を超えたときに、ファイル保存および処理が行われます。 0 〜 4294967295 の整数値で指定します。 省略時には、1000 が設定されます。
	update_count 回数

（参）

udmerge_command における登録語自動反映モジュールのオプション指定については、後述の「4.登録語自動反映機能」を参照してください。 　また、Entries ファイルについては、前述の「2.2 Entries」を参照してください。

以下に、offlinerc ファイルの記述例を示します。


（例）

target　@LIBDIR/ja_JP/dic/usr jserver_list　hostA,hostA:3,133.210.2.10:1,hostB/22274 wnnds_list　hostC:3,hostB,133.210.2.46,hostB/22374 udmerge_command　/usr/local/bin/Wnn6/udmerge ;delete_entry　on delete_entry　off decrease_percent　30 offline_dir　@LIBDIR/offline update_count　2000

　※　; のある行はコメントになります。

　target または offline_dir のキーワードでのみ、 @LIBDIR の記述を使用して /usr/local/lib/wnn6 のパスに置き換えることができます。

3.2 オプション

形式:

/usr/local/bin/Wnn6/wnnoffline

　オフライン学習モジュールの起動時のオプションには、次のようなものがあります。

offlinerc [-r offlinerc] [-l logfile]

-r offlinerc	offlinerc ファイルを指定します。 省略時には、"/usr/local/lib/wnn6/offlinerc" が適用されます。
-l logfile	ログファイル名を指定します。 省略時には、ログファイルは生成されません。 オフライン学習のログファイルは、 動作中に発生したエラーを記録するものです。 その形式は、次の通りです。 日付:　　 エラーメッセージ

（例）以下は、ログファイルに記録されるメッセージ例です。


Mon Dec 18 11:42:22 1995: Entries のオープンに失敗した

（参）

オフライン学習の動作中に発生するエラー内容については、付録の「エラーメッセージ一覧」を参照してください。

4.登録語自動反映機能

　登録語自動反映機能はオフライン学習機能の一貫であり、 複数のユーザ辞書で登録されている同一単語を、 マージ辞書に登録して一括管理することにより、 ユーザ辞書の再構築を行います。

＜登録語自動反映機能のイメージ図＞

4.1 機能説明

　登録語自動反映機能について、その処理の流れに沿って解説します。



＊1	マージ辞書に登録された単語を登録していたユーザに対しては、ユーザ辞書 と同じ頻度を、マージ頻度ファイルへ登録します。 登録していなかったユーザに対しては、マージ頻度ファイルに対して、0 が 登録されます。
＊2	ログファイルには、以下の内容を記録します。 実行時の日付、時間 マージ元辞書の絶対パス マージ先辞書の絶対パス マージされた単語のマージ元エントリ番号 マージされた単語のマージ先エントリ番号

（参）

udmergerc ファイルとは、登録語自動反映モジュールが起動するにあたって、必要な環境設定を記述したファイルです。 　設定方法については、後述の「4.2 udmergerc」を参照してください。

4.2 udmergerc

　登録語自動反映機能の動作を規定するテキストファイルです。
　登録語自動反映モジュールを起動するにあたって、udmergerc ファイルは、 必ず設定しておく必要があります。（注）

形式:


/usr/local/lib/wnn6/udmergerc

udmergerc ファイルは、ユーザ辞書を調査することができるように、サーバマシン上で作成します。

　udmergerc は以下のような書式で作成します。

uddir　　 設定値（パス名） mergedic　設定値（ファイル名） usernum　 設定値（数字） 　・　　　　・ 　・　　　　・ 　・　　　　・

　※ udmergerc ファイルは必ず、この順序で記述します。

　各キーワード（uddir / mergedic / usernum）と設定値の間には [SPACE] または [TAB] を入力して、区切ります。
　udmergerc ファイルで使用できるキーワードは、uddir / mergedic / usernum の 3 つです。一組の uddir - mergedic - usernum の設定で、 1 ユーザグループにおける辞書のマージ環境を指定することができます。

　各キーワードの内容を以下に示します。


キーワード	設　定　内　容
uddir	マージ元辞書となるユーザ辞書を指定します。（注） ユーザ辞書が存在するディレクトリパス名を入力してください。 複数のユーザ辞書を指定する場合は、"," で区切ります。 すべてのユーザ辞書に対応する場合は、 "/usr/local/lib/wnn6/ja_JP/dic/usr" を入力してください。
	uddir ユーザ辞書が存在するディレクトリパス名
mergedic	マージ先辞書名を指定します。 ファイル名を入力してください。
	mergedic マージ先辞書ファイル名
usernum	複数ユーザで単語登録している場合、マージが実行されるユーザ数 を指定します。 "all" を指定すると、上記の "uddir" で指定されたユーザすべて で単語登録された場合に、マージが実行されます。
	usernum ユーザ数（/all）

登録語自動反映機能で処理できるユーザ辞書数は、1024 個までです。

（例）（udmergerc ファイルでは、@LIBDIR の記述はすべて、 /usr/local/lib/wnn6 のパスに置き換えられます。）

1. 複数グループのマージ辞書を作成する場合には、 3 つのキーワードをまとめて複数個指定します。

   uddir　@LIBDIR/ja_JP/dic/usr/A,@LIBDIR/ja_JP/dic/usr/B mergedic　@LIBDIR/ja_JP/udmerge/udmerge1.dic usernum　2 uddir　@LIBDIR/ja_JP/dic/usr/C,@LIBDIR/ja_JP/dic/usr/D 　　　 @LIBDIR/ja_JP/dic/usr/E,@LIBDIR/ja_JP/dic/usr/F mergedic　@LIBDIR/ja_JP/udmerge/udmerge2.dic usernum　4

2. 登録されているすべてのユーザで、単語登録がされた場合に、 辞書マージを行います。

   uddir　　@LIBDIR/ja_JP/dic/usr mergedic @LIBDIR/ja_JP/udmerge/udmerge.dic usernum　all

4.3 オプション

　offlinerc ファイルのエントリ udmerge_command で指定する登録語自動反映モジュールのコマンドラインの記述について、 解説します。

形式:


/usr/local/bin/Wnn6/udmerge

　登録語自動反映モジュールの起動時のオプションには、次のようなものがあります。

udmerge [-n] [-f filename] [-j filename]

-n	udmergerc ファイルのチェックを行います。 辞書のマージは実行しません。
-f filename	udmergerc ファイル名を指定します。 省略時には、/usr/local/lib/wnn6/udmergerc がセットされます。
-j filename	jserverrc ファイル名を指定します。 本モジュールは、起動時に jserver を子プロセスで起動します。 (fork / exec) 省略時には、/usr/local/lib/wnn6/ja_JP/jserverrc がセットされます。

offlinerc ファイルでの udmerge_command の指定例を、以下に示します。



（例）

udmerge_command　/usr/local/bin/Wnn6/udmerge -f $HOME/.Wnn6/udmergerc