予測入力インタフェースによる肢体不自由者のパソコン入力支援
1. はじめに
キーボード操作やマウス操作ができない重度の肢体不自由者がパソコンへの入力を行う手段としては、パソコンの画面上にオンスクリーンキーボードを表示させ、オンスクリーンキーボード上でのカーソルオートスキャンと1スイッチ入力操作を組み合わせて入力を行う方法が広く用いられている。この方式の入力インタフェースの登場により、運動機能が著しく制限された重度肢体不自由者にもパソコン利用が可能になり、特に電子メールやチャットなど、従来より格段に幅広いコミュニケーションの可能性が開かれることになった。今や、多くの肢体不自由者にとって、パソコンは生活に不可欠のツールとなっている。
しかし、通常のキーボード操作を単純にオンスクリーンキーボード操作に置きかえて1スイッチ入力による操作を行うと、日本語のかな漢字混じり文の入力やウィンドウズのメニュー選択には多くのスイッチ操作数が必要となり、オートスキャン入力では膨大な時間がかかってしまう点が課題となっている。例えば、一般的なかな漢字変換方式の日本語入力で「あい」というよみがなを入力して変換キーを選択し、「愛」という漢字を確定させるためには確定キーの選択も入れると最低4回のキー操作が必要である。1スイッチを使ったオートスキャン入力では、通常、1つのキーを選択するために最低2回のスイッチ操作が必要なので、この例では漢字1文字を確定させるのに8回ものスイッチ操作が必要となる。これだけの回数のスイッチ操作をタイミングをとって行うのは一般のタイピング入力とは比較にならないほど時間がかかり、また、利用者への負担も大きくなってしまう。
この問題を軽減するため、市販の肢体不自由者向け入力支援ソフトウエアや意思伝達システムでは、定型文登録やプログラマブルキーの機能を備えていることが多い。この機能を使えば入力操作は大幅に簡略化できるが、登録できる定型文や操作の数には上限があり、利用できる場面が限られる。また、オンスクリーンキーボードのレイアウトやスキャンパターンのカスタマイズ機能を取り入れ、利用者一人一人の用途や利用の癖に合わせてスキャンを効率化できるようにしたものもある[1]。上手にカスタマイズすれば、多くの利用場面で入力時間の短縮が期待できるが、入力操作の手順が変わるわけではないので、大幅な入力効率の改善は期待しにくい。
自由な構成の文章入力やパソコン操作で利用者の入力負荷を軽減するには、キーボード配置やオートスキャン方式の工夫に加えて、入力手順そのものをショートカットできる予測入力方式の採用が有効と考えられる[2]。予測入力は、携帯電話やPDA
の普及とともに効率的な日本語入力の手段として脚光を浴びるようになったが、障害者向けのパソコン入力支援ツールに予測入力が採用された例はこれまでのところ極めて少ない。
当社は、財団法人テクノエイド協会の助成を受けて、1999年から予測・例示インタフェースを採用した入力支援ソフト「Pete（ピート）」の開発に取り組んできた。本稿では、このPeteを素材として、肢体不自由者の入力支援ツールとしての予測入力インタフェースの有用性について述べることとする。まず、Peteの機能と、その基礎となった予測・例示インタフェースを紹介し、次にPeteの試用を通じて明らかになった利用効果と課題について記述する。最後に、Pete以外のいくつかの予測入力インタフェースを紹介し、肢体不自由者用インタフェースとしての展開の可能性について述べる。
2. Peteの基本機能
Peteは、ウィンドウズ95、NT4.0以降のウィンドウズOS上で動作するソフトウエアで、起動時には図1のような画面を表示する。一見、普通のオンスクリーンキーボードのようだが、上部に2つの特殊な表示エリア（予測・例示ウィンドウ）を持ち、オンスクリーンキーボードでの入力操作の進行に合わせて、「入力しようとしている単語」あるいは「次に行いそうな操作」の候補を次々に予測・例示ウィンドウに例示していく逐次予測・例示機能を備えている。Peteは、オンスクリーンキーボードと予測・例示ウィンドウ全体をオートスキャンする機能を備えている。また、オートスキャンを使わず、マウスポインタで直接、オンスクリーンキーボードや予測・例示ウィンドウ内のキーを指示して選択することもできる。
図1 Pete起動時の画面表示
Peteでの日本語入力手順は、次のようになる。例えば、ワープロソフトに「暑中お見舞い申し上げます」という文章を入力する場合、まずオンスクリーンキーボードで「し」という文字を選ぶと、向って左側の予測・例示ウィンドウに「します」「社会」「出席」など、「し」で始まる単語が候補として例示される（図2）。Peteでは、オンスクリーンキーボード上のキーだけでなく、予測・例示ウィンドウに表示された候補もオートスキャンで選択できるようになっており、これらの中に「暑中」があれば、それを選択することでワープロソフトへの文字入力が行われる。
図2 よみがな入力時の候補の表示 （「し」を入力した時の例）
表示された候補の中に目的の「暑中」という言葉がなければ、よみがなの2文字目である「ょ」をオンスクリーンキーボードで選ぶと、「食」「ショップ」「消去」など、「しょ」で始まる単語が候補として例示される（図3）。こうして、目的の単語が表示されるまで、順次よみがなをオンスクリーンキーボードで選択していく。通常は、よみがなを全て選択する前に目的の言葉が候補として例示されるので、かな漢字変換よりも少ない操作数で単語を入力することができる。さらに、「暑中」という単語が確定すると、Peteは過去に使った言葉の並びを検索し、「暑中」の次に出てくる可能性が高い単語を見つけて候補として例示する。つまり、過去に「暑中お見舞い申し上げます」という文章を入力したことがあれば、「暑中」が入力されるとただちに「お見舞い」が候補として例示され、さらにそれを選ぶと「申し上げます」が例示される。このように、過去に入力した文章の語順を学習して逐次予測することにより、文章入力に要するスイッチ操作数をさらに減らすことができる。利用者が多くの文章を入力するほど語順の学習が進み、逐次予測の精度が上がることになる。
図3 よみがな追加時の候補の絞り込み （「しょ」を入力した時の例）
よみがなと語順をもとにした単語予測を行うため、Peteは「単語辞書」と「フレーズ辞書」と呼んでいる2つの専用辞書を持っている。単語辞書は、よみがなとその変換結果を対にした単純な構造で、例えば、以下のようなレコードがつながって構成されている。
配慮 ハイリョ ただし タダシ 使わない ツカワナイ 消去 ショウキョ のは ノハ 少し スコシ
Peteはこの辞書と入力されたよみがなの一部とを照合して、予測候補となる単語を選んでいる。いったん確定した単語は辞書の先頭に移動し、次回は優先的に予測候補として例示されるようになる。
一方、語順による単語予測はフレーズ辞書を使って行う。フレーズ辞書は、過去に入力した文章を解析して作成した辞書で、以下に示すように、単語のよみがなと変換文字列及びその単語の直前に入力された文字列を1レコードに記録している。
決まって まず マズ ってまず 自分 ジブン まず自分 用 ヨウ ず自分用 の ノ 自分用の ドア ドア
文章の作成途中で単語を確定すると、Peteは確定した文字列とフレーズ辞書に記録されている直前文字列とを照合し、その一致度の高い単語を予測候補として例示する。よみがなの一部が入力された段階では、単語辞書による予測とフレーズ辞書による予測を組み合わせ、よみがなが部分一致する単語を単語辞書から選び、さらにフレーズ辞書によく似た直前文字列が記録されているかどうかを調査して、予測候補の順位づけを行っている。フレーズ辞書のレコードも、新たに単語が確定する都度、追加・更新されており、最近用いられた語順ほど優先的に扱われる。
この単語予測・例示入力は、ソニー・コンピュータ・サイエンス研究所の増井俊之氏が開発した予測・例示入力手法「POBox」をアレンジしたものである。POBoxは、もともとキーボードを持たないPDA等の携帯情報機器に対し、ペン操作で高速に日本語入力を行うためのインタフェースとして開発された[3]。現在、POBoxは携帯電話やタッチパネル式の情報端末の入力方式として多くの製品に組み込まれている[4]。携帯電話の場合は、本体の10キー等が入力に利用されるため、POBoxはオンスクリーンキーボードを持たず、見た目の印象はペン入力用のものとはかなり異なっている（図4）。しかし、PDAであれ携帯電話であれ、両手操作やホールド操作ができない等、入力操作に強い制約がある環境での操作の負荷を軽減し、文章入力の所要時間を短縮する手段として予測・例示インタフェースを採用している点に変わりはない。これらの制約条件は、多くの肢体不自由者のパソコン操作にも共通するものであり、ここから、肢体不自由者にとってPOBoxが有益な入力インタフェースになるということが容易に想像できる。
図4 POBoxの画面例 （PDA用と携帯電話用の例） （文献[4]より引用）
3. Windows環境における機能拡張
POBoxの予測・例示インタフェースとオートスキャン入力を組み合わせ、ウィンドウズ上で動作するようにしたのがPeteの基本的な成り立ちである。ただしPeteでは、原型であるPOBoxには無い、いくつかの重要な機能を追加している。
その第一は、IMEとの連携・学習機能である。前述のとおりPeteの単語予測には専用の単語辞書、フレーズ辞書を用いるが、市販のIME並みの語彙を揃えるのは、なかなか困難である。また、多くの利用者はPeteの利用開始以前に他のオンスクリーンキーボード等を使って日本語入力をしており、定型文を登録するなどIMEの変換辞書を使いやすくカスタマイズして使っていることが多い。苦労して自らにフィットさせた変換辞書をPeteでも利用したいとの要望が強かったため、単語辞書・フレーズ辞書だけでなく、IMEからも単語の候補を呼び出して予測・例示ウィンドウに表示する機能を加えた。IMEから候補を呼び出す場合は予測機能は働かず、よみがなを最後まで入力する必要がある。ただし、IMEから呼び出した候補を一度Peteで選択し確定すれば、その結果が単語辞書・フレーズ辞書に記録され、次回からは単語予測の対象となる。この機能により、専用の単語辞書・フレーズ辞書が全く空の状態からでもPeteを使って日本語を入力し、徐々に単語や語順をPeteに学習させるといった使い方が可能になった。
第二の機能拡張は、単語予測入力とほぼ同じスタイルで、パソコン操作の予測入力機能を加えたことである。例えばExcelを起動すると、Peteの右側の予測・例示ウィンドウに「Excel起動直後に行う可能性の高い操作」が候補として例示される（図5）。その中からある操作を選んで実行すると、Peteは過去に行った操作順序を検索して「次に行う可能性の高い操作」を見つけ出し、候補として例示する。これらの操作候補は、日本語入力中も常に表示されているので、利用者は必要に応じていつでもこれらの操作候補を選択し、操作を実行することができる。
図5 操作予測候補の表示 （Excel起動時の例）
ウィンドウズ等のGUIでよく見られるプルダウンメニューは、ショートカットキー設定等の工夫は見られるものの、1スイッチ操作では非常に利用しにくいインタフェースと言える。しかし、このような予測・例示インタフェースを設けることにより、ほとんどの場合、利用者はウィンドウズのプルダウンメニューを使うことなく、予測・例示ウィンドウから必要な操作を選択して、スピーディに一連のパソコン操作を行うことができるようになる。
操作予測のために、Peteは個々の操作定義を記録した「操作辞書」と、過去に実行した操作の順序を記録した「操作履歴辞書」を持っている。Peteは、これらの辞書のセットをアプリケーション毎に用意し、使用中のアプリケーションを判別して辞書を切り替えながら操作予測を行い、常に適切な操作候補が表示されるようにしている。
4. 予測入力の効果測定
それでは、予測・例示インタフェースは、利用者の入力操作をどの程度軽減するのだろうか。
図6に、Peteを使って日本語の文章入力における予測・例示入力の効果を実測した結果を示す[5]。これは、ある小説の冒頭部分をPeteを使って入力し、1操作当たりの平均入力文字数の推移を示したものである。1の線は、単語予測機能を使って、できるだけよみがなの入力が少なくなるように入力した場合の推移である。2の線は、単語予測を使わず、よみがなを全て入力してから正しい変換候補を選択した場合の推移である。いずれも、変換文字列の確定は文節単位で行った。操作はオートスキャンではなく、マウスでソフトキーや候補文字列を選択する方法で行った。また、最初は単語辞書、フレーズ辞書共に空の状態で日本語入力をスタートした。
図6 単語予測入力による効果測定結果
当初は1と2はほぼ同程度の入力効率だが、これは単語予測用のデータをまったく持たない状態で実測を始めたためである。文章を入力していくにつれ、Peteは単語の読みや語順を学習し、次第に適切な単語予測を行うようになる。その結果、図6に見られるように、次第に入力効率が上がっていく。3000文字程度を入力した時点では、単語予測を利用した場合はそうでない場合に比べ、3割程度、入力効率が高いという結果になった。
辞書の学習が進めば、予測入力の効率はさらに上がっていくと思われるが、予測入力の効果は、入力しようとする文章の定型性・反復性によっても大きく左右される。過去の出現語彙や語順をもとに予測を行うため、定型的な表現を繰り返し入力する場合に最も効果が高くなる。ちなみに、3は、一回入力した小説の文章を、再度Peteの単語予測機能を使って入力した場合の結果である。この場合は、Peteの単語辞書・フレーズ辞書に記録された情報から最も効率よく単語予測が行えるので、よみがなの入力操作をかなり省略できる。この「理想的な」条件の下では、単語予測を使わない場合に比べ、ほぼ2倍の入力効率となった。ただし、これは文節毎の変換で比較した結果であり、連文節変換やAI変換などを駆使した最近の日本語入力環境では、その差はもう少し小さくなると考えられる。
5. 利用事例と利用者からの評価
Peteの開発過程では、3人の肢体不自由者にモニターをお願いし、実際にPeteを利用して、様々な意見や評価をいただいた。肢体不自由者の身体条件やパソコン操作環境は千差万別であり、モニターをお願いした3名も、それぞれ異なる条件・環境でパソコンを利用している（表1、写真1、2）。Peteを試用した結果、3名ともPeteの予測入力は有用と評価した。ただし、評価の高さは人によって異なっていた。
| Aさん （筋ジストロフィー） |
Bさん （頚椎損傷） |
Cさん （悪性関節リウマチ） |
|
|---|---|---|---|
| パソコン利用経験 | あり | あり | なし |
| 利用場所 | 自宅 | 自宅 | 病院 |
| 操作方法 | 接触スイッチ（唇） | トラックボール | 操作棒 |
| その他条件 | WivikとPeteを併用 | 病院職員がサポート |
最も評価が高かったのは、トラックボール操作でパソコンを使用しているBさんで、「Peteがないとパソコンを使う気にならない」とコメントするほどであった。Bさんはマウスポインタを操作できるため、1スイッチ入力に比べればスピーディなパソコン操作が可能である。ただし、ポインタの正確な位置決めに困難を伴うため、予測・例示インタフェースによる操作回数の低減が操作負荷の軽減に有効だったと考えられる。一方、唇で操作するタッチセンサースイッチと米国製の入力支援ソフト「Wivik」を使ってパソコンを利用していたAさんの場合、日本語入力ではPeteの有用性を認めつつも、パソコン操作については、長年使い込んでカスタマイズしてきたWivikの方が使いやすいと感じたようである。また、パソコン初心者であるCさんは、ウィンドウズとPeteの両方の操作体系を同時に学習する必要があったため、操作の習得に時間がかかり、Peteは便利だが複雑なソフトとの印象を持ったようである。
このように、利用者から見た入力支援ソフトとしてのPeteの有用性は、利用者の身体条件だけでなく、Pete利用以前のパソコン利用環境やパソコン操作への習熟度等、様々な要因により左右される。また、実際には利用者それぞれの「好み」も強く影響する。ただし、万人向けではなくとも、予測・例示インタフェースが大きな効果を発揮するケースがあるということはモニター利用者の試用結果から確かめることができた。
一方、モニター利用者の試用評価から、Peteの問題点も明らかになった。最大の問題は、通常のオンスクリーンキーボードに比べPeteの画面構成が複雑で、表示するオブジェクトの数が多いということである。このため、個々のキーの表示面積が小さくなり視認性が低下する、スキャンパターンが複雑になり操作性が低下する、利用時の視点移動が多くなり利用者に負担がかかるといった問題が発生している。これらの問題は、予測・例示インタフェースというPeteのコンセプトから考えてやむを得ない面もあるが、Peteのオンスクリーンキーボードのレイアウトやデザイン等はさらに改善が必要であろう。
Peteは2000年10月からインターネット上で配布しており、これまでに400人以上が利用者登録を行ってPeteをダウンロードした[6]。予測入力インタフェースの有用性について、肢体不自由のパソコン利用者やその関係者から一定の支持を得られたと考えている。今後は、キーボードレイアウトや複数辞書の併用機能等、利用者から要望の強い点を中心に改善を図っていきたいと考えている。
6. 予測入力インタフェースの多様化と障害者支援への応用
最後に、Pete以外の予測入力インタフェースの動向と、肢体不自由者の入力支援への応用の可能性について簡単に触れておきたい。
すでにPete以外にも、予測入力インタフェースを供えた障害者向けソフトウエアが登場している。吉村隆樹氏を中心とするグループが開発した「Hearty Ladder」がそのソフトウエアである[7]。図7に示すように、Hearty Ladderもオンスクリーンキーボードをオートスキャンによって操作し、文章作成を行うソフトウエアである。Peteと同様、よみがなの一部による単語予測と、語順学習による単語予測、そしてIMEとの連携機能を備えており、独自の予測・例示インタフェースによる文章入力の効率化を図っている。実は、吉村氏自身が肢体不自由を持つ技術者である。障害を持つ人が自ら企画・設計したソフトウエアにこうした予測入力機能が搭載されるということは、入力支援技術としての予測入力の有効性を端的に示していると言えるだろう。
図7 Hearty Ladderの画面表示 （文献[6]より引用）
一般の情報機器に目を転じると、ここ数年、携帯電話やPDAの普及を背景として、入力操作の負荷を軽減するための予測入力インタフェースの研究が進み、様々なタイプの予測入力インタフェースが提案されるようになった。その中には、肢体不自由者の入力支援技術として有用と考えられるものが多く含まれている。すべてを紹介することはとても無理なので、ここでは特に有用性が高いと考えられる2つの例を紹介する。
Peteの原型となったPOBoxは、増井氏によって様々な機能拡張版が発表されている。そのひとつに、「空間的曖昧検索」がある[8]。これは、オンスクリーンキーボードを操作して単語のよみがなを入力する際に、目的のキーを正しく指定することができないケースがあることを想定し、実際に入力されたひらがなだけでなく、その周辺のキーのかなに置き換えたよみがなも含めて単語の予測を行うというものである。例えば、「いかす」と入力すると、「いかす」というよみがなばかりでなく、「うかす」「きかく」といったよみがなも考慮して単語を予測する。この機能は、トラックボール操作でポインタの正確な位置決めが難しかったモニターBさんのケースや、口にくわえた操作棒（マウススティック）でキーボードを操作して文字入力を行っている多数の肢体不自由者にとって、ミスタイプ後のやり直し操作を大幅に軽減することができ、有用性が高いと考えられる。
また、最近は携帯電話で効率的に文章入力を行うための様々な入力方式が登場しているが、中でも注目を集めているもののひとつが米国のベンチャー企業Tegic Communications社が開発したT9 Text Inputという推論型入力である[9]。日本語版T9では、よみがなを入力する際に文字列を入力するのではなく、よみがなの子音部分（あ行、か行など）だけを指定し、入力された子音パターンに合致する単語を変換候補として表示する。この方式は、オンスクリーンキーボードを使ったオートスキャン文字入力にそのまま適用でき、スイッチ操作回数の削減に極めて有効である。T9はもともと、肢体不自由者の視線入力用インタフェースとして考案された[10]というだけあり、肢体不自由者の入力支援に幅広く応用可能だと考えられる。
肢体不自由者が必要とする入力インタフェースは、一人一人の身体条件や考え方により、千差万別である。したがって、個々の入力支援ツールの完成度もさることながら、できるだけ多様な入力支援ツールが提供され、選択の幅が広がることが望ましい。ユビキタス・コンピューティング環境の発達を背景として、今後、さらに多様な入力効率化技術が登場してくることが予想されるが、そうした技術が肢体不自由者のパソコン操作環境の改善に有用であるという認識を、ぜひ多くの技術者の方々に持っていただきたいと思う。さらに言えば、T9の例にも見られるように、障害者が直面する厳しい条件でのパソコン操作の負荷を軽減するインタフェース技術が開発できれば、それは、一般消費者向けの様々な情報機器の入力インタフェースとしても極めて有用なものになるはずである。そうした観点から、ひとつの技術的なフロンティアとして障害者用の入力インタフェースに積極的に目を向ける必要があるのではないかと思う。
参考文献
[1]畠中規・上野忠浩：重度四肢麻痺者用のパソコンを用いたコミュニケーションツールに関する一考察，第16回リハ工学カンファレンス講演論文集，p.113-116，2001
[2]奥英久・山本智子・脇田修躬：文字予測による走査式コミュニケーションエイドの効率改善，第15回リハ工学カンファレンス講演論文集，p567-570，2000
[3]増井俊之：ペンを用いた高速文章入力手法,インタラクティブシステムとソフトウエアIV，日本ソフトウエア科学会WISS'96，p51-60，近代科学社，1996
[4]POBoxウェブサイト
[5]内田斉・野間英樹：予測入力方式によるパソコン操作支援ソフト「Pete」の開発，第16回リハ工学カンファレンス講演論文集、p125-128，2001
[6]Peteウェブコミュニティ
[7]Hearty
Ladderウェブサイト
[8]増井俊之：動的パタンマッチを用いた高速文章入力手法，インタラクティブシステムとソフトウエアV，日本ソフトウエア科学会WISS'97，p81-86，近代科学社，1997
[9]T9 Text Inputウェブサイト
[10]ASCII24：【INTERVIEW】携帯電話での文字入力を快適にする魔法の技術──米テジックコミュニケーションズ社クリッフ・クシラー副社長に聞く，2000
ヒューマンインターフェース学会誌 Vol.4 NO.3 2002
03-3261-7431