JobAutoのアプリ操作で文字マッチングを使用したときに、 指定した文字が見つからない場合や、 実行するたびに文字の認識結果が変わって ロボットの動作が安定しない場合の確認方法について説明します。
文字マッチングでは、 アプリ画面上に表示されている文字をOCRで認識して 操作対象を特定します。
文字がうまく見つからない場合は、 指定する文字をなるべく単語にすることや、 文字を探す範囲を限定することで 安定して認識できる場合があります。
◆マッチング方式を文字にしたときに安定して動かすには
アプリ操作で文字マッチングを使うとき（使わざるを得ないとき）があります。そのときに安定的にロボットを運用するための設定のコツについて説明します。
1．指定する文字はなるべく単語にする
ロボットに操作をさせたい文字を指定します。このときになるべく単語で指定するようにしましょう。
いくつかの単語を組み合わせた文字列の場合、ロボットが文字を探すときに毎回文字を同じ場所で区切って読むとは限りません。
たとえば操作する文字を「中継地点」とした場合、ロボットは「中継」/「地点」と読んだり、「中継地」/「点」と読んだりするので、「中継地点」という文字は見つからないとなります。
2．文字を探す範囲を限定する
ロボットに探す文字を指定しました。なんどかテストを行ったところ、たまに文字が見つからないというエラーが発生します。毎回発生するわけではありません。
このような場合は、文字を探す場所を指定する方法だと安定してロボットが動くことがあります。
デフォルトの設定では指定した文字をアプリ全体から探します。指定する方法は、文字を探す範囲をドラッグして指定、右クリックしてこの範囲内の指定の文字に対してマウス操作とします
アプリ上に表示されているボタンのラベルなどの構成によっては、アプリ全体をロボットが読み込んだときに、人間が思いもよらないところで文字を区切っていることがあります。そんなときは、この方法で文字を探す設定をします
文字マッチングが安定しない場合の確認順序
文字マッチングで指定した文字が見つからない場合や、 実行するたびに認識結果が変わる場合は、 次の順番で確認してください。
- 指定する文字をなるべく単語にする
- 文字を探す範囲を限定できないか確認する
- 検索ボタンを使ってOCRの認識結果を確認する
- 「見つかった文字一覧」で目的の文字がどのように認識されているか確認する
- 必要に応じて「対象となる値」を見直す
- 日本語の文字を探す場合は「日本語を優先する」の設定も確認する
長い文字列が見つからない場合
複数の単語を組み合わせた文字列は、 OCRするときに毎回同じ位置で区切られて 認識されるとは限りません。
そのため、 画面上には指定した文字列が表示されていても、 OCRの解析結果と一致せず、 文字が見つからない場合があります。
このような場合は、 操作対象を特定できる範囲で、 なるべく単語として指定できないか確認してください。
OCRが認識した文字を確認する
文字マッチングのアクションでは、 検索ボタンを使って 設定した文字を現在の画面から探すことができます。
「見つかった文字一覧」が表示されるアクションでは、 OCRで解析された文字を確認できます。
人の目には目的の文字が表示されているように見えても、 OCRでは別の位置で文字が区切られていたり、 異なる文字として認識されている場合があります。
文字が見つからない場合は、 OCRの解析結果を確認し、 必要に応じて「対象となる値」を見直してください。
文字を探す範囲を限定する
文字マッチングでは、 アプリ全体から文字を探すよりも、 文字が表示される場所を限定して探した方が 安定して認識できる場合があります。
文字を探す範囲を限定する場合は、 アプリデザイン上で検索する範囲を指定し、 「この範囲内の指定の文字に対してマウス操作」を使用します。
同じような文字が画面の複数箇所に表示されている場合や、 アプリ全体から探すと文字の認識が安定しない場合は、 検索範囲を限定できないか確認してください。
日本語の文字を認識しにくい場合
現在のJobAutoでは、 OCR変換時に日本語を優先するか設定できます。
| 設定 | 動作 |
|---|---|
| 日本語を優先しない | 日本語を優先せずにOCR変換します。 |
| 日本語を優先する | 日本語を優先してOCR変換します。 |
日本語のボタン名やメニュー名などをうまく認識できない場合は、 OCRの解析結果とあわせて 「日本語を優先する」の設定も確認してください。
文字マッチングで確認する主なアクション
| アクション | 用途 |
|---|---|
| 指定の文字に対してマウス操作 | 画面上から指定した文字を探して、クリックなどのマウス操作を行います。 |
| 指定の文字が出るまで待つ | 指定した文字が画面に表示されるまで待機します。 |
| 指定の文字が消えるまで待つ | 指定した文字が画面から消えるまで待機します。 |
| この範囲内の指定の文字に対してマウス操作 | 文字を探す範囲を限定し、その範囲内から指定した文字を探して操作します。 |
それでも文字を安定して認識できない場合
指定する文字、OCRの解析結果、 文字を探す範囲、日本語優先の設定を確認しても 文字マッチングで安定して操作できない場合は、 操作対象を別のマッチング方式で指定できないか確認してください。
アプリ操作では、 操作箇所を要素として認識できる場合は 要素マッチングを利用できないか確認してください。