★アクションの説明、概要
JobAutoでアプリ画面の画像を指定し、 その画像内の縦線・横線で区切られた箇所を 表として認識させる方法について説明します。
「【画像】表として操作する」アクションでは、 アプリデザインで表として扱いたい範囲を画像として指定し、 その画像内の区切りをもとに表として認識します。
表として認識したあとは、 「【表】マウス操作」「【表】値取得」「【表】値入力」などの 表形式アクションを使って、 表内のセルを操作します。
★アクションの作成方法
★アクションの設定画面について
アクション設定画面の設定項目について説明します。「画面を読み込み」「操作対象にフォーカス」「背景色」については、アプリデザインの使い方をご確認ください。
１．基本設定
１－１．画像が見つかるまでのタイムアウト（秒）
設定した時間まで、指定した画像をロボットが探し続けます。
１－２．表の範囲
表として認識する範囲を座標で設定します。
１－３．閾値
表としてどのくらいの精度で認識するかを設定します。
１－４．最大行数取得
表として認識した範囲の行数を取得します。
２．高度な設定
２－１．アクション有効
このアクションを無効にする場合は、チェックを外します。
３．エラー発生時の対応
３－１．エラー時の処理
エラーが発生したときの設定を行います。詳細はこちらをご確認ください。
３－２．基点となる条件分岐
エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。
３－３．エラー時にログ出力
エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。
「【画像】表として操作する」とは
「【画像】表として操作する」は、 アプリ画面の画像内にある 縦線・横線で区切られた箇所を JobAutoに表として認識させるためのアクションです。
アプリデザインで表として扱いたい範囲を画像として指定し、 その画像内の区切りを使って表として認識します。
画像マッチングと表形式マッチングの関係
「【画像】表として操作する」で表を認識したあとは、 表形式のアクションを使って 表内のセルを操作します。
| アクション | 用途 |
|---|---|
| 【表】マウス操作 | 表内の指定した位置に対してマウス操作を行います。 |
| 【表】値取得 | 表内の指定した位置から値を取得します。 |
| 【表】値入力 | 表内の指定した位置へ値を入力します。 |
「【画像】表として操作する」は、 表内のセルを直接操作するためのアクションではなく、 後続の表形式アクションで操作できるように 表を認識させるために使用します。
「【要素】表として操作する」との違い
JobAutoには、 要素マッチングと画像マッチングの両方に 「表として操作する」アクションがあります。
| アクション | 表として認識する対象 |
|---|---|
| 【要素】表として操作する | 要素として指定した範囲を表として認識します。 |
| 【画像】表として操作する | 画像として指定した範囲を表として認識します。 |
操作対象を要素として認識できるか、 画像として指定する必要があるかによって使い分けます。
表として認識する範囲を設定する
「表の範囲」では、 画像内のどの範囲を表として認識するかを 座標で設定します。
想定した表として認識されない場合は、 表として認識する範囲が 目的の表に合っているか確認してください。
閾値を設定する
「閾値」では、 指定した範囲を表として どのくらいの精度で認識するかを設定します。
想定した行やセルとして認識されない場合は、 実際の認識結果を確認しながら 閾値の設定を見直してください。
認識した表の行数を取得する
「最大行数取得」を使用すると、 JobAutoが表として認識した範囲に 何行あるかを取得できます。
表の行数が毎回変わる場合などは、 取得した行数を後続処理で利用できます。
指定した画像が見つからない場合
「【画像】表として操作する」では、 「画像が見つかるまでのタイムアウト（秒）」で設定した時間まで 指定した画像を探します。
表として操作する画像の表示に時間がかかる場合は、 タイムアウト時間も確認してください。
表として正しく認識されない場合
想定した表として認識されない場合は、 次の点を確認してください。
- 操作対象となるアプリへ正しく接続しているか
- アプリデザインに最新の画面が表示されているか
- 表として扱いたい画像を正しく指定できているか
- 「表の範囲」が目的の表に合っているか
- 閾値の設定が認識する表に合っているか
- 画像の表示に時間がかかる場合はタイムアウト時間が適切か
表として認識できたあとは、 「【表】マウス操作」「【表】値取得」「【表】値入力」などを使って 表内のセルを操作します。