★アクションの説明、概要
JobAutoでアプリ画面の要素を表として認識し、 セル単位で操作できるようにする方法について説明します。
「【要素】表として操作する」アクションでは、 アプリ画面内の縦線・横線で区切られている箇所を 表として認識させます。
JobAutoがひとつの要素として認識している表を、 このアクションを使って複数のセルに分割して認識します。
表として認識したあとは、 表形式のアクションを使って、 行番号・列番号を指定したマウス操作や 値取得、値入力などを行います。
★アクションの作成方法
★アクションの設定画面について
アクション設定画面の設定項目について説明します。「画面を読み込み」「操作対象にフォーカス」「背景色」については、アプリデザインの使い方をご確認ください。
１．基本設定
１－１．要素が見つかるまでのタイムアウト（秒）
設定した時間まで、選択した要素をロボットが探し続けます。
１－２．閾値
表としてどのくらいの精度で認識するかを設定します。
１－３．余白の設定
表として認識する要素内の余白を設定します。
１－４．最大行数取得
表として認識した範囲の行数を取得します。
１－５．対象の要素
操作対象として設定した要素の画像が表示されます。
２．高度な設定
２－１．アクション有効
このアクションを無効にする場合は、チェックを外します。
２－２．キャッシュクリア
処理速度を上げるため、取得した要素の情報を保持しています。保持している要素情報をクリアし、再取得する場合にチェックを入れます。アプリの画面表示が変化した後に実行する場合などに使用します。
２－３．要素をアクティブにする
要素をアクティブな状態にしてから実行する場合は、チェックを入れます。
２－４．名前
要素を名前で指定するときに設定します。名前には変数を使用できます。
変数参照する場合はチェックボックスにチェックを入れてから、参照する変数の設定を行います。
名前の設定で要素を安定して特定できない場合は、 JobAutoの要素マッチングを安定させる方法｜名前に正規表現を使うも確認してください。
２－５．クラス
要素をクラスで指定するときに設定します。
２－６．タイプ
要素をタイプで指定するときに設定します。
タイプの設定で要素を安定して特定できない場合は、次のFAQも確認してください。
２－７．AID
要素をAIDで指定するときに設定します。AIDには変数を使用できます。
変数参照する場合はチェックボックスにチェックを入れてから、参照する変数の設定を行います。
２－８．要素インデックス
名前・クラス・タイプ・AIDなどの設定だけでは操作対象を1つに絞り込めない場合に、何番目の要素を操作するか指定します。先頭の要素は「0」です。要素インデックスには変数を使用できます。変数の値が空の場合など、インデックスが空欄のときは自動的に「0」が使用されます。
３．エラー発生時の対応
３－１．エラー時の処理
エラーが発生したときの設定を行います。詳細はこちらをご確認ください。
３－２．基点となる条件分岐
エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。
３－３．エラー時にログ出力
エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。
「【要素】表として操作する」とは
「【要素】表として操作する」は、 アプリ画面内の縦線・横線で区切られている範囲を JobAutoに表として認識させるためのアクションです。
アプリデザイン上では表全体がひとつの要素として認識されていても、 このアクションを使うことで、 その範囲を複数のセルに分割して認識できます。
通常の要素マッチングとの違い
通常の要素マッチングでは、 ボタンや入力欄などの要素を指定して操作します。
一方、 画面上では表に見えていても、 JobAutoからは表全体がひとつの要素として認識される場合があります。
そのような表をセル単位で扱いたい場合に、 「【要素】表として操作する」を使用します。
表として認識したあとの操作
「【要素】表として操作する」で表を認識したあとは、 表形式のアクションを使用して 表内のセルを操作します。
| アクション | 用途 |
|---|---|
| 【表】マウス操作 | 表内の指定した位置に対してマウス操作を行います。 |
| 【表】値取得 | 表内の指定した位置から値を取得します。 |
| 【表】値入力 | 表内の指定した位置へ値を入力します。 |
表形式のアクションでは、 表内の行番号・列番号などを指定して 対象となるセルを操作します。
閾値を設定する
「閾値」では、 対象となる範囲を表として どのくらいの精度で認識するかを設定します。
想定した表として認識されない場合は、 実際の認識結果を確認しながら 閾値の設定を確認してください。
余白を設定する
「余白の設定」では、 表として認識する要素内の余白を設定します。
表として認識したい範囲と 実際に認識される範囲が合っているか確認しながら設定してください。
認識した表の行数を取得する
「最大行数取得」を使用すると、 JobAutoが表として認識した範囲に 何行あるかを取得できます。
表の行数が処理のたびに変わる場合などは、 取得した行数を後続処理で利用できます。
表として認識する要素を確認する
アクション設定画面の「対象の要素」には、 操作対象として設定した要素の画像が表示されます。
想定した表が認識されない場合は、 まず表として処理する要素そのものが 正しく指定されているか確認してください。
要素を正しく指定できない場合
要素マッチングでは、 「名前」「クラス」「タイプ」「AID」「要素インデックス」などを使って 対象となる要素を指定します。
同じ条件に一致する要素が複数見つかる場合は、 「要素インデックス」を使って 対象となる要素を指定します。
要素インデックスは0から始まるため、 1番目の要素を指定する場合は「0」を設定します。
画面が変化したあとに表を認識する場合
JobAutoは処理速度を上げるため、 要素の情報を保持しています。
アプリの画面表示が変化したあとに 「【要素】表として操作する」を実行する場合は、 高度な設定の「キャッシュクリア」を使用して 要素情報を再取得してください。
表となる要素が見つからない場合
「【要素】表として操作する」では、 「要素が見つかるまでのタイムアウト（秒）」で設定した時間まで 対象の要素を探します。
アプリや表の表示に時間がかかる場合は、 タイムアウト時間も確認してください。
表として正しく認識されない場合
想定した表として認識されない場合は、 次の点を確認してください。
- 操作対象となるアプリへ正しく接続しているか
- アプリデザインに最新の画面が表示されているか
- 表全体となる要素を正しく指定できているか
- 「対象の要素」に想定した範囲が表示されているか
- 閾値の設定が認識する表に合っているか
- 余白の設定が認識したい範囲に合っているか
- 画面が変化した場合は「キャッシュクリア」が必要ではないか
- 同じ条件の要素が複数ある場合は要素インデックスが適切か
- 表の表示に時間がかかる場合はタイムアウト時間が適切か
表として認識できたあとは、 「【表】マウス操作」「【表】値取得」「【表】値入力」などの 表形式アクションを使って各セルを操作します。
[…] アプリ操作・指定の範囲から文字を取得するアクションを新規追加。詳細はこちらをご覧ください。・要素で読み込めない表形式を表として処理できるアクションを新規追加。詳細はこちらをご覧ください。・チェックボックスのオンとオフを取れるよう機能追加。詳細はこちらをご覧ください。 […]
[…] ・表として操作するアクション。アクションを実行したときにロボットが認識した表の行数を取得する機能を追加。こちらをご覧ください […]