JobAutoでアプリの要素をマウス操作｜クリック・スクロール

★アクションの説明、概要

JobAutoでアプリ画面の要素を指定し、マウス操作を行う方法について説明します。

「【要素】マウス操作」アクションでは、アプリデザインで操作したい箇所を要素として認識し、その要素に対してマウス操作を実行します。

操作対象を要素として認識できる場合は、画像による認識と比較して、実行するPCによる影響を受けにくく、安定して動作しやすい方式です。

クリックなどの操作に加えて、上スクロール・下スクロールを行うこともできます。

★アクションの作成方法

★アクションの設定画面について

「画像を読込み」「操作対象にフォーカス」「背景色」については、アプリデザインの使い方をご確認ください。

１．基本設定

１－１．要素が見つかるまでのタイムアウト（秒）

設定した時間まで、選択した要素をロボットが探し続けます。

１－２．要素が最前面に表示されるまで待つ

設定した時間まで、選択した要素が最前面に表示されるまでロボットが処理を停止します。

・待つ

最前面に表示されるまで処理を停止します。

・待たない

最前面に表示されるまで処理を停止しません。

１－３．クリックパターン

クリックの種類を選択します。

・クリック

マウスのクリックを行います。

・ダブルクリック

マウスのダブルクリックを行います。

・右クリック

マウスの右クリックを行います。

・マウス移動

カーソルを移動します。

・マウスダウン

マウスの左ボタンを押した状態にします。

・マウスアップ

押しているマウスの左ボタンを離します。

・上スクロール

マウスを使って上にスクロールします。

・下スクロール

マウスを使って下にスクロールします。

１－４．マウスの位置を指定

指定した要素内のクリック位置を座標で設定します。

・X座標

クリック位置のX座標を設定します。X座標には変数を使用できます。

・Y座標

クリック位置のY座標を設定します。Y座標には変数を使用できます。

１－５．対象の要素

操作対象として設定した要素の画像が表示されます。

２．高度な設定

２－１．アクション有効

このアクションを無効にする場合は、チェックを外します。

２－２．キャッシュクリア

JobAutoは処理速度を上げるため、取得した要素の情報を保持しています。保持している要素情報をクリアし、再取得する場合にチェックを入れます。アプリの画面表示が変化した後に実行する場合などに使用します。

２－３．要素をアクティブにする

要素をアクティブな状態にしてから実行する場合は、チェックを入れます。

２－４．名前

要素を名前で指定するときに設定します。名前には変数を使用できます。
変数参照する場合はチェックボックスにチェックを入れてから、参照する変数の設定を行います。

名前の設定で要素を安定して特定できない場合は、 JobAutoの要素マッチングを安定させる方法｜名前に正規表現を使うも確認してください。

２－５．クラス

要素をクラスで指定するときに設定します。

２－６．タイプ

要素をタイプで指定するときに設定します。
タイプの設定で要素を安定して特定できない場合は、次のFAQも確認してください。

２－７．AID

要素をAIDで指定するときに設定します。AIDには変数を使用できます。
変数参照する場合はチェックボックスにチェックを入れてから、参照する変数の設定を行います。

２－８．要素インデックス

名前・クラス・タイプ・AIDなどの設定だけでは操作対象を1つに絞り込めない場合に、何番目の要素を操作するか指定します。先頭の要素は「0」です。要素インデックスには変数を使用できます。変数の値が空の場合など、インデックスが空欄のときは自動的に「0」が使用されます。

３．エラー発生時の対応

３－１．エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

３－２．基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

３－３．エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

要素マッチングでアプリをマウス操作する

「【要素】マウス操作」では、アプリ内のボタンや入力欄などを要素として認識し、認識した要素に対してマウス操作を行います。

要素による認識は実行するPCによる変化が少なく、画像による認識と比較して安定して動作しやすいと案内されています。

要素・文字・画像のどれを使えばよいか

JobAutoのアプリデザインでは、操作対象を「要素」「文字」「画像」などの方法で認識します。

操作したい箇所を要素として認識できる場合は、まず要素マッチングで操作できるか確認します。

要素として認識することが難しい場合は、画面上の文字を使う文字マッチングや、見た目を使う画像マッチングの利用を検討してください。

アプリ画面をスクロールする

「【要素】マウス操作」では、マウスによる上スクロール・下スクロールを行うこともできます。

画面内に目的の操作箇所が表示されておらず、スクロールして表示させる必要がある場合などに使用します。

操作対象を正しく認識しているか確認する

想定した箇所を操作できない場合は、まずJobAutoが操作対象の要素を正しく認識しているか確認してください。

アプリデザインの「操作対象にフォーカス」を使用すると、設定した操作箇所をJobAutoが正しく認識しているか確認できます。

操作対象に正しくフォーカスが当たらない場合は、要素の指定内容やマッチング方式を確認してください。

アプリデザインの画面が実際のアプリと違う場合

接続中のアプリの表示と、アプリデザインに表示されている画像が異なる場合は、アプリデザインの「画像を読込み」を使用します。

画面を再度読み込んだあと、操作したい要素を正しく認識できるか確認してください。

要素が見つかるまでに時間がかかる場合

「【要素】マウス操作」は、アプリ操作のタイムアウト時間を設定できる対象アクションです。

アプリの表示や要素の読み込みに時間がかかり、実行時に対象を見つけられない場合は、アプリ操作のタイムアウト設定も確認してください。

要素マッチングで操作できない場合

「【要素】マウス操作」を実行しても想定した箇所を操作できない場合は、次の順番で確認してください。

操作対象となるアプリへ正しく接続しているか確認する
アプリデザインの画面が最新の状態になっているか確認する
「操作対象にフォーカス」で目的の要素を認識できているか確認する
アプリの表示に時間がかかる場合はタイムアウト設定を確認する
要素として認識できない場合は文字・画像マッチングを検討する

アプリデザインの画面読込みや操作対象へのフォーカスについては、「アプリデザインの使い方」も確認してください。