【アプリ操作】うまくいかないときは(要素マッチング)2ー操作したい個所を選択できない場合

◆操作したい個所を選択できない場合は

アプリデザインを使用したアプリ操作の設定で要素マッチングにしています。そのとき操作したい個所を選択できないことはないでしょうか。そういった場合は、以下の手順をお試しください。

このようなケースは、アプリのメニューのボタンを操作したいときによく発生します。

apli2_1

1.操作したいアプリがアプリに接続アクションの一覧にない

起動中のアプリに接続アクションを使い、表示されたメニューに接続します。しかし接続したいアプリが一覧にありません。

このようなときは一覧更新ボタンで5秒後に更新を使います。

apli2_2

1ー1.アプリに接続アクションで○○秒後に更新を使う

5秒後に更新をクリックし、アプリを表示します。接続先の一覧にアプリが表示されます。


2.操作したい個所がアプリデザインに表示されない

2ー1.画面読込みで○○秒後に再読込みを使う

操作したい個所がアプリデザインに表示されないことがあります。そのときはアプリの操作画面内の画面を読み込み機能を使います。このときに、5秒後に再読み込みを使って、メニューが表示された状態を読み込みます。

apli2_3

3.マッチング方式を画像か文字にするか、サポートへご相談を

以上の手順で要素マッチングで操作個所を選択できない場合があるかもしれません。その場合はマッチング方式を画像か文字にしてアクションを作成してください。それでもうまくいかない場合はサポートまでご相談ください。

【アプリ操作】【要素】キャプチャー

★アクションの説明、概要

画面内の操作したい個所を要素による指定を行います。そして指定した箇所のスクリーンショットを取得して保存する方法について説明しています


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。

1.基本設定

1-1.要素が見つかるまでのタイムアウト(秒)

設定した時間まで、選択した要素をロボットが探し続けます。

1-2.保存先

キャプチャを保存するファイルパスを設定します。 変数参照可能です。またシステム値を使用可能です。システム値の説明はこちら。

1-3.対象の要素(0.10.9から追加)

操作対象として設定した要素の画像が表示されます。


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。

2-2.キャッシュクリア

処理速度をあげるために要素の情報をもっています。その情報をクリアして再取得するときにチェックを入れます。アプリの画面表示に変化があった後に行うアクションの場合は、チェックを入れておきましょう。

2-3.要素をアクティブにする

要素をアクティブな状態にしてから実行する場合は、チェックを入れます。

2-4.名前

要素を名前で指定するときに設定します。変数参照可能です。
変数参照する場合はチェックボックスにチェックを入れてから、参照する変数の設定を行います。
こちらも参考にしてください。

2.アプリ操作でうまくいかないときは(要素マッチング)1ー名前で正規表現を使う

2-5.クラス

要素をクラスで指定するときに設定します。

2-6.タイプ

要素をタイプで指定するときに設定します。
こちらも参考にしてください。

2-7.AID

要素をAIDで指定するときに設定します。変数参照可能です。
変数参照する場合はチェックボックスにチェックを入れてから、参照する変数の設定を行います。

2-8.要素インデックス

ここまで設定した内容で1つの要素に絞り込めない場合、何番目の要素を操作するか指定します。1番目の場合、0を設定します。変数参照可能です。変数参照したときに変数の中身が空だった場合など、インデックスが空のときは自動的に0が設定されます。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

【アプリ操作】うまくいかないときは(要素マッチング)1ー名前で正規表現を使う

1.契約番号を取得してみます

アプリ操作の設定で要素マッチングにしたときに、要素を設定するコツを説明します。操作個所をうまく指定できない、または作成したアクションを実行したけどうまくいかない場合に本ページを参照してください。

以下の画面から契約番号を取得します。

apl_kotu1

2.マッチング方式を要素に

マッチング方式は要素にします。apl_kotu2


3.高度な設定タブで設定

3-1.名前は使用しない場合が多い

名前は処理の都度変わることが多いです。そのため、使用しない、にしましょう。
使用しない、にしてうまくいかないときは、名前を正規表現を使って設定してください。

apl_kotu3

3-2.設定を変更したら、設定した内容でロボットが認識するのか確認

・設定した内容で見つかったのか

設定を変更したら、全部で何件みつかりました、と表示を確認しましょう。(見つからない場合は、該当する要素が見つかりません、と表示されます)

apl_kotu4

・操作対象にフォーカスで確認

見つかった場合は、操作対象にフォーカスをクリックします。操作したい個所にフォーカスが当たることを確認しましょう。

apl_kotu5

3-3.インデックスを変更して、操作したい要素に設定する

以下のように複数件見つかった場合は、要素インデックスの値を変更します。1件しか見つからなかった場合は、要素インデックスは「0」になっています。

apl_kotu6

3-4.要素は見つかるがうまく操作できない場合は

それでもうまくいかないときは、キャッシュクリアにチェックを入れましょう。または要素をアクティブにするにチェックを入れてアクションを実行してみましょう

apl_kotu7

4.ステップ実行で確認するとうまくいくことも

アクションは作成されるが、処理が空振りしたような状態(たとえば値が入力されない)が起こることがあります。そのときは作成したアクションをステップ実行してみてください。作成時は空振りしたアクションが正常に実行されることがあります。


5.それでもうまくいかない場合は他のマッチング方式か、サポートへ質問ください。

それでもうまくいかないときは、マッチング方式を文字か画像にしてアクションを作成していただくか、もしくはサポートまでご相談ください。

【アプリ操作】画像が消えるまで待つ

★アクションの説明、概要

画面内の操作したい個所を画像による指定を行います。そして指定した箇所が画面内から消えるまでロボットの処理を一時停止させる方法について説明しています。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。

1.基本設定

1-1.画像が見つかるまでのタイムアウト(秒)

設定した時間まで、指定した画像をロボットが探し続けます。

1-2.判定方法 ※0.10.10から追加

指定した画像をロボットが探しに行くときの判定方法を設定します。こちらでも説明しています

・見た目で判定

従来の画像を探しに行く方法です。指定した画像の見た目で探します。

・特徴で判定

指定した画像の特徴を使って、指定した画像を探します。

1-3.画像一致率(現在の一致率※0.10.10.から)

指定した画像と画面に映っているアプリの画像の一致率を設定します。高いほど正確性は増しますが、正確性の判定が厳しすぎて、アプリの画像があるのに画像がないという判定になることもあります。

画像一致率のラベルの右側に現在の一致率を%表示するように変更しました。(0.10.10から)

1-4.この範囲で探す(範囲指定方法)(0.10.9から追加)

指定した画像を探す範囲を設定します。デフォルトでは接続中のアプリ全体から探します。

・座標

接続中のアプリ全体から探す範囲を座標で設定します。

・比率

接続中のアプリ全体から探す範囲を比率で設定します。

・全体

接続中のアプリ全体から探します。


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

【ロボデザイン】アプリデザインを開く

★機能の説明、概要

アプリデザインを開く方法について説明しています。アプリデザインには接続中のアプリが表示されます。

接続対象をデスクトップにした場合、アプリデザインにはロボデザインやアプリデザインが表示されなくなりました(0.10.10から)

コントロールパネルからでも開けるようになりました。(0.10.8から)

要素の取得タイミングが変更されます(0.10.9から)

0.10.8まで

アプリデザインを開いたときに、すべての要素を取得しきるまで操作することができませんでした。

0.10.9から

アプリデザインを開いたときに、裏側で要素の取得処理が行われます。要素数の数が多い場合、取得処理中で取得されていない要素を認識することができません。その場合は、取得処理が終わるまでお待ちください。

取得処理中
取得処理完了

★使い方


★この機能を使うとき

1.ふたたびアプリデザインを開くとき

アプリデザインはアプリに接続アクションを作成したときに、自動的に表示されます。自動的に表示したアプリデザインを閉じ、再度アプリデザインを開くときにこの機能を使います。


★注意点

1.接続中のアプリがあることを確認しよう

1-1.アプリデザインを開くときに、接続中のアプリがあることを確認しましょう。

アプリに接続中であれば、ロボデザインの上部に表示されます。

接続中のアプリがない状態でアプリデザインを開くと、アプリデザインはなにもアプリが表示されていない状態で起動します。

接続中のアプリがない時にアプリデザインを開いた。

1-2.アプリに接続するには?

アクションフロー内に作成されているアプリに接続アクションを実行します。

アプリデザインへ表示したいアプリに接続します。

【アプリ操作】【要素】値取得

★アクションの説明、概要

画面内の操作したい個所を要素による指定を行います。そして指定した箇所から値を取得する方法について説明しています。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。

1.基本設定

1-1.要素が見つかるまでのタイムアウト(秒)

設定した時間まで、選択した要素をロボットが探し続けます。

1-2.要素が最前面に表示されるまで待つ

設定した時間まで、選択した要素が最前面に表示されるまでロボットが処理を停止します。

・待つ

最前面に表示されるまで処理を停止します。

・待たない

最前面に表示されるまで処理を停止しません。

1-3.格納先

取得した値を格納する変数を設定します。

1-4.取得対象

選択した要素から取得する値を設定します。

・現在の値

表示されている値を取得します。

・テキスト値

要素が持つ文字を取得します。

・名前

要素が持つ名前を取得します。

・チェック状態

チェックボックスにチェックの状態を取得します。チェックが入っている場合は「1」、入っていない場合は「0」を取得します。

・取得値

取得対象の設定で取得できる値が表示されます。

1-5.対象の要素(0.10.9から追加)

操作対象として設定した要素の画像が表示されます。


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。

2-2.キャッシュクリア

処理速度をあげるために要素の情報をもっています。その情報をクリアして再取得するときにチェックを入れます。アプリの画面表示に変化があった後に行うアクションの場合は、チェックを入れておきましょう。

2-3.要素をアクティブにする

要素をアクティブな状態にしてから実行する場合は、チェックを入れます。

2-4.名前

要素を名前で指定するときに設定します。変数参照可能です。
変数参照する場合はチェックボックスにチェックを入れてから、参照する変数の設定を行います。
こちらも参考にしてください。

2.アプリ操作でうまくいかないときは(要素マッチング)1ー名前で正規表現を使う

2-5.クラス

要素をクラスで指定するときに設定します。

2-6.タイプ

要素をタイプで指定するときに設定します。
こちらも参考にしてください。

2-7.AID

要素をAIDで指定するときに設定します。変数参照可能です。
変数参照する場合はチェックボックスにチェックを入れてから、参照する変数の設定を行います。

2-8.要素インデックス

ここまで設定した内容で1つの要素に絞り込めない場合、何番目の要素を操作するか指定します。1番目の場合、0を設定します。変数参照可能です。変数参照したときに変数の中身が空だった場合など、インデックスが空のときは自動的に0が設定されます。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

【アプリ操作】【画像】キー送信

★アクションの説明、概要

画面内にマウスカーソルが当たっている個所にキー送信を行う方法について説明しています。本アクションを実行する前に入力したい個所をマウスでクリックする必要があります。キー送信とは、パソコンのキーボードのキーを画面内のマウスカーソルが当たっている個所に送ることを指しています。

キーボードの配列によっては(B5サイズのノートPCなど)、Homeキーを送信すると7が送信されたり、←キーを送信すると4が送信されることがあります。その場合は、Ctrlキーと組み合わせて(Ctrlキー+Homeキー)を送信するとうまくいくことがあります。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。

1.基本設定

1-1.画像が見つかるまでのタイムアウト(秒)

設定した時間まで、指定した画像をロボットが探し続けます。

1-3.送るキーの設定

送信するキーを設定します。

一部のキーや、キー同士の組み合わせを送信することができないです。
・Shiftキーを押しながら、Crtl+xなど3つ以上のキーを同時に押して送信する
・Windowsキー ※バージョン0.10.2から送信できるようになりました。

・+

設定を追加します。

— down

キーボードの↓キーを送信します。

— up

キーボードの↑キーを送信します。

— left

キーボードの←キーを送信します。

— right

キーボードの→キーを送信します。

— tab

キーボードのTabキーを送信します。

— enter

キーボードのEnterキーを送信します。

— esc

キーボードのEscキーを送信します。

— space

キーボードのSpaceキーを送信します。

— backspace

キーボードのbackspaceキーを送信します。

— ctrl+a

キーボードのCtrl+Aキーを送信します。

— ctrl+c

キーボードのCtrl+Cキーを送信します。

— ctrl+v

キーボードのCtrl+Vキーを送信します。

— ctrl+x

キーボードのCtrl+Xキーを送信します。

— alt+f4

キーボードのAlt+F4キーを送信します。

— オリジナル

キーボードの任意のキーを送信します。


#ここで実行したいキー操作を行ってください
・ ここで実行したいキー操作を行ってください

ここで実行したいキー操作を行ってくださいをクリックして、選択状態にします。そして送信したいキーを押します。

・ ー

選択したキー送信の操作を一覧から削除します。

・ ↑

キー送信順を1つ上にあげます 。

・ ↓

キー送信順を1つ下にさげます 。


— 変数

変数に格納された値をキーとして送信します。送信できるのは半角英数字と記号です。

— wait

キーを連続して送信する場合に、一定の待ち時間を設定できます。

・ー

設定を削除します。

・↑

キー送信順を1つ上にあげます。

・↓

キー送信順を1つ下にさげます。


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

【その他】デスクトップのスクリーンショットをとる

★アクションの説明、概要

デスクトップのスクリーンショットをとってファイルに保存する方法について説明しています。

本アクションを実行するときは、実行端末にモニタが接続され画面表示されているか、robo_lock.exeが起動されていることが必要となります。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。

1.基本設定

1-1.保存先

スクリーンショットの保存先を設定します。変数参照可能です。またシステム値を使用可能です。システム値の説明はこちら。

1-2. スクリーンショットの対象

スクリーンショットをとる対象を設定します。

・デスクトップ全体

デスクトップ全体 をとる場合は、こちらを選択します。

・現在接続中のアプリ

ロボットが接続中のアプリをとる場合は、こちらを選択します。

1-3.既に存在する場合、上書き保存する

保存先に設定したフォルダにファイルがあり、上書き保存する場合はチェックを入れます。


2.高度な設定

2-1.指定したフォルダが無ければ作成する

保存先に設定したファイルパス内にフォルダがない場合に、フォルダを作成します 。

2-2.アクション有効

このアクションを無効にする場合は、チェックを外します。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

【アプリ操作】【画像】マウス操作

★アクションの説明、概要

画面内の操作したい個所を画像による指定を行います。そして指定した箇所をマウスで操作する方法について説明しています。


★アクションの作成方法

★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。

1.基本設定

1-1.画像が見つかるまでのタイムアウト(秒)

設定した時間まで、指定した画像をロボットが探し続けます。

1-2.クリックパターン

クリックの種類を選択します。

・クリック

マウスのクリックを行います。

・ダブルクリック

マウスのダブルクリックを行います。

・右クリック

右クリックを行います。

・マウス移動

カーソルを移動します。

・マウスダウン

マウスの左クリックを押しっぱなしにします。

・マウスアップ

マウスの左クリックを押しっぱなしをやめます。

・上スクロール

マウスを使って上にスクロールします。

・下スクロール

マウスを使って下にスクロールします。

1-3.判定方法 ※0.10.10から追加

指定した画像をロボットが探しに行くときの判定方法を設定します。こちらでも説明しています

・見た目で判定

従来の画像を探しに行く方法です。指定した画像の見た目で探します。

・特徴で判定

指定した画像の特徴を使って、指定した画像を探します。

1-4.クリック位置

指定した画像内のクリック位置を座標で設定します。

・X

クリック位置のX座標を設定します。変数参照可能です。(0.10.8から)

・Y

クリック位置のY座標を設定します 。変数参照可能です。(0.10.8から)

1-5.画像一致率(現在の一致率※0.10.10.から)

指定した画像と画面に映っているアプリの画像の一致率を設定します。高いほど正確性は増しますが、正確性の判定が厳しすぎて、アプリの画像があるのに画像がないという判定になることもあります。

画像一致率のラベルの右側に現在の一致率を%表示するように変更しました。(0.10.10から)

1-6.この範囲で探す(範囲指定方法)(0.10.9から追加)

指定した画像を探す範囲を設定します。デフォルトでは接続中のアプリ全体から探します。

・座標

接続中のアプリ全体から探す範囲を座標で設定します。

・比率

接続中のアプリ全体から探す範囲を比率で設定します。

・全体

接続中のアプリ全体から探します。


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。

2-2.一致したイメージショットをログに残す ※0.10.10から

チェックを入れた状態でスケジュール実行を行うと、ログに処理対象の画像がイメージとして表示されます


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。