アプリ操作で画像マッチングを使うとき（使わざるを得ないとき）、安定的にロボットを運用するための設定のコツについて説明します。

１．選択する画像範囲に揺らぎが出ないようにする

たとえば操作する個所がアクティブだったり非アクティブだったりで枠線の色味が若干異なる場合があります。このようなゆらぎがでないように画像範囲を設定しましょう。

以下の送信ボタンを押す設定を行いますが、送信ボタンの枠線が青くなっています。

表示されている枠線が画像範囲に入らないようにします。操作したい個所の真ん中だけが画像範囲になるようにします。

 

２．操作個所とは異なるものからを指定、そこからの座標で指定する

操作したい個所と似たような画像が複数あり、画像判定が安定しない場合があります。

以下のケースのようにボタンに表示されている名前が似ている場合が、このケースに該当します。

 

その場合は、操作したい個所から近いユニークな画像を指定し、そこからの座標をずらして指定します。

以下ではボタン1をクリックする設定を行っています。画像マッチングしている範囲の外にあるボタン１をクリックする設定です。

３．効率よく修正を行うためにカスタムアクションを使用する

アプリ操作で画像マッチングを使ってロボットを作成した場合、ロボットを実行する端末によっては解像度が異なるなどの理由で、画像が見つからないことがよく起きます。

この場合、ロボットを実行する端末で操作する画像を再設定する必要がありますが、修正が必要なアクション数によっては修正にものすごい時間を取られてしまいます。

修正作業時間を少なくするために、カスタムアクションを使うことをおすすめします。

たとえば、以下のエクセルから、

以下のシステムへデータを入力するとします。

個々のデータを入力するアクションフローは同じで、渡すデータが異なるだけです。このような場合は、カスタムアクションを１つ作成し、

作成したカスタムアクションへデータを渡せば、１つのカスタムアクションでシステムへの入力を行えます。