【アプリ操作】うまくいかないときは(画像マッチング)1

◆マッチング方式を画像にしたときに安定して動かすには

アプリ操作で画像マッチングを使うとき(使わざるを得ないとき)があります。そのときに安定的にロボットを運用するための設定のコツについて説明します。


1.選択する画像範囲に揺らぎが出ないようにする

操作する個所の状態によって枠線の色味が異なる場合があります。このようなゆらぎがでないように画像範囲を設定しましょう。

以下の送信ボタンを押す設定を行いますが、送信ボタンの枠線が青くなっています。

button1

表示されている枠線が画像範囲に入らないようにします。操作したい個所の真ん中だけが画像範囲になるようにします。

button4

2.操作個所とは異なるものからを指定、そこからの座標で指定する

操作したい個所と似たような画像が複数あり、画像判定が安定しない場合があります。

以下のようなケースです。ボタンに表示されている名前が似ているおり、安定した動きをしません。

button10

その場合は、操作したい個所から近いユニークな画像を指定し、そこからの座標をずらして指定します。

以下ではボタン1をクリックする設定を行っています。画像マッチングしている範囲の外にあるボタン1をクリックする設定です。

button5

3.効率よく修正を行うために共通部品を使用する

アプリ操作で画像マッチングを使ってロボットを作成した場合、ロボットを実行する端末によっては解像度が異なるなどの理由で、画像が見つからないことがよく起きます。

この場合、ロボットを実行する端末で操作する画像を再設定する必要がありますが、修正が必要なアクション数によっては修正にものすごい時間を取られてしまいます。

修正作業時間を少なくするために、 共通部品を使うことをおすすめします。

たとえば、以下のエクセルから、

button6

以下のシステムへデータを入力するとします。

button7

個々のデータを入力するアクションフローは同じで、渡すデータが異なるだけです。このような場合は、 共通部品を1つ作成し、

button9

作成した 共通部品へデータを渡せば、1つの 共通部品でシステムへの入力を行えます。

button8

コメントを残す

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください