2023年11月にリリースされるJobAuto0.10.10では、アプリ操作のマッチング方式「画像」において、画像を探す方法が追加されます。

従来の画像を探す方法に、特徴量を使って探す方法が追加されます。これで画像を探す方法を選択できるようになりました。

見た目で判定

従来の画像を探す方法です。画像そのものを見た目で探しに行く方法です。

操作したい個所をドラッグして選択する方法で、画像で指定しています。そしてアクション実行時にその画像をロボットが探しに行き、操作を行います。

しかし弱点が、、、、

見た目で判定では、作成したPCと実行するPCで解像度が異なる場合に、画像が見つからないというエラーが発生します。画像マッチングを使ったロボットは安定して動かない、という問題がありました。

特徴で判定

操作したい個所をドラッグして選択する方法で画像を指定するところまでは同じです。ロボットが指定した画像を探しに行く方法が見た目で判定とは違います。

画像の特徴で探す

ロボットは指定した画像の特徴を割り出します。割り出した特徴を使って指定された画像を探し、操作を行います。

安定して動く

解像度が少々変わった（大きく変わってしまった場合は画像がないとなります）としても、画像が見つかりません、というエラーが発生しなくなります。