【アプリ操作】指定の文字に対してマウス操作

★アクションの説明、概要

画面内の操作したい個所に表示されている文字による指定を行います。指定した箇所をマウスで操作する方法について説明しています。

GoogleのAPIを使って変換をしています。OCR変換する文字はJobAutoからGoogleへ送信されます。ご承知おきください。Googleへインターネット経由で通信を行います。インターネットへの接続をプロキシサーバを介して行っている環境の場合は、プロキシの設定を行ってください。

インターネットでアクセス先のドメインに制限がかかっている場合はvision.googleapis.comの制限を解除してください。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。

1.基本設定

1-1.文字が見つかるまでのタイムアウト(秒)

設定した時間まで、指定した文字をロボットが探し続けます。

1-2.クリックパターン

クリックの種類を選択します。

・クリック

マウスのクリックを行います。

・ダブルクリック

マウスのダブルクリックを行います。

・右クリック

マウスの右クリックを行います。

・マウス移動

カーソルを移動します。

・マウスダウン

マウスの左クリックを押しっぱなしにします。

・マウスアップ

マウスの左クリックを押しっぱなしをやめます。

・上スクロール

マウスを使って上にスクロールします。

・下スクロール

マウスを使って下にスクロールします。

1-3.対象となる値

画面内から探す文字を入力します。変数参照可能です。

・検索ボタン

対象となる値に設定された文字を画面内から探します。

1-4.インデックス

設定した値で1つの文字に絞り込めない場合、何番目の文字を操作するか指定します。1番目の場合、0を設定します。

1-5.クリック位置

指定した文字のクリック位置を座標で設定します。

・X

クリック位置のX座標を設定します。変数参照可能です。(0.10.8から)

・Y

クリック位置のY座標を設定します 。変数参照可能です。(0.10.8から)

1-6.OCRの解析結果 ※0.10.6から

対象となる値へ設定した文字が画面内にあるか、検索ボタンで探すことができます。このときOCRで解析した結果が表示されます。対象となる値へ設定しなおすときの参考にしてください。


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。

2-2.一致したイメージショットをログに残す ※0.10.10から

チェックを入れた状態でスケジュール実行を行うと、ログに処理対象の文字がイメージとして表示されます


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

リリースノート – 0.10.3 (2020-08-24)

機能追加

アプリ

・アプリの最大化・最小化アクションの追加。使用手順はこちらです

RoboWeb

・スケジュール画面、実行パターンに新しいパターンを追加。月末単位、1回のみ実行、スケジュール実行しないを追加。使用手順はこちらです
・スケジュール画面、休日設定機能でスケジュールをスキップできる機能を追加。使用手順はこちらです

ロボデザイン

・変数一覧画面の切り離し別windowで参照できる機能の追加。使用手順はこちらです

機能修正

ロボデザイン

・カスタムアクションへ処理の概要を書き込む欄の追加
・カスタムアクション呼び出しを展開する機能を変更。”値を渡さずに開く” or ”値を渡して開く”の選択肢を追加
・RoboWebへロボットをアップロード、ダウンロードする機能を変更。RDのプロジェクト名と同一のものがあればそのプロジェクトを選択。なければ前回選択したプロジェクトをデフォルトで選択。
・ロボットをエクスポート、インポートの機能を変更。ファイル名に「_」を含んだロボットファイルを制限するよう修正

エクセル

・行ループアクションに、性能改善のため、”セルへフォーカスする”オプションの追加
・行ループアクションに、フィルタされた非表示セルの扱いオプションの追加
・PDF出力アクションの変更。シート内の印刷設定の範囲をPDF出力対象とするオプションの追加

ブラウザ

・フレーム切り替えアクションの選択時の選択判別を画面下に内容をだすように修正

アプリ

・アプリ操作のキー送信でESCキーを送信できるように修正

ブックマーク

・フラグへジャンプアクションの変更。ジャンプする先のブックマークをプルダウン形式からリスト形式に変更。またXY座標も併せて表示。
・ブックマークアクションを作成したときにつけられるアクション名の変更。アクションの設定画面のデフォルトの名前をインクリメントした状態で命名。

ROBOWEB

・スケジュール実行でエラーが発生。ログ詳細画面にその時の画面ショットが表示されるように変更
・PCモニタリング画面で画面の更新間隔を削除し、随時更新状態に修正
・RS側の時刻がずれているケースがあった。RoboWebの時刻をRSの時刻に合わせるよう修正

バグフィックス

ロボデザイン

・カスタムアクションの説明書の出力ができなかった不具合の修正
・エラーハンドリングタブで”条件分岐の次のエラーへ移動”を選択。基点が表示されてエラー時にログ出力チェックが隠れてしまう。この不具合の修正
・変数の加工アクションの文字置換で変数を選択した際、画面がくずれる不具合の修正
・カスタムアクション内でブレークポイントを設定すると、フリーズする不具合の修正
・ロボットを全実行したときのカスタムアクションの動きを修正。無効化になっているカスタムアクションでずっとアクティブな状態で停止する。この不具合の修正。
・カスタムアクション内でブックマークにジャンプアクションの設定画面が表示されない。この不具合の修正
・RDの全実行でクラッシュする不具合を修正

ブラウザ

・タグのループで1行目のループ内にaタグが無いケースで2行目のaタグにフォーカスしてしまう不具合の修正

アプリ

・アプリ操作の要素指定時、フォーカスしなおすとエラーハンドリングがデフォルトに戻る不具合を修正
・IEをアプリ操作する際、要素を読めなくなる不具合の修正

エクセル

・Excelの最終行のセルのアドレスを取得アクションで、1行目しかないエクセルで実行した場合に、最終行が1048576という結果となってしまう不具合の修正

ROBOWEB

・PC一覧からPCを削除できない不具合を修正
・スケジュール画面で1000か月先でスケジュールを新規作成するとスケジュール一覧画面が開かなくなる不具合の修正
・スケジュール画面内、実行パターンをCRON形式にしたときに、開始日時が未来だった場合に、次回実施予定の対象から外れてしまう不具合の修正
・新しくスケジュールを作成したときに、開始日時が未来の日時なのにスケジュールの一覧にはその次に実行される日時が表示され、設定した開始日時を経過してもスケジュール実行が始まらない不具合の修正