【アプリ操作】指定の文字に対してマウス操作

★アクションの説明、概要

画面内の操作したい個所に表示されている文字による指定を行います。指定した箇所をマウスで操作する方法について説明しています。

GoogleのAPIを使って変換をしています。OCR変換する文字はJobAutoからGoogleへ送信されます。ご承知おきください。Googleへインターネット経由で通信を行います。インターネットへの接続をプロキシサーバを介して行っている環境の場合は、プロキシの設定を行ってください。

インターネットでアクセス先のドメインに制限がかかっている場合はvision.googleapis.comの制限を解除してください。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。画面を読み込みと操作対象にフォーカス、背景色についてはこちらをご覧ください。

1.基本設定

1-1.文字が見つかるまでのタイムアウト(秒)

設定した時間まで、指定した文字をロボットが探し続けます。

1-2.クリックパターン

クリックの種類を選択します。

・クリック

マウスのクリックを行います。

・ダブルクリック

マウスのダブルクリックを行います。

・右クリック

マウスの右クリックを行います。

・マウス移動

カーソルを移動します。

・マウスダウン

マウスの左クリックを押しっぱなしにします。

・マウスアップ

マウスの左クリックを押しっぱなしをやめます。

・上スクロール

マウスを使って上にスクロールします。

・下スクロール

マウスを使って下にスクロールします。

1-3.対象となる値

画面内から探す文字を入力します。変数参照可能です。

・検索ボタン

対象となる値に設定された文字を画面内から探します。

1-4.インデックス

設定した値で1つの文字に絞り込めない場合、何番目の文字を操作するか指定します。1番目の場合、0を設定します。

1-5.クリック位置

指定した文字のクリック位置を座標で設定します。

・X

クリック位置のX座標を設定します。変数参照可能です。(0.10.8から)

・Y

クリック位置のY座標を設定します 。変数参照可能です。(0.10.8から)

1-6.OCRの解析結果 ※0.10.6から

対象となる値へ設定した文字が画面内にあるか、検索ボタンで探すことができます。このときOCRで解析した結果が表示されます。対象となる値へ設定しなおすときの参考にしてください。


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。

2-2.一致したイメージショットをログに残す ※0.10.10から

チェックを入れた状態でスケジュール実行を行うと、ログに処理対象の文字がイメージとして表示されます


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

2件のコメント

  1. […] ・ロボデザインのUIを大幅に改善 ※詳細はこちら・ROBO_WEBのシステム管理者画面に、スケジュール実行予定表を追加 ※マニュアルページはこちら・アプリ操作、指定の文字に対して操作する機能としてを以下のアクションを追加。 >指定の文字に対してマウス操作 >指定の文字が出るまで待つ >指定の文字が消えるまで待つ・ブラウザ操作、要素に対するアクション選択時、まずは該当しそうな候補を最初に出すように修正・ブラウザ操作、マウスオーバー時に要素にフォーカスされるよう機能を追加・ブラウザ操作、選択された要素をクリックした際、処理対象が親要素へ移動するように修正・ログ一覧のステータスが「エラーあり」「緊急停止」「時間打ち切り」「異常終了」のステータスを「対処済み」に変更できるように修正 ※マニュアルページはこちら・ロボデザインで、ロボット、共通部品をプロジェクト間でコピーできるように修正 >ロボットをプロジェクト間でコピー >共通部品をプロジェクト間でコピー・ロボット、共通部品、ともにROBO_WEBから複数同時ダウンロードできるように修正・ロボデザインのログをエクスポートして、ZIPファイルとしてデスクトップに作成する機能を追加 ※マニュアルページはこちら・変数の値の加工アクションに、数値の書式(カンマ区切り、通貨、パーセント)を追加・変数の値の加工アクションに数値関数(四捨五入、切り上げ、切り捨て)を追加・ブラウザ操作、要素に対するアクション(クリック、値入力、値取得等)に要素インデックスを追加・ブラウザ操作、クリックして別windowが開いた際、続けてwindow切替画面を表示する機能を追加・エクセルの最終セルのアドレスを取得するアクションを追加・ログ出力アクションに「ログにスクリーンショットを含める」オプションを追加。これによりROBO_WEBのログ詳細画面からログ出力時の画面ショットを見れるようになる。・エクセル操作、指定したセルの値をクリアする機能を追加・ログステータスを「エラーあり」「異常終了」から「対処済み」に変更できる機能を追加 […]

    返信

  2. […] ・文字操作アクションにて、OCR結果を画面下に表示するよう修正 →1-6.OCRの解析結果を参照ください。https://help.jobauto.jp/2020/08/28/%e3%82%a2%e3%83%97%e3%83%aa%e6%93%8d%e4%bd%9c%e3%81%ab%e3%82%88%e… ・OCR読込みにて、文字認識か文章認識の選択を追加→2-3.文字での検出方式を参照ください。https://help.jobauto.jp/2019/02/22/ocr%e8%aa%ad%e3%81%bf%e8%be%bc%e3%81%bf/ […]

    返信

コメントを残す

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください