【アプリ操作】アプリ操作をするアクションの作り方

◆ロボデザインでアプリ操作をするアクションを作る手順

ロボデザインでアプリ操作を行うアクションを作る手順について、説明します。

1.対象のアプリを起動する

操作対象のアプリを起動します。アプリを開くアクションを使うか、デスクトップやタスクバーにおいたショートカットをクリックして起動します

1ー1.アプリを開くアクションを使う場合

アプリを開くアクションを使い、対象のアプリを起動します

1ー2.デスクトップやタスクバーのショートカットをクリックして起動する

アプリに接続アクションを使い、デスクトップやタスクバーへ接続します。次にマウス操作でショートカットをクリックします

2.起動したアプリに接続する

起動中のアプリに接続アクションを使って、操作するアプリに接続を行います。
接続先の一覧から操作するアプリを選択します。このときに接続先のアプリで可変の部分を「.*」に変更します。

たとえば以下だとMeryというアプリに接続するのですが、「20250519.txt」という箇所が可変です。

.*に変更します。

3.マッチング方式を選択する

アプリに接続アクションを実行すると、アプリデザインが起動します。マッチング方式を選択しましょう。要素>文字>画像の順に安定して動きます。

5.アクションを作成する

操作したい個所を選択して右クリックし、作成したいアクションをクリックしてアクションを作成します。

6.ウィンドウが表示された場合

アクションを設定できるのは、接続中のアプリのウィンドウです。もし操作していた同じアプリで別にウィンドウが表示された場合は、アプリの接続アクションを使って別のウィンドウへ接続をし直します

【アプリ操作】うまくいかないときは(画像マッチング)2

◆マッチング方式を画像にしたときに「特徴で判定を使おう」

アプリ操作で画像マッチングを使うとき(使わざるを得ないとき)があります。特徴で判定を使うと安定して動くことが多いです。

見た目で判定と特徴で判定の違いはこちら

image01

特徴で判定を使う場合は、対象の画像を大きめに設定するのがコツです。

image02

アクションを実行する前に操作対象を正しく設定できたか、操作対象にフォーカスを押して確認しましょう

image03

【OCR関連】AzureOCRとの連携をするための設定

AzureOCRと連携してイメージ解析アクションを使うためには設定が必要です。

AzureキーとAzureエンドポイント取得し、ロボデザインとROBOWEBへそれぞれ設定を行います。

★キーとエンドポイントを取得する

1.アカウントを設定する

Microsoft Azureのアカウントを設定します。

https://signup.azure.com/signup?offer=ms-azr-0044p&appId=102&ref=&redirectURL=https:%2F%2Fazure.microsoft.com%2Fget-started%2Fwelcome-to-azure%3Fsrc%3Dacom_free&l=ja-jp

2.Azureのホームへ

MicrsoftAzureのトップページを表示します

ホーム – Microsoft Azure

3.リソースの作成

Azureサービスのリソースの作成をクリックします

DocumentInteligenceで検索をします

Document Intelligence (form recognizer)の中の作成~Document Intelligence (form recognizer)をクリックします。

必要事項を入力して作成します

4.エンドポイントとキーの取得

作成が成功すると一覧に表示されます。クリックすると詳細が表示されます。

エンドポイントを取得します

キーの管理をクリックし、キー1またはキー2の内容を取得します


★ロボデザインへの設定

ロボデザインのツールバーの設定を開き、AZUREキーとAZURE-エンドポイントを設定します。設定するとコントロールパネルのその他のOCR関連にイメージ解析アクションが表示されます。


★ROBOWEBへの設定

ROBOWEBへシステム管理者ユーザーでログインします。システム管理者~システム設定と開き、イメージ解析へAzureキーとAzureエンドポイントを設定します。

リリースノート – 0.10.12 (2025-02-17)

◆機能追加

>ロボデザイン

・アプリ操作の各アクションで設定するタイムアウト時間をまとめて変更する機能を追加しました。こちらをご覧ください。

>ブラウザ操作

・ブラウザ操作の要素に対するアクションの候補にダウンロードを追加しました。XXXXを見つけてダウンロードをクリックすると、ダウンロードの設定がされた状態で設定画面が開きます。

・フリーハンドアクションでPDFへパスワードの設定や解除する機能を追加しました。こちらの共通部品で利用可能です。

>エクセル操作

・印刷範囲の設定アクションを追加しました。こちらをご覧ください。

・エクセルを開くアクションに外部リンクを更新して開く機能を追加しました。こちらをご覧ください。

>アプリ操作

・以下の各アクションへproxyを使用する機能を追加しました。
【要素】文字変換アクションはこちらをご覧ください。
指定の文字に対してマウス操作アクションはこちらをご覧ください。
指定の文字が出るまで待つアクションはこちらをご覧ください。
指定の文字が消えるまで待つアクションはこちらをご覧ください。
文字変換アクションはこちらをご覧ください。
この範囲内の指定の文字に対してマウス操作アクションはこちらをご覧ください。
【表】値取得アクションはこちらをご覧ください。

>ファイル操作

・CSVの再フォーマットアクションを追加しました。こちらをご覧ください。

>その他

・イメージ解析アクションを追加しました。こちらをご覧ください。

・メール送信アクションで添付ファイルを指定する機能へ、指定したフォルダに保存されているファイルをすべて添付する機能を追加しました。こちらをご覧ください。

・OCR読み込みアクションへproxyを使用する機能を追加しました。こちらをご覧ください。

>ROBOWEB

・管理者用のレポート表示機能を追加しました。こちらをご覧ください。

・ログインユーザーに割り当てる権限に種類を追加しました。こちらをご覧ください。

・ユーザー編集画面へユーザーが閲覧可能なプロジェクトの一覧を追加しました。こちらをご覧ください。

・ユーザー一覧画面へ表示するユーザーをフィルターする機能を追加しました。こちらをご覧ください。

・ログ詳細画面へ表示するログをフィルターする機能を追加しました。こちらをご覧ください。

>ロボロック

・スクリーンセーバーを起動しないようにする設定を追加しました。こちらをご覧ください。


機能修正

>ロボデザイン

・ロボデザインの起動速度を改善しました。

・ロボット名や変数一覧のグループ名、変数名が長い場合に表示が一部見えない問題がありました。それぞれへマウスカーソルをあわせたときに名前のすべてを表示するように変更しました。

>ブラウザ操作

・アプリを開くアクションでChromeやEdgeを起動~ブラウザ起動アクションでChrome(アプリケーション)やEdge(アプリケーション)で開いたChromeやEdgeでも、ファイルをダウンロードするフォルダやファイル名を指定できるよう変更しました。

>エクセル操作

・エクセル操作の各アクションで処理可能な列の数の上限を500列から1000列へ変更しました。

>ファイル操作

・ファイル削除アクションを自分以外が作成したファイルも削除できるように変更しました。

>ROBOWEB

・ログの一覧に表示される行数を5000へ変更しました。

・自動的にログファイルを削除する機能へ削除されず残ったままになっているログファイルも削除するように変更しました。

・デイリーバックアップを設定していなかった場合に、トップページに警告を出すように変更しました。


バグフィックス

>ロボデザイン

・変数の使用中のアクション一覧の表示サイズを修正しました。

>ブラウザ操作

・Chromeを閉じた時にChromeのプロセスが残ってしまう不具合を修正しました。

・Chromeを使っている場合にスプレッドシートの値編集アクションを実行すると、値が二重入力される不具合を修正しました。

>エクセル操作

・画像の挿入アクションのファイル名へ$[変数名]という方法で変数を設定できなかった不具合を修正しました。

・変換出力アクションでpdfを出力するときにエラーが発生した場合、3回まで自動的にリトライするように修正しました。

・セルのクリアアクションで処理対象のシートを変更して保存しても、変更前のシートに戻ってしまう不具合を修正しました。

>アプリ操作

・【表】値取得アクションで、事前に表を再読み込みにチェックがあるとエラーになる不具合を修正しました。

>変数操作

・変数の値を加工アクションで加工する対象の変数の文字数が多いと、アクションの編集画面が開かない不具合を修正しました。編集画面を開くときに変数の文字数を10万文字までしか読み込まないようにしています。

>その他

・圧縮解凍アクションで一部の特殊文字もパスワードへ使用できるように修正しました。

>ROBOWEB

・ログの総件数が一定数をこえると性能が劣化する不具合を修正しました。

・ログが一定のサイズをこえるとログの詳細画面が開かなくなる不具合を修正しました。

>ロボクライアント

・Chromeドライバーの自動更新がまれにできていない不具合を修正しました。

>ロボアップデーター

・バージョンアップを行ったときにまれに異常終了する不具合を修正しました。