【ブラウザ操作】フォーカスがあたらないサイトへのアクションの作成

WEBサイトによっては、アクションを作成するときに操作したい個所をクリックして選択したときに表示されるフォーカス(ピンクの四角)表示されないことがあります。
※ブラウザがChromeやEdgeで発生します。Firefoxでは発生していません(2025年8月28日時点)

フォーカスが当たる
フォーカスが当たらない

フォーカスが当たらないサイトの場合、こちらで紹介したF2キーをおして要素の一覧を表示する方法も利用できません

フォーカスが当たらない場合の対応は?

ロボット実行時の設定を開く

コントロールパネルのオプション~ロボット実行時の設定と開きます。

ブラウザの要素指定方法の設定を変更

手動設定に変更します。手動設定に変更してブラウザ起動アクションから再実行し、対象の画面を表示してください。F2キーを押すと要素の一覧が表示されます。操作したい要素を一覧から選択、右クリックを押してメニューを表示します

一覧が表示される
右クリックしてメニューを表示、アクションを選択する

ブラウザの要素指定方法の変更時の注意点

要素指定方法はスケジュール実行でも引き継がれる

要素指定方法を自動設定で作成したアクションは、スケジュール実行でも自動設定で実行されます。手動設定で作成したアクションも、スケジュール実行では手動設定で実行されます。

手動設定でしかフォーカスが当たらないサイトは自動設定で動かない

アクションを作成したときにフォーカスが当たらないサイトだったので、手動設定に変更してからアクションを作成しました。このとき、自動設定へ変更してからテストやスケジュールでアクションを実行すると、要素が見つかりません、というエラーが発生します。フォーカスが当たらないサイトは手動設定で作成、実行も手動設定のまま行ってください。

フォーカスが当たるサイトは、自動設定で作成したアクションは手動設定に変更しても動きます。また手動設定で作成したアクションは自動設定へ変更しても動きます。

【ROBOWEB】ユーザー権限

★ページの説明・概要

RoboWebで作成するユーザーの権限にはいくつか種類があります。権限ごとに操作できることを一覧にまとめました。

区分できること・操作システム
管理者(admin)
システム
管理者(admin以外)
プロジェクト
管理者
プロジェクト
メンバー
即時実行
SV
即時実行
メンバー
ロボデザインロボットの作成
ROBOWEBへアップロード
参照権限のあるプロジェクトのみ可能
ROBOWEBからダウンロード
参照権限のあるプロジェクトのみ可能
ROBOWEBROBOWEBの設定
(システム管理者画面の操作)
プロジェクトの作成
プロジェクトへの参照権限の付与
(プロジェクトメンバーの追加)

全てのPJ

作成PJのみ※1

作成PJのみ
スケジュールの作成・編集
全てのPJ

作成PJのみ※1

作成PJのみ

所属PJのみ
スケジュールのパラメータの変更
全てのPJ

作成PJのみ※1

作成PJのみ

所属PJのみ

所属PJのみ
スケジュールの即時実行&即時停止

全てのPJ

作成PJのみ※1

作成PJのみ

所属PJのみ

所属PJのみ

所属PJのみ
ログの閲覧

全てのPJ

作成PJのみ※1

作成PJのみ

所属PJのみ

所属PJのみ

所属PJのみ

※1・・・admin以外のシステム管理者権限も、0.10.13から自分以外が作成したプロジェクトの操作が可能になります(adminユーザーと同じことができるようになる)

【アプリ操作】アプリ操作をするアクションの作り方

◆ロボデザインでアプリ操作をするアクションを作る手順

ロボデザインでアプリ操作を行うアクションを作る手順について、説明します。

1.対象のアプリを起動する

操作対象のアプリを起動します。アプリを開くアクションを使うか、デスクトップやタスクバーにおいたショートカットをクリックして起動します

1ー1.アプリを開くアクションを使う場合

アプリを開くアクションを使い、対象のアプリを起動します

1ー2.デスクトップやタスクバーのショートカットをクリックして起動する

アプリに接続アクションを使い、デスクトップやタスクバーへ接続します。次にマウス操作でショートカットをクリックします

2.起動したアプリに接続する

起動中のアプリに接続アクションを使って、操作するアプリに接続を行います。
接続先の一覧から操作するアプリを選択します。このときに接続先のアプリで可変の部分を「.*」に変更します。

たとえば以下だとMeryというアプリに接続するのですが、「20250519.txt」という箇所が可変です。

.*に変更します。

3.マッチング方式を選択する

アプリに接続アクションを実行すると、アプリデザインが起動します。マッチング方式を選択しましょう。要素>文字>画像の順に安定して動きます。

5.アクションを作成する

操作したい個所を選択して右クリックし、作成したいアクションをクリックしてアクションを作成します。

6.ウィンドウが表示された場合

アクションを設定できるのは、接続中のアプリのウィンドウです。もし操作していた同じアプリで別にウィンドウが表示された場合は、アプリの接続アクションを使って別のウィンドウへ接続をし直します

【アプリ操作】うまくいかないときは(画像マッチング)2

◆マッチング方式を画像にしたときに「特徴で判定を使おう」

アプリ操作で画像マッチングを使うとき(使わざるを得ないとき)があります。特徴で判定を使うと安定して動くことが多いです。

見た目で判定と特徴で判定の違いはこちら

image01

特徴で判定を使う場合は、対象の画像を大きめに設定するのがコツです。

image02

アクションを実行する前に操作対象を正しく設定できたか、操作対象にフォーカスを押して確認しましょう

image03

【OCR関連】AzureOCRとの連携をするための設定

AzureOCRと連携してイメージ解析アクションを使うためには設定が必要です。

AzureキーとAzureエンドポイント取得し、ロボデザインとROBOWEBへそれぞれ設定を行います。

★キーとエンドポイントを取得する

1.アカウントを設定する

Microsoft Azureのアカウントを設定します。

https://signup.azure.com/signup?offer=ms-azr-0044p&appId=102&ref=&redirectURL=https:%2F%2Fazure.microsoft.com%2Fget-started%2Fwelcome-to-azure%3Fsrc%3Dacom_free&l=ja-jp

2.Azureのホームへ

MicrsoftAzureのトップページを表示します

ホーム – Microsoft Azure

3.リソースの作成

Azureサービスのリソースの作成をクリックします

DocumentInteligenceで検索をします

Document Intelligence (form recognizer)の中の作成~Document Intelligence (form recognizer)をクリックします。

必要事項を入力して作成します

4.エンドポイントとキーの取得

作成が成功すると一覧に表示されます。クリックすると詳細が表示されます。

エンドポイントを取得します

キーの管理をクリックし、キー1またはキー2の内容を取得します


★ロボデザインへの設定

ロボデザインのツールバーの設定を開き、AZUREキーとAZURE-エンドポイントを設定します。設定するとコントロールパネルのその他のOCR関連にイメージ解析アクションが表示されます。


★ROBOWEBへの設定

ROBOWEBへシステム管理者ユーザーでログインします。システム管理者~システム設定と開き、イメージ解析へAzureキーとAzureエンドポイントを設定します。

【エクセル操作】印刷範囲設定

★アクションの説明、概要

エクセルを印刷する範囲を設定する方法について説明しています。


★アクションの作成方法


★アクションの設定画面について

1.基本設定

1-1.ブック

ロボットが開いているエクセルのうち、どのエクセルを操作対象にするか選択します。名前とインデックスから選択します。

・名前

エクセル名で指定します。変数参照可能です。

・インデックス

インデックスで指定します。ロボットがエクセルを開いた順番でインデックスが定義されます。

1-2.シート名

ロボットが操作するシートを選択します。名前とインデックスから選択します。

・名前

シート名で指定します。変数参照可能です。

・インデックス

インデックスで指定します。シートが作成された順番でインデックスが定義されています。

1-3.対象となるセル

処理を行う範囲を設定します。変数参照可能です。

1-4.データ範囲設定

ロボットが処理を行う対象となるセルを固定にするか、データ量に応じて変わるのか設定します。

・現在の範囲

処理を行う範囲が対象となるセルの範囲に固定されます。

・範囲を拡張する

処理を行う範囲が処理の都度変わる可能性がある場合は、範囲を拡張するを選択します。

・行方向へ拡張する

データ範囲設定で範囲を拡張するを選択している場合に設定できます。範囲を行方向へ拡張する場合はチェックを入れてください

・列方向へ拡張する

データ範囲設定で範囲を拡張するを選択している場合に設定できます。範囲を列方向へ拡張する場合はチェックを入れてください


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

【OCR関連】イメージ解析

★アクションの説明、概要

スキャンした帳票や伝票のデータ画像を、MicrosoftのDocumentInteligenceを使ってデータ化します。
MicrosoftのDocumentInteligenceと契約が必要です。契約や設定方法はこちらをご覧ください。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。

1.基本設定

1-1.適用するモデル

MicrosoftのDocumentInteligenceからデータ化する帳票に応じたモデルを選択します。

1-2.イメージPath

アップロードするファイルのパスを設定します。変数参照可能です。またシステム値を使用可能です。システム値の説明はこちら。

1-3.出力CSVPath

アップロードしたファイルのデータはCSVファイルとして保存します。CSVファイルのパスを設定します。変数参照可能です。またシステム値を使用可能です。システム値の説明はこちら。


2.高度な設定

2-1.プロキシ

Proxyを使用する

MicrosoftのDocumentInteligenceへのアップロードを行うときに、プロキシサーバを経由する場合は使用するを選択します

Proxyを使用しない

MicrosoftのDocumentInteligenceへのアップロードを行うときに、プロキシサーバを経由しない場合は使用しないを選択します

2-2.解析結果の格納先

アップロードしたファイルをCSVにするまえのデータを取得できます。取得したデータの格納先の変数を設定します。

2-3.アクション有効

このアクションを無効にする場合は、チェックを外します。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

リリースノート – 0.10.12 (2025-02-17)

◆機能追加

>ロボデザイン

・アプリ操作の各アクションで設定するタイムアウト時間をまとめて変更する機能を追加しました。こちらをご覧ください。

>ブラウザ操作

・ブラウザ操作の要素に対するアクションの候補にダウンロードを追加しました。XXXXを見つけてダウンロードをクリックすると、ダウンロードの設定がされた状態で設定画面が開きます。

・フリーハンドアクションでPDFへパスワードの設定や解除する機能を追加しました。こちらの共通部品で利用可能です。

>エクセル操作

・印刷範囲の設定アクションを追加しました。こちらをご覧ください。

・エクセルを開くアクションに外部リンクを更新して開く機能を追加しました。こちらをご覧ください。

>アプリ操作

・以下の各アクションへproxyを使用する機能を追加しました。
【要素】文字変換アクションはこちらをご覧ください。
指定の文字に対してマウス操作アクションはこちらをご覧ください。
指定の文字が出るまで待つアクションはこちらをご覧ください。
指定の文字が消えるまで待つアクションはこちらをご覧ください。
文字変換アクションはこちらをご覧ください。
この範囲内の指定の文字に対してマウス操作アクションはこちらをご覧ください。
【表】値取得アクションはこちらをご覧ください。

>ファイル操作

・CSVの再フォーマットアクションを追加しました。こちらをご覧ください。

>その他

・イメージ解析アクションを追加しました。こちらをご覧ください。

・メール送信アクションで添付ファイルを指定する機能へ、指定したフォルダに保存されているファイルをすべて添付する機能を追加しました。こちらをご覧ください。

・OCR読み込みアクションへproxyを使用する機能を追加しました。こちらをご覧ください。

>ROBOWEB

・管理者用のレポート表示機能を追加しました。こちらをご覧ください。

・ログインユーザーに割り当てる権限に種類を追加しました。こちらをご覧ください。

・ユーザー編集画面へユーザーが閲覧可能なプロジェクトの一覧を追加しました。こちらをご覧ください。

・ユーザー一覧画面へ表示するユーザーをフィルターする機能を追加しました。こちらをご覧ください。

・ログ詳細画面へ表示するログをフィルターする機能を追加しました。こちらをご覧ください。

>ロボロック

・スクリーンセーバーを起動しないようにする設定を追加しました。こちらをご覧ください。


機能修正

>ロボデザイン

・ロボデザインの起動速度を改善しました。

・ロボット名や変数一覧のグループ名、変数名が長い場合に表示が一部見えない問題がありました。それぞれへマウスカーソルをあわせたときに名前のすべてを表示するように変更しました。

>ブラウザ操作

・アプリを開くアクションでChromeやEdgeを起動~ブラウザ起動アクションでChrome(アプリケーション)やEdge(アプリケーション)で開いたChromeやEdgeでも、ファイルをダウンロードするフォルダやファイル名を指定できるよう変更しました。

>エクセル操作

・エクセル操作の各アクションで処理可能な列の数の上限を500列から1000列へ変更しました。

>ファイル操作

・ファイル削除アクションを自分以外が作成したファイルも削除できるように変更しました。

>ROBOWEB

・ログの一覧に表示される行数を5000へ変更しました。

・自動的にログファイルを削除する機能へ削除されず残ったままになっているログファイルも削除するように変更しました。

・デイリーバックアップを設定していなかった場合に、トップページに警告を出すように変更しました。


バグフィックス

>ロボデザイン

・変数の使用中のアクション一覧の表示サイズを修正しました。

>ブラウザ操作

・Chromeを閉じた時にChromeのプロセスが残ってしまう不具合を修正しました。

・Chromeを使っている場合にスプレッドシートの値編集アクションを実行すると、値が二重入力される不具合を修正しました。

>エクセル操作

・画像の挿入アクションのファイル名へ$[変数名]という方法で変数を設定できなかった不具合を修正しました。

・変換出力アクションでpdfを出力するときにエラーが発生した場合、3回まで自動的にリトライするように修正しました。

・セルのクリアアクションで処理対象のシートを変更して保存しても、変更前のシートに戻ってしまう不具合を修正しました。

>アプリ操作

・【表】値取得アクションで、事前に表を再読み込みにチェックがあるとエラーになる不具合を修正しました。

>変数操作

・変数の値を加工アクションで加工する対象の変数の文字数が多いと、アクションの編集画面が開かない不具合を修正しました。編集画面を開くときに変数の文字数を10万文字までしか読み込まないようにしています。

>その他

・圧縮解凍アクションで一部の特殊文字もパスワードへ使用できるように修正しました。

>ROBOWEB

・ログの総件数が一定数をこえると性能が劣化する不具合を修正しました。

・ログが一定のサイズをこえるとログの詳細画面が開かなくなる不具合を修正しました。

>ロボクライアント

・Chromeドライバーの自動更新がまれにできていない不具合を修正しました。

>ロボアップデーター

・バージョンアップを行ったときにまれに異常終了する不具合を修正しました。

【ファイル操作】CSVの再フォーマット

★アクションの説明、概要

CSVファイルの列を並び替えたり、不要な列を除外して別ファイルに保存します。また不要なデータを除くことも可能です。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。

1.基本設定

1-1.元のファイル

元のファイルを設定します。変数参照可能です。またシステム値を使用可能です。システム値の説明はこちら。

1-2.再フォーマット後のファイル

再フォーマットしたファイルの出力先を設定します。変数参照可能です。またシステム値を使用可能です。システム値の説明はこちら。

1-3.ファイルが存在した場合

・上書きする

再フォーマット後に設定したフォルダ内に同じ名前のファイルがあったときに、上書き保存する場合はこちらを選択します。

・上書きしない

再フォーマット後に設定したフォルダ内に同じ名前のファイルがあったときに、上書き保存しないでエラーとする場合はこちらを選択します。

1-4.行の絞り込み

ファイルを設定します。設定した文字列に該当する行だけが残ります。変数参照可能です。

1-5.対象の列

行の絞り込みで設定した文字列でフィルタをかける対象の列を指定します。

1-6.一覧更新

元のファイルを設定した、または設定しなおしたときに並び替えに表示されている内容を更新するときに押してください。

1-7.初期化

並び替え後に設定した内容をすべてクリアするときに押してください。

1-8.並び替え前 全選択

並び替え前の列を全選択する場合は全選択ボタンを押してください。個々の列を選択する場合は表内の列を選択してください。Ctrl+Cで複数選択が可能です。

1-9.→

並び替え前に表示されている項目名の一覧から、出力したい列の順に→ボタンを使って並び替え後に設定します。

1-10.←

並び替え後に設定した項目名を、並び替え後の一覧から除きたい場合に押してください。

1-11.↑↓

並び替え後に設定した項目名の順番を入れ替えたい場合に押してください。

1-12.並び替え後 全選択

並び替え後の列を全選択する場合は全選択ボタンを押してください。個々の列を選択する場合は表内の列を選択してください。Ctrl+Cで複数選択が可能です。


2.高度な設定

2-1.アクション有効

このアクションを無効にする場合は、チェックを外します。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。

【AI-OCR関連】CSVダウンロード

★アクションの説明、概要

AI-OCRシステム「JobAuto AI-OCR」でOCR後のデータをCSVでダウンロードします。AI-OCRシステム「JobAuto AI-OCR」と契約しているお客様専用のアクションです。


★アクションの作成方法


★アクションの設定画面について

アクション設定画面の設定項目についての説明は以下の通りです。

1.基本設定

1-1.CSV

ダウンロードするCSVのフォルダとファイル名を設定します。変数参照可能です。またシステム値を使用可能です。システム値の説明はこちら。

1-2.イメージの種類

JobAuto AI-OCRに登録されているイメージの種類を選択します。選択したイメージのデータがCSVファイルとしてダウンロードされます

1-3.期間

ダウンロードするデータの期間を設定します。

・今日

今日JobAuto AI-OCRにアップロードしたイメージがダウンロード対象になります。

・昨日以降

昨日以降にJobAuto AI-OCRにアップロードしたイメージがダウンロード対象になります。

・1週間前以降

今日から1週間前以降にJobAuto AI-OCRにアップロードしたイメージがダウンロード対象になります。

1-4.目視確認

JobAuto AI-OCR上のイメージのステータスで、ダウンロードするデータを絞り込みます。

・確認済

イメージのステータスが目視確認済みになっているデータをダウンロードします

・未確認

イメージのステータスが目視確認済み以外のデータをダウンロードします

・すべて

すべてのデータをダウンロードします


2.高度な設定

2-1.プロキシ

Proxyを使用する

JobAuto AI-OCRへのアップロードを行うときに、プロキシサーバを経由する場合は使用するを選択します

Proxyを使用しない

JobAuto AI-OCRへのアップロードを行うときに、プロキシサーバを経由しない場合は使用しないを選択します

2-2.アクション有効

このアクションを無効にする場合は、チェックを外します。


3.エラー発生時の対応

3-1. エラー時の処理

エラーが発生したときの設定を行います。詳細はこちらをご確認ください。

3-2.基点となる条件分岐

エラー時の処理で条件分岐の次のフローに移動を選択したときに、設定することができます。アクションでエラーが発生した場合、移動先の条件分岐を選択します。

3-3. エラー時にログ出力

エラーが発生したときにログに出力するか設定します。スケジュール実行したときのログへ出力されます。エラーとして扱わない場合は、チェックを外します。詳細はこちらをご確認ください。