概要
WinActor は以下に示す自動操作インターフェースを持っています。これらのインターフェースを組み合わせてシナリオを作っていきますが、見本操作による学習ができるのは、UI識別型インターフェースと座標指定型インターフェースになります。画像識別型インターフェースは、予め用意されている自動操作部品の設定画面で、クリックする場所を指定したり、アクセスするファイルを指定したりする要領で作っていきます。
| UI識別型 Edge / Chrome / Firefox / イベント / UIオートメーション |
画像識別型 画像マッチング |
座標指定型 エミュレーション モード |
ファイル向け Excel/CSV |
|
|---|---|---|---|---|
Edge/Chrome/Firefox画面 |
 |
|
|
 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Edgeモード / Chromeモード / Firefoxモード
ブラウザ毎に専用の記録モード(※)が用意されています。 画面上のボタンや入力欄をXpathで管理します。どのボタンやテキスト入力欄が操作されたかを覚えて自動操作を行います。
Java・Flash・リモートデスクトップ、SBC クライアントなどのアプリケーションは、IE モードで入力操作やクリック操作の記録ができません。各 ブラウザ専用モードで記録できない場合は、エミュレーションモードと画像識別型インターフェースの「画像マッチング」を組み合わせて操作を記録していきます。
※EdgeモードはMicrosoft Edge(Chromium)専用の記録モードとなります。
イベントモード（UI識別型）
イベントモードでは、画面上のボタンや入力欄に通し番号を付けて管理します。何番目の入力欄が操作されたかの番号を覚えて自動操作を行います。
イベントモードによる記録は、Windows OS上の信号(イベント)を監視することで見本操作を検出しているため、記録できるアプリケーションは信号を発するもの、即ちWindows 純正ライブラリで開発されたアプリケーションに限られます。
イベントモードで記録できない場合は、エミュレーションモードで記録します。
エミュレーションモード（座標指定型）
マウスが画面上でどのように動いたか、どのタイミングでキーボード操作やクリック操作が行われたかを覚えて自動操作を行います。シナリオには、「画面の左上を基点にして右に10 ピクセル、下に5 ピクセルの位置をクリックする」「キーボードでCTRL+V を押す」といった情報が記録されます。
画面の大きさが変わった場合に、入力欄の位置が変わるような画面を自動操作する場合は、記録時と実行時で画面の大きさを統一する運用が必要になります。
画像マッチング（画像識別型）
アイコンや入力欄の画像を覚えて自動操作を行います。記録した時と同じ形状のアイコンをクリックしたり、記録した時と同じ形状の入力欄にカーソルを移動させたりすることができます。
シナリオにはアイコンや入力欄の形状が画像データとして記録されます。フォントサイズや表示倍率が変更できる画面を自動操作する場合は、記録時と実行時でフォントサイズや表示倍率を統一する運用が必要になります。「画像マッチング」という操作部品（ノード）を使ってシナリオに記録します。