Selenium Core 0.8.0 レビュー(その１)

Tech Selenium

2006/8/20にリリースされたSeleniumCore 0.8.0を動かしてみました。(エントリ長いですｗ)
まずはリリースノートから。

リリースノート

ハイライト：

  • "multiWindow"オプション。フレーム問題に対応。
  • ポップアップウィンドウのページロード検出信頼性up
  • 新機能：cookie系のコマンド
  • 試験の実行は、これまでのRun/Walk/Stepラジオボタンの代わりに、run-speedスライダーと"Pause"ボタンで
  • 多数のバグフィックスと安定性向上
  • 最新版のFirefox, IE6, Opera, Konqueror, Safari and WebKitでテスト済み

注意点：

  • FirefoxでmultiWindowオプションを使用する際は、"readyState.xpi"extensionが必要。
  • Javascriptコードを大量にリファクタリング。特に"TestRunner"UI周り。そのためいくつかのuser-extensionが動かない可能性あり。

下準備

  • テスト対象のアプリは単純なEmployee-Departmentみたいなやつ。
  • とりあえずローカルPCでTomcat起動して、アプリとSelenium(Core)をデプロイ。
  • 一通り作成してあるテストケースを0.7.1と、0.8.0(シングルウィンドウ)、0.8.0(マルチウィンドウ)で動作させてみる。
  • user-extensions.jsに追記あり。(button=ロケータ)
  • Selenium用のプロジェクトにCore0.7.1とCore0.8.0を両方配置。indexからTestRunnerを起動するときにそれぞれのバージョンのTestRunnerを指定するようにする。
  • multiWindowオプションを使うときはリクエストパラメータmultiWindow=trueを追加。

こんな感じ(index.html)

<h3>Selenium結合テストIndex 0.7.1</h3>
<br>
<a href="/SeleniumTest/selenium-core/core/TestRunner.html?test=../../testhtml-it/All_TestSuite.html"
target="_blank">All_Test</a>
<br>
<h3>Selenium結合テストIndex 0.8.0 single window</h3>
<br>
<a href="/SeleniumTest/selenium-core_080/core/TestRunner.html?test=../../testhtml-it/All_TestSuite.html"
target="_blank">All_Test</a>
<br>
<h3>Selenium結合テストIndex 0.8.0 multi window</h3>
<br>
<a href="/SeleniumTest/selenium-core_080/core/TestRunner.html?test=../../testhtml-it/All_TestSuite.html&multiWindow=true"
target="_blank">All_Test</a>
<br>

試験実施結果

  • 0.7.1の実行結果：当然ですが問題なし。

  • 0.8.0(シングルウィンドウ)の実行結果：問題なく(0.7.1と同様に)動作しました。

  • 0.8.1(マルチウィンドウ)まずは起動直後の状態。別々のウィンドウが上下に２つ表示されます。１つは今までと同じ感じ。でもウィンドウ下ペイン(今までアプリが表示されていた場所)は試験実行しても何も表示されません。→なので下ペイン部分を隠すようにウィンドウサイズを変更して試験実施。

  • 0.8.1(マルチウィンドウ)の実行結果：あれれ、エラーが6件発生しています。。


2回目。。??エラーが3件になっています。。
??発生するエラーが不特定。。なんか環境依存っぽい？？
→実行速度を遅くしてみました。が、あまり変わらず。
エラーになっているのはclickAndWaitのところで「書き込みできません」というもの。
あと、確認ダイアログを扱えなくて(手動でOKボタン押さないと次にいかない)、という状況も発生。
リンクからTestRunner上げなおしてリトライしてみたら。。全部通った(Speedも最速)＠＠；

うーみゅ。。
じゃあこの状態でもう一度All実行。。あれー、７Caseエラーになってるけど、テストケースのとこみると全部緑になってる。。なんか安定性に欠けてます。。
ではこの状態からSpeedを8割位にして再度All実行。うーん。。さっきと同じ7件。
TestRunnerでリロードしてないからかな？ではリロードして再度All。今度は8件で、エラー内容は全てclickAndWaitの行で「書き込みできません」。
ということで、現状以下のパターン。

    • 普通に全部OK。
    • TestSuiteの表示(色)はピンクでNGだけど、テストケースの内容結果みてみると緑。
    • clickAndWaitの行で「書き込みできません」エラー
    • 確認ダイアログが扱えなくて停止しちゃう。

明日原因とかわかるといいなぁ。。