Автоматизированное функциональное тестирование

[mau]

Все привет.
Пробовал кто-нибудь настоить функциональное (регрессивное) тестирование собственных разработок? Поделитесь опытом, plz.

[lvan]

я пробовал тестировать в AX2012 с помощью VS
работает, но тестовые скрипты неудобно набивать
есть видео с демонстрацией с Tech Conference 2011 на эту тему
вот блог чувака из Microsoft, который этим занимался http://blogs.msdn.com/b/dave_froslie/
как видно, он давненько не писал. наверное уволили =)

[rDenis2]

Иван, спасибо.

[TerraRaa]

Добрый день!

Хочу поделиться опытом успешной автоматизации UI-тестирования AX.
Полгода назад, когда была поставлена эта задача, также не могла найти информации о практиках автоматизации регресса AX-систем, кроме продуктов Axeptance и Bonair, полностью интегрирующихся в Ax. Но для нашего случая они не подошли, по причине того, что в регресс входила работа с web-формами RF Interface модуля WHS (складской системы). Поэтому рассматривали стандартные инструменты автоматизации тестирования: TestComplete, SilkTest, Ranorex и пр. В итоге остановились на Ranorex по причине полной поддержки .Net и удобного механизма обращения к объектам. За несколько месяцев полностью автоматизировали регресс.

[Ivanhoe]

А можете примерно сказать, сколько потратили на это (можно в деньгах, можно в часах) и что получили взамен (можно в деньгах, можно в часах)? На практике вопрос возникает достаточно часто, вот только никто не хочет платить за это, т.к. выход непонятен. Вопрос именно про AX.

[TerraRaa]

Затраты: стоимость инструмента (указана на сайте ranorex.com) + рабочие часы специалиста (изучение инструмента, создание тестовых сценариев, разработка методологии и самих скриптов, ну и разумеется, их поддержка, запуск, анализ результатов).
Результат: возможность проводить качественный регресс и убеждаться в работоспособности функционала до выкладки релиза, а в случае обнаружения проблем, своевременно предпринимать меры по устранению ошибок или отказе от некачественной версии до установки на прод.

[gl00mie]

Не, это понятно, что на входе лицензии + трудозатраты, а на выходе - возможности что-то делать автоматом. Тут именно цифры интересны:

• сколько часов ушло на изучение инструмента, создание тестовых сценариев (если до этого их не было), написание скриптов;
• сколько ошибок в итоге удалось отловить с помощью этого инструмента, насколько сократились трудозатраты на тестирование. Скажем, раньше каждый прогон занимал 24 человекочаса, за цикл разработки делалось N прогонов, итого 24N человекочасов, теперь прогон занимает 0,5 человекочаса (анализ логов), за цикл разработки делается M > N прогонов, плюс 20 часов актуализируются скрипты, что в итоге дает 0,5M + 20 человекочасов, экономия столько-то часов, сокращение периода с появления ошибки до ее обнаружения в M/N раз.

В консалтинге, к сожалению, нельзя сказать клиенту, мол, заплати за автоматизацию тестирования столько-то денег, и это даст "возможность проводить качественный регресс, своевременно предпринимать меры по устранению ошибок" - такие абстрактные выкладки клиент не поймет...