Стресс тестирование программного обеспечения

Содержание

Стресс-тестирование
Стресс-тестирование | Тестирование программного обеспечения
Стресс-тестирование программного обеспечения
Содержание
Основные принципы
Пропорциональная нагрузка
Диспропорциональная нагрузка
Тестирование Ёмкости
Стресс-тестер для соревнований по программированию
Введение
Стратегия
Выбор технологий
1. Генерация тестовых файлов
2. Bash

Стресс-тестирование

Стресс-тестирование (англ. Stress Testing) — один из видов тестирования программного обеспечения, которое оценивает надёжность и устойчивость системы в условиях превышения пределов нормального функционирования.

Стресс-тестирование особенно необходимо для «критически важного» ПО, однако также используется и для остального ПО. Обычно стресс-тестирование лучше обнаруживает устойчивость, доступность и обработку исключений системой под большой нагрузкой, чем то, что считается корректным поведением в нормальных условиях.
Термин «стресс-тестирование» часто используется как синоним «нагрузочного тестирования», а также «тестирования производительности», что ошибочно, так как эти виды тестирования отвечают на разные бизнес-вопросы и используют различную методологию.

В общем случае методология стресс-тестирования основана на снятии и анализе показателей производительности приложения при нагрузках, значительно превышающих ожидаемые на стадии сопровождения и несёт в себе цель определить выносливость или устойчивость приложения на случай всплеска активности по его использованию.

Необходимость стресс-тестирования диктуется следующими факторами:

Большая часть всех систем разрабатываются с допущением о функционировании в нормальном режиме и даже в случае, когда допускается возможность увеличения нагрузки, реальные объёмы её увеличения не принимаются во внимание.
В случае SLA-контракта (соглашения об уровне услуг) стоимость отказа системы в экстремальных условиях может быть очень велика.
Обнаружение некоторых ошибок или дефектов в функционировании системы не всегда возможно с использованием других типов тестирования.
Тестирования, проведенного разработчиком, может быть недостаточно для эмуляции условий, при которых происходит отказ системы.
Предпочтительнее быть готовым к обработке экстремальных условий системы, чем ожидать её отказа.

Основные направления применения стресс-тестирования:

1. Общее исследование поведения системы при пиковых нагрузках.
2. Исследование обработки ошибок и исключительных ситуаций
системой при пиковых нагрузках.
3. Исследование узких мест системы или отдельных компонент при
диспропорциональных нагрузках.
4. Тестирование ёмкости системы.

Стресс-тестирование, как и нагрузочное тестирование, также может быть использовано для регулярной оценки изменений производительности с целью получения для дальнейшего анализа динамики изменения поведения системы за длительный период.

Источник

Стресс-тестирование | Тестирование программного обеспечения

Обязательное условие — Типы тестирования программного обеспечения
Стресс-тестирование — это метод тестирования программного обеспечения, который определяет надежность программного обеспечения путем тестирования за пределами нормальной работы. Стресс-тестирование особенно важно для критически важного программного обеспечения, но используется для всех типов программного обеспечения. Стресс-тестирование делает упор на надежность, доступность и обработку ошибок при большой нагрузке, а не на правильном поведении в нормальных ситуациях.

Стресс-тестирование определяется как тип тестирования программного обеспечения, который проверяет стабильность и надежность системы. Этот тест, в частности, определяет ее устойчивость и устойчивость к ошибкам в условиях чрезвычайно высокой нагрузки. Он даже тестирует за пределами нормальной рабочей точки и анализирует работу системы в экстремальных условиях. Стресс-тестирование проводится, чтобы убедиться, что система не будет аварийно завершена в критических ситуациях. Стресс-тестирование также известно как « Испытание на выносливость» или « Пытки» .

Характеристики стресс-тестирования:

Стресс-тестирование анализирует поведение системы после сбоя.
Стресс-тестирование гарантирует, что система восстанавливается после сбоя.
Он проверяет, работает ли система в ненормальных условиях.
Это обеспечивает отображение соответствующего сообщения об ошибке, когда система находится в состоянии стресса.
Он проверяет, что неожиданные сбои не вызывают проблем с безопасностью.
Он проверяет, сохранила ли система данные перед сбоем или нет.

Процесс стресс-тестирования:

Типы стресс-тестирования:

Стресс-тестирование сервера-клиента :
В этом стресс-тестировании тестирование выполняется на всех клиентах с сервера.
Стресс-тестирование продукта :
Стресс-тестирование продукта концентрируется на обнаружении дефектов, связанных с блокировкой и блокировкой данных, проблемами с сетью и перегрузкой в программном продукте.
Стресс-тестирование транзакций :
Стресс-тестирование транзакций выполняется для одной или нескольких транзакций между двумя или более приложениями. Это делается для тонкой настройки и оптимизации системы.
Систематическое стресс-тестирование :
Систематическое стресс-тестирование — это интегрированное тестирование, которое используется для тестирования нескольких систем, работающих на одном сервере. Он используется для обнаружения дефектов, когда данные одного приложения блокируют другое приложение.
Аналитическое стресс-тестирование :
Аналитическое стресс-тестирование проводится для тестирования системы с ненормальными параметрами или условиями, которые вряд ли произойдут в реальном сценарии. Это делается для обнаружения дефектов в необычных сценариях, например, при одновременном подключении большого количества пользователей или отключении базы данных при доступе с веб-сайта.

Инструменты стресс-тестирования:

Преимущества стресс-тестирования:

1. Стресс-тестирование определяет поведение системы после сбоя и обеспечивает быстрое восстановление системы.
2. Стресс-тестирование гарантирует, что сбой системы не вызовет проблем с безопасностью.
3. Стресс-тестирование позволяет системе работать как в нормальных, так и в ненормальных условиях.

Источник

Стресс-тестирование программного обеспечения

Стресс-тести́рование (англ. Stress Testing ) — один из видов тестирования программного обеспечения, которое оценивает надёжность и устойчивость системы в условиях превышения пределов нормального функционирования. Стресс-тестирование особенно необходимо для «критически важного» ПО, однако также используется и для остального ПО. Обычно стресс-тестирование лучше обнаруживает устойчивость, доступность и обработку исключений системой под большой нагрузкой, чем то, что считается корректным поведением в нормальных условиях.

Термин «стресс-тестирование» часто используется как синоним «нагрузочного тестирования», а также «тестирования производительности», что ошибочно, так как эти виды тестирования отвечают на разные бизнес-вопросы и используют различную методологию.

Содержание

Основные принципы

Необходимость стресс-тестирования диктуется следующими факторами:

Большая часть всех систем разрабатываются с допущением о функционировании в нормальном режиме и даже в случае, когда допускается возможность увеличения нагрузки, реальные объёмы её увеличения не принимаются во внимание.
В случае SLA-контракта (соглашения об уровне услуг) стоимость отказа системы в экстремальных условиях может быть очень велика.
Обнаружение некоторых ошибок или дефектов в функционировании системы не всегда возможно с использованием других типов тестирования.
Тестирования, проведенного разработчиком, может быть недостаточно для эмуляции условий при которых происходит отказ системы.
Предпочтительнее быть готовым к обработке экстремальных условий системы, чем ожидать её отказа.

Основные направления применения стресс-тестирования:

Общее исследование поведения системы при пиковых нагрузках.
Исследование обработки ошибок и исключительных ситуаций системой при пиковых нагрузках.
Исследование узких мест системы или отдельных компонент при диспропорциональных нагрузках.
Тестирование ёмкости системы.

Стресс-тестирование, как и нагрузочное тестирование также может быть использовано для регулярной оценки изменений производительности с целью получения для дальнейшего анализа динамики изменения поведения системы за длительный период.

Пропорциональная нагрузка

Стресс-тестирование может применяться как для обособленных приложений, так и для распределенных систем с клиент-серверной архитектурой. Простейшим примером стресс-тестирования обособленного приложения может являться открытие файла размером в 50 Мб программой Notepad, входящей в комплект ОС Windows. Условия стресс-тестирования приложения обычно формируются исходя из критических бизнес-процессов его функциональности, определенными на стадии разработки требований и анализа рисков группой, ответственной за производительность.

В общем случае в качестве условий для стресс-тестирования может использоваться линейно увеличенная ожидаемая нагрузка.

Диспропорциональная нагрузка

В случае тестирования многозвенных распределённых систем необходимо учитывать уже не только фактический объём нагрузки, состоящей из множества элементов, но и их пропорции в общем объёме.

Пример 1:

Веб-сервис предназначен для обработки и отображения созданных пользователем страниц, каждая из которых может состоять из обычного текста и динамических элементов управления. Известно, что один пользователь создает 1 страницу в день, которая содержит в среднем 1000 символов текста и одну форму. Известно также, что к системе идет 1 запрос на отображение исходной страницы в минуту. При этом скорость отображения страницы является критическим бизнес-процессом.

Используя описанную выше модель поведения использующих систему пользователей, несложно смоделировать изменение динамики нагрузки при их увеличении. Стресс-тест, в котором взята за основу такая модель нагрузки не адресует рисков, связанных с тем, что система перестанет удовлетворять требованиям производительности при изменении сценария её использования. Например, скорость отображения страницы может существенно снизиться, если пользователи будут добавлять на неё десятки форм вместо одной.

Использование диспропорциональной нагрузки в стресс-тестах может также применяться для выявления узких мест отдельных компонент системы.

Тестирование Ёмкости

Тестирование Ёмкости (англ. Capacity Testing ) является одним из самых важных с точки зрения развития бизнеса направлений стресс-тестирования и самых сложных с точки зрения проведения и анализа. Тестирование Ёмкости проводится с целью определить запас прочности системы при полном соответствии требованиям к производительности.

При моделировании нагрузки для тестирования ёмкости системы учитывается как текущая нагрузка в виде количества и пропорций одновременно поступающих в систему запросов, так и ожидаемая в перспективе.

Пример 2:

Веб-сервис предназначен для отображения данных для зарегистрированных пользователей в формате .docx. Разрабатывающая компания собирается опубликовать возможность отображения данных в формате .pdf, при этом ожидается, что текущие пользователи будут продолжать работать со старым форматом, а новые будут использовать формат .pdf. Моделируя нагрузку на системы во время тестирования ёмкости, учитывается не только текущий сценарий ее использования (отображение данных в .docx), но и предполагаемый сценарий использования в будущем (часть одновременно работающих с системой пользователей используют .docx, а часть — .pdf)

Результатом тестирования ёмкости приложения или системы является набор максимально допустимых характеристик нагрузки системы, при которых приложение или система отвечает требованиям к производительности, разработанным и документированным на этапе проектирования архитектуры.

Источник

Стресс-тестер для соревнований по программированию

Во-первых, не бойтесь названия «стресс-тестер». Это просто модный термин для написанного мной служебного инструмента для соревнований по программированию. Вместо того чтобы просто дать вам код, я расскажу о стратегии и плане, которые у меня были, когда я писал этот инструмент.

Введение

Мы много раз сталкивались с трудностями в соревнованиях, особенно когда чувствовали, что наша логика безошибочна, но оказывалось, что код терпит неудачу в каком-то крутом тестовом примере. При этом не всегда есть резервная копия, когда в голову приходит спасительное решение с помощью грубой силы.

Да, метод грубой силы дает верное решение. Тогда в чем проблема? Вы угадали: этот метод медленный. Строго говоря, с точки зрения соревновательного программирования, он не оптимален, и в некоторых задачах код может выйти за рамки временных ограничений некоторых небольших подзадач. Мы могли бы воспользоваться тем фактом, что наше решение методом грубой силы правильное, и протестировать оптимальное решение вместе с ним.

Мне пришла в голову идея: что, если мы возьмем тестовый пример, скормим его брут-форсу и оптимальному решению и проверим, где решение терпит неудачу. Но где взять столько тестовых случаев? Здесь в игру вступает случайность.

Стратегия

Сгенерировать случайные тестовые наборы.
Скормить их программам.
Вооружиться исполняемыми файлами брут-форса и оптимального решения.
Поместить их результаты в разные файлы и проверить разницу.

И еще одно: может потребоваться выполнить эту задачу тысячу раз.

Выбор технологий

Я мог бы реализовать эту стратегию с помощью Python и нескольких его модулей, таких как subprocess для запуска команд терминала, difflib для проверки разницы вывода, random для генерации случайных тест-кейсов и операций ввода-вывода файлов, но подход может стать лихорадочным, потому что включает в себя много операций в терминале, то есть мы можем столкнуться с проблемами. Поэтому я выбрал идеальное сочетание bash и python.

Причина выбора bash — легкость, с которой скрипт bash может выполнять большинство вышеперечисленных действий, а для генерации тестовых данных я буду использовать Python.

brute.cpp и optimal.cpp содержат соответствующий названиям код.
testcase.py генерирует тестовые данные.
brute_out.txt и optimal_out.txt , (которые будет созданы во время выполнения), будут содержать соответствующие выходные названиям данные.
difference_file.txt , где мы можем посмотреть на разницу.

1. Генерация тестовых файлов

Я выбрал в качестве примера вопрос на codechef. Прежде всего нужно понимать, что один тестовый файл — это точные значения входного формата. Уточню: один тестовый файл (не то же самое, что тест-кейс) из этого вопроса содержит все, что описывается на изображении:

Ниже тестовый файл. Пожалуйста, посмотрите на входной формат выше.

Мы будем генерировать n таких тестовых файлов. Код для создания тестового файла зависит от входного формата. Посмотрите на приведенный ниже код для создания подходящего входному формату тестового файла.

Я написал несколько классов, чтобы проще генерировать тест-кейсы и облегчить некоторые общие операции, скажем, генерацию массива из n целых чисел и другие действия. Вот код:

2. Bash

Генерирует исполняемые файлы брут-форса и оптимального решения.
Принимает аргумент командной строки — количество исполняемых файлов — для запуска
Для каждого сгенерированного тестового файла сопоставляет выходные данные и проверяет разницу

В коде всё объясняется:

Описание некоторых важных частей скрипта

Важно: цикл прерывается, когда обнаруживается разница и мы смотрим на тест-кейс, на котором программа терпит неудачу. Программа записывает тест-кейс в файл testcase.txt .

Команда diff :

diff возвращает разницу между двумя файлами. Флаг -Z используется, чтобы diff пропускала начальные пробелы и новые строки.

Получение результата выполнения команды внутри скрипта bash:

$(command) дает нам вывод command . Воспользуемся этим фактом и проверим, есть ли какая-то разница, потому что если команда diff ничего не возвращает, то это означает, что файлы одинаковы.

Перенаправление ввода-вывода:

command > «filename» перенаправит вывод команды на «filename».
command передает содержимое файла в command в качестве входных данных.

Применение стресс-тестера:

Скопируйте ваш код в brute.cpp и optimal.cpp .
Измените testcase.py так, чтобы он подходил выходному формату.
Переключитесь на терминал и перейдите в каталог проекта.
Выполните mapper.sh , передав аргумент командной строки (количества тестовых файлов) и наслаждайтесь магией.
Посмотрите в файл difference_file.txt , чтобы увидеть разницу выводов.

Мне потребовалось некоторое время, чтобы привыкнуть к использованию этого инструмента. Но когда я почувствовал помощь в работе со сложными «Answer is correct», прилив адреналина был потрясающим. И это еще не все: можно использовать стресс-тестер для тестирования ожидаемого решения, которое проходит придуманные нами тест-кейсы.

Посмотрите: я запустил инструмент на 20 тестовых файлах, но разница замечена в самом первом из них.

И после проверки файла с разницей я обнаружил несколько крайних случаев, когда моя программа каждый раз выводила 1. После изменения optimal.cpp и обработки крайнего случая я запустил код снова. На этот раз я убедился, что учитываю каждый тестовый случай, и запустил инструмент на 100 тестовых файлах. Вы можете посмотреть процесс выполнения в видео ниже. Поверьте, мне без этого инструмента я бы не получил «Answer is Correct». Инструмент стоит того, чтобы поделиться им. Github

Осваивать новую сферу или повышать квалификацию куда проще с промокодом HABR, который даст вам дополнительные 10% к скидке указанной на баннере.

Источник