Стресс тестирование stress testing

Что такое стресс-тестирование

Что такое стресс-тестирование

В общем смысле стресс-тестирование подразумевает исследование изменений свойств системы или объекта в нестандартных (стрессовых) условиях. В приложении к финансовой организации или институту стресс-тест — это испытание на прочность ее финансового положения в условиях «серьезного, но вместе с тем вероятного шока».

Стресс-тест, как правило, включает четыре элемента:

Набор тестируемых рисков

Стресс-тесту должны подвергаться ключевые риски финансового сектора; они могут быть сформулированы в общем виде: кредитный риск, рыночный риск, риск ликвидности, или конкретно: например, кредитные риски банков, связанные с компаниями-экспортерами, или рыночные риски, обусловленные ужесточением денежно-кредитной политики ведущими центральными банками.

Макроэкономический сценарий, при котором происходит реализация рисков

Сценарии предполагают экономический спад, рост безработицы, падение цен на недвижимость на горизонте стресс-теста — как правило, 2 — 5 лет.

Модели, описывающие влияние рисков на тестируемые параметры

Модели определяют связи между макроэкономическими показателями и рыночными индикаторами: процентными ставками, доходностями облигаций, ценами акций и так далее, а также финансовыми параметрами — например, рейтингами корпоративных заемщиков, которые, в свою очередь, влияют на объем доформирования резервов по ссудам.

Измерение результатов

В большинстве случаев оценивается финансовый результат на горизонте стресс-теста, итоговый показатель достаточности капитала сравнивается с нормативом и рассчитывается дефицит капитала; в ряде стресс-тестов также оценивается дефицит ликвидности.

Стресс-тест, направленный на выявление стабильности функционирования отдельного финансового института в случае негативного экономического сценария, — это стресс-тест на микроуровне. Глобальный финансовый кризис 2007 — 2009 гг. продемонстрировал, что устойчивости отдельных финансовых институтов недостаточно для обеспечения устойчивости финансовой системы. Поэтому с тех пор широкое распространение получили стресс-тесты на макроуровне, предполагающие проверку устойчивости группы финансовых институтов, которая может оказать влияние на экономику в целом. Также активно применяется термин «макропруденциальный стресс-тест», который определен в докладе МВФ как стресс-тест, «учитывающий реакцию финансовых институтов на экономический шок и их взаимодействие друг с другом, направленный на исследование устойчивости финансовой системы в целом, а не конкретных институтов».

Стресс-тесты, осуществляемые в настоящее время центральными банками и надзорными ведомствами различных стран, фактически направлены на обе цели. При проведении централизованных стресс-тестов распространено разделение на bottom-up и top-down стресс-тесты.

• Bottom-up стресс-тест, реализуемый самими финансовыми институтами с использованием внутренних данных и моделей, но с одинаковым сценарием, определяемым регулятором.
• Top-down стресс-тест проводится регулятором с использованием надзорной или публично доступной информации по отдельным банкам
  (в некоторых странах — агрегированные данные по банковскому сектору) также по единому определенному сценарию.

Результаты стресс-тестов могут использоваться самими банками для усиления риск-менеджмента, надзорными органами при установлении требований к капиталу банка в рамках Базеля II, а также регулятором, ответственным за обеспечение финансовой стабильности, при реализации макропруденциальной или антикризисной политики.

Источник

Подходы к организации стресс-тестирования в кредитных организациях

На основе обзора международной финансовой практики.

1. Общие положения

1.1. Одним из аналитических инструментов, призванных обеспечить оценку потенциальных потерь кредитных организаций в случае возможных спадов в экономике, является стресс-тестирование, получившее широкое распространение в международной финансовой практике.

1.2. Стресс-тестирование может быть определено как оценка потенциального воздействия на финансовое состояние кредитной организации ряда заданных изменений в факторах риска, которые соответствуют исключительным, но вероятным событиям. Стресс-тестирование осуществляется с применением различных методик 1 .

В рамках стресс-тестирования кредитная организация должна учитывать ряд факторов, которые могут вызвать экстраординарные убытки в портфеле активов 2 , либо предельно усложнить управление его рисками. Данные факторы включают в себя различные компоненты рыночного, кредитного рисков и риска ликвидности.

Стресс-тестирование включает в себя компоненты как количественного, так и качественного анализа. Количественный анализ направлен прежде всего на определение возможных колебаний основных макроэкономических показателей и оценку их влияния на различные составляющие активов банка. С помощью методов количественного анализа определяются вероятные стрессовые сценарии, которым могут подвергнуться кредитные организации. Качественный анализ акцентирован на двух основных задачах стресс-тестирования:

(1) оценка способности капитала кредитной организации компенсировать возможные крупные убытки;

(2) определение комплекса действий, которые должны быть предприняты кредитной организацией для снижения уровня рисков и сохранения капитала.

1.3. В международной банковской практике используются различные методики стресс-тестирования. В настоящее время наиболее распространенной методикой является сценарный анализ (на основе исторических или гипотетических событий) 3 . Также проводится анализ чувствительности портфеля активов банка к изменению факторов риска и рассчитываются максимальные потери.

Сценарный анализ преимущественно нацелен на оценку стратегических перспектив кредитной организации. Он позволяет оценить потенциальное одновременное воздействие ряда факторов риска на деятельность кредитной организации в случае наступления экстремального, но вместе с тем вероятного события.

В отличие от сценарного анализа результаты анализа чувствительности носят в основном краткосрочный характер. Анализ чувствительности оценивает непосредственное воздействие на портфель активов кредитной организации изменений заданного фактора риска (например, рост/снижение обменного курса национальной валюты; рост/снижение процентных ставок).

При расчете максимальных потерь определяется комбинация факторов риска, их негативная динамика, потенциально способные принести максимальные убытки кредитной организации.

1.4. Ввиду индивидуальности рискового профиля каждой кредитной организации, а также отсутствия унифицированных и общепринятых стандартов в проведении стресс-тестирования кредитные организации должны самостоятельно разрабатывать модели проведения стресс-тестов.

Среди основных этапов при организации стресс-тестирования можно выделить следующие (на примере стресс-тестирования на основе исторического сценария).

2. Основные этапы работы

2.1. На первоначальном этапе производится проверка достоверности и актуальности информации, на основе которой проводится стресс-тестирование. При этом необходимо учитывать, что используемая отчетность должна соответствовать критерию последовательности (непрерывный ряд отчетных данных) и сопоставимости (неизменность методики расчета показателей).

2.2. После составления необходимой базы данных осуществляется детальный анализ кредитного и торгового портфелей, идентификация рисков, которым в наибольшей степени подвержена кредитная организация.

2.3. В дальнейшем проводится анализ сложившейся динамики факторов риска путем определения изменения их значений на заданных отрезках времени. При этом в расчет может браться как разница между максимальным и минимальным значением фактора в рамках заданного периода времени, так и разница значений на начало и конец рассматриваемого периода. В дальнейшем в зависимости от целей анализа при расчетах используется либо усредненное, либо максимальное значение изменения фактора риска.

2.4. В рамках стресс-тестирования может анализироваться воздействие на финансовое состояние кредитной организации как одного, так и нескольких факторов риска 4 . Наиболее доступны для регулярного мониторинга однофакторные модели. Вместе с тем результативность таких моделей значительно ниже, поскольку в случае кризиса, как правило, отмечаются одновременные изменения нескольких факторов риска.

Простейшим решением является выбор максимальных значений отклонения всех рассматриваемых факторов риска в рамках заданных периодов времени, выявленных за определенный ретроспективный период (2, 3, 5 лет), и применение их к текущим значениям факторов риска. В случае, если количество факторов риска, которым подвержена кредитная организация, является слишком большим, имеет смысл сосредоточиться лишь на основных из них, предположив, что второстепенные факторы либо останутся неизменными, либо в случае изменения не нанесут серьезного ущерба кредитной организации.

Однако изолированное изучение отдельных факторов риска далеко не всегда является оправданным, в связи с чем возникает необходимость сопоставления отрезков времени, на которых одновременно наблюдались различные отклонения значений факторов риска от их средних величин 5 . Возможные решения: применение одинаковых весов ко всем факторам риска и сопоставление полученных усредненных значений, что, однако, существенно снижает эффективность модели, или анализ временных рядов, исходя из определения чувствительности портфеля активов к отдельным факторам риска и последующего сопоставления полученных результатов.

2.5. В процессе стресс-тестирования приходится решать проблему сочетания критериев экстремальности и вероятности событий. В отличие от методов VaR, стресс-тесты не отвечают на вопрос о вероятности изменения факторов риска. По этой причине при выборе сценариев важное значение имеет понимание вероятности наступления тех или иных событий. Нецелесообразно проводить стресс-тесты, базирующиеся на невероятных условиях.

2.6. В настоящее время для российского банковского сектора наиболее существенным является кредитный риск. При оценке кредитного риска важное значение имеет наличие в кредитной организации системы подходов к анализу кредитоспособности заемщика и соответствующих оценок кредитоспособности. Важно, чтобы указанные подходы обеспечивали объективную оценку, когда вероятности дефолта заемщиков, характеризующихся одинаковым уровнем кредитного риска, были в целом сопоставимы между собой. В рамках стресс-тестирования могут также применяться оценки кредитоспособности заемщиков, присвоенные внешними организациями.

Если в кредитной организации не разработаны количественные методы, позволяющие оценить вероятность дефолта каждого конкретного заемщика, то распределение заемщиков по классам кредитоспособности может базироваться на экспертном суждении специалистов аналитических подразделений кредитной организации. Данное обстоятельство, однако, существенно усложняет проведение стресс-теста, поскольку при модификации его исходных условий приходится «вручную» переоценивать кредитоспособность заемщиков.

В дальнейшем на основе системы рейтинговых оценок возможно моделирование так называемой «матрицы переходов», отражающей миграцию кредитных требований одного класса в другие классы (с указанием вероятности таких событий), либо доли кредитных требований, которая, по оценкам, изменит свой класс в случае реализации стрессовых условий.

2.7. На основе расчетов формируется оценка возможных потерь кредитной организации в результате реализации стрессовых условий. В случае выявления серьезных потенциальных угроз для кредитной организации руководством кредитной организации принимаются соответствующие управленческие решения, корректируется политика по управлению рисками, проводится дополнительное хеджирование рисков.

2.8. Регулярное обновление (актуализация) параметров стресс-теста осуществляется по мере изменения рыночной и общеэкономической конъюнктуры, а также рискового профиля кредитной организации.

3. Рекомендации по организации работы

3.1. Кредитные организации должны по возможности оперативно проводить стресс-тестирование, чтобы в случае необходимости быстро принимать решения по реагированию на изменившиеся рыночные условия.

3.2. При проведении стресс-тестирования кредитные организации учитывают портфель активов в целом, поскольку при выявлении рисков, присущих отдельным его элементам, могут быть ненадлежащим образом оценены риски, характерные для портфеля активов в целом. Также важное значение имеет стресс-тестирование отдельных компонентов кредитного или торгового портфеля.

3.3. Проведение стресс-тестирования исключительно на основе анализа прошлых событий недостаточно для полноценной оценки рисков. Поэтому наряду с историческими сценариями, кредитным организациям следует разрабатывать гипотетические сценарии, характеризующиеся максимально возможным риском и потенциальными потерями для кредитной организации.

3.4. В целях идентификации сценариев, в том числе при поиске «наихудшей» для кредитной организации комбинации факторов риска, в работе над стресс-тестом должен участвовать широкий круг специалистов кредитной организации, что позволит с большей точностью идентифицировать сценарии, требующие проведения стресс-тестирования. Вся работа должна вестись под наблюдением и с прямым участием руководства кредитной организации.

3.5. Руководство кредитной организации должно уделять постоянное внимание актуальности стресс-тестов и контролировать процесс их уточнения и модификации для более полного учета текущего состояния и перспектив развития кредитной организации (например, в условиях выхода кредитной организации на новые сегменты рынка или внедрения новых банковских продуктов). Результаты стресс-тестов должны также рассматриваться кредитным комитетом банка. Особое внимание должно быть уделено мерам по защите интересов банка в случае наступления одного из факторов, указанных как отклонение от нормальной ситуации.

Источник

Стресс-тестирование — Stress testing

Стресс-тестирование (иногда называемое тестированием с применением пыток ) — это форма намеренно интенсивного или тщательного тестирования, используемого для определения стабильности данной системы, критической инфраструктуры или объекта. Он включает в себя испытания, выходящие за пределы нормальной рабочей емкости, часто до предела, чтобы увидеть результаты. Причины могут включать:

• для определения критических точек или безопасных ограничений использования
• чтобы подтвердить, что математическая модель достаточно точна при прогнозировании точек разрыва или безопасных пределов использования
• для подтверждения соответствия предполагаемым спецификациям
• для определения видов отказа (как именно отказывает система)
• для проверки стабильной работы детали или системы за пределами стандартного использования

Инженеры по надежности часто тестируют элементы при ожидаемой нагрузке или даже при ускоренной нагрузке, чтобы определить срок службы элемента или определить режимы отказа.

Термин « стресс » может иметь более конкретное значение в определенных отраслях, например в материаловедении, и поэтому стресс-тестирование может иногда иметь техническое значение — одним из примеров является испытание материалов на усталость .

СОДЕРЖАНИЕ

Вычисление

Аппаратное обеспечение

Стресс-тестирование, как правило, должно подвергать компьютерное оборудование чрезмерно высоким уровням нагрузки, чтобы обеспечить стабильность при использовании в нормальной среде. Они могут включать экстремальные нагрузки, тип задачи, использование памяти, тепловую нагрузку (нагрев), тактовую частоту или напряжения. Память и ЦП — это два компонента, которые обычно подвергаются стресс-тестированию таким образом.

Существует значительное совпадение между стресс — тестирования программного обеспечения и сопоставительного анализа программного обеспечения, так как стремятся оценить и измерить максимальную производительность. Из этих двух программ программное обеспечение для стресс-тестирования нацелено на проверку стабильности, пытаясь заставить систему выйти из строя; Бенчмаркинг направлен на измерение и оценку максимально возможной производительности для данной задачи или функции.

При изменении рабочих параметров в CPU , такие как температура , разгон , underclocking , overvolting и undervolting , это может быть необходимо , чтобы проверить , если новые параметры ( как правило , ЦП ядра напряжения и частота ) подходят для тяжелых нагрузок процессора . Это делается путем запуска программы, интенсивно использующей ЦП, в течение продолжительных периодов времени, чтобы проверить, зависает ли компьютер или дает сбой . Стресс-тестирование ЦП также называют «пытками». Программное обеспечение, подходящее для испытаний на пытки, обычно должно запускать инструкции, которые используют весь чип, а не только несколько его блоков. Нагрузочного тестирования ЦП в течение 24 часов при 100% нагрузке в большинстве случаев достаточно, чтобы определить, что ЦП будет правильно работать в обычных сценариях использования, например, на настольном компьютере, где загрузка ЦП обычно колеблется на низких уровнях (50 % и ниже).

Стресс-тестирование оборудования и стабильность являются субъективными и могут варьироваться в зависимости от того, как система будет использоваться. Стресс-тест системы, работающей круглосуточно и без выходных, или которая будет выполнять чувствительные к ошибкам задачи, такие как распределенные вычисления или «складывающиеся» проекты, может отличаться от теста, который должен иметь возможность запускать одиночную игру с достаточной надежностью. Например, подробное руководство по разгону Sandy Bridge показало, что:

Несмотря на то, что в прошлом IntelBurnTest был столь же хорош, кажется, что что-то в SB uArch [микроархитектура Sandy Bridge] более сильно нагружено Prime95 . IBT действительно потребляет больше энергии [требует более высоких температурных требований]. Но . Prime95 каждый раз терпел неудачу первым, и он терпел неудачу, когда проходил IBT. Как и Sandy Bridge, Prime95 является лучшим тестером стабильности для Sandy Bridge-E, чем IBT / LinX.

Стабильность субъективна; некоторые могут назвать достаточно стабильностью для запуска своей игры, другим, например, папкам [складывающимся проектам] может потребоваться что-то столь же стабильное, как и было в наличии, и . нужно будет запускать Prime95 по крайней мере от 12 часов до дня или двух чтобы считать его стабильным . Есть [тестировщики], которые действительно не заботятся о такой стабильности, и просто скажут, что если он может [завершить] тест, он достаточно стабилен. Никто не ошибается и никто не прав. Стабильность субъективна. [Но] 24/7 стабильность не субъективна.

Инженер ASUS сообщил в статье 2012 года о разгоне системы Intel X79 , что важно тщательно выбирать программное обеспечение для тестирования, чтобы получить полезные результаты:

Не рекомендуется проводить непроверенные стресс-тесты (например, Prime95, LinX или другие сопоставимые приложения). Для полноценного тестирования CPU / IMC и системной шины рекомендуется AIDA64 наряду с общими приложениями, такими как PC Mark 7. Aida имеет преимущество, так как ее тест стабильности был разработан для архитектуры Sandy Bridge E и тестирует определенные функции, такие как AES, AVX и другие. наборы инструкций, которые прайм и как синтетику не трогают. Таким образом, он не только загружает ЦП на 100%, но и тестирует другие части ЦП, которые не используются в таких приложениях, как Prime 95. Другие приложения, которые следует учитывать, — это SiSoft 2012 или Passmark BurnIn. Обратите внимание, что проверка не была завершена с использованием Prime 95 версии 26 и LinX (10.3.7.012) и OCCT 4.1.0 beta 1, но после того, как мы провели внутреннее тестирование, чтобы гарантировать хотя бы ограниченную поддержку и работу.

Программное обеспечение, обычно используемое в стресс-тестировании

• Аида
• Симулятор сети IBM Teleprocessing
• IBM Workload Simulator
• Диагностический тест процессора Intel
• Intel Burn Test
• LinX (AVX)
• Memtest86 + — память
• OCCT
• Passmark Burn-in
• Prime95 и производные, такие как HyperPi — ЦП / тепло
• Осада
• S&M
• Tsung — бесплатный программный инструмент

Программное обеспечение

В тестировании программного обеспечения стресс-тест системы относится к тестам, в которых больше внимания уделяется надежности , доступности и обработке ошибок при большой нагрузке, а не тому, что будет считаться правильным поведением при нормальных обстоятельствах. В частности, цели таких испытаний может быть , чтобы обеспечить программное обеспечение не врезаться в условиях недостаточных вычислительных ресурсов (например, памяти или дискового пространства ), необычно высокий параллелизм , или отказ в обслуживании атак.

• Веб — сервер может быть нагрузочное тестирование с использованием скриптов , ботов , а также различных отказ сервисных инструментов для наблюдения за производительность веб — сайта во время пиковых нагрузок. Эти атаки обычно продолжаются менее часа или до тех пор, пока не будет обнаружен предел объема данных, который может выдержать веб-сервер.

Стресс-тестирование можно противопоставить нагрузочному тестированию:

• Нагрузочное тестирование исследует всю среду и базу данных, одновременно измеряя время отклика, тогда как стресс-тестирование фокусируется на выявленных транзакциях, подталкивая их до уровня, позволяющего нарушить транзакции или системы.
• Во время стресс-тестирования, если транзакции подвергаются выборочной нагрузке, база данных может не испытывать большой нагрузки, но транзакции подвергаются сильной нагрузке. С другой стороны, во время нагрузочного тестирования база данных испытывает большую нагрузку, а некоторые транзакции могут не подвергаться нагрузке.
• Системное стресс-тестирование, также известное как стресс-тестирование, нагружает одновременно работающих пользователей сверх уровня, с которым может справиться система, поэтому оно ломается в самом слабом звене во всей системе.

Критическая инфраструктура

Критическая инфраструктура (CI), такая как автомагистрали, железные дороги, электрические сети, плотины, портовые сооружения, магистральные газопроводы или нефтеперерабатывающие заводы, подвержены многочисленным природным и антропогенным опасностям и факторам стресса, включая землетрясения , оползни , наводнения , цунами , лесные пожары и т. Д. последствия изменения климата или взрывы . Эти факторы стресса и внезапные события могут вызвать сбои и убытки и, следовательно, могут прервать предоставление основных услуг для общества и экономики. Следовательно, владельцы и операторы КЭ должны идентифицировать и количественно оценивать риски, создаваемые КЭ из-за различных факторов стресса, чтобы определить стратегии смягчения последствий и повысить устойчивость КЭ. Стресс-тесты — это усовершенствованные и стандартизированные инструменты для оценки опасностей и рисков КЭ, которые включают как события с низкой вероятностью и высокими последствиями (LP-HC), так и так называемые экстремальные или редкие события , а также систематическое применение этих новых инструментов для классы CI.

Стресс-тестирование — это процесс оценки способности CI поддерживать определенный уровень функциональности в неблагоприятных условиях, в то время как стресс-тесты рассматривают события LP-HC, которые не всегда учитываются в процедурах проектирования и оценки рисков, обычно принятых общественностью. органы власти или заинтересованные стороны в промышленности. В рамках европейского исследовательского проекта STREST разработана многоуровневая методология стресс-тестов для КИ, состоящая из четырех этапов:

Этап 1: Предварительная оценка , во время которой собираются доступные данные о КЭ (контекст риска) и об интересующих явлениях (контекст опасности). Определяются цель и задачи, временные рамки, уровень стресс-теста и общая стоимость стресс-теста.

Фаза 2: Оценка , во время которой выполняется стресс-тест для компонента и области действия системы, включая анализ уязвимости и рисков CI для стресс-факторов, определенных в фазе 1. Стресс-тест может привести к трем результатам: пройден, частично пройден и Неудача, основанная на сравнении количественно определенных рисков с допустимыми уровнями подверженности рискам и системой штрафов.

Фаза 3: Решение , в ходе которого результаты стресс-теста анализируются в соответствии с целью и задачами, определенными в Фазе 1. Определяются критические события (события, которые с наибольшей вероятностью вызывают превышение заданного уровня потерь) и стратегии снижения рисков.

Этап 4: Отчет , в ходе которого формулируются и представляются заинтересованным сторонам результаты стресс-теста и рекомендации по снижению рисков, основанные на результатах, полученных на этапе 3.

Эта методология стресс-тестирования была продемонстрирована шести CI в Европе на уровне компонентов и систем: нефтеперерабатывающий и нефтехимический завод в Милаццо, Италия; концептуальная альпийская земляная плотина в Швейцарии; трубопровод Баку-Тбилиси-Джейхан в Турции; часть национальной сети хранения и распределения газа Gasunie в Нидерландах; портовая инфраструктура Салоников, Греция; и промышленный район в регионе Тоскана, Италия. Результат стресс-тестирования включал определение критических компонентов и событий, а также стратегии снижения рисков, которые были сформулированы и доведены до сведения заинтересованных сторон.

Источник