сдача системы в промышленную эксплуатацию;
авторский надзор за эксплуатацией.
Проектирование эффектной технологии АРМ требует испытания нетрадиционных методов ввода информации:
испытание читающих автоматов;
испытание анализаторов и синтезаторов речи;
испытание средств сканирования информации;
сканирующий ввод информации.
2. Тестирование и отладка программ. Состав и назначение «контрольного примера».
Тестирование и отладка с позиции разработчика включает 5-9 этапы жизненного цикла ПО. В процессе выполнения этих этапов разработчиком с заказчиком выявляются и устанавливаются все ошибки допущенные при проектировании.
Ошибки которые могут быть допущены в процессе проектирования:
системные, которые обусловлены неправильным пониманием задачи и назначением условий ее реализации;
алгоритмически связанные с некорректной формулировкой и реализации программы;
программные- в логике и операторах;
технологические, возникающие при подготовке документов и при вводе программ в ЭВМ.
Основным методом устранения ошибок является тестирование прогонка программы по заранее подготовленным тестам.
Тестирование позволяет не только устранить ошибки , но и оценить готовность ПО к эксплуатации.
Тестирование полноты решения функциональных задач при типовых исходных данных предназначено для обнаружения ошибок функционирования в типовых условиях, определенным техническим заданием на базовую версию ИС. Первичным эталоном являются цели и задачи создания ИС. В соответствие с этими задачами создается подробное формализованное техническое задание и спецификация требований на комплекс программ, которые являются основными эталонами при создании данного вида тестов. Для систем реального времени тесты содержат в основном динамические и стохастические данные. Эти данные имитируются моделями реальных объектов внешней среды. Результаты тестирования обрабатываются и сравниваются с эталонами преимущественно автоматически.
Контрольный пример оформляется в виде отдельного документа, прикладывается к рабочему проекту и должен быть утвержден заказчиком до начала опытной эксплуатации. В контрольном примере должны быть предусмотрены все логические цепочки алгоритмов обработки информации. Учтенные требования и ограничения представляются исходной информацией.
В контрольном примере должны быть использованы реальные массивы информации.
Процесс отладки по уровню сложности связям с реальными данными делится на программную и системную отладку.
Программная отладка включает общую логику программы и правильность ее представления, в процессе этой отладки устраняются алгоритмические, программные, технологические ошибки.
Системная отладка предназначена для проверки всей логической системы и всего комплекса программ
Тестирование функционирования программ в критических ситуациях по условиям и логике решения задач (стрессовое тестирование) предназначено для испытаний исполнения программ в нештатных ситуациях, которые редко реализуются, но важны для безопасного функционирования системы обработки информации и управления. Для разработки таких тестов создаются сценарии критических сочетаний значений исходных данных и условий решения задач, при которых необходимо проверить функционирование программ и можно ожидать искажения результатов и отказы.
Тестирование параллельного исполнения программ используется для обнаружения снижений надежности безопасности, обусловленных несогласованным использованием исходных и промежуточных данных, а также устройств вычислительной системы при параллельном исполнении программ. Это тестирование обычно требует большого количества исходных данных, содержащих как случайные, так и детерминированные составляющие. Такие данные подготавливаются в основном автоматически по сценариям наиболее критических сочетаний данных.
Тестирование эффективности защиты от искажений исходных данных служит для выявления ошибок в программах, проявляющихся при ложных или искаженных данных. Тестирование проводится при относительно небольших искажениях исходных данных, соответствующих нормированному возрастанию в них ошибок, а также при случайном полном искажении данных. При тестировании выявляются ситуации нарушения работоспособности ИС и величины снижения безопасности ее функционирования в зависимости от интенсивности искажений.
Тестирование корректности использования ресурсов памяти и производительности вычислительной системы служит для оценки безопасности исполнения программ при перегрузках памяти и производительности. Тестирование производится в основном в стохастическом режиме в реальном времени по подготовленным сценариям, создающим перегрузки оного из ресурсов системы. Проверке подлежит изменение качества, надежности и безопасности функционирования ИС вследствие пропусков обработке сообщений, возрастания длительности ожидания перед их обработкой или растягивания периодов решения задач. В результате тестирования устанавливаются реальные характеристики ИС на выбранной вычислительной системе по пропускной способности решения всего комплекса задач, а также по допустимой интенсивности решения отдельных типов задач и обработке различных сообщений.
Тестирование для измерения достигнутых значений надежности и безопасности базовых версий ИС предназначено для определения основных показателей надежности и безопасности при реальном функционировании программ. В процессе тестирования при типовых и критических условиях определяются значения наработки на отказ, длительности восстановления, коэффициента готовности и других показателей. Для сложных систем реального времени организуются многочасовые прогоны ИС при стохастических исходных данных, при которых регистрируются искажения результатов и выделяются нарушения работоспособности программ. При таком тестировании особое значение имеет соотношение типовых и критических условий функционирования и исходных данных.
При тестировании необходимо использовать имитаторы реальной внешней среды. В таких случаях (испытания систем управления воздушным движением, полетом самолетов космических кораблей, больших банковских систем) требования к средствам обеспечения испытаний технологической безопасности ИС сводятся к следующим положениям:
все данные от реальных объектов и имитаторов внешней среды должны поступать на испытываемую ИС с естественным ходом процессов в этих объектах реального времени;
диапазоны изменения исходных данных в имитаторах должны обеспечивать перекрытие всех характеристик современных реальных объектов внешней среды, а также предусматривать их расширения с учетом предполагаемого развития ИС и прогресса в соответствующих областях техники;
необходимо совмещать данные от реальных объектов внешней средыи от имитаторов, заменяющих некоторые из них, которые нерационально или невозможно применять при испытаниях в натуральном ввиде;
необходимо обеспечить регистрацию, контроль и обобщение характеристик генерируемых тестовых данных, эталонных данных и всех видов искажений и аномалий, поступающих на испытываемую ИС в любой момент времени и на любом заданном шаге обработки информации;
для всех тестовых данных должны быть подготовлены эталонные реакции ИС, с которыми следует сравнивать результаты, получаемые в процессе испытаний.
Тема 8: Международные стандарты, поддерживающие испытания технологической безопасности ИС .
Стандартизация технологической безопасности ИС.
Основой развития процесса стандартизации обеспечения технологической безопасности ИС и БД является формирование рационального по составу, структуре и уровням требований комплекса нормативно- технической документации (НТД), обеспечивающего нормативную основу создания и применения ИС. Уровень введения и применения международных норм, правил и требований в действующие отечественные НТД на сегодняшний день очень низок. В этих условиях реализация проектов информатизации без учета требований и рекомендаций международных стандартов приводит к большим потерям технических и финансовых ресурсов из-за несовместимости технических и программных средств.
Таблица. Международные стандарты, направленные на обеспечение технологической безопасности
| ISO 09126:1991.ИТ. | Оценка программного продукта. Характеристики качества и руководство по их применению. |
| DOD-STD-2168. | Программа обеспечения качества оборотных программных средств. |
| ISO 09000-3:1991. | Общее руководство качеством и стандарты по обеспечению качества. Ч.3: Руководящие указания по применению ISO 09001 при разработке, поставке и обслуживании программного обеспечения. |
| ISO 12207:1995. | Процессы жизненного цикла программных средств. |
| DOD-SND 2167 A:1988. | Разработка программных средств для систем военного назначения. |
| ISO 09646-1-6:1991.ИТ.BOC. | Методология и основы аттестационного тестирования ВОС. |
| ANSI/IEEE 829-1983. | Документация при тестировании программ. |
| ANSI/IEEE 1008-1986. | Тестирование программных модулей и компонент ИС. |
| ANSI/IEEE 1012-1986 | Планирование проверки (оценки) (verification) и подтверждения достоверности (validaation) программных средств. |
Данные важные группымеждународных стандартов регламентируют:
Показатели качества программных средств;
Жизненный цикл и технологический процесс создания критических комплексов программ, способствующие их высокому и предотвращению непредумышленных дефектов;
Тестирование программных средств для обнаружения и устранения дефектов программ и данных;
Испытания и сертификацию программ для удостоверения достигнутого качества и безопасности их функционирования.
Технологическая безопасность функционирования ИС и БД при непредумышленных угрозах косвенно поддерживается еще многими десятками стандартов, которые, в той или инной степени, обеспечивают жизненный цикл и технологию разработки и сопровождения, качество, тестирование, испытания и сертификацию ИС и БД, а также унификацию их интерфейсов с операционной и внешней средой.