Какая модель является статистической. Методы математического моделирования в статистике. Определение статистических моделей; формулы
Статистическое моделирование базовый метод моделирования, заключающийся в том, что модель испытывается множеством случайных сигналов с заданной плотностью вероятности. Целью является статистическое определение выходных результатов. В основе статистического моделирования лежит метод Монте-Карло . Напомним, что имитацию используют тогда, когда другие методы применить невозможно.
Метод Монте-Карло
Рассмотрим метод Монте-Карло на примере вычисления интеграла, значение которого аналитическим способом найти не удается.
Задача 1 . Найти значение интеграла:
На рис. 21.1 представлен график функции f (x ) . Вычислить значение интеграла этой функции значит, найти площадь под этим графиком.
методом Монте-Карло
Ограничиваем кривую сверху, справа и слева. Случайным образом распределяем точки в прямоугольнике поиска. Обозначим через N 1 количество точек, принятых для испытаний (то есть попавших в прямоугольник, эти точки изображены на рис. 21.1 красным и синим цветом), и через N 2 количество точек под кривой, то есть попавших в закрашенную площадь под функцией (эти точки изображены на рис. 21.1 красным цветом). Тогда естественно предположить, что количество точек, попавших под кривую по отношению к общему числу точек пропорционально площади под кривой (величине интеграла) по отношению к площади испытуемого прямоугольника. Математически это можно выразить так:
Рассуждения эти, конечно, статистические и тем более верны, чем большее число испытуемых точек мы возьмем.
Фрагмент алгоритма метода Монте-Карло в виде блок-схемы выглядит так, как показано на рис. 21.2 .
метода Монте-Карло
Значения r 1 и r 2 на рис. 21.2 являются равномерно распределенными случайными числами из интервалов (x 1 ; x 2) и (c 1 ; c 2) соответственно.
Метод Монте-Карло чрезвычайно эффективен, прост, но необходим «хороший» генератор случайных чисел. Вторая проблема применения метода заключается в определении объема выборки, то есть количества точек, необходимых для обеспечения решения с заданной точностью. Эксперименты показывают: чтобы увеличить точность в 10 раз, объем выборки нужно увеличить в 100 раз; то есть точность примерно пропорциональна корню квадратному из объема выборки:
Схема использования метода Монте-Карло при исследовании
систем со случайными параметрами
Построив модель системы со случайными параметрами, на ее вход подают входные сигналы от генератора случайных чисел (ГСЧ), как показано на рис. 21.3 . ГСЧ устроен так, что он выдает равномерно распределенные случайные числа r рр из интервала . Так как одни события могут быть более вероятными, другие менее вероятными, то равномерно распределенные случайные числа от генератора подают на преобразователь закона случайных чисел (ПЗСЧ), который преобразует их в заданный пользователем закон распределения вероятности, например, в нормальный или экспоненциальный закон. Эти преобразованные случайные числа x подают на вход модели. Модель отрабатывает входной сигнал x по некоторому закону y = φ (x ) и получает выходной сигнал y , который также является случайным.
В блоке накопления статистики (БНСтат) установлены фильтры и счетчики. Фильтр (некоторое логическое условие) определяет по значению y , реализовалось ли в конкретном опыте некоторое событие (выполнилось условие, f = 1 ) или нет (условие не выполнилось, f = 0 ). Если событие реализовалось, то счетчик события увеличивается на единицу. Если событие не реализовалось, то значение счетчика не меняется. Если требуется следить за несколькими разными типами событий, то для статистического моделирования понадобится несколько фильтров и счетчиков N i . Всегда ведется счетчик количества экспериментов N .
Далее отношение N i к N , рассчитываемое в блоке вычисления статистических характеристик (БВСХ) по методу Монте-Карло, дает оценку вероятности p i появления события i , то есть указывает на частоту его выпадения в серии из N опытов. Это позволяет сделать выводы о статистических свойствах моделируемого объекта.
Например, событие A совершилось в результате проведенных 200 экспериментов 50 раз. Это означает, согласно методу Монте-Карло, что вероятность совершения события равна: p A = 50/200 = 0.25 . Вероятность того, что событие не совершится, равна, соответственно, 1 0.25 = 0.75 .
Обратите внимание: когда говорят о вероятности, полученной экспериментально, то ее называют частостью ; слово вероятность употребляют, когда хотят подчеркнуть, что речь идет о теоретическом понятии.
При большом количестве опытов N частота появления события, полученная экспериментальным путем, стремится к значению теоретической вероятности появления события.
В блоке оценки достоверности (БОД) анализируют степень достоверности статистических экспериментальных данных, снятых с модели (принимая во внимание точность результата ε , заданную пользователем) и определяют необходимое для этого количество статистических испытаний. Если колебания значений частоты появления событий относительно теоретической вероятности меньше заданной точности, то экспериментальную частоту принимают в качестве ответа, иначе генерацию случайных входных воздействий продолжают, и процесс моделирования повторяется. При малом числе испытаний результат может оказаться недостоверным. Но чем более испытаний, тем точнее ответ, согласно центральной предельной теореме.
Заметим, что оценивание ведут по худшей из частот. Это обеспечивает достоверный результат сразу по всем снимаемым характеристикам модели.
Пример 1 . Решим простую задачу. Какова вероятность выпадения монеты орлом кверху при падении ее с высоты случайным образом?
Начнем подбрасывать монетку и фиксировать результаты каждого броска (см. табл. 21.1).
| Таблица 21.1. Результаты испытаний бросания монеты |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Количество опытов N | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| Значение счетчика выпадения орла N о |
0 | 0 | 1 | 1 | 2 | 3 | 4 | … | … | … | … | … | … | … |
| Значение счетчика выпадения решки N р |
1 | 2 | 2 | 3 | 3 | 3 | 3 | … | … | … | … | … | … | … |
| Частость выпадения орла P о =N о /N |
0 | 0 | 0.33 | 0.25 | 0.4 | 0.5 | 0.57 | … | … | … | … | … | … | … |
| Частость выпадения решки P р =N р /N |
1 | 1 | 0.66 | 0.75 | 0.6 | 0.5 | 0.43 | … | … | … | … | … | … | … |
Будем подсчитывать частость выпадения орла как отношение количества случаев выпадения орла к общему числу наблюдений. Посмотрите в табл. 21.1. случаи для N = 1 , N = 2 , N = 3 сначала значения частости нельзя назвать достоверными. Попробуем построить график зависимости P о от N и посмотрим, как меняется частость выпадения орла в зависимости от количества проведенных опытов. Разумеется, при различных экспериментах будут получаться разные таблицы и, следовательно, разные графики. На рис. 21.4 показан один из вариантов.
от количества наблюдений и ее стремление к теоретической вероятности
Сделаем некоторые выводы.
- Видно, что при малых значениях N , например, N = 1 , N = 2 , N = 3 ответу вообще доверять нельзя. Например, P о = 0 при N = 1 , то есть вероятность выпадения орла при одном броске равна нулю! Хотя всем хорошо известно, что это не так. То есть пока мы получили очень грубый ответ. Однако, посмотрите на график: в процессе накопления информации ответ медленно, но верно приближается к правильному (он выделен пунктирной линией). К счастью, в данном конкретном случае правильный ответ нам известен: в идеале, вероятность выпадения орла равна 0.5 (в других, более сложных задачах, ответ нам, конечно, будет неизвестен). Допустим, что ответ нам надо знать с точностью ε = 0.1 . Проведем две параллельные линии, отстоящие от правильного ответа 0.5 на расстояние 0.1 (см. рис. 21.4 ). Ширина образовавшегося коридора будет равна 0.2. Как только кривая P о (N ) войдет в этот коридор так, что уже никогда его не покинет, можно остановиться и посмотреть, для какого значения N это произошло. Это и есть экспериментально вычисленное критическое значение необходимого количества опытов N кр э для определения ответа с точностью ε = 0.1 ; ε -окрестность в наших рассуждениях играет роль своеобразной трубки точности. Заметьте, что ответы P о (91) , P о (92) и так далее уже не меняют сильно своих значений (см. рис. 21.4 ); по крайней мере, у них не изменяется первая цифра после запятой, которой мы обязаны доверять по условиям задачи.
- Причиной такого поведения кривой является действие центральной предельной теоремы (см. лекцию 25 и лекцию 34). Пока здесь мы сформулируем ее в самом простом варианте «Сумма случайных величин есть величина неслучайная». Мы использовали среднюю величину P о , которая несет в себе информацию о сумме опытов, и поэтому постепенно эта величина становится все более достоверной.
- Если проделать еще раз этот опыт сначала, то, конечно, его результатом будет другой вид случайной кривой. И ответ будет другим, хотя примерно таким же. Проведем целую серию таких экспериментов (см. рис. 21.5 ). Такая серия называется ансамблем реализаций . Какому же ответу в итоге следует верить? Ведь они, хоть и являются близкими, все же разнятся. На практике поступают по-разному. Первый вариант вычислить среднее значение ответов за несколько реализаций (см. табл. 21.2).
частости появления случайного события от количества наблюдений
Мы поставили несколько экспериментов и определяли каждый раз, сколько необходимо было сделать опытов, то есть N кр э . Было проделано 10 экспериментов, результаты которых были сведены в табл. 21.2. По результатам 10-ти экспериментов было вычислено среднее значение N кр э .
| Таблица 21.2. Экспериментальные данные необходимого количества бросков монеты для достижения точности ε = 0.1 при вычислении вероятности выпадения орла |
|||||||||||||||||||||||
| Опыт | N кр э |
| 1 | 288 |
| 2 | 95 |
| 3 | 50 |
| 4 | 29 |
| 5 | 113 |
| 6 | 210 |
| 7 | 30 |
| 8 | 42 |
| 9 | 39 |
| 10 | 48 |
| Среднее N кр. э | 94 |
Таким образом, проведя 10 реализаций разной длины, мы определили, что достаточно в среднем было сделать 1 реализацию длиной в 94 броска монеты.
Еще один важный факт. Внимательно рассмотрите график на рис. 21.5 . На нем нарисовано 100 реализаций 100 красных линий. Отметьте на нем абсциссу N = 94 вертикальной чертой. Есть какой-то процент красных линий, которые не успели пересечь ε -окрестность, то есть (P эксп ε ≤ P теор ≤ P эксп + ε ), и войти в коридор точности до момента N = 94 . Обратите внимание, таких линий 5. Это значит, что 95 из 100, то есть 95%, линий достоверно вошли в обозначенный интервал.
Таким образом, проведя 100 реализаций, мы добились примерно 95%-ного доверия к полученной экспериментально величине вероятности выпадения орла, определив ее с точностью 0.1. Для сравнения полученного результата вычислим теоретическое значение N кр т теоретически. Однако для этого придется ввести понятие доверительной вероятности Q F , которая показывает, насколько мы готовы верить ответу. Например, при Q F = 0.95 мы готовы верить ответу в 95% случаев из 100. Формула теоретического расчета числа экспериментов, которая будет подробно изучаться в лекции 34 , имеет вид: N кр т = k (Q F ) · p · (1 p )/ε 2 , где k (Q F ) коэффициент Лапласа, p вероятность выпадения орла, ε точность (доверительный интервал). В табл. 21.3 показаны значения теоретической величины количества необходимых опытов при разных Q F (для точности ε = 0.1 и вероятности p = 0.5 ).
Как видите, полученная нами оценка длины реализации, равная 94 опытам очень близка к теоретической, равной 96. Некоторое несовпадение объясняется тем, что, видимо, 10 реализаций недостаточно для точного вычисления N кр э . Если вы решите, что вам нужен результат, которому следует доверять больше, то измените значение доверительной вероятности. Например, теория говорит нам, что если опытов будет 167, то всего 1-2 линии из ансамбля не войдут в предложенную трубку точности. Но имейте в виду, количество экспериментов с ростом точности и достоверности растет очень быстро.
Второй вариант, используемый на практике провести одну реализацию и увеличить полученное для нее N кр э в 2 раза . Это считают хорошей гарантией точности ответа (см. рис. 21.6 ).
Если присмотреться к ансамблю случайных реализаций , то можно обнаружить, что сходимость частости к значению теоретической вероятности происходит по кривой, соответствующей обратной квадратичной зависимости от числа экспериментов (см. рис. 21.7 ).
к теоретической вероятности
Это действительно так получается и теоретически. Если изменять задаваемую точность ε и исследовать количество экспериментов, требуемых для обеспечения каждой из них, то получится табл. 21.4.
Построим по табл. 21.4 график зависимости N кр т (ε ) (см. рис. 21.8 ).
заданной точности ε при фиксированном Q F = 0.95
Итак, рассмотренные графики подтверждают приведенную выше оценку:
Заметим, что оценок точности может быть несколько. Некоторые из них будут еще обсуждаться в лекции 34 .
Пример 2. Нахождение площади фигуры методом Монте-Карло . Определите методом Монте-Карло площадь пятиугольника с координатами углов (0, 0), (0, 10), (5, 20), (10, 10), (7, 0).
Нарисуем в двухмерных координатах заданный пятиугольник, вписав его в прямоугольник, чья площадь, как нетрудно догадаться, составляет (10 0) · (20 0) = 200 (см. рис. 21.9 ).
о площади фигуры методом Монте-Карло
Используем таблицу случайных чисел для генерации пар чисел R , G , равномерно распределенных в интервале от 0 до 1. Число R X (0 ≤ X ≤ 10) , следовательно, X = 10 · R . Число G будет имитировать координату Y (0 ≤ Y ≤ 20) , следовательно, Y = 20 · G . Сгенерируем по 10 чисел R и G и отобразим 10 точек (X ; Y ) на рис. 21.9 и в табл. 21.5.
| Таблица 21.5. Решение задачи методом Монте-Карло |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Номер точки | R | G | X | Y | Точка (X; Y) попала в прямоугольник? | Точка (X; Y) попала в пятиугольник? |
| 1 | 0.8109 | 0.3557 | 8.109 | 7.114 | Да | Да |
| 2 | 0.0333 | 0.5370 | 0.333 | 10.740 | Да | Нет |
| 3 | 0.1958 | 0.2748 | 1.958 | 5.496 | Да | Да |
| 4 | 0.6982 | 0.1652 | 6.982 | 3.304 | Да | Да |
| 5 | 0.9499 | 0.1090 | 9.499 | 2.180 | Да | Нет |
| 6 | 0.7644 | 0.2194 | 7.644 | 4.388 | Да | Да |
| 7 | 0.8395 | 0.4510 | 8.395 | 9.020 | Да | Да |
| 8 | 0.0415 | 0.6855 | 0.415 | 13.710 | Да | Нет |
| 9 | 0.5997 | 0.1140 | 5.997 | 2.280 | Да | Да |
| 10 | 0.9595 | 0.9595 | 9.595 | 19.190 | Да | Нет |
| Всего: | 10 | 6 | ||||
Статистическая гипотеза заключается в том, что количество точек, попавших в контур фигуры, пропорционально площади фигуры: 6:10 = S :200 . То есть, по формуле метода Монте-Карло, получаем, что площадь S пятиугольника равна: 200 · 6/10 = 120 .
Проследим, как менялась величина S от опыта к опыту (см. табл. 21.6).
| Таблица 21.6. Оценка точности ответа |
||||||||||||||||||||||||||||||||
| Количество испытаний N | Оценка вероятности попадания случайной точки в испытуемую область | Оценка площади S методом Монте-Карло |
| 1 | 1/1 = 1.00 | 200 |
| 2 | 1/2 = 0.50 | 100 |
| 3 | 2/3 = 0.67 | 133 |
| 4 | 3/4 = 0.75 | 150 |
| 5 | 3/5 = 0.60 | 120 |
| 6 | 4/6 = 0.67 | 133 |
| 7 | 5/7 = 0.71 | 143 |
| 8 | 5/8 = 0.63 | 125 |
| 9 | 6/9 = 0.67 | 133 |
| 10 | 6/10 = 0.60 | 120 |
Поскольку в ответе все еще меняется значение второго разряда, то возможная неточность составляет пока больше 10%. Точность расчета может быть увеличена с ростом числа испытаний (см. рис. 21.10 ).
экспериментально ответа к теоретическому результату
Статистическое моделирование
численный метод решения математических задач, при котором искомые величины представляют вероятностными характеристиками какого-либо случайного явления, это явление моделируется, после чего нужные характеристики приближённо определяют путём статистической обработки «наблюдений» модели. Например, требуется рассчитать потоки тепла в нагреваемой тонкой металлической пластине, на краях которой поддерживается нулевая температура. Распределение тепла описывается тем же уравнением, что и расплывание пятна краски в слое жидкости (см. Теплопроводность , Диффузия). Поэтому моделируют плоское Броуновское движение частиц «краски» по пластине, следя за их положениями в моменты k
τ, k
= 0, 1, 2,... Приближённо принимают, что за малый интервал τ частица перемещается на шаг h
равновероятно во всех направлениях. Каждый раз направление выбирается случайным образом, независимо от всего предыдущего. Соотношение между τ и h
определяется коэффициентом теплопроводности. Движение начинается в источнике тепла и кончается при первом достижении края (наблюдается налипание «краски» на край). Поток Q (C) тепла через участок С границы измеряется количеством налипшей краски. При общем количестве N
частиц согласно Больших чисел закон у
такая оценка даёт случайную относительную ошибку порядка h из-за дискретности выбранной модели). Искомую величину представляют математическим ожиданием (См. Математическое ожидание) числовой функции f
от случайного исхода ω явления:
В разобранном выше примере f
(ω)= 1,
когда траектория кончается на С; иначе f
(ω) =
0. Дисперсия Проведение каждого «эксперимента» распадается на две части: «розыгрыш» случайного исхода ω и последующее вычисление функции f
(ω). Когда пространство всех исходов и вероятностная мера Р слишком сложны, розыгрыш проводится последовательно в несколько этапов (см. пример). Случайный выбор на каждом этапе проводится с помощью случайных чисел, например генерируемых каким-либо физическим датчиком; употребительна также их арифметическая имитация - псевдослучайные числа (см. Случайные и псевдослучайные числа). Аналогичные процедуры случайного выбора используются в математической статистике и теории игр. С. м. широко применяется для решения на ЭВМ интегральных уравнений, например при исследовании больших систем (См. Большая система). Они удобны своей универсальностью, как правило, не требуют большого объёма памяти. Недостаток - большие случайные погрешности, слишком медленно убывающие при увеличении числа экспериментов. Поэтому разработаны приёмы преобразования моделей, позволяющие понижать разброс наблюдаемых величин и объём модельного эксперимента. Лит.:
Метод статистических испытаний (Метод Монте-Карло), М., 1962; Ермаков С. М., Метод Монте-Карло и смежные вопросы, М., 1971. Н. Н. Ченцов.
Большая советская энциклопедия. - М.: Советская энциклопедия
.
1969-1978
.
,
т.
е. интегралом по вероятностной мере Р (см. Мера множества). На оценку ,
где ω 1 ,..., ω N -смоделированные исходы, можно смотреть как на квадратурную формулу для указанного интеграла со случайными узлами ω k
и случайной погрешностью R
N обычно принимают 
,
считая большую погрешность пренебрежимо маловероятной; Дисперсия Df
может быть оценена в ходе наблюдений (см. Ошибок теория).
Смотреть что такое "Статистическое моделирование" в других словарях:
Статистическое и эконометрическое моделирование исследование объектов познания на их статистических моделях; построение и изучение моделей реально существующих предметов, процессов или явлений (например: экономических процессов в… … Википедия
Статистическое моделирование - способ исследования процессов поведения вероятностных систем в условиях, когда неизвестны внутренние взаимодействия в этих системах. Он заключается в машинной имитации изучаемого процесса, который как бы копируется на… … Экономико-математический словарь
Метод прикладной и вычислительной математики, состоящий в реализации на ЭВМ специально разрабатываемых стохастич. моделей изучаемых явлений или объектов. Расширение области применения С. м. связано с быстрым развитием техники и особенно… … Математическая энциклопедия
Моделирование ситуаций с использованием статистических закономерностей, присущих рассматриваемому явлению. Словарь бизнес терминов. Академик.ру. 2001 … Словарь бизнес-терминов
Моделирование исследование объектов познания на их моделях; построение и изучение моделей реально существующих объектов, процессов или явлений с целью получения объяснений этих явлений, а также для предсказания явлений, интересующих… … Википедия
МОДЕЛИРОВАНИЕ ИМИТАЦИОННОЕ в социологии - вид моделирования математического, состоящий в воспроизведении на ЭВМ социального процесса либо функционирования социальной системы. Почти всегда предполагает воспроизведение случайных факторов, влияющих на изучаемое явление, и, как следствие,… … Социология: Энциклопедия
МОДЕЛИРОВАНИЕ, СТАТИСТИЧЕСКОЕ - разработка разнообразных моделей, которые отображают статистические закономерности описываемого объекта, явления. Общей специфической чертой этих моделей является учет случайных возмущений или отклонений. Объектами С.м. являются различные… … Большой экономический словарь
МОДЕЛИРОВАНИЕ СТАТИСТИЧЕСКОЕ - представление или описание некоторого феномена или системы взаимосвязей между явлениями посредством набора переменных (показателей, признаков) и статистических взаимосвязей между ними. Цель М.С. (как и любого другого моделирования) представить… … Социология: Энциклопедия
Для улучшения этой статьи желательно?: Исправить статью согласно стилистическим правилам Википедии. Имитационное моделирование (ситуационное … Википедия
ИМИТАЦИОННОЕ МОДЕЛИРОВАНИЕ - (...от франц. modele образец) метод исследования каких либо явлений и процессов методом статистических испытаний (метод Монте Карло) с помощью ЭВМ. Метод основан на розыгрыше (имитации) воздействия случайных факторов на изучаемое явление или… … Энциклопедический словарь по психологии и педагогике
Книги
- Статистическое моделирование. Методы Монте-Карло. Учебное пособие для бакалавриата и магистратуры , Михайлов Г.А.. Учебное пособие посвящено особенностям моделирования случайных величин, процессов и полей. Особое внимание уделяется численному интегрированию, в частности методу Монте-Карло. Дается решение…
Наиболее широкое распространение при построении прогнозов развития в практике коммерческой деятельности получили экономико-статистические модели , которые описывают зависимость исследуемого экономического показателя от одного или нескольких факторов, оказывающих на него существенное влияние.
Закономерности в экономике могут выражаться в виде математических моделей связей и зависимостей экономических показателей. Такие зависимости и модели получают только путем обработки реальных статистических данных с учетом внутренних механизмов связи и случайных факторов. Наличие и качество информационного обеспечения, реальные возможности сбора и обработки первичной информации во многом определяют как сферу практического применения статистического моделирования в экономике, так и выбор различных видов прикладных моделей.
Строить экономико-статистические модели и оценивать их параметры, проверять гипотезы о свойствах экономических показателей и формах их связей помогает математическая статистика - теория обработки и анализа данных. Ее применение в экономике служит основой для экономического анализа и прогнозирования, что в конечном счете создает возможности для принятия обоснованных экономических решений.
Экономические данные обычно делят на два вида: перекрестные данные и временные ряды. Особенности их формирования впоследствии определяют выбор тех или иных методов обработки и анализа данных, построения моделей, отражающих связи и зависимости показателей.
Перекрестные данные - это данные по какому-либо экономическому показателю, полученные для разных однотипных объектов (фирм, регионов, отдельных видов товаров и др.). При этом либо все данные относятся к одному и тому же моменту времени, либо их временная принадлежность несущественна. Такие данные особенно ценны при изучении конкурентных преимуществ экономического объекта, сравнительной оценке его эффективности с целью определения реального положения на рынке, а также для выявления общей, характерной для всей совокупности отобранных объектов, зависимости какого-либо экономического показателя от действия заданных факторов в конкретный момент времени. Примером перекрестных данных может быть набор сведений (объем реализации, количество работников, уровень доходов и т.д.) о разных торговых предприятиях в один и тот же момент времени.
Временные ряды - это данные, характеризующие один и тот же объект, но в различные моменты времени, т.е. в качестве признака упорядочения данных в таких рядах берется время. Примером временных рядов могут быть ежеквартальные данные об объеме товарооборота, средней заработной плате, данные об инфляции, уровне доходов, затрат за последние несколько лет. Временной ряд, состоящий из n -уровней у 1 , y 2 , …, y n может быть записан в компактной форме: y t , t = 1, 2, ..., n , где t - порядковый номер наблюдения.
Основными требованиями, предъявляемыми к исходным данным, являются требования сопоставимости, достаточной представительности для выявления закономерности, однородности и устойчивости. Невыполнение одного из этих требований делает бессмысленным применение математического аппарата.
Сопоставимость данных достигается в результате одинакового подхода к наблюдениям на разных этапах формирования ряда динамики. Данные каждого ряда должны выражаться в одних и тех же единицах, иметь одинаковый шаг наблюдений, рассчитываться для одного и того же интервала времени, по одной и той же методике, охватывать одни и те же элементы, принадлежащие одной территории, относящейся к неизменной совокупности.
Представительность данных характеризуется их полнотой. Достаточное число наблюдений определяется в зависимости от цели проводимого исследования. Если целью является описательный статистический анализ, то в качестве изучаемого интервала времени можно выбрать любой, по своему усмотрению. Если же цель исследования - построение модели динамики, то число уровней исходного динамического ряда должно не меньше, чем в 3 раза превышать период упреждения прогноза и быть не менее 7. В случае использования квартальных или помесячных данных для исследования сезонности и прогнозирования сезонных процессов исходный временной ряд должен содержать квартальные либо помесячные данные не менее, чем за 4 года, даже если требуется прогноз на 1-2 квартала (месяца).
Однородность данных предполагает отсутствие нетипичных, аномальных наблюдений, а также изломов сложившихся тенденций. Аномальность приводит к смещению оценок и, следовательно, к искажению результатов анализа. Изломы тенденций свидетельствуют об изменении закономерностей протекания процесса.
Устойчивость данных отражает преобладание закономерности над случайностью в изменении уровней ряда. Свойство устойчивости легче всего проследить графически. На графиках устойчивых временных рядов даже визуально прослеживается закономерность, а на графиках неустойчивых рядов изменения последовательных уровней представляются хаотичными, и поэтому поиск закономерностей в формировании значений уровней таких рядов лишен смысла.
2 Основные инструменты анализа экономических данных
MS Excel предлагает широкий диапазон средств для изучения экономической информации. Множество встроенных статистических функций (СРЗНАЧ, МЕДИАНА, МОДА и др.) используют для проведения несложного анализа данных. Если возможностей встроенных функций недостаточно, то обращаются к пакету анализа, который содержит большой набор соответствующих инструментов и значительно расширяет аналитические возможности Excel. Его можно использовать для ранжирования данных, извлечения случайных или периодических выборок из набора данных, проведения корреляционного анализа, получения основных статистических характеристик для выборки и т.п.
В частности, пакет анализа MS Excel позволяет произвести Описательную статистику , содержащую информацию о центральной тенденции и изменчивости входных данных.
Инструмент Описательная статистика , имеющийся в пакете «Анализ данных» MS Excel, предназначен для оценки выборки экономических данных, когда есть необходимость проследить характер распределения и оценить меру разброса фактических величин вокруг среднего значения. Описательная статистика предлагает таблицу основных статистических характеристик для одного или нескольких множеств входных значений. Выходной диапазон этого инструмента содержит следующие статистические характеристики для каждой переменной из входного диапазона: среднее, стандартная ошибка, медиана, мода, стандартное отклонение, дисперсия, коэффициент эксцесса, коэффициент асимметрии, размах (интервал), максимальное значение, минимальное значение, сумма, число значений, k -e наибольшее и наименьшее значения (для любого заданного значения k ) и уровень значимости (надежности) для среднего.
Среднее значение (у ср ) является основной характеристикой центра распределения. Для него характерно то, что все отклонения от него (положительные и отрицательные) в сумме равняются нулю. Excel вычисляет среднее значение по средней арифметической, суммируя ряд данных с последующим делением результата на количество значений ряда.
Стандартная ошибка оценивает меру ошибки рассчитанного на основе сформированной выборки среднего значения и снижается при увеличении массива отобранных данных.
Стандартное отклонение и дисперсия выборки являются статистическими характеристиками изменчивости (разброса) множества измерений. Стандартное отклонение - это квадратный корень из дисперсии. Как правило, приблизительно 68 % значений случайной величины, имеющей нормальное распределение, находятся в пределах одного стандартного отклонения от среднего и около 95 % - в пределах двух. Большое стандартное отклонение указывает на то, что значения сильно разбросаны относительно среднего, а малое - на то, что значения сосредоточены около среднего.
Размах (интервал) есть разность между максимальным и минимальным значениями ряда данных, т.е. длина интервала, которому принадлежат все данные выборки. Чем больше эта длина, тем более рассеяна кривая распределения, тем больше колеблемость изучаемого признака.
Минимум характеризует наименьшее значение во входном диапазоне данных.
Максимум отражает наибольшее значение во входном диапазоне данных.
Мода (Мо ) определяет значение, которое чаще других встречается в массиве данных.
Медиана (Me ) - это значение, разделяющее заданное множество данных (выборку) на две равные части, т.е. половина чисел оказывается больше и половина - меньше медианы. Если количество данных четное, то значение медианы равно среднему из двух чисел, находящихся в середине множества.
Соотношение среднего значения, моды и медианы указывает на характер распределения изучаемого признака в совокупности, позволяет оценить его асимметрию. В симметричных распределениях все три характеристики совпадают. Чем больше расхождение между модой и средним значением, тем более асимметричен ряд.
Оценку отклонения фактического распределения каждого набора входных данных (выборки) от нормального распределения проводят также с помощью коэффициентов асимметрии и эксцесса
. Для нормального распределения асимметрия и эксцесс равны нулю. При отклонении от нормального распределения асимметрия положительна, если «длинная» и более пологая часть кривой распределения расположена справа от точки на оси абсцисс, соответствующей моде. Для правосторонней асимметрии характерно неравенство Mo
Увеличение количества наблюдений и соответственно размера совокупности данных значительно повышает практическую ценность проводимого на основе Описательной статистики исследования. Поэтому широкое применение этот инструмент анализа находит при проведении экономических исследований территориального и отраслевого масштаба, когда требуются расчет и оценка статистических характеристик множества различных экономических показателей на основе больших массивов данных по каждому их них.
3 Применение корреляционного анализа для решения экономических задач
Любая экономическая политика заключается в регулировании определенных экономических параметров и поэтому должна основываться на знании того, как эти параметры влияют на другие составляющие экономической среды.
Связь одного из показателей с другими описывается с помощью функций одной у = f(x) или нескольких у = f(x 1 , х 2 , …, х n) переменных.
На исследуемый показатель, кроме явно учитываемых объясняющих признаков, влияет еще множество других факторов, существующих в действительности, но не учитываемых явно в модели. Большинство этих факторов - случайные, незначимые или не поддающиеся количественному выражению, но они приводят к вариации реальных данных, их несовпадению с величинами, рассчитанными по формуле связи переменной с объясняющими признаками. Это обусловливает стохастическую природу как экономических показателей, так и взаимосвязей между ними. Стохастические взаимосвязи экономических переменных можно описать с помощью так называемых корреляционных характеристик.
Корреляционный анализ – это раздел математической статистики, посвященный изучению взаимосвязей между случайными величинами. Аппарат корреляционного анализа объединяет специальные статистические методы и, соответственно, показатели, значения которых определенным образом (и с определенной вероятностью) свидетельствуют о присутствии или отсутствии связи между переменными.
Основной целью корреляционного анализа является установление характера влияния факторной переменной на исследуемый показатель и определение тесноты их связи с тем, чтобы с достаточной степенью надежности строить модель развития исследуемого показателя.
Учитывая то обстоятельство, что на любой результирующий экономический показатель оказывает воздействие множество факторов, важно грамотно и обоснованно подойти к выбору наиболее значимых из них. От правильности сделанного выбора во многом будет зависеть и достоверность полученных на основе построенной модели прогнозов.
Предварительный отбор факторов для корреляционного анализа производится логически на основе содержательных экономических оценок. При этом все факторы, воздействующие на исследуемый показатель, подразделяются на два вида - формализуемые и неформализуемые. Формализуемые факторы допускают аналитический расчет с использованием экономико-математических методов по определенным алгоритмам с применением вычислительной техники или без нее. Именно такие факторы могут быть отобраны для корреляционного анализа. Неформализуемые факторы не поддаются количественному измерению и поэтому включить их в экономико-математическую модель не представляется возможным. К ним относятся политические, моральные, этические факторы, социально-психологические мотивы, привычки, традиции, опыт и др.
Поскольку корреляционная связь с достаточной выразительностью и полнотой проявляется только в массе наблюдений, объем выборки данных должен быть достаточно большим. В условиях нестабильности экономики построение длинных динамических рядов на основе годовых данных представляется нецелесообразным вследствие несопоставимости условий функционирования экономического объекта (в том числе и торгового предприятия). Поэтому число наблюдений можно увеличить за счет данных о динамике исследуемых показателей по кварталам и месяцам.
С технической точки зрения проведение корреляционного анализа сводится к расчету коэффициентов парной корреляции, значения которых помогут судить о характере и тесноте связи между исследуемым показателем и каждой отобранной факторной переменной.
Коэффициент парной корреляции используется в качестве меры, характеризующей степень линейной связи двух переменных. Значение коэффициента корреляции лежит в интервале от -1 (в случае строгой линейной отрицательной связи) до +1 (в случае строгой линейной положительной связи). Соответственно, положительное значение коэффициента корреляции свидетельствует о прямой связи между исследуемым и факторным показателем, а отрицательное - об обратной. Чем ближе значение коэффициента корреляции к 1, тем теснее связь. Качественно оценить тесноту связи позволяет специальная шкала значений коэффициентов корреляции, разработанная профессором Колумбийского университета США Чеддоком (таблица 3.1).
Таблица 3.1 - Оценка тесноты связи двух переменных на основе коэффициента корреляции
Статистическое наблюдение.
Сущность статистического наблюдения.
Начальным этапом всякого статистического исследования служит планомерный, научно организованный сбор данных о явлениях и процессах общественной жизни, называемый статистическим наблюдением. Значение этого этапа исследования определяется тем, что использование лишь вполне объективной и достаточно полной, полученной в результате статистического наблюдения, на последующих этапах в состоянии обеспечить научно обоснованные выводы о характере и закономерностях развития изучаемого объекта. Статистическое наблюдение осуществляется путем оценки и регистрации признаков единиц изучаемой совокупности в соответствующих учетных документах. Полученные таким образом данные представляют собой факты, так или иначе характеризующие явления общественной жизни. Использование аргументации, основанной на фактах, не противоречит применению теоретического анализа, поскольку всякая теория в конечном счете основывается на фактическом материале. Доказательная способность фактов еще больше возрастает в результате статистической обработки, обеспечивающей их систематизацию, представление в сжатом виде. Статистическое наблюдение следует отличать от других форм наблюдений, осуществляемых в повседневной жизни, основанных на чувственном восприятии. Статистическим можно назвать лишь такое наблюдение, которое обеспечивает регистрацию устанавливаемых фактов в учетных документах для последующего их обобщения. Конкретными примерами статистического наблюдения служит систематическое собирание сведений, например на машиностроительных предприятиях о количестве произведенных машин и узлов, издержках производства, прибыли и т. д. Статистическое наблюдение должно удовлетворять довольно жестким требованиям: 1. Наблюдаемые явления должны иметь определенное народнохозяйственное значение, научную либо практическую ценность, выражать определенные социально-экономические типы явлений. 2. Статистическое наблюдение должно обеспечить сбор массовых данных, в которых отражается вся совокупность фактов, относящихся к рассматриваемому вопросу, поскольку общественные явления находятся в постоянном изменении, развитии, имеют различные качественные состояния.
Неполные данные, недостаточно разносторонне характеризующие процесс, приводят к тому, что из их анализа делаются ошибочные выводы. 3. Многообразие причин и факторов, определяющих развитие социальных и экономических явлений, предопределяет ориентацию статистического наблюдения наряду со сбором данных, непосредственно характеризующих изучаемый объект, на учет фактов и событий, под влиянием которых осуществляется изменение его состояний. 4. Для обеспечения достоверности статистических данных на стадии статистического наблюдения необходима тщательная проверка качества собираемых фактов. Строгая достоверность его данных- одна их важнейших характеристик статистического наблюдения. Дефекты статистической информации, выражающиеся в ее недостоверности, не могут быть устранены в процессе дальнейшей обработки, поэтому их появление затрудняет принятие научно обоснованных решений и сбалансированность экономики. 5. Статистическое наблюдение должно проводиться на научной основе по заранее разработанным системе, плану и правилам (программе), обеспечивающим строго научное решение всех программно-методологических и организационных вопросов.
Программно-методологическое обеспечение статистического наблюдения.
Подготовка к статистическому наблюдению, обеспечивающая успех дела, предполагает необходимость своевременного решения ряда методологических вопросов, связанных с определением задач, цели, объекта, единицы наблюдения, разработкой программы и инструментария, определением способа сбора статистических данных. Задачи статистического наблюдения непосредственно вытекают из задач статистического исследования и состоят, в частности, в получении массовых данных непосредственно о состоянии изучаемого объекта, в учете состояния явлений, оказывающих влияние на объект, изучении данных о процессе развития явлений. Цели наблюдения определяются, прежде всего, нуждами информационного обеспечения для экономического и социального развития общества. Поставленные перед государственной статистикой цели уточняются и конкретизируются ее руководящими органами, в результате чего определяются направления и масштаб работы. В зависимости от цели решается вопрос об объекте статистического наблюдения, т.е. что именно следует наблюдать. Под объектом понимается совокупность вещественных предметов, предприятий, трудовых коллективов, лиц и т.д., посредством которых осуществляются явления и процессы, подлежащие статистическому исследованию. Объектами наблюдения в зависимости от целей могут выступать, в частности, массы единиц производственного оборудования, продукции, товарно материальных ценностей, населенных пунктов, районов, предприятий, организаций и учреждений различных отраслей народного хозяйства, население и отдельные его категории и т.д. Установление объекта статистического наблюдения связано с определением его границ на основе соответствующего критерия, выраженного некоторым характерным ограничительным признаком, называемым цензом. Выбор ценза оказывает существенное влияние на формирование однородных совокупностей, обеспечивает невозможность смешения различных объектов либо недоучета некоторой части объекта. Сущность объекта статистического наблюдения уясняется полнее при рассмотрении единиц, из которых он состоит: Единицами наблюдения служат первичные элементы объекта статистического наблюдения, являющиеся носителями регистрируемых признаков.
От единицы наблюдения следует отличать отчетную единицу. Отчетной единицей служит такая единица статистического наблюдения, от которой в установленном порядке получают информацию, подлежащую регистрации. В ряде случаев оба понятия совпадают, но нередко они имеют и вполне самостоятельное значение. Учесть все множество признаков, характеризующих объект наблюдения, оказывается невозможным и нецелесообразным, поэтому при разработке плана статистического наблюдения следует тщательно и квалифицированно решать вопрос о составе признаков, подлежащих регистрации в соответствии с поставленной целью. Перечень признаков, формулируемых в виде вопросов, обращаемых к единицам совокупности, на которые должно дать ответ статистическое исследование, представляет собой программу статистического наблюдения.
Чтобы получить исчерпывающую характеристику изучаемого явления, в составе программы должен быть учтен весь круг его существенных признаков. Однако проблематичность практического осуществления этого принципа обусловливает необходимость включения в программу лишь наиболее существенных признаков, выражающих социально-экономические типы явления, его важнейшие черты, свойства и взаимосвязи. Объем программы регламентируется величиной ресурсов, имеющихся в распоряжении статистических органов, сроками получения результатов, требованиями к степени детализации разработок и т.д. Содержание программы определяется характером и свойствами изучаемого объекта, целями и задачами исследования. К числу общих требований к составлению программы относится недопустимость включения в ее состав вопросов, на которые затруднительно получить точные, вполне достоверные ответы, дающие объективную картину той или иной ситуации. При рассмотрении некоторых наиболее важных признаков в состав программы принято включать контрольные вопросы, служащие для согласованности получаемых сведений. Чтобы усилить взаимопроверку вопросов и аналитичность программы наблюдения, взаимосвязанные вопросы располагаются в определенной последовательности, иногда в блоках взаимосвязанных признаков.
Вопросы программы статистического наблюдения должны быть сформулированы четко, ясно, лаконично, не допуская возможности различных их истолкований. В программе нередко приводится перечень возможных вариантов ответов, посредством которых уточняется смысловое содержание вопросов. Методологическое обеспечение статистического наблюдения предполагает, что одновременно с программой наблюдения составляется и программа ее разработки. Задачи исследования формулируются в перечне обобщающих статистических показателей. Эти показатели должны быть получены в результате обработки собранного материала, признаков, с которыми корреспондируется каждый показатель, и макетов статистических таблиц, где представлены результаты обработки первичной информации. Программа разработки, выявляя недостающую информацию, позволяет уточнить программу статистического наблюдения. Проведение статистического наблюдения предполагает необходимость подготовки соответствующего инструментария: формуляров и инструкции по их заполнению. Статистический формуляр - это первичный документ, в котором фиксируются ответы на вопросы программы по каждой из единиц совокупности. Формуляр, таким образом, - это носитель первичной информации. Для всех формуляров характерны некоторые обязательные элементы: содержательная часть, включающая перечень вопросов программы, свободная графа либо несколько граф для записи ответов и шифров (кодов) ответов, титульная и адресная печати. Статистические формуляры в целях обеспечения единства трактовки их содержательной части обычно сопровождаются инструкцией, т.е. письменными указаниями и разъяснениями к заполнению бланков статистического наблюдения. Инструкция разъясняет цель статистического наблюдения, характеризует его объект и единицу, время и продолжительность наблюдения, порядок оформления документации, сроки представления результатов. Однако главное назначение инструкции состоит в разъяснении содержания вопросов программы, как следует давать на них ответы и заполнять формуляр.
Виды и способы статистического наблюдения.
Успех дела сбора качественных и полных исходных данных с учетом требования экономного расходования материальных, трудовых и финансовых ресурсов во многом определяется решением вопроса о выборе вида, способа и организационной формы статистического наблюдения.
Виды статистического наблюдения.
Необходимость выбора того или иного варианта сбора статистических данных, в наибольшей мере соответствующего условиям решаемой задачи, определяется наличием нескольких видов наблюдения, различающихся прежде всего по признаку характера учета фактов во времени. Систематическое наблюдение, осуществляемое непрерывно и обязательно по мере возникновения признаков явления, называется текущим. Текущее наблюдение проводится на основе первичных документов, содержащих информацию, необходимую для достаточно полной характеристики изучаемого явления. Статистическое наблюдение, проводимое через некоторые равные промежутки времени, называется периодическим. Примером может служить перепись населения. Наблюдение, проводимое время от времени, без соблюдения строгой периодичности либо в разовом порядке, называется единовременным. Виды статистического наблюдения дифференцируются с учетом различия информации по признаку полноты охвата совокупности. В связи с этим различают сплошное и не сплошное наблюдения. Сплошным называют наблюдение, учитывающее все без исключения единицы изучаемой совокупности. Не сплошное наблюдение заведомо ориентируется на учет некоторой, как правило, достаточно массовой части единиц наблюдения, позволяющей тем не менее получить устойчивые обобщающие характеристики все статистической совокупности. В статистической практике применяются различные виды не сплошного наблюдения: выборочное, способ основного массива, анкетное и монографическое. Качество не сплошного наблюдения уступает результатам сплошного, однако в ряде случаев статистическое наблюдение вообще оказывается возможным только как не сплошное. Для получения представительной характеристики всей статистической совокупности по некоторой части ее единиц применяют выборочное наблюдение, основанное на научных принципах формирования выборочной совокупности. Случайный характер отбора единиц совокупности гарантирует беспристрастность результатов выборки, предупреждает их тенденциозность. По способу основного массива производится отбор наиболее крупных, наиболее существенных единиц совокупности, преобладающих в общей их массе по изучаемому признаку. Специфическим видом статистического наблюдения служит монографическое описание, представляющее собой детальное обследование отдельного, но весьма типичного объекта, обусловливающего интерес и с точки зрения изучения всей совокупности.
Способы статистического наблюдения.
Дифференциация разновидностей статистического наблюдения возможна также в зависимости от источников и способов получения первичной информации. В связи с этим различают непосредственное наблюдение, опрос и документальное наблюдение. Непосредственным называют наблюдение, осуществляемое путем подсчета, измерения значений признаков, снятия показаний приборов специальными лицами, осуществляющими наблюдениями, иначе говоря- регистраторами. Достаточно часто ввиду невозможности применения иных способов статистическое наблюдение осуществляется путем опроса по некоторому перечню вопросов. Ответы фиксируются в специальном формуляре. В зависимости от способов получения ответов различают экспедиционный и корреспондентский способы, а также способ саморегистрации. Экспедиционный способ опроса осуществляется в устной форме специальным лицом (счетчиком, экспедитором), заполняющим одновременно формуляр или бланк обследования.
Корреспондентский способ опроса организуется путем рассылки статистическими органами бланков обследования некоторому соответствующим образом подготовленному кругу лиц, называемых корреспондентами. Последние обязаны согласно договоренности заполнить бланк и вернуть его в статистическую организацию. Проверка правильности заполнения формуляров имеет место при опросе способом саморегистрации. Опросные листы заполняют, как и при корреспондентском способе, сами опрашиваемые, но их раздачу и сбор, а также инструктаж и контроль правильности заполнения осуществляют счетчики.
Основные организационные формы статистического наблюдения.
Все разнообразие видов и способов наблюдения осуществляется на практике посредством двух основных организационных форм: отчетности и специально организованного наблюдения. Статистическая отчетность - основная форма статистического наблюдения в социальном обществе, охватывающая все предприятия, организации и учреждения производственной и непроизводственной сфер. Отчетность- это систематическое представление в установленные сроки учетно-статистической документации в виде отчетов, всесторонне характеризующих итоги работы предприятий и учреждений в течение отчетных периодов. Отчетность непосредственно связана с первичными и бухгалтерскими учетными документами, базируется на них и представляет собой их систематизацию, т.е. результат обработки и обобщения. Отчетность осуществляется по строго установленной форме, утверждаемой Госкомстатом России. Перечень всех форм с указанием их реквизитов (принадлежностей) называется табелем отчетности. Каждая из форм отчетности должна содержать следующие сведения: наименование; номер и дату утверждения; наименование предприятия, его адрес и подчиненность; адреса, в которые представляется отчетность; периодичность, дату представления, способ передачи; содержательную часть в виде таблицы; должностной состав лиц, ответственных за разработку и достоверность отчетных данных, т.е. обязанных подписать отчет. Многообразие условий производственного процесса в различных отраслях материального производства, специфичность воспроизводственного процесса в локальных условиях, учет значимости тех или иных показателей обусловливают различие видов отчетности. Различают, прежде всего, типовую и специализированную отчетность. Типовая отчетность имеет одинаковую форму и содержание для всех предприятий либо учреждений отрасли народного хозяйства. Специализированная отчетность выражает специфические для отдельных предприятий отрасли моменты. По принципу периодичности отчетность подразделяется на годовую и текущую: квартальную, месячную, двухнедельную, недельную. В зависимости от способа передачи информации различают почтовую и телеграфную отчетность. Статистические переписи служат второй по значению организационной формой статистического наблюдения. Перепись представляет собой специально организованное статистическое наблюдение, направленное на учет численности и состава определенных объектов (явлений), а также установление качественных характеристик их совокупностей на некоторый момент времени. Переписи представляют статистическую информацию, не предусмотренную отчетностью, а в ряде случаев существенно уточняют данные текущего учета.
Для обеспечения высокого качества результатов статистических переписей осуществляется комплекс подготовительных работ. Содержание организационных мероприятий по подготовке переписей, осуществляемых согласно требованиям и правилам статистической науки, излагается в специально разрабатываемом документе, называемом организационном планом статистического наблюдения. В организационном плане должны найти решение вопросы о субъекте (исполнителе) статистического наблюдения, о месте, времени, сроках и порядке проведения, об организации переписных участков, о подборе и подготовке счетных работников, обеспечении их необходимой учетной документацией, о проведении ряда других подготовительных работ и т.д. Субъектом наблюдения выступает организация (учреждение) либо его подразделение, ответственное за наблюдение, организующее его проведение, а также непосредственно выполняющие функции по сбору и обработке статистических данных. Вопрос о месте наблюдения (месте регистрации фактов) возникает преимущественно при проведении статистико-социологических исследований и решается в зависимости от цели исследования.
Время наблюдения представляет собой период времени, в течение которого должна быть начата и завершена работа по регистрации и проверке полученных данных. Время наблюдения выбирается на основе критерия минимальной пространственной мобильности изучаемого объекта. От времени наблюдения следует отличать критический момент, к которому приурочены собранные данные.
Понятие статистического наблюдения - довольно интересная тема для рассмотрения. Статистические наблюдения используются практически везде, где только можно обусловить их применение. Вместе с тем, несмотря на обширную область применения, статистические наблюдения являются довольно-таки сложным предметом и ошибки нередки. Однако в целом статистические наблюдения как предмет для рассмотрения представляют собой большой интерес.
Статистические и теоретико-вероятностные методы составляют методологическую основу одноименного вида моделирования. На этом уровне формализации модели речь о вскрытии закона, обеспечивающего устранение неопределенности при принятии решения, пока еще не идет, но существует некоторый массив наблюдений за данной системой или ее аналогом, позволяющих сделать некие выводы относительно прошлого/текущего/будущего состояния системы, основываясь на гипотезе об инвариантности ее поведения.
Как всегда, сформулируем определение… Статистическая или теоретико-вероятностная модель (стохастическая модель) - это модель, в которой обеспечивается учет влияния случайных факторов в процессе функционирования системы, основанная на применении статистической или теоретико-вероятностной методологии по отношению к повторяющимся феноменам . Данная модель оперирует количественными критериями при оценке повторяющихся явлений и позволяет учитывать их нелинейность, динамику, случайные возмущения за счет выдвижения на основе анализа результатов наблюдений гипотез о характере распределения некоторых случайных величин, сказывающихся на поведении системы.
По существу, теоретико-вероятностные и статистические модели отличаются уровнем неопределенности знаний о моделируемой системе, существующей на момент синтеза модели. В случае, когда представления о системе носят, скорее, теоретический характер и основываются исключительно на гипотезах о характере системы и возмущающих воздействий, не подкрепленных результатами наблюдений, теоретико-вероятностная модель является единственно возможной. Когда же на этапе синтеза модели уже существуют данные, полученные опытным путем, появляется возможность подкрепления гипотез за счет их статистической обработки. Это становится очевидным, если рассмотреть соотношение между методами математической статистики и теории вероятностей. Математическая статистика - это наука, изучающая методы вскрытия закономерностей, свойственных большим совокупностям однородных объектов или событий, на основании их выборочного обследования (либо большим массивам данных, полученных в результате наблюдения за одним и тем же объектом на протяжении достаточно протяженного интервала времени). Теория же вероятностей изучает количественные закономерности, которым следуют случайные явления, если эти явления определяются событиями известной вероятности. Соответственно, математическая статистика является связующим звеном между теорией вероятностей и явлениями реального мира, поскольку позволяет сформулировать оценки вероятности тех или иных событий на основе анализа статистических данных.
Можно утверждать, что статистические модели представляют собой особый вид математических моделей, использующих в качестве исходных данных не только актуальные данные о текущем состоянии объекта, но и данные, характеризующие состояние либо других объектов данного класса, либо этого объекта, но в иной момент времени. Статистические модели применимы для изучения массовых явлений любой природы, включая и те, которые не относятся к категории вероятностно определенных (математическая статистика приспособлена и для решения детерминированных задач). При моделировании последних статистический процесс вводится в модель искусственно для получения статистических оценок численного решения (например, точности измерения параметров детерминированного процесса).
Методы математической статистики и теории вероятности могут вводиться, в том числе, и в логические и логико-лингвистические модели, как это было указано в предыдущем подразделе. Например, могут рассматриваться методы интеграции статистических оценок в модели семантических отношений для придания различных весов дугам, связывающим отдельные вершины. Статистические оценки могут быть внедрены и в системы представления тезаурусов для разрешения ситуаций полисемии без обращения к процедурам контекстного анализа. Иными словами, статистические методы могут составлять как основу модели, так и применяться для модификации моделей других типов.
Для обработки результатов наблюдений используются методы корреляционного, регрессионного, факторного, кластерного и иных видов анализа, оперирующих статистическими гипотезами. Особая роль здесь отводится методу статистических испытаний (методу Монте-Карло ). Это метод численного решения математических задач, основанный на многократном теоретико-вероятностном и статистическом моделировании случайных величин или процессов с целью построения статистических оценок для искомых величин. Сущность метода состоит в реализации многократного моделирования случайного явления с помощью некоторой процедуры, дающей случайный результат. Для этого с применением ЭВМ создается некоторое множество реализаций случайных процессов, моделирующих возмущающие воздействия на исследуемый объект или процесс, после чего производится моделирование этого процесса или объекта в условиях, определяемых полученными случайными воздействиями. Результаты такого моделирования обрабатывают с использованием методов математической статистики. При этом могут варьироваться тип и параметры распределения случайной величины.
Реализация случайного процесса методом Монте-Карло представляет собой последовательность розыгрышей единичных жребиев, перемежающихся обычными расчетами, в ходе которых определяется результат возмущающего воздействия на объект или процесс, на исход операции.
Поскольку адекватность модели распределения случайных воздействий в общем случае установить трудно, задачей моделирования с применением метода Монте-Карло является обеспечение робастности полученных решений (устойчивости к изменению параметров закона распределения случайных величин и начальных условий моделирования) . Если результат моделирования не является робастным (существенно зависит от параметров закона распределения и параметров модели), то это свидетельствует о наличии высокого риска при принятии решения в данной реализации моделируемой системы.
Важную роль в статистических моделях играют гипотезы о характере процессов смены состояний в моделируемой системе. Так, например, весьма интересный случай представляет собой гипотеза о «марковости » процессов (получившая название в честь русского ученого А.А. Маркова - начало XX века). Марковские процессы представляют собой случай процесса с детерминированными вероятностями, для которого ранняя предыстория смены состояний системы на некотором предшествующем интервале времени несущественна для установления вероятности наступления следующего события - основное значение придается ее текущему состоянию . Если существует уверенность в марковости процесса, это существенно меняет представления о системе (она может рассматриваться как «инерционная», в большой степени зависящая от текущего ее состояния и характера возмущающего воздействия). Принцип марковости был открыт при анализе текстов на естественных языках, где вероятность появления следующего символа может быть предсказана на основе статистического анализа текстовых массивов, на данном конкретном языке.
Статистическое моделирование тесно сопряжено с имитационным моделированием , ходе которого модель объекта нередко «погружается в вероятностную (статистическую) среду», в которой проигрываются различные ситуации и режимы функционирования модели/объекта. Однако имитационные модели могут реализовываться и в детерминированных средах.
Методы статистического моделирования широко распространены в сфере стратегического планирования и управления . Широкому распространению методов статистического моделирования в сфере оперативного управления препятствует высокая трудоемкость процесса моделирования. В основном это связано с необходимостью глубокой математической проработки моделей и высокими требованиями, предъявляемыми к математическим познаниям пользователей.
