Что такое стохастическая система
«Стохастический» – это слово, которое физики, математики и другие ученые используют для описания процессов, обладающих элементом случайности. Происхождение его древнегреческое. В переводе оно означает «умеющий угадывать».
Значение слова «стохастический»
Таким образом, можно заметить, что техническое значение данного понятия не точно соответствует его словарному (лексическому) значению. Некоторые авторы используют выражение «стохастический процесс» как синоним понятия «случайный процесс».
Стохастичность в математике
Употребление данного термина в математике в настоящее время широко распространено. К примеру, существует такое понятие в теории вероятности, как стохастический процесс. Его итог нельзя определить по изначальному состоянию данной системы.
Употребление в математике понятия «стохастичность» относят к трудам Владислава Борцкевича. Именно он использовал данный термин в значении «выдвигать гипотезы». В математике, в особенности в таком разделе этой науки, как теория вероятности, область случайных исследований играет большую роль. Существует, к примеру, такое понятие, как стохастическая матрица. Колонки или строки данной матрицы в сумме дают единицу.
Стохастическая математика (финансовая)
Данный раздел математики анализирует финансовые структуры, действующие в условиях неопределенности. Он призван находить самые рациональные методы управления финансовыми средствами и структурами, учитывая такие факторы, как стохастическая эволюция, риск, время и др.
В науке принято выделять следующие структуры и объекты, которые используются в финансовой математике в целом:
Основным объектом изучения финансовой математики стохастической является именно последний из них. Данный раздел базируется на таких дисциплинах, как статистика случайных процессов, теория случайных процессов и др.
В настоящее время даже людям, далеким от науки, хорошо известно по многочисленным новостям и публикациям в СМИ, что значения так называемых глобальных финансовых индексов (например, индекса Доу Джонса), цены акций меняются хаотически. Л. Башелье предпринял первую попытку описать с использованием математики эволюцию стоимости акций. Его стохастический метод опирается на теорию вероятностей. Диссертация Л. Башелье, где представлена эта попытка, была опубликована в 1900 году. Ученый доказал формулу, известную в настоящее время как формула справедливой стоимости опциона-колл. В ней отражается стохастическая вероятность.
Важные идеи, которые в дальнейшем привели к возникновению теории эффективного рынка, были изложены в труде М. Кендалла, изданном в 1953 году. В этой работе рассматривается вопрос динамики цен акций. Исследователь описывает ее с помощью стохастических процессов.
Стохастичность в физике
Благодаря физикам Э. Ферми, С. Уламу, Н. Метрополису и Д. Нейману большое распространение получил метод Монте-Карло. Его название произошло от казино, расположенного в одноименном городе такой страны, как Монако. Именно здесь занимал деньги для игры дядя Улама. Использование природы повторов и случайностей для изучения процессов является аналогичным происходящей в казино деятельности.
При применении данного метода моделирования сначала происходит поиск вероятностного аналога. До этого моделирование осуществлялось в противоположном направлении: оно использовалось для проверки результата детерминированной проблемы, полученной ранее. И хотя и до открытия метода Монте-Карло существовали подобные подходы, они не были популярными и общими.
Энрико Ферми в 1930 году применил стохастические приемы для расчета свойств нейтрона, в то время только что обнаруженного. Методы Монте-Карло в дальнейшем использовались при работе над манхэттенским проектом, хотя в то время были существенно ограничены возможности вычислительных машин. По этой причине они получили широкое распространение только после того, как появились компьютеры.
Стохастические сигналы
Регулярные и стохастические сигналы имеют разные формы колебаний. Если повторно измерить последние, мы получим колебания, имеющие новую форму, которая отлична от предыдущей, однако проявляет определенное сходство в существенных чертах. Пример стохастического сигнала – запись колебаний волн моря.
Почему же вообще необходимо вести речь об этих достаточно необычных сигналах? Дело в том, что при изучении автоматических систем они встречаются даже чаще, чем предсказуемые.
Стохастичность и искусственный интеллект
Стохастические программы в сфере искусственного интеллекта работают с применением вероятностных методов. В качестве примера можно привести такие алгоритмы, как стохастическая оптимизация или нейронные сети. Это же относится к имитации отжига и генетическим алгоритмам. Во всех этих случаях стохастичность может содержаться в проблеме как таковой или же в планировании чего-либо в условии неопределенности. Детерминированное окружение для агента моделирования является более простым, чем стохастическое.
Итак, как мы видим, интересующее нас понятие используется во многих областях науки. Мы перечислили и охарактеризовали лишь основные сферы его применения. Изучение всех этих процессов, согласитесь, очень важно и актуально. Именно поэтому интересующее нас понятие, вероятно, будет еще долго использоваться в науке.
Стохастичность
Содержание
Стохастичность в математике
Область исследований стохастических процессов в математике, особенно в теории вероятностей, играет большую роль.
Стохастическая матрица — это матрица, чьи строки или колонки дают в сумме единицу.
Стохастичность в области искусственного интеллекта
В области искусственного интеллекта, стохастические программы работают с использованием вероятностных методов. Примерами таких алгоритмов могут служить: алгоритм имитации отжига, стохастические нейронные сети, стохастическая оптимизация, генетические алгоритмы. Стохастичность в данном случае может содержаться как в самой проблеме, так и в планировании в условии неопределённости. Для агента моделирования детерминированное окружение более простое, нежели стохастическое.
Стохастичность в естественных науках
Примером реального стохастического процесса в нашем мире может служить моделирование давления газа при помощи Винеровского процесса. Несмотря на то, что каждая молекула газа движется по своему строго определённому пути (в данной модели, а не в реальном газе), движение совокупности таких молекул практические нельзя просчитать и предсказать. Достаточно большой набор молекул будет обладать стохастическими свойствами, такими как наполнение сосуда, выравнивание давление, движение в сторону меньшего градиента концентрации и т. д. Таким образом проявляется эмерджентность системы.
Физика
Методы проведения расчётов и экспериментов на основе случайных процессов как формы стохастического моделирования применялись ещё на заре развития теории вероятностей (напр. Задача Буффона и работах по оценке малых выборок Уильяма Госсета), но наиболее развились в предкомпьютерную эру. Отличительной чертой методов моделирования Монте-Карло является то, что сначала идёт поиск вероятностного аналога (см. алгоритм имитации отжига). До этого методы моделирования шли в противоположном направлении: моделирование использовалось для того, чтобы проверить результат полученной ранее детерминированной проблемы. И хотя подобные подходы существовали до этого, они не были общими и популярными до тех пор, пока не появился метод Монте-Карло.
Возможно, наиболее известное из ранних применений подобных методом принадлежит Энрико Ферми, который в 1930 году использовал стохастические методы для расчёта свойств только что открытого нейтрона. Методы Монте-Карло широко использовались в ходе работы над манхэттенским проектом, несмотря на то, что возможности вычислительных машин были сильно ограничены. По этой причине только с появлением компьютеров методы Монте-Карло начали широко распространяться. В 1950х их используется Лос-Аламосская национальная лаборатория для создания водородной бомбы. Широкое распространения методы получили в таких областях, как Физика, Физическая химия и Исследование операций.
Использование методов Монте-Карло требует большого числа случайных величин, что, как следствие, привело к развитию генераторов псевдослучайных чисел, которые были намного быстрее, чем табличные методы генерации, которые ранее использовались для статистической выборки.
Одной из программ, где практически используются методы Монте-Карло, является MCNP.
Биология
В биологических системах было введено понятие ‘стохастического шума’, который помогает усилить сигнал внутренней обратной связи. Применяется для контроля за обменом веществ у диабетиков. [5]
Медицина
Примером подобных стохастических эффектов может служить рак.
Стохастический
Слово стохастический (от греч. στοχαστικός — «умеющий угадывать») используется во многих терминах из разных областей науки, и в общем означает неопределённость, случайность чего-либо.
Стохастические системы — это системы, изменение в которых носит случайный характер. При случайных воздействиях данных о состоянии системы недостаточно для предсказания в последующий момент времени.
Стохастический: Определение процесса, определяемого рядом наблюдений.
См. также
 | Список значений слова или словосочетания со ссылками на соответствующие статьи. Если вы попали сюда из другой статьи Википедии, пожалуйста, вернитесь и уточните ссылку так, чтобы она указывала на статью. |
Полезное
Смотреть что такое «Стохастический» в других словарях:
СТОХАСТИЧЕСКИЙ — [гр. stochastikos умеющий угадывать] случайный, вероятностный, беспорядочный, непредсказуемый. Словарь иностранных слов. Комлев Н.Г., 2006. стохастический (гр. stochasis догадка) случайный, или вероятностный, напр, с. процесс процесс, характер… … Словарь иностранных слов русского языка
стохастический — вероятностный, случайный; непредсказуемый. Ant. закономерный, обязательный Словарь русских синонимов. стохастический прил., кол во синонимов: 4 • беспорядочный (44) • … Словарь синонимов
СТОХАСТИЧЕСКИЙ — (от греч. stochastikos умеющий угадывать) случайный, вероятностный … Большой Энциклопедический словарь
СТОХАСТИЧЕСКИЙ — управляемый законами теории вероятностей, случайный. Геологический словарь: в 2 х томах. М.: Недра. Под редакцией К. Н. Паффенгольца и др.. 1978 … Геологическая энциклопедия
СТОХАСТИЧЕСКИЙ — англ. stochastic; нем. stochastisch. В статистике случайный или вероятный; напр., С. процесс процесс, характер изменения к рого во времени точно предсказать невозможно. Antinazi. Энциклопедия социологии, 2009 … Энциклопедия социологии
стохастический — ая, ое. stochastique, нем. stochastisch <гр. stochasis догадка. мат. Случайный, происходящий с вероятностью, которую невозможно предсказать. С.процесс. Стохастичность и, ж. Крысин 1998. Лекс. БСЭ 2: стохасти/ческий … Исторический словарь галлицизмов русского языка
стохастический — tikimybinis statusas T sritis automatika atitikmenys: angl. stochastic vok. stochastisch rus. стохастический pranc. stochastique ryšiai: sinonimas – stochastinis … Automatikos terminų žodynas
стохастический — ая, ое [греч. stochasis догадка] Книжн. Случайный, вероятностный, возможный. С ие изменения в экономике. С. процесс эволюции природы. * * * стохастический (от греч. stochastikós умеющий угадывать), случайный, вероятностный … Энциклопедический словарь
Стохастический — то есть случайный, не имеющий очевидной закономерной причины … Физическая Антропология. Иллюстрированный толковый словарь.
Стохастический — (от греч. stochastikos умеющий угадывать) случайный, вероятностный … Начала современного естествознания
Стохастическое мышление и стохастическая самоорганизация
Нарицын Николай Николаевич,
практикующий врач-психотерапевт, психоаналитик,
действительный член Общероссийской Профессиональной Психотерапевтической лиги,
Общероссийского совета по психотерапии и консультированию,
Европейской Ассоциации Психотерапевтов (ЕАР),
Европейской Конфедерации психоаналитической психотерапии (ЕКПП);
обладатель сертификата Всемирного совета по психотерапии,
автор и ведущий интернет-проекта www.naritsyn.ru
Журнал «Психотерапия» № 7-2017
Говоря о таких понятиях, как стохастическое мышление и стохастическая самоорганизация, прежде всего важно определить понятие «стохас». В Древней Греции так называли шкуру барана, набитую соломой, которую использовали в качестве мишени для стрельбы. В сети часто стохасом называют цель. Однако цель нужно поразить первым, единственным выстрелом, так как возможности повторить выстрел может не предоставиться. Потому греки тренировались на шкурах, и тренировались много.
Обычно попавшие в мишень стрелы располагались на поверхности шкуры как бы хаотично, но явно присутствовали и закономерности. Все стрелы располагались с одной стороны, а более плотно – в центре со стороны стрелка.
Собственно, стохас – это то, что одновременно содержит в себе и случайность, и закономерность (или закономерности).
Возьмём, к примеру, образование кристаллов. Пары воды в воздухе – это отдельные, независимые молекулы Н2О. При охлаждении они стремятся объединиться с помощью водородных связей в кристалл-шестиугольник, но угол между атомами водорода в молекуле воды не 120, а примерно 104,5 градуса, что создаёт внутреннее напряжение; в определённый момент грань разрывается, и начинается построение нового шестиугольника. В итоге мы видим красиво самоорганизовавшуюся снежинку.
Ещё интереснее образование кристаллов льда на стекле в мороз. На одном кристалле строится один шестигранник за другим. Природа словно выполняет компьютерную программу – «GO TO», пока не наткнётся на препятствие, например – микротрещинку или соринку. Программа как бы приостанавливается, и начинается новый тур фрактальных построений. А мы видим красивые узоры, нарисованные Дедом Морозом на наших окнах. Это один из многих природных примеров самоорганизации: именно сочетание огромного количества случайностей, ограниченных естественно природными закономерностями. Опять пример закономерностей: по закону фракталов, открытому только во второй половине двадцатого века (термин «фрактал» введён Бенуа Мандельбротом в 1975 году), уже миллиарды лет природой создаётся, точнее, самоорганизуется красота в растительном и часто в животном мире. Из хаоса стохастика творит нечто похожее на упорядоченное целое. А идеального порядка она не знает.
Так в природе создаётся почти всё, вплоть до звёздных систем и галактик. В космосе все спиральные галактики похожи друг на друга, но полностью одинаковых нет.
Для нас важно, что это один из основных процессов постоянно происходящих в живой природе. Например, подчиняясь той же своеобразной программе «GO TO», белками-ферментами синтезируются другие белки. Останавливается такой синтез белками-ингибиторами, генами или факторами внешней среды. А факторы внешней среды формируют то, что мы называем отражением реальной действительности для конкретного живого организма. Конечно, в итоге получается, что какие-то макропризнаки, по сути использующие пакет программ «GO TO» ( см «Эволюция. Классические идеи в свете новых открытий» Александр Марков, Елена Наймарк, 2014г.) задаются генами, однако хаотичность внешней по отношению к генам среды в итоге и создает величайшее межвидовое и внутривидовое разнообразие индивидуальностей.
Те же законы стохастической самоорганизации формируют стаи и колонии в животном мире, а также определяют отношения внутри этих формирований. Последние исследования биологов доказали, что громадная стая птиц или рыб, перемещаясь в своей среде, выполняет все маневры как бы по команде: но тем не менее, не имеет никакого лидера и представляет из себя стохастически самоорганизованную группу. Те же законы работают в социальных взаимоотношениях в человеческом сообществе, оказывая влияние на ход исторического процесса. Это проявление стохастической самоорганизации косвенно отметил ректор ВЕИП профессор Михаил Михайлович Решетников, говоря о том, как петербуржцы справились с транспортным коллапсом, возникшим в городе после теракта 03 апреля нынешнего года.
Итак, стохастическая самоорганизация является организационным отражением внешней среды. Но по законам стохастики организованы и нейронные сети внутри живых организмов. Стохастика играет ведущую роль в функционировании головного мозга человека. На макроуровне головной мозг одного человека похож на мозг другого так, что любому врачу достаточно беглого взгляда, чтобы его узнать. На своих местах расположены соответствующие доли и основные борозды. Но уже на уровне извилин мы встречаем совершенно индивидуальный у каждого человека рисунок. А если вооружиться микроскопом, то мы увидим полностью индивидуальное переплетение нейронов и их отростков: прямо-таки настоящий гигантский хаос. Количество нейронов в голове каждого из нас превышает количество звёзд во многих галактиках. Если считать первичной логической единицей синапс как аналог триггера «первичного чипа» в компьютере, то их в мозге человека в сотни раз больше, чем звёзд в галактике Млечный Путь. Можно сказать, что у каждого человека в голове свой космос, своя не похожая на других галактика со своими пульсарами, чёрными дырами и самыми разными туманностями.
Мы все мыслим по-разному, и как говорил И.С. Кон, «все мыслим инаково, не инакомыслящих не бывает». Если углубляться в детали морфологии и функционирования головного мозга, то можно заметить, что сложность этой структуры возрастает экспоненциально по степени глубины такого погружения. И всё это слаженно функционирует, превращая сигналы рецепторов в тонкое взаимодействие организма с внешней средой: то сохраняя динамический гомеостаз, то активируя или, наоборот, тормозя работу отдельных мышц или желёз. Как бы мы ни пытались изучать эти процессы межнейронных взаимосвязей в лаборатории, можно увидеть только неповторимый хаос. Основная доля этой работы остаётся незамеченной для нас, и лишь часть доводится до сознания в виде воспринимаемой нами мыслительной деятельности.
Собственно, это и есть стохастическая самоорганизация работы мозга. А так как в каждой черепной коробке этот процесс происходит своим неповторимым образом, это закономерно приводит к уникальности каждой отдельной личности. И если бы не некая эволюционно стандартизированная система коммуникации, то мы бы никогда не поняли друг друга. Эволюция (опять вспомним стохастическую самоорганизацию) создала возможность внутривидовой, а иногда и межвидовой коммуникации, и часть нервных клеток стала работать своеобразным модемом, с помощью которого «один компьютер мозг мог позвонить другому на общепринятом для них языке». У человека и некоторых высших животных таким «модемом» является зона Брока и Вернике – речевой центр в коре головного мозга. Следует отметить, что эта зона, как и все остальные, выявленные в девятнадцатом и двадцатом веках, не имеет чётко очерченных границ, а её работа лучше описывается теми же закономерностями стохастики. Однако именно с её помощью нам иногда удаётся обмениваться своими чувствами и мыслями с другими людьми. Более того, подчас мы общаемся со своим собственным мозгом через этот же «модем» в виде внутреннего монолога, и таким и только таким образом осознаём свои мысли.
Увы, это окно в мозг, к сожалению, очень маленькое, как замочная скважина в двери большого заводского цеха. Использование хирургических, инструментальных или сложных современных физических методов исследования живых людей больше напоминает проникновение в цех с помощью стенобитных машин. А если наблюдатель видит нечто через тоненькое отверстие, и не видит ничего другого, у него часто появляется соблазн признать, что это и есть вся работа мозга, а всё, что сверх того, пытаться приписать неведомым (и непознаваемым) потусторонним силам.
Часть 3. Dракоши. Раса Тупиков или стохастическая модель мультиагентной системы
Третья часть серии публикаций о мультиагентной системе Dракоши посвящена анализу упрощенной, стохастической модели вселенной Dракош. В этой реализации Вселенной индивидуальное поведение агентов полностью случайно, в том смысле что никак не зависит от состояния внешней или внутренней среды агентов. При этом распределение вероятностей действий агента определяется его хромосомой. Анализ такой модели позволит в дальнейшем выявлять проявления «осознанного» поведения агентов. В ходе экспериментирования и наблюдения за расой Тупиков было внесено ряд изменений и нововведений в механику мира Dракош.
Кто такие Dракоши смотрите в первой части. Во второй части описаны способы расчета вероятности успешного совершения действий при случайном поведении агентов.
1. Зачем нужна раса Тупиков?
Первые пробные эксперименты с прототипами Dракош показали, что поведение агентов с не настроенными нейронными сетями (которые инициируются случайными весами) носит случайны характер. Действия, которые они совершают, не соответствуют окружающей обстановке. Но это не означает что такие агенты не будут подвержены естественному отбору. Ведь агенты между собой отличаются. Кто-то постоянно шагает в одну сторону, забывая поесть, и когда его начальный запас энергии исчерпывается он погибает. Другой иногда пытается поесть, поэтому он сможет прожить дольше. А если агент хотя бы изредка пробует размножится – у него есть шанс оставить потомство… Первые агенты неизбежно будут отличатся по частоте успешных размножений, по количеству расходуемой/получаемой энергии и, следовательно, по длительности жизни (чаще пытаешься поесть, больше шансов что не помрешь с голоду). В сумме эти два фактора уже дают отличия в плодовитости агентов – появляется естественный отбор.
Эволюция — это медленный процесс. Не стоит ожидать что агенты прям сразу начнут умнеть и адекватно реагировать на окружающую обстановку. На первых порах агенты будут совершать случайные действия, каждый со своим распределением вероятностей. Вот над такими агентами и будет работать отбор. Назовем этот начальный период – эрой стохастических агентов.
Как же будет вести себя система в целом на раннем этапе эволюции? И как понять, что эра стохастического поведения закончилась и появились более сознательные Dракоши, которые понимают, что вокруг них происходит?
Для поиска ответов на эти вопросы я решил смоделировать расу Тупиков – агентов, у которых нет «мозга» (нейронной сети), а их поведение случайно и определяется вектором, который задает вероятности для каждого действия. Изучение поведения системы с такими агентами позволит понять, как будет выглядеть первая стохастическая эра в развития Dракош и в дальнейшем отследить, когда она закончится.
2. Особенности расы Тупиков
В отличии от полноценных Dракош у Тупиков всего две хромосомы:
На каждом такте времени для каждого агента определяется какое действие он совершит. Для этого каждому агенту генерируется дискретная случайная величина в соответствии с распределением, которое задано его хромосомой.
3. Жизнь Тупиков
Проведя серию экспериментов с различными значениями параметров вселенной, я подобрал такие их значения, что агенты могут устойчиво существовать в ней. Т.е. не вымирают спустя пару тысяч тактов или не заполняют все пространство под завязку, тем самым переставая размножатся (детей некуда девать ведь). При этом спустя примерно 15000 тактов численность агентов перестает существенно изменятся и колеблется вокруг равновесного значения. Такой режим существования вселенной позволит популяции существовать достаточно долго что бы эволюция смогла работать и как-то изменить самих агентов (тех, которые уже с мозгами будут).
На старте в пространстве случайным образом размещается 12500 агентов ( 
Dr/cell). У каждого агента имеется в распоряжении 50 kJ энергии.
На рисунке в качестве примера показано 3 примера изменения плотности агентов в пространстве с течением времени.
Анализируя этот график можно выделить четыре характерных эпохи:
А в этом ролике показано происходящее на участке пространства 15х15 ячеек в течении 20000 тактов времени.
Для отслеживания и анализа происходящего были использованы следующие параметры:
«Взрыв» и «Максимальное плато»
«Взрыв» – самая короткая эпоха в развитии популяции Тупиков. В течении этой эпохи происходит первичная селекция агентов – увеличивается доля агентов, боле часто совершающих попытки размножения (см. граф. Action frequency выше). Начальный запас энергии (50 kJ) позволяет агентам размножатся, даже если они вообще не будут пополнять его. Размножение происходит до полного заполнения пространства (см. граф. Density of Agents). Когда плотность агентов приближается к 2.0 Dr/cell успешность размножения стремится к нулю, т.к. для новых агентов просто не найти места.
Так начинается эпоха «Максимального плато», когда численность держится у предельного значения. При этом агенты не оставляют попыток размножится, частота действия Sex после первой эпохи остается наибольшей. Но успешность этого действия очень низкая (см. граф. Part of Luck Action). А успешными такие попытки становятся только когда кто-то из агентов умирает и освобождает место в пространстве для нового агента. На графике Birth & Death Rate это выглядит как совпадение линий смертности и рождаемости во время второй эпохи.
Действие Sex становится не очень выгодным, когда его успешность близка к нулю и его частота, как и частота действия Attack снижаются. Начиная с этой эпохи самым модным на долгое время становится действие Eat – его частота начинает расти. Но все равно запас энергии у агентов продолжает снижаться, хоть и не так быстро, как в первую эпоху (см. граф. Energy of Agents). К концу второй эпохи большинство агентов почти растратило свой запас энергии и начинается массовое вымирание. После которого начинается новая эпоха.
«Бутылочное горлышко»
Массовое вымирание на рубеже второй и третьей эпохи связано с вымиранием активно размножающихся агентов. На граф. Action frequency это видно как снижение частоты действия Sex во время массового вымирания. Это обусловлено тем, что активное размножение чрезвычайно сильно снижает запас энергии агента, даже неуспешная попытка размножения требует лишь немного меньше энергии чем самое энергоемкое действие – Attack.
В течении третьей эпохи активно начинает увеличиваться доля агентов пытающихся поесть (см. граф. Action frequency). При этом доля агентов совершающих энергозатратные действия – Attack, Step 2 – наоборот, уменьшается. Это приводит к тому, что запас энергии у агентов постепенно начинает расти.
После прохождения минимума плотности агентов увеличивается рождаемость и численность агентов начинает снова экспоненциально гиперболически расти. Но скорость потери энергии агентами теперь существенно меньше, ведь они в 2-3 раза чаще пытаются поесть чем размножится. Накопленный в начале третей эпохи запас энергии постепенно истощается и к концу этой эпохи смертность догоняет рождаемость, в результате чего плотность агентов стабилизируется.
Но на этот раз плотность агентов не достигает предельного значения. С ростом плотности агентов стационарное количество еды в пространстве уменьшается. В результате чего успешность питания снижается (см. граф. Part of Luck Action). При чем это снижение имеет место на всем протяжении третей эпохи и как видно на графике осознанности питания (см. граф. Awareness Indicators) его нельзя полностью объяснить уменьшением количества участков с пищей (успешность действия Eat меньше вероятности обнаружить еду). Скорее всего это объясняется тем, что интенсивно питающиеся агенты выедают пищу в своих ячейках и относительно реже перемещаются в соседние ячейки.
«Устойчивое развитие»
После демографического бума наступает динамическое равновесие – рождаемость и смертность уравновешивают друг друга – начинается четвертая эпоха. Рост количества агентов замедляется и постепенно плотность агентов приближается к стационарному значению – 1.23-1.24 Dr/cell. Интенсивность питания после усиленного роста в начале эпохи постепенно выходит на постоянное значение около 
. Для остальных действий частота составляет:
4. Реформирование Вселенной Dракош
Исследуя популяции Тупиков, я пришёл к тому, что для повышения эффективности моделирования стоит внести изменения в первоначально задуманную механику Вселенной Dракош. Под эффективностью я понимаю скорость появления новых особей в пространстве на большом масштабе времени.
Первое что я поменял это зависимость стационарного количества пищи в пространстве от плотности агентов. На каждом такте времени количество еды в пространстве корректируется (выкладывается или убирается) таким образом что бы приближаться к этому стационарному значению.
И то при каких значениях плотности агентов эта зависимость достигает значений порядка 8-14% от максимального (20 cake/cell) определяет значение стационарной плотности агентов в четвертую эпоху. «Смещая» эту кривую вправо-влево можно «выбрать» значение стационарной плотности агентов.
Высокое значение плотность агентов выгодно тем, что у большой популяции больший объемом генетических вариантов одновременно участвует в отборе. Но при очень высоких плотностях заполнения пространства успешность таких действий как Step1/2 и Sex снижаются и отбор смещается в сторону малоподвижных, прожорливых и агрессивных агентов.
На следующем рисунке показано как изменяется стационарные значения частоты действий Step 1 и Attack в зависимости от стационарной плотности (планки погрешностей указывают стандартное отклонение по популяции).
При значениях плотности агентов больше 1.3 Dr/cell в четвертой эпохе (спустя достаточное время – порядка 
тактов) популяция становится агрессивной: действие Attack – становится вторым по частоте совершения после действия Eat. При этом частота совершения шагов сильно уменьшается, и агенты очень редко перемещаются. По-видимому, это связано с тем, что при значениях плотности больше 1.0545 Dr/cell вероятность успешной атаки становится больше вероятности успешного шага (см. часть 2, раздел 5). В этом случае у агента больше шансов совершить успешную атаку и выбить три порции пищи из соседнего по ячейке агента чем попытаться переместится в соседнюю ячейку в надежде найти там свободное место и еду (напомню, агенты все еще совершают действия вслепую). Но когда плотность увеличивается больше 1.3 Dr/cell превышение вероятности успешной атаки над вероятностью успешного шага становится достаточно существенным что бы отбор поспособствовал закреплению в популяции более агрессивного поведения.
В итоге я остановился на значениях стационарной плотности агентов 1.23-1.24 Dr/cell. При этой плотности вероятность успешной атаки уже выше вероятности успешного шага (на 17%), но установившееся значения частоты совершения действий Step 1/2 почти втрое больше частоты действия Att.
Вторым изменением было увеличение энергоемкости пищи с 50 J/cake до 75 J/cake. И вместе с ним увеличен минимальный жизненно необходимый минимум энергии у агента: с 500 J до 750 J. Так же для сохранения баланса изменил энергетическую стоимость действия Att: с 55 J до 100 J.
Эти изменения привели к тому, что минимальная плотность агентов в третью эпоху увеличилась с 0.07-0.1 Dr/cell до 0.25-0.3 Dr/cell и сократилась длительность третей эпохи. В остальном поведение модели осталось прежним.
Третье и наверно самое существенное изменение – агенты начали стареть. Изначально я не планировал наличия старости во Вселенной Dракош, рассчитывая на то, что появление более успешных и плодовитых особей будет приводить к вытеснению старых. Но эксперименты с расой Тупиков показали, что при такой модели появление более успешных и плодовитых может затянутся на очень долгий срок. В четвертой эпохе средний возраст агентов растет практически линейно. Так как основную массу популяции составляют агенты, которые достаточно интенсивно питаются и в среднем имеют постоянное значение запаса энергии. При этом рождаемость относительно низкая и скорость смены поколений постоянно снижается. А вместе с ней и скорость работы отбора.
Что бы интенсифицировать появление новых генетических вариантов в популяции я решился ввести «плату» за возраст – дополнительную потерю энергии. До 7000 тактов она меньше 2 J, а после 10000 тактов становится больше 15 J. В результате чего максимальный возраст агентов в четвертую эпоху стал чуть более 10000 тактов, а средний около 3000 тактов. А скорость смены поколений стала почти постоянной (см. график Generation of Agents для 4й эпохи).
На этом, думаю, можно завершить исследование расы Тупиков и перейти к самому интересному – реализации полноценных Dракош. Хотя не сомневаюсь, что и c такой упрощенной моделью можно еще много чего интересного проделать. Но не терпится уже поэкспериментировать с эволюционирующими нейронными сетями.