Что такое предметная область и где она используется
Что такое Доменный объект и Предметная область, простым языком?
Доменный объект должен содержать всю бизнес-логику для работы с данным объектом.
Так же интересует, что означает «Уровень объектов предметной области» и «Уровень модели предметной области». О которых говорится в Вики
Предметная область — множество всех сущностей и их отношений в рамках контекста.
Например:
В рамках магазина это покупатели, продавцы, товары, цены, скидки, поставщики, процесс продажи, прихода на склад, возврата и т.п.
В рамках дискорда это пользователи, серверы, комнаты, группы, права на доступ, процессы присоединения к серверу, входа в комнату, оплаты nitro, написания текстового сообщения и т.п.
В целом, это всё, что понимает твой менеджер и ничего, что он не понимает. В предметную область не входит, например, то, где именно ты хранишь данные — в mysql, в файлах, получаешь и сохраняешь их по API или хранишь их в redis’е. Но входит абстрактная сущность «хранилище». Она же — интерфейс репозитория. Репозиторий — это паттерн, который скрывает реализацию конкретного хранилища и который оперирует объектами доменной модели — элементами предметной области, как будто они хранятся у тебя в оперативной памяти. Например, у репозитория могут быть методы и т.п. Реализация репозитория определяет, куда именно сохранится этот user или откуда он скачается. В одну таблицу или в несколько. Нормализованные ли будут данные лежать в РСУБД или денормализованные. Именно здесь можно реализовать запись в master, а чтение с реплик. Или энкодинг в msgpack и передачу его по API куда-то. Или по gRPC. Потому что предметная область не должна перегружаться деталями реализации хранилищ.
Про доменную модель:
Словарь (он же хэш, он же ассоциативный массив) — это не доменная модель (хотя в некоторых функциональных языках может быть). Объект ORM — это тоже не доменная модель, хотя много где пытается ей быть. Доменная модель не зависит от конкретных фреймворков, баз данных, оптимизаций этих баз и прочих навязанных технической составляющей сущностей. Чаще всего это обычный класс на языке, на котором пишется код (или struct в случае Golang).
Доменные модели бывают богатыми и анемичными (но не бескровными). Оба подхода применяются и, имхо, не является антипаттерном ни один из них. Лично я использую анемичные модели, а всю бизнес-логику храню в службах.
Еще несколько уточнений.
1. Какие запросы должны присутствовать в репозитории. Самые простые CRUD для работы с объектом. Или так же более специфические. К примеру, выборка колонок, простой список постов (заголовки и дата) или полный список, со всеми данными.
Если описать все возможные потребности программы в один интерфейс он станет очень «жирным». Куда лучше вынести такую логику, в Сервис? Или создать отдельный интерфейс и реализацию, только для чтения. Сюда же можно отнести получение отношений сущности. Так же вынести в Сервис который будет работать с разными репозиториями?
2. Насколько я понял, так же в интерфейсе репозитория нужно сразу описывать тип возвращаемых и принимаемых данных (доменный объект). Репозиторий не должен работать с «сырыми данными».
Как должна работать система в моем понимании.
1. Interface Segregation Principle. Нет ничего страшного в том, чтобы для одной сущности было больше одного репозитория. Запросы могут быть далеко не CRUD. Репозиторий — это хоть и коллекция, которая симулирует наличие всех бизнес-объектов в ОЗУ, но не стоит забывать, что это в первую очередь коллекция, а не просто словарь или список. У неё тоже может быть логика. В том числе, а аргументах методов можно указывать limit/offset, список полей, которые нужны от сущности. Хотя, последнее я бы делал очень осторожно, и, возможно, сделал бы отдельные методы или даже репозитории для тонких read-моделей. И только в случае, когда это действительно нужно. Скажем, если у вас тысячи запросов в секунду на чтение и кэша почему-то нет или его нельзя поставить.
2. Не понял и не хочу, если честно, понимать схемы:) Но как минимум, мне непонятно, почему сервис не использует интерфейс.
Анализ предметной области. Выявление функциональных требований к приложению
4.1. Определение предметной области
Специфика предметной области может оказывать существенное влияние на характер функционирования проектируемой интеллектуальной системы, выбор метода представления знаний, способов рассуждения о знаниях, и т. д.
Предметную область можно определить как объект или производственную систему со всем комплексом понятий и знаний о ее функционировании. При исследовании проблемной области необходимы знания о задачах, решаемых в производственной системе, и стоящих перед ней целях. Определяются также возможные стратегии управления и эвристические знания, используемые в процессе эксплуатации производственной системы.
Для определения основных функций продукта можно использовать, например, краткое описание варианта использования. Описание каждой функции можно представить также в виде списка, состоящего из трех граф : действующее лицо, цель и краткое описание варианта использования.
Анализ предметной области является основой для анализа осуществимости проекта и определения образа (концепции) продукта и границ проекта.
Анализ осуществимости
Для ответа на первый (и главный) вопрос нужно опросить заинтересованных лиц, например, менеджеров подразделений, в которых будет использоваться система, для выяснения того,
После получения и обработки информации готовится отчет, в котором должны быть даны рекомендации относительно продолжения разработки системы.
Постановку бизнес-задачи надо обсуждать с Заказчиком, или будущим Владельцем системы.
Вопросы, которые ему стоит задать, это:
Системные требования нужно выяснять у IT-специалистов Заказчика, если таковые имеются, из специфики контекста использования системы, опыта построения аналогичных систем (у IT-Экспертов-Архитекторов) и Специалистов по отдельным аспектам системы, значимым для данного проекта (Юристы, Эргономисты, и т.д.) и Заказчика:
Прежде чем приступать к реальной разработке приложения, определите подмножество функциональных средств, к которым пользователь сможет получать быстрый доступ в манере, свойственной мобильным устройствам. В случае создания нового приложения, аналога которого для настольных компьютеров не существует, выпишите ключевые сценарии, которые пользователи смогут выполнять с помощью вашего приложения, а также порядок действий пользователя, обеспечивающий использование этих сценариев на мобильном устройстве. Во многих случаях вам будет легче придать этим сценариям реальные очертания, если вы подготовите соответствующие рисунки или создадите прототипы. Если подразумевается определенная группа конечных пользователей, пообщайтесь с ними и предоставьте им возможность поработать некоторое время с экспериментальными версиями своих приложений, чтобы они могли дать о них свои отзывы.
Оптимальный подбор предоставляемых средств определяет все остальное
4.3. Формирование и документирование требований к проекту
Для всех проектов разработки программного обеспечения, кроме самых тривиальных, важно иметь единственный «руководящий документ», в котором определяются:
Единственный руководящий документ, который управляет всем процессом разработки, должен включать несколько разделов:
Предметная область базы данных и ее модели
Понятие предметной области
Понятие предметной области базы данных является одним из базовых понятий информатики и не имеет точного определения. Его использование в контексте ИС предполагает существование устойчивой во времени соотнесенности между именами, понятиями и определенными реалиями внешнего мира, не зависящей от самой ИС и ее круга пользователей. Таким образом, введение в рассмотрение понятия предметной области базы данных ограничивает и делает обозримым пространство информационного поиска в ИС и позволяет выполнять запросы за конечное время.
Методы математической логики позволяют формализовать эти утверждения и представить их в виде, пригодном для анализа.
Пример. Рассмотрим высказывание: Студент Иванов А.А, родился в 1982 году. Оно выражает следующие свойства объекта «Иванов А.А.»:
ЯВЛЯЕТСЯ СТУДЕНТОМ (Иванов А.А.)
Различают статические и динамические ситуации. Примерами статических ситуаций являются такие ситуации, как иметь цвет, иметь возраст. Примерами динамических ситуаций являются такие ситуации, как создать утюг, выпечь хлеб.
Понятие предметной области было введено в начале 80-х годов прошлого века, когда учеными в области ИС была осознана необходимость использовать семантические модели для представления информации в компьютерных системах. Так же как требования к компьютерной системе формируются средствами естественного языка, так и информация в компьютерных системах представляется средствами особого языка с определенной семантикой. Такой подход впервые был представлен П. Ченом в 1976 году.
Научная электронная библиотека
1.1. Предметная область, информация, данные
Охарактеризуем некоторые основные понятия теории баз данных [1, 4–6], которыми будем пользоваться в дальнейшем.
Предметная область – это часть реального мира, которая подлежит изучению с целью автоматизации организации управления.
Предметной областью информационной системы является совокупность объектов, свойства которых и отношения между которыми представляют интерес для пользователей ИС.
Любая предметная область может быть разбита на фрагменты. Каждый фрагмент оперирует со своими объектами и с множеством пользователей, которые имеют свои взгляды на предметную область, поэтому выявление предметной области и ее анализ является неотъемлемой частью разработки любой информационной системы.
В компьютерных системах описание некоторого формального объекта определяется посредством установления разнообразных по своим свойствам отношений этого объекта с другими объектами такого же рода.
Информация (Федеральный Закон) – сведения о предметах, лицах, событиях фактах, процессах и явлениях независимо от формы их представления.
Информация – это совокупность знаний (фактических данных) об объектах предметной области и зависимостях между ними.
Информация является одним из видов ресурсов, которые используются человеком в быту и профессиональной деятельности. К ресурсам относятся время, сырье, персонал и финансы. Каждый из видов ресурсов обладает такими свойствами как полезность и стоимость.
Полезность информации подтверждается тем, что любое предприятие при управлении другими ресурсами зависит от обеспеченности информацией. Отсутствие своевременной и достоверной информации усложняет деятельность любого предприятия. В условиях конкуренции данные становятся товаром и, следовательно, обладают стоимостью.
Информация бывает трех видов:
Оперативная информация извлекается из оперативных данных (ведомости, данные инженерных расчетов и т.п.). Тактическая информация представляет собой информацию, полученную после обработки оперативной информации (например, квартальные отчеты). Стратегическая информация – это результаты прогнозирования.
Данные – термин, который связан с представлением информации. Иными словами, сведения, зафиксированные на каком-либо материальном носителе, принято называть данными.
Данные – информация, представленная в виде пригодном для обработки ИС.
Возросший объем данных приводит к необходимости управления данными, т.е. приводит к базам данных.
БД – это системы хранения информации, обращение к которым может осуществляться через средства управления базами данных (СУБД).
Основное предназначение БД – предоставление пользователю необходимой информации в нужном месте и в нужное время. Индустрия СУБД [6, 7] в настоящее время вполне состоялась. Условия на рынке БД в настоящее время определяют такие фирмы как Oracle, IBM и Microsoft.
Необходимо выделить следующие формы деятельности БД.
Во-первых, оперативная обработка информации. Приложения с такими БД используются для поддержания ежедневной активности предприятия. Такие приложения требуют быстрой реакции и жесточайшего контроля над целостностью и безопасностью данных. Примерами таких приложений являются системы учета отработанного времени работниками предприятия; системы учета на складе; система учета книг в библиотеке и т.п.
Во-вторых, системы поддержки принятия решений. Они используются с целью анализа данных. Пользователям в таких приложениях должна быть предоставлена возможность конструирования запросов к БД различной сложности, осуществления поиска зависимостей, вывода данных в графических формах и передачи данных в другие приложения, например, текстовые редакторы или статистические пакеты.
С другой стороны приложения в зависимости от области применения подразделяются на два типа:
● офисные БД, предназначенные для поддержания деятельности средних и небольших фирм, не связанных с производственной деятельностью;
● БД для промышленной автоматизации.
С точки зрения организации информации производственная автоматизация несколько запаздывает по сравнению с офисной. Это связано с тем, что традиционные БД зачастую неприменимы для систем промышленной автоматизации.
Вот некоторые ограничения:
1. Генерация данных в производственных процессах происходит с большой скоростью и для хранения производственного архива с 7000 переменных в БД каждую секунду необходимо вставлять 7000 строк. Офисные БД не обладают таким быстродействием.
2. Заводской архив с таким количеством характеристик (7000) требует под размещение БД примерно 1 Терабайт дисковой памяти. Сегодняшние БД такими объемами манипулировать не могут.
Уроки проектирования. Предметная область и ее математические модели
“Многого можно добиться добрым словом. Но гораздо большего можно добиться добрым словом и пистолетом”( Аль Капоне). “Но иногда помогает только пистолет”( не Аль Капоне).
Чтобы не быть обвиненным в пропаганде вооруженного бандитизма, сразу поясню, что под пистолетом здесь понимается математическая модель предметной области. Поэтому афоризм трансформируется в “Многого можно добиться словами. Но гораздо большего можно добиться словами и математикой. А иногда помогает только математика”. Теряется острота, но правда ведь остается.
История одного проекта
«Это было недавно, это было давно»
Начинающим программистом я устроился в ВЦ банка и столкнулся со знаменитой, по тем временам, задачей “Операционный день банка”. Фактически это бухучет, который обязательно должен завершиться выдачей правильных бухгалтерских регистров к концу дня. Говоря более высоким стилем, это система реального времени с квантом реальности в одни сутки.Начинаю знакомиться с предметной областью. Иду в отдел постановок, в котором сидят женщины выпускницы института народного хозяйства – нархоза. Пытаюсь выяснить, что такое дебет и кредит. У каждой дамы свое мнение. Одно из них такое: мне показывают какой-то первичный документ, со структурой “самолетик” – так мне это назвали. Голова самолетика – входящее сальдо счета, левое крыло – это дебет, правое — кредит, хвост — исходящее сальдо. Я впал в ступор от таких объяснений. Пошел в библиотеку и после нескольких сумбурных книг типа “Учет и операционная техника в банках ” наткнулся на книгу “Теория бухгалтерского учета”. Автор – Палий. Он дал полуфилософское изложение учета, начиная от Луки Паччоли. Мне изложение весьма понравилось и я кое-что узнал о бухучете. Меня поразило, что о таких приземленных вещах как бухучет, можно говорить чуть ли не философски.
Потом, долго работая в ВЦ банка, участвуя во многих предпроектных обследованиях я пришел к выводу, что от конечных пользователей проку мало и что нужно крутиться самому, рыться в библиотеках(интернета еще не было) и самому определять, что пользователю надо и потом его убеждать в этом. Хотя до последнего я не дотягивал. Работаю я с таким представлением о пользователях и вдруг такой случай. Банкир, довольно высокого ранга, выходит в наш ВЦ со своей постановкой по обработке показателей всех строек БССР — постановка ТЭПС(Технико-Экономические Показатели Строек). Постановка сверхсложная с лесом математических формул в которых так и мелькают трехэтажные индексы. Мой шеф с ней не разобрался и положил её под сукно. И тут меняется руководство ВЦ. Моего шефа, подсуконника, увольняют. Новый начальник ВЦ сразу обратился к упомянутой постановке. Несколько месяцев изучаем постановку и, оказывается, что все можно представить в понятном виде и без леса трехэтажных формул. Но для внедрения нужен, как теперь говорят, реинжиниринг бизнеса. У нас он свелся к тому, что появились новые входные документы, новая бизнес-операция по заполнению этих документов, операция-запрос к БД, анализ полученных результатов. Для двух последних выделялись из штата бизнес-аналитики. Существующие формы документов(план финансирования, смета, титульный список и т.д.) были не только не машиночитаемы, но и человеку вводить с них данные в компьютер было сверхнеудобно, поэтому мы предложили ввести новые, промежуточные формы документов, с которых было удобно вводить данные. Но эти новые документы нужно было заполнять со старых. Со всеми требуемыми нововведениями выходим на руководство.
Руководство банком ознакомилось с ними, согласилось с ними, придало им законность приказом по банку и работа закипела. Внизу в филиалах и отделениях нас все проклинали за огромную дополнительную работу по заполнению входных документов. Дело в том, что низ делал черновую работу по заполнению входных документов, а результатами обработки этих данных не пользовались: компьютер стоял в столице в ВЦ головного аппарата. Вот этот аппарат и занимался аналитикой, сам не занимаясь подготовкой данных.
Проект естественным образом распался на три части:
Работали напряженно, но без авралов, без ночных смен, без работы в выходные. Не распивали ни чая ни кофе. Это еще не входило в традицию. К тому же кофе был дефицитом. Да и более-менее приличный чай тоже. Мы были молодые и крепкие. Но босс один раз сломался и с сердечным приступом попал в больницу. А мы немного отдохнули и подтянули “хвосты”. Но босс вызывал нас и в больницу по поводу “Как дела?”.
Программировали на ассемблере. И я не уверен, что на языке высокого уровня было бы быстрее. Создали свой отладчик и начали кодировать и отлаживать. Никаких фреймворков, никаких библиотек. Библиотеки создавали сами. Они были не универсальны, а заточены под проект. Менее чем через год проект заработал. База – файловая БД. Она состоит из базы данных(файлы прямого доступа) и базы знаний(файлы последовательного доступа). База знаний – это формулы расчета показателей, описания всевозможных выборок-фильтров и описание всевозможных группировок выходных данных. Выборки реализовывались как логические функции. Группировки реализовывались как деревья, каждый узел которого связывался с определенной выборкой и определенной функцией агрегации. Все это непрерывно изменялось, пополнялось самими пользователями или с нашей помощью. Автоматизируемая бизнес-функция – генерация динамических аналитических отчетов по задаваемым показателям, фильтрам и группировкам. И вот проект сдали в эксплуатацию. И понеслось. Машина только и штампует отчеты(АЦПУ печатало не посимвольно, а построчно). Были и 100-страничные и больше. Аналитик что-то выискивал в них, вместо того, чтобы поиск доверить машине. А все потому, что онлайн-доступ проект не предоставлял. Не было еще такой возможности. Хотя и теперь, при возможности в любое время задать онлайновый запрос к БД, остались многостраничные отчеты. И используются генераторы отчетов, как инструмент такой штамповки. Я не понимаю зачем они нужны.
А кончилось дело тем, что и постановщика и нашего босса — начальника нашего ВЦ(он руководил проектом) забрали в Москву. Босс и постановщик поучаствовали в разделе госпремии. Мы, разработчики не получили деньгами ничего, но многому научились на проекте. Босс стал еще большим боссом – он возглавил ГВЦ союзного банка. Он стал проталкивать аналогичный проект для всего Союза, но уже с учетом наших проколов. Однако грянули перемены, Промстройбанк уже не занимался стройками, а стал обычным коммерческим банком и проект ТЭПС стал Промстройбанку не нужен.
А постановщик возглавил в перестройку некий Московский банк и в наши командировки в Москву рассказывал перестроечные детективы: как на него наезжала мафия, если он не давал кредиты: угрозы, поджоги, автоаварии. Но это, как говорится, уже совсем другая история.
Слабое место обнаружилось не в кодах, не в БД, а в алгоритме. Недостаточность знаний не позволило нам построить универсальный интерпретатор выражений. И это привело к тому, что проект вышел на вторую реализацию — московскую.
И еще один промах, на мой взгляд. Но с этим не согласился босс. У нас показатель кодировался по такому шаблону: ддссгг, где дд – код документа, сс – строка документа, гг – графа документа. А сам документ представлял собой прямоугольную сетку, в каждой ячейке которого был проставлен код показателя в правом верхнем углу ячейки. Вот пример формулы вычисления производного показателя:
Понятно, что это не способствует ни запоминанию, ни осмыслению, и не представляет основы для расширения знаний. Короче, явно не виден экономический смысл.
Мне казалось разумным ввести мнемонические коды. И тогда вышеприведенная формула приняла бы примерно такой вид:
Но над этим нужно было много поработать и убеждать и руководителя и пользователей-банкиров. Они в то время боялись математики как огня. Не знаю как сейчас.
Итак, главные недочеты имели алгоритмический и психологический, точнее эргономический характер. Архитектура ПО, структура БД, кодирование остались неизменными.
Уроки разработки
Я не знаю, будет ли толк из этих уроков для современных айтишников. Больно далеко уж разошлись дороги айтишников тогда и теперь. Это просто выводы на то время.
Пользователи редко отчетливо представляют, что им нужно. А если представляют, то в сильно завуалированном виде, который нужно еще перелопачивать, трансформировать, фильтровать. Изначально хаос и в голове айтишника. А нужно выделить порядок, отбросить фантазии, структурировать возможное и представить результат понятным и убедительным образом. Иначе говоря, из хаоса нужно выделить реалистичную систему.
Успех проекта зависит от первого лица заказчика. Это один из постулатов Глушкова – классика советской кибернетики. Без непосредственного участия первого лица заказчика проект не был бы реализован.
Успех разработки обеспечивает не столько интеллект, сколько воля руководителя проекта. Иногда он должен сказать, как Королев: “Луна твердая”, и прекратить бесконечные дебаты.
Компетентность идет следом за волей. Здесь проколы также имеют тяжелые последствия. Например, наш дилетантизм не позволил единым образом запрограммировать любую арифметико-строко-логическую функцию над показателями строек. И только когда мы узнали об обратной польской записи, мы поняли свой прокол.
Составные технологического успеха: компетентность, дисциплина, жесткий контроль руководителя, здравый смысл в руководстве и проектировании, фиксация проектных решений и строгое следование им. Никаких жестких формальных рамок каких-либо технологий управления. Мы поневоле придерживались будущего принципа Agile принимать все требования банка – нашего заказчика. Иначе и не могло быть, так как ВЦ был на содержании банка и попробуй откажись. Однако радикальных перемен, инициируемых заказчиком, не было.
По поводу контрольных совещаний я вспоминаю максиму “Cобирая информацию, не проводи совещаний, проводя совещание, не собирай информации”. Один мой босс этим и руководствовался, а второй ровно наоборот.
На совещаниях нужен индивидуальный подход к участникам. Есть олимпиадники, которые быстро схватывают и быстро предлагают решение. Есть антиолимпиадники, которым нужно время на раскачку и время на принятие решения. И это решение может быть и лучше решения олимпиадника. Я, к примеру, никогда не преуспевал на очных олимпиадах, но вполне прилично выступал на заочных. Среди крупных математиков были и олимпиадники и нет, и кого из них больше я не знаю.
Я понял, что на успех проекта влияет не только (а может и не столько) инструментарий, но и широта общего мировоззрения айтишника. Не имея представления о нейроне, не выдумаешь нейронную сеть. Не имея представления о генетике и естественном отборе, не выдумаешь генетический алгоритм. Можно не знать деталей, но поле мышления должно охватывать крупными мазками такие понятия: рекурсия, подпрограмма, сопрограмма, граф, дерево, список, стек, сортировка, паттерн, БД, функция, композиция и декомпозиция функций… Главное — такое мировоззрение должно охватывать предметную область.
От языка программирования далеко не все зависит. Я, кстати, программировал и на Коболе, и на ассемблере (IBM), и на PL/1, и на С, и на Delphi, и на Prologe, и на C# и к своему стыду никогда детально не знал языка, а всегда держал под рукой какой-нибудь учебник(поэтому я не прошел бы сегодня собеседование ни в одну солидную фирму). Это, видимо, замедляло разработку, но зато не обременяло мой ум деталями, оставляя свободное пространство для более широких понятий. Достаточно было того, что я когда-то нагрузил его знанием IBM DOS, а потом нагрянула IBM OS и все мои знания пошли коту под хвост. А как знать PL/1, где целый том был посвящен ошибкам при преобразовании данных? Нужно иметь широкое представление о стратегических вещах. Надо уметь анализировать предметную область, уметь построить удобную реалистичную модель, знать какие есть алгоритмы, построить удобную архитектуру ПО. А язык? — Есть коряво пишущие знатоки русского языка и есть не совсем грамотные хорошие писатели. Самое замечательное знание языка программирования не обеспечивает хорошего программирования.
Шедевры есть на хинди, на греческом, на арамейском, на французском…Можно, конечно, вести бесконечные дебаты о скобках, комментариях, константах, паттернах, зацепленности и расцепленности, подмечать локальные огрехи, а глобальный продукт написать никуда не годный.
Есть еще неформализуемый здравый смысл, который еще нужен в ИТ. Мне встречался разработчик, который детально знал SQL и очень умно рассуждал о нем, но запросы к БД писал ужас, что такое. Локальные отличные знания инструмента и глобальная гармония проекта находятся, по-видимому, на разных полюсах интеллекта. И ещё, я не верю, что полуграмотный в родном языке, способен написать грамотный “роман” на языке программирования. Рассказик – может быть, роман – нет. Я помню в каким нетерпением ждал появления Алгол-68: он позиционировался как язык поэтов программирования. Но не дождался.
А вот что написал Дейкстра о языке программирования в своей книге “Дисциплина программирования”: “Когда начинаешь писать подобную книгу, сразу возникает проблема: каким языком программирования пользоваться? И это не только вопрос представления! Наиболее важным, но в то же время и наиболее незаметным свойством любого инструмента является его влияние на формирование привычек людей, которые имеют обыкновение им пользоваться. Когда этот инструмент — язык программирования, его влияние, независимо от нашего желания, сказывается на нашем способе мышления. Проанализировав в свете этого влияния все известные мне языки программирования, я пришел к выводу, что ни они сами, ни их подмножества не подходят для моих целей. С другой стороны, я считал себя настолько не подготовленным к созданию нового языка программирования, что дал зарок не заниматься этим в ближайшее пятилетие, и я твердо знаю, что этот срок еще не вышел. (Прежде, помимо всего прочего, мне нужно было написать эту монографию.) Я попытался выбраться из этого тупика, создав лишь подходящий для моих целей мини-язык и включив в него только те элементы, которые представляются совершенно необходимыми и достаточно обоснованными»
Он требует не забывать о соседних системах и надсистеме. И, значит, нужно прогнозировать расширение и реализовывать заготовки впрок, так чтобы не пришлось радикально менять проект при его расширении. Заготовки впрок противоречит принципу “не делай ничего впрок”. Именно и делай впрок, если работаешь не на дядю, а на себя.
У рядового разработчика была ничтожная денежная мотивация. Пусть ты в 10 раз производительнее коллеги, а получать будешь на 10% больше его. Поэтому мало кто читал что-то кроме системной документации, а многие и этого не читали, а все приставали с вопросами к знающим. Правда, документации хватало – письменный стол можно было завалить ряда в три книжками документации по матобеспечению ЕС ЭВМ. Но были люди и увлеченные. В том числе и я. Помню до сих пор какое впечатление на меня, дилетанта в программировании, произвели в техническом плане книги “Вычислительные структуры” Холла, первый том Кнута, “Систематическое программирование” Вирта и еще некоторые. А в идейном плане — “Дисциплина программирования” Дейкстры и “Наука программирования” Гриса.
Примеры применения сфер поля мышления айтишника:
Язык программирования. Здесь доминирует формальный подход. Это строгий синтаксис, это фиксированные программные конструкты: выбор, присваивание, циклы, селекторы, итераторы, интерфейсы, объекты, методы. Этот готовые решения в виде библиотек, это заготовки типа “делай как я” – паттерны. Здесь процветает сленг. Но, в поисках вдохновения, программирование требует “заскоков” в вышестоящие слои поля мышления, откуда черпаются идеи. А язык программирования диктует только форму, в которой предстанут эти идеи.
Желательно иметь представление об ассемблере, императивном языке, логическом языке, функциональном языке, SQL, NoSQL. Из процедурных языков я программировал на ассемблере, PL/1, Delphi, C#. Из логических — Prolog. SQL само-собой разумеется. Из функциональных ни одного, хотя я и пришел в ИТ из точных наук и, казалось бы, они должны были заинтересовать меня. И я хоть и стар, мне стало стыдно и я загорелся желанием попробовать или Haskell или F#. А может Idris, о котором я в первый раз услышал в Как развернуть односвязный список на собеседовании. Меня очень впечатлили леммы и теоремы в этой статье.
Информатика. Это теоретические основы для языков программирования. Это узкое мировоззрение айтишника. Понятийные островки: cинтаксис, прагматика, формальные языки, алгоритмы, машина Тьюринга, вычислительные структуры.
Модели. К ним относятся схемы БД, модели UML, модели SADT, HTML, CSS, TCP/IP, семиуровневая модель OSI, формализм Бэкуса-Наура, регулярные выражения.
Математика. Она предоставляет аппарат для точного знания и снабжает универсальными средствами: отношения, множества, функции, формулы, уравнения. Это язык точного рассуждения. Но она представляет не только аппарат для решения задач, но и может прямо влиять на язык программирования. Пример — Haskell и теория категорий в математике. Это весьма привлекательная идея слить статичный язык математики с языком программирования.
Специальное образование. Для меня, например, это – физика. Для кого-то математика. Для профессионала – информатика. А иногда и экономика, менеджмент.
Общее образование. Знакомство с генами и теория естественного отбора естественно приводит к понятию генетического алгоритма. Знакомство с нейрофизиологией мозга приводит к понятию нейронной сети.
Родной язык. Синтаксис обычного языка наводит на мысль о синтаксисе языка программирования. Привычки родного языка влияют на алгоритмическое мышление. Пример приводит Дейкстра в своей книге ”Дисциплина программирования ”, где он отметил различие семитов и несемитов в подходе начинать слева-направо или наоборот. Меня удивляет как мало внимания писатели уделяют внимания синтаксису и обсуждению на каком языке лучше писать. Писатели не жалуются, что синтаксис мешает им творить шедевры, а пишут на английском, немецком, русском… Я встретил только у Набокова (“Дальние берега”) сравнительные рассуждения о писательстве на английском и русском. А немецкий не оставил у него никакого впечатления. Но это Набоков.
А вот программистов, в отличие от писателей, часто заносит в синтаксис и начинаются дебаты об отступах, скобках, дилемма “имена с подчёркиванием или имена стиля CamelCase” и т.п.
Засилие американизмов в жаргоне программистов – это может быть неявное желание расширить поле мышления? Читая на Хабре статьи некоторых современных программистов, я начинаю комплексовать: поминутно лезу в Википедию, чтобы понять сленг. Ну это уже мои проблемы.
Я с грустью замечаю, что русский язык становится от американизмов такой же “трасянкой”, как мой родной белорусский язык стал “трасянкой” от русизмов.
Меня очень поразила фраза Толстого «Если допустить, что жизнь человеческая может управляться разумом, — то уничтожится возможность жизни «(«Война и мир», т.4, Эпилог). Похоже, что это надо очень и очень иметь ввиду политикам. А как это перекликается с квантовой механикой, где подсматривание за процессом, радикально нарушает его течение! А может это аукнется и в программировании, при попытках построить разумных роботов, контролируемых человеком или программой.
Мировоззрение. Это сфера невербального мышления и вербально-философского мышления. Исходя из философии бихевиоризма мы можем сказать: если что-то ведет себя как человек, то это человек. Главное отличие человека от животных — осмысленная речь. Из такого бихевиористического подхода родился тест Тьюринга. Проблема искусственного интеллекта также порождается мировоззрением из размышлений о разуме, интеллекте. Лингвистическая философия с её акцентацией на языки и роль слов ведет к формальным языкам. Герменевтика ставит проблему истолкования текстов программ. И, кто знает, может быть знание идей Кассирера в его труде «Философия символических форм» откликнется и в программировании, или может быть феноменология Гуссерля повлияет на феноменологию программирования. Мне кажется миры программ сильно повлияют на философию, и она станет более конструктивной, обретя в мире программ инструменты проверки своих концепций. И тогда будет явным и обратное влияние.
В формальных языках синтаксис сливается с семантикой слов. А в мировоззрении вообще нет никакого синтаксиса. Неспособность мыслить метафорично (уровень родного языка) лишает наши тексты литературности. Где в программировании эссе, рассказы, повести, романы, стихи и поэмы? Где герменевтика текстов программ? Для меня образец метафоричности в программировании – Дейкстра с его книгой “Дисциплина программирования”. Итак, возможно новыми конструктивными понятиями должны выступить метафоричность, литературность, герменевтика… И тут, я понял, что “Остапа понесло”. Да, я увлекся и, похоже, нарушил другую максиму Витгенштейна: “То, что вообще может быть сказано, должно быть сказано ясно; о том же, что сказать невозможно, следует молчать“.
Математизация
Сначала приведу цитату из Арнольда: “Слово «математика» означает «точное знание». Варварские народы, не склонные к таковому, не имели и соответствующего слова в языке, поэтому сейчас почти во всех языках используется непонятный греческий термин. Исключение составляет лишь голландский язык, где Стевин уже в XVII в. боролся с засорением терминологии иноязычными «сайтами» и «файлами», «баксами» и «киллерами», и настаивал на переводе всех терминов словами родного языка, так что их термин—«вискунде», «знание», приближает уже для детей математику к реальному миру”.
Не потому ли так высок уровень физики, математики, информатики в маленькой Голландии, которая по нобелевским лауреатам обходит Россию, не говоря уже о моей Беларуси, которая по населению сравнима с Голландией, а по территории больше. А может по той же причине и футбол там отличный?
Под математикой я понимаю не только формульное представление. Главное — точные начальные понятия и строгие выводы. Так таблицы БД я понимаю как функции, заданные таблично. Ключ в таблицах – гарантия однозначности функции, нормализация – выделение самых базисных функций из композиции которых можно составлять более сложные (например, view БД).
В связи с математизацией я попробовал в проектах вести понятие внешней и внутренней постановки. Внешняя – для пользователя в терминах предметной области. Внутренняя — для ИТ-шников в терминах информатики и математики. Внутренняя представляет точную трансляцию внешней. Это трансляция представлений пользователя в представления проектировщика и он легко мог переходить к техническому проектированию. Тем самым проектировщик освобождался от детального знания предметной области, а мыслил уже в родных терминах. Но это нововведение было многими встречено в штыки и не прижилось.
Когда я понял важность постановки и её моделирования, я во избежание двусмысленностей всегда старался сделать и математическую модель задачи. А вот в проекте ТЭПС мы узнали на вербальном уровне, что такое конструктивная математическая формула, но не представили ее в формализме Бэкуса-Наура и тем-самым лишились возможности написать универсальный интерпретатор формул.
Исходя из важности математического представления, я приведу далее несколько математических моделей.
Математическая модель бухучета
Модель эта была составлена постфактум для собственного удовольствия, а не для проекта.
Структурные элементы бухучета
Это баланс источников и стоков. Это справедливо для любого момента времени. Значит для любого ∆t:
Из двух последних соотношений следует
Это баланс изменений.
Каждый объект учета может увеличиваться (Uv) или уменьшаться (Um).
Для источников:
Аналогично для стоков:
Баланс изменений примет вид
Договорились говорить об уменьшении источников как о дебете(Dt), а об увеличении как о кредите(Kt).
Для стоков, наоборот: уменьшение – кредит(Kt), увеличение – дебет(Dt). И это логично в силу антиподности источников и стоков.
Тогда
Это баланс дебета и кредита.
Счета, учитывающие источники называются пассивными, а их общий размер называется пассивом. Обозначим его как .
Счета учитывающие стоки называются активными, а их общий размер называется активом. Обозначим его как .
Дебет, кредит, сальдо
Для счета пассивов:
Капитал и основные уравнения бизнеса
Среди счетов актива можно выделить счета на которых учитываются требования фирмы – средства которые мы вправе когда-либо затребовать вернуть. Это выданная ссуда, например. Это деньги в кассе. А вот счет Расходы к требованиям не относится. Дальше, среди счетов пассива можно выделить счета на которых учитываются обязательства фирмы – средства которые мы должны когда-нибудь вернуть. Это полученная ссуда, например. А вот счет Доходы к обязательствам не относится. Обязательства – заемные средства. Но у фирмы есть и собственные средства – капитал фирмы. Размещая заемные средства и собственные средства мы трансформируем их в требования. Это и есть текущая функция бизнеса в абстрактном выражении.
Среди счетов актива можно выделить счета на которых учитываются размещения средств фирмы – средства которые мы куда-то направили с целью получения прибыли. Требования входят в размещения.
Среди счетов пассива можно выделить счета на которых учитываются привлечения бизнесом средств от стороннего бизнеса. Это полученные ссуды – средства которые мы куда-то направили с целью получения прибыли. Обязательства входят в привлечения.
Или более привычно:
Это уравнение состояний
Весь бизнес работает ради прибыли. В учете это отображается так:
Или более привычно
Это уравнение потоков.
Часть прибыли можно капитализировать и тем самым расширить финансовую базу бизнеса.
План счетов
Все множество допустимых счетов, называется планом счетов. Он диктуется государством. План счетов состоит из дерева Пассив и дерева Актив, содержащим соответственно все пассивные и активные счета. Формально можно объединить два дерева в одно, введя вершину “План счетов” и подчинив ей деревья Пассив и Актив.
Разработчик волен расширять дерево плана счетов вниз в своих интересах. Так счет привлеченных депозитов дифференцируется до индивидуальных депозитных счетов. Счет выданных кредитов дифференцируется до индивидуальных ссудных счетов. Расчетный счет дифференцируется до индивидуальных счетов субъектов, ведущих расчеты через банк.
Иногда пользователь заинтересован в двух планах счетов.
Хозяйственные операции
На размер проводки дебет-счет должен дебетоваться, а кредит-счет кредитоваться.
Хозяйственная операция реализуется одной или несколькими проводками. Если дебет-счет и кредит-счет оба пассивны или оба активны, то баланс не меняется. Если дебет-счет активен, а кредит счет пассивен, то баланс увеличивается. Если дебет-счет пассивен, а кредит-счет активен, то баланс уменьшается. Если проводка реализуется только по дебету или только по кредиту, то баланс будет нарушен. Отсюда ясно, что при машинной реализации проводка должна реализовываться как транзакция, иначе баланс будет нарушен. Кстати в англоязычной литературе проводка так и называется “транзакция”.
Отображение хозяйственной операции на проводки – главная задача бухгалтера. Он, в зависимости от хозяйственной операции и экономических характеристик субъектов проводки (плательщик и получатель), должен определить проводки. Иногда здесь возможны варианты и тогда искусство бухгалтера состоит в том, чтобы выбрать проводки выгодные для фирмы бухгалтера.
Баланс Актив=Пассив
И все это должно быть сгруппировано по плану счетов S, так что:
Это баланс активов и пассивов. Он представляет баланс состояний.
Информационная структура в которой приведены все активы и пассивы в разрезе плана счетов называется бухгалтерским балансом. Обычно его приводят в виде двух иерархий: слева на листе баланса иерархия пассива, справа на листе баланса иерархия актива. И завершается эти иерархии общим размером актива и пассива. Эти размеры должны совпадать. Иначе – ошибка.
Баланс Дебет=Кредит
И все это должно быть сгруппировано по платежным документам, или интегрировано до уровня плана счетов(оборотно-сальдовая ведомость).
Это баланс оборотов — баланс потоков.
Расширения учета как применение системного подхода
Системный подход требует не забывать, что проект всегда погружен в надсистему и возможно будет расширен, так что в расширение захватятся некоторые части надсистемы. Так что если такое расширение весьма вероятно, то заранее нужно побеспокоиться об атрибутах, избыточных для данного проекта, но нужных для расширенного проекта. Бухгалтерский учет естественным образом может быть расширен до операционного и управленческого учета, а ещё дальше до бизнес-аналитики в широком смысле.
В той реализации операционного дня в которой я участвовал, с платежного документа вводились только проводки. Для операционного учета нужно вводить и код хозяйственной операции. Кроме того, нужно знать инициатора хозяйственной операции и бухгалтера, определившего проводки.
Для управленческого учета нужно привязать субъектов хозяйственной операции к подразделению фирмы. А также желательно больше знать об экономическом содержании операции. Для этого нужно идентифицировать экономический объект операции: транспорт, здание, компьютер, НДС, …
Экономические показатели
С точки зрения экономики сальдо и обороты счета – это экономические показатели. Тогда естественно спросить, а почему мы должны ими ограничиться, ведь это не вся экономика. Нужна численность работников, уровень инфляции, рыночные ставки и т.д. Кроме того, состояние счета в бухучете – это текущее состояние, а бизнесу нужно и прогнозное значение и детальный анализ прошлого, текущего и прогнозного состояний. Так мы приходим к абстракции экономического показателя. Для примера рассмотрим показатель Гэп в коммерческих банках. Если мы будем иметь на счетах дату прогнозного платежа и ее размер, то мы можем вычислять так называемый гэп.
TrС(t1,t2) – требования срочности (t1,t2) и чувствительные к изменениям процентной ставки. Pr% — процентная прибыль. Тогда
— это, по определению, гэп срочности (t1,t2)
Гэп – одна из основных характеристик процентного риска и риска ликвидности. Так если изменится рыночная ставка на ∆r, то, как учит экономика, имеем возможный скачок в процентной прибыли:
Это и говорит о важности гэпа как меры процентного риска.
Математическая модель эмпирического риска
Если приведенная выше модель бухгалтерского учета была факультативной в проекте Операционный день, то приводимая ниже была практически необходима.
Эмпирическая вероятность – вероятность, основывающаяся на опытных данных, а не исчисленная по всем правилам теории вероятностей. Обычно для строгого применения теории вероятностей недостаточно данных, а иногда и неясно как ее применить. Так, для коммерческих рисков неясно как применить понятие вероятностного пространства. Поэтому можно попробовать применить некие модельные интуитивные подходы.
Обычно разработчики ПО не выдумывают своей математики, а пользуются готовой. Но иногда необходимо придумывать математическую модель. Для меня это произошло при разработке математической модели оптимального портфеля. Там все размеры депозитов, кредитов должны учитывать риски досрочного снятия депозита и риски невозврата кредита.
Всякая оценка рыночного решения носит вероятностный характер. Всякое решение сопряжено с риском. Само понятие риска – вероятностное понятие. Риск есть вероятность потери определенного ресурса в определенной ситуации. Существуют разные типы рисков для разных операций: риск страны при вложении капитала в эту страну, риск отрасли при вложении капитала в эту отрасль, риск актива при покупке актива, риск клиента при выдаче ссуды клиенту. Здесь мы рассмотрим модель эмпирического риска, т.е. модель, учитывающая реальные размеры проигрыша по рисковому фактору в течение всего времени отслеживания этого фактора.
Композиция рисков
Обычно задаются коэффициентом риска для ссуды определенного вида залога. Так залог под ценные бумаги государства обычно менее рискован чем залог под ценные бумаги частного предприятия. Кроме того, каждый клиент характеризуется своим коэффициентом риска независимо от вида залога.
Стоит задача определить — интегральный коэффициент риска по клиенту и ссуде совместно, зная
— риск по ссуде и
— риск по клиенту, которому выдается ссуда.
Обобщим. Вместо конкретных типов риска введем абстрактный фактор риска. Пусть есть два фактора риска: фактор 1 и фактор 2.Зная риски ,
по каждому фактору нужно найти композитный риск r. Риск по первому фактору — это вероятность события “неуспех по фактору 1”. Риск по второму фактору — это вероятность события “неуспех по фактору 2”. Композитный риск — это вероятность события (неуспех по фактору 1 ИЛИ неуспех по фактору 2). Тогда привлекая теорию вероятностей имеем
риски не складываются!
И только при общей сумме рисков много меньше единицы риски можно складывать.
Тогда для конкретных рисков по типам ссуд и клиентам имеем
Модели определения ссудного риска по клиенту
В банке не было никаких методик определения риска. Разработчикам нужно было создать собственную методику. Эмпирическая база – кредитная и депозитная история клиента. И нужно найти эмпирическую формулу для риска.
Для эмпирической формулы вероятности представляются естественными следующие содержательные требования: