Что такое воспроизводимость эксперимента

Чего хотят конференции: воспроизводимость экспериментов в data science

Ведущие научные конференции просят воспроизводимости экспериментов. И это нужно для повышения доверия к работам, для извлечения пользы (повторной используемости и цитируемости), ну и «тренд» (согласно опросу журнала Nature).

Ожидания растут, в 2021 уже 9 из 10 конференций предлагают авторам провериться на воспроизводимость. Сдать тест, заполнить опросник, привести свидетеля и т. д.

О чем речь, зачем нужна воспроизводимость, какие проблемы нужно решать, обсудим в этой статье.

Эксперименты в машинном обучении

Под экспериментом понимают процедуру для проверки и опровержения гипотез. Будь то гипотезы о наличии закономерностей в данных или выборе параметров модели.

Провести эксперимент не так просто, как может показаться. При желании, даже в типовом эксперименте со случайным перемешиванием и разделением данных на train, test и повторением несколько раз можно обнаружить применение рандомизации в постановке эксперимента.

Еще у эксперимента есть цель, план, критерии принятия или опровержения гипотез, использованные данные и ожидаемые результаты. Если порядок проведения эксперимента разбит на этапы и указана последовательность их исполнения, то говорят, что задан пайплайн (pipeline) эксперимента.

Проведенные измерения подвергаются анализу и делается вывод об успешности эксперимента, и можно ли принять или отвергнуть гипотезы.

Так вот, анализ представленных статей на конференции AAAI 2014, AAAI 2016, IJCAI 2013 и IJCAI 2016 показывает, что доля экспериментальных работ составляет более 80% — в разы выше чисто теоретических!

Ожидается, что результаты экспериментов будут повторяемы

Вот список конференций и требования по повторяемости результато на апрель 2021 года. Список получен по GuideToResearch (Top 100), поиском по категории Machine Learning, Data Mining & Artificial Intelligence. Уровни и ссылки собраны вручную.

Название

Требования к публикациям

Уровень

В таблице указаны вот такие уровни требований:

Not found — требования по воспроизводимости не найдены в CFP или инструкциях автору.

Reminder — организаторы просят авторов предоставлять воспроизводимые результаты.

Encouraged — авторам предоставлен чеклист и настоятельно рекомендуется предоставить оценку соответствия ему, будет влиять на оценку работ.

Required — выполнение требований по воспроизводимости обязательно для подачи работы.

Что это значит и что такое воспроизводимость?

Пока не заметно, чтобы от рецензентов требовали воспроизводить результаты авторов. На это, скорее всего, им не хватит времени, если только эксперимент изначально не автоматизирован. Могут попросить опубликовать код, заполнить чеклист, или уже отдельно проводят трек с повторением экспериментов. Наиболее распространены два чеклиста (пример раз от NeurIPS, пример два по мотивам исследований Gundersen et al.).

Таким образом, нужно быть готовым ответить на пару десятков вопросов и проверить, что ответы на них адекватно отражены в подаваемой статье.

При этом гипотеза, что соответствие чеклистам или устаналиваемым правилам повышает воспроизводимость все еще не подтверждена. Более того, по состоянию на 2020-2021 в области машинного обучения нет устоявшейся терминологии и, тем более, ее перевода на русский. Вот что используют в ACM при выдаче бейджей о воспроизводимости, в вольном переводе:

Повторяй за мной (repeatable experiment / повторяемый эксперимент)
Авторы могут получить те же результаты в пределах погрешности, используя заготовленные артефакты эксперимента.

Артефактами (artifact) здесь называются статья, экспериментальный стенд или его части, исходный код, инструкции к его запуску, данные или способ их получения и так далее, что можно идентифицировать и связать с экспериментом.

Делай вместо меня (reproducible / повторяемые результаты)
Другие исследователи могут получить те же результаты, используя артефакты от авторов.

Думай как я (replicable / воспроизводимые исследования)
По описанию эксперимента другие исследователи могут реализовать артефакты и сделать те же выводы из результатов.

Важно, что использование чеклистов для самопроверки поможет с «Повторяй за мной», но вряд ли с более высокими уровнями воспроизводимости.

Постпозитивист и автор теории потенциальной фальсифицируемости Карл Поппер пишет в середине XX века:

— Popper, K. R. 1959. The logic of scientific discovery. Hutchinson, London, United Kingdom.

То есть единичные невоспроизводимые события не имеют значения для науки. Так то.

Для чего еще — повторное использование

Воспроизводимость и повторная используемость эксперимента оказывается полезной не только при подготовке публикации.

Примеры: для своей новой работы нужна часть кода из прошлой статьи, откуда его брать? По-умолчанию, это копирование тетрадки, ячеек или блокнотик с заготовками и сниппетами (отпишитесь, кто так делает). В каких условиях использовался этот код ранее, какую задачу решал и с каким результатом?

Еще примеры: нужно сделать демо результатов после эксперимента, нужен код построения модели еще и в пайплайне, еще тот же код нужен для других специальных экспериментов. Можем ли использовать код эксперимента в разных условиях, с различными входными данными? Как его нужно структурировать для этого и не забыть про описание? А теперь представим, что нужна доработка или исправление дефекта в коде, скопированном для всех кейсов!

Если мы повторно используем часть эксперимента или эксперимент целиком, получим ли мы ожидаемые результаты?

С другой стороны. Например, нашли очень интересную статью на том же arxiv.org или paperswithcode.org. Будет ли полезно для проекта? Есть ли код? Есть ли данные? Могу ли повторить? Не могу. «Без кода вообще не смотрю», — цитата с круглого стола по воспроизводимости экспериментов.

И еще — provenance

То есть прослеживаемость. Вообще важная вещь! Есть даже Prov-ML модель предметной области проведения экспериментов в науках о данных. Корректность UML 2 подтверждена (кроме указания стереотипов в двойных угловых скобках, вместо

Вот что пишут, какой исследовательский код «достаточно хороший» на StackOverflow или StackExchange. «Исследовательский код должен корректно реализовывать алгоритм, который является результатом в статье. Код эксперимента — не код программного продукта, к нему не нужно предъявлять тех же требований. С другой стороны, вряд ли получат много доверия результаты, в представлении которых честно сказано, что код не проверен, скорее всего содержит ошибки, работает не понятно, каким образом.»

На упомянутом ранее круглом столе среди сложностей разработки исследовательского кода и причин невоспроизводимости экспериментов на его основе также указаны противоречия и конкуренция внутри организации, первенство в идеях, желание сохранить ноу-хау, ресурсные барьеры.

Повторяемость результатов на практике

Что позволено Юпитеру, не позволено быку

В статье про воспроизводимость Jupyter Notebooks, найденных на GitHub, указывается, что без ошибок и с повторением сохраненных результатов выполнились только 4% из полутора миллионов тетрадок.

Среди запусков тетрадок, завершившихся с ошибкой, топ ошибок такой:

Первое место — проблемы с зависимостями в библиотеках и зависимостями в зависимостях. Часть репозиториев использовали requirements.txt, часть setup.py. Не всегда помогает из-за транзитивных зависимостей.

Второе место — порядок исполнения. Тетрадка сохранена без прогона вчистую, порядок не сохранен и некоторые переменные объявлены или иницилизированы после использования.

Третье место — нет нужных данных, например, указаны абсолютные пути или данных вообще нет в репозитории.

В другом эксперименте, в тетрадках, которые проходят без ошибок, результаты все равно могут не совпадать по следующим причинам:

Неуправляемая случайность в данных или алгоритмах (40%)

Зависимость вывода и результатов от функций времени (13%)

Различия отображения на графиках (некорректное использование matplotlib в том числе) (52%)

Недоступны внешние данные (3%)

Различия в выводе чисел с плавающей запятой (3%)

Непостоянный порядок обхода словарей и др. контейнеров в python (4%)

Различия в среде исполнения (27%)

А что с неЮпитером? Например, исследование повторяемости на R показывает примерно 44% воспроизводимости результатов (это как сравнивать красное с квадратным, но тем не менее). Аналогично указывается список причин, почему не удалось повторить результаты.

Как быть?

Причем похоже, что для воспроизводимости уровня «Думай как я» нужно уметь писать хороший текст и еще его уметь читать (см. «навык чтения статей по DL» вакансия в сами знаете какой компании, google it).

Или учиться проведению экспериментов. Повышать качество своей работы.

Если в индустрии — см. построение пайплайнов и версионирование (a.k.a. MLOps), разобраться с исследовательским анализом данных (Exploratory Data Analysis, EDA) и делать его автоматическим, изучать тему, помогая опен-сорс проектам.

Если в академической среде — см. постановка эксперимента, оформление статьи, архивирование и публикация результатов.

Если в начале изучения ML — обсудить с научным руководителем или наставником и изучить курсы по статистической проверке гипотез, и познакомиться с правилами проведения экспериментов в доказательной медицине (hardcore).

P.S. FAIR принципы

Несмотря на то, что принципы находимых (Findable), доступных (Accessible), переносимых (Interoperable) и повторно используемых (Reusable) результатов исследований (FAIR) были представлены еще в 2016 году, большинство опрошенных исследователей все еще не понимают или не применяют их в своих работах.

Ссылки и полезности

[1] Круглый стол по вопроизводимости экспериментов в науках о данных с научной конференции МФТИ.

[6] Полезные слайды про проведение экспериментов и воспроизводимость.

[7] Статья по разработке исследовательского кода, Best Practices for Scientific Computing.

Источник

Воспроизводимость экспериментов Big Data

Вы не задумываетесь над процессами, а фокусируетесь на решении задач в сжатые сроки, только когда вы аналитик в стартапе или маленькой команде. Но после первых успехов хочется оглянуться назад и наладить процессы, почистить библиотеку артефактов и подтянуть качество. Особенно когда команда стремительно растет. Непрозрачная структура тяжело поддается управлению и не позволяет быстро обучать сотрудников.

Меня зовут Елдос, я Big Data аналитик, и сегодня я расскажу о том, как команда Fintech из службы Big Data аналитики и машинного обучения Beeline Казахстан создала среду для совместной работы, связала используемые инструменты одним ключом, обеспечила централизованное хранение кода в Git и подсчетов в HDFS, и тем самым обеспечила воспроизводимость экспериментов.

Зачем нам это

Предположим, в команде из пяти аналитиков каждый пишет код, делает анализ и строит модели обособленно. Остальные члены команды не имеют доступа к этой работе, поэтому не проверяют качество результата и не воспроизводят эксперимент. Если вы захотите оптимизировать витрину или модель вашего коллеги, то потратите больше времени на ознакомление и передачу кода, чем на саму задачу. Это особенно сложно, если нужная модель не попала в продуктив или сотрудник в отпуске или уволился.

Что такое воспроизводимость экспериментов?

В разработке программного обеспечения и анализе больших данных эксперимент проводится, чтобы подтвердить или опровергнуть гипотезы. В него входит исходный код, Jupyter Notebooks (Jupyter-блокноты или ноутбуки), таблицы, выгрузки и другие артефакты.

Воспроизводимость эксперимента – это его способность воспроизводить одинаковые или близкие результаты при повторном проведении эксперимента в аналогичных условиях.

Чтобы обеспечить воспроизводимость экспериментов/гипотезы, наши команды Big Data аналитики и машинного обучения следуют трем правилам:

код, анализ, данные и артефакты эксперимента хранятся централизованно;

код/Jupyter-блокноты последовательны и воспроизводимы;

завершенные эксперименты не изменяются. Для переиспользования данных обращаемся к ним из другого эксперимента.

К централизации экспериментов нас привела необходимость в коллаборативной среде, где команда работает совместно и ежедневно обменивается знаниями и результатами.

Для этого при проверке гипотезы создается задача в Jira, которая агрегирует проделанную работу и связывает все компоненты: исходный код, анализ которого находится в Git-репозитории, а входные данные и результаты вычислений – в распределенной файловой системе HDFS.

Централизация исходного кода

Каждая команда аналитиков разных проектов работает в своем репозитории Git со структурой каталогов, которая соответствует основным направлениям и их подпроектам.

Стабильный протестированный анализ/код эксперимента хранится в основной master-ветке.

Пример использование VCS для экспериментов

Поэтому всегда в начале работы над экспериментом делаем копирование изменений Pull Request из master-ветки в локальный master, и из него уже создаем новую ветку эксперимента. Название ветки эксперимента соответствует номеру задачи в Jira и написано в стиле kebab-case, что автоматически связывает ветку и задачу в Jira. Затем в папке соответствующего проекта создаем каталог эксперимента с названием ветки.

Составное название ветки эксперимента на примере задачи fin-295 Пример структуры папок в Git-репозитории

После завершения проверки мини-гипотез заливаем изменения с помощью commit в локальную ветку эксперимента, а в конце рабочего дня отправляем все коммиты в удаленный репозиторий командой “push”.

После того как задача завершена и протестирована локально, запрашиваем Merge Request, в котором настроены правила для проверки качества кода (code review) другими участниками команды. Изменения попадают в master-ветку только после проверки и одобрения кода двумя проверяющими.

Merge Request должны быть понятными и развернутыми, важно подсветить следующее:

Что было протестировано / сделано?

Какие результаты и метрики качества?

Какие сложности были и какие есть возможные доработки?

На что стоит обратить внимание?

Работа с Jupyter Notebook

Ноутбуки эксперимента вместе с историей изменений также хранятся в Git-репозитории и доступны в html-формате для просмотра и изучения аналитики проекта.

Наша команда использует следующие рекомендации при работе с Jupyter-блокнотами:

Блокноты эксперимента пронумерованы, и, если запускать их один за другим, результат выполнения будет соответствовать исходному запуску полного эксперимента.

Такое же требование применяется к ячейкам кода ноутбука. Если запустить все ячейки последовательно, результат будет тем же, что и при запуске всего блокнота.

Помимо воспроизводимости результатов, код сопровождается описательными ячейками Markdown, чтобы коллеги быстрее ориентировались в блокноте.

Применяя эти правила как часть совместной работы, мы обеспечиваем воспроизводимость экспериментов.

Централизация входных данных и результатов

Для хранения и управления витринами данных создаем отдельную папку в командном каталоге системы хранения данных HDFS. Название папки содержит номер задачи (Jira).

Пример задачи fin-222 и списка входящих в нее витрин данных

Для простоты управления мы связали все компоненты эксперимента (код, данные, задача) единым ключом (номера задачи в Jira). В роли коннектора между HDFS и Python-кодом выступает самописный класс Task, который создан для облегчения работы с данными.

Как связать все компоненты эксперимента единым ключом

Все, что нужно для такой связи, – инициализировать класс Task с основным атрибутом (номером задачи в Jira) и создать экземпляр этого класса. Все дальнейшие действия производятся через созданный экземпляр – с необходимыми для комфортной работы методами:

Примеры использования метода “ls”

Метод “write” записывает просчеты в виде датамартов и имеет следующие аргументы:

df – объект датафрейм (Spark DataFrame);

name – название сущности/датамарта;

Partition By – поле, по которому ведется партиционирование набора данных;

repartition – перераспределение данных;

mode – ‘overwrite’ или ‘append’;

CSV – по умолчанию ‘False’, но можно включить запись CSV-файлов.

Использование метода “write” на примере просчета витрины c названием suspended_inactive_abons

Метод “read” предназначен для считывания сущности/датамарта в папке эксперимента и имеет следующие аргументы:

instance – название датамарта в Task или неполный путь до референса в формате ‘fin-000/name’.

date – дата чтения. Если даты нет, датамарт считается целиком (все партиции).

fmt – маска даты. Принимает формат Python-масок. Если его нет, то берутся 5 рандомных партиций из источника и автоматически идет подбор формата дат.

key – ключ партиционирования. Если его нет, то берутся 5 рандомных партиций из источника и автоматически идет подбор ключа партиционирования.

dates – даты чтения диапазона. Если какие-то даты из диапазона не были найдены, то прочитается только то, что есть. И отобразится warning о том, что какие-то партиции не загрузились. Список незагрузившихся дат будет в warning.

CSV – индикатор считывания CSV.

Ниже приведены примеры использования метода “read”:

Как переиспользовать данные

В ситуациях, когда проверяем несколько гипотез на одних и тех же данных, удобнее переиспользовать витрины данных или модели завершенных экспериментов без их пересчета. Мы создаем референс на результаты закрытых задач, чтобы не забивать HDFS дубликатами.

Предположим, fin-000 – это старый эксперимент. В его HDFS-каталоге хранится несколько таблиц, включая suspended_inactive_abons, которая содержит 4 партиции. В новом эксперименте fin-999 мы переиспользуем партиции таблицы, но при этом для завершения эксперимента не хватает разделов partition_5 и partition_6.

Постановка задачи

По нашим правилам, нельзя дописывать новые партиции в закрытую задачу fin-000, чтобы не нарушить ее воспроизводимость. Поэтому в папке задачи fin-999 создается каталог fin-000 с пустой подпапкой suspended_inactive_abons, а затем в рамках нового эксперимента запускается код fin-000 для создания новых разделов partition_5 и partition_6.

Пример переиспользования результатов fin-000 в задаче fin-999

Для примера мы допустили ошибку и снова просчитали уже существующий partition_4. При считывании в рамках коннектора fin-999 используется метод “read” со ссылкой на старую задачу fin-000.

Пример дублирования партиций

Ридер считывает все партиции из старой и новой задач, а затем объединяет (union) результаты считывания. Дубликат не принимается во внимание при считывании. Необходимо вручную удалить раздел из нового эксперимента.

Так мы автоматизировали коннектор между завершенными и новыми экспериментами, а также создание необходимых каталогов и подкаталогов для переиспользования данных.

Ближайшие планы

Первая задача, которая стоит перед командой, это разработка пайплайнов, которые будут работать с пайплайнами DVC, что позволит:

автоматизировать и упорядочить процессы предварительной обработки данных;

сохранить время и ментальное здоровье аналитика;

обеспечить совпадение просчетов в продуктивной и рабочей средах за счет сериализации в среде разработки и десериализации в продуктивной среде;

сократить появление ошибок при переносе модели и исключить дополнительную поддержку кода в продуктивной среде.

Следующая задача – реализация автоматических smoke-тестов в последнем стейдже пайплайна в CI/CD. Проверка будет состоять в сравнении скоров модели, полученных при прогоне модели в локальных и продуктовых средах на одной и той же валидационной выборке. Близкие к идентичным результаты подтверждают, что модель, прошедшая дополнительную обработку при установке в продуктив, идентична тестовой модели. Примером обработок служит замена нулов, замена функций агрегаций, конвертация из PySpark датафрейма в Pandas и наоборот, в процессе которой модель может «поехать» из-за применения специфических методов и функций каждого инструмента. К примеру, типы данных PySpark могут не совпадать с типами данных Pandas или LGBM.

Воспроизводимость пайплайна, который состоит из исходного кода, обеспечивает инструмент DVC. Он отлично справляется с версионированием пайплайнов и данных, позволяет запускать код в правильном порядке, логировать изменения в данных/коде. И, благодаря механизму хэширования и логирования мета-данных, он дает нам полную уверенность в том, что эксперимент полностью воспроизводим. При повторном прогоне пайплайна без изменений, DVC сигнализирует, что никаких правок в коде и в данных не было и что надобности запускать пайплайн снова нет. Остается добавить этот тест-кейс в CI/CD.

В наши цели также входит автоматическая проверка блокнотов на воспроизводимость в CI/CD. Мы уже рассказали о правиле последовательности блокнотов при последовательном запуске ячеек одного блокнота и запуске нескольких блокнотов. Но мы пойдем дальше и сделаем надстройку над CI/CD, которая будет несколько раз последовательно запускать ноутбуки в некотором обособленном окружении, а затем сравнивать созданные логи, CSV-файлы и другие артефакты. Совпадение артефактов будет свидетельствовать о воспроизводимости блокнотов.

Будет отлично, если в комментариях вы расскажете, как выстроен workflow в вашей компании. А еще круче – поделитесь своими лучшими практиками того, как вы достигаете полной воспроизводимости экспериментов.

Источник

ВОСПРОИЗВОДИМОСТЬ РЕЗУЛЬТАТОВ ЭКСПЕРИМЕНТА.

ВВЕДЕНИЕ

Научная деятельность начинается с наблюдения. Наиболее ценно наблюдение в том случае, когда влияющие на него условия точно контролируются. Это возможно, если условия постоянны, известны и их можно изменять по желанию наблюдателя. Наблюдение, проведенное в строго контролируемых условиях, называется экспериментом.А для точных наук характерна органическая связь наблюдений и эксперимента с определением численных значений характеристик исследуемых объектов и процессов.

· МЕТОДЫ НАУЧНОГО ПОЗНАНИЯ

Методы познания — это совокупность действий, признанных помочь достижению желаемого результата. Первым на значение метода указал французский математик и философ Р. Декарт в работе «Рассуждения о методе». Но еще ранее один из основателей эмпирической науки Ф. Бекон сравнил метод познания с циркулем. Способности людей различны, и для того, чтобы всегда добиваться успеха, требуется инструмент, который уравнивал бы шансы и давал возможность каждому получить нужный результат. Таким инструментом и является научный метод.

Методы научного познания включают общечеловеческие приемы мышления (анализ, синтез, сравнение, обобщение, индукцию, дедукцию и т.п.), способы эмпирического и теоретического исследования (наблюдение, эксперимент, измерение, моделирование, идеализацию, формализацию и т.п.).

Характер используемых в конкретной науке методов определяется в первую очередь спецификой предмета. Но в процессе взаимопроникновения, дифференциации и интеграции научного знания типичными становятся ситуации, когда один предмет изучается несколькими методами, а несколько разных предметов — одним каким-то общим методом. Методы физики проникают в химию, методы физики и химии — в биологию (и наоборот). Молекулярная биология широко использует методы химии, молекулярной физики, ренгеноструктурного анализа и т.п.

Особое значение для современной науки в целом имеют методы вычислительной математики, кибернетики, общей теории систем, синергетики. В самых различных науках используются методы математической гипотезы и модельного эксперимента. Экспериментальный метод из естественных наук проникает в общечеловеческие и гуманитарные науки (социологию, психологию и др.)

ПРОБЛЕМЫ ИНТЕРПРЕТАЦИИ ЭКСПЕРИМЕНТА.

ВОСПРОИЗВОДИМОСТЬ РЕЗУЛЬТАТОВ ЭКСПЕРИМЕНТА.

Важнейшей частью научных исследований является эксперимент, основой которого служит научно поставленный опыт с точно учитываемыми и управляемыми условиями. Само слово эксперимент происходит от латинского experimentum — проба, опыт. В научном языке и исследовательской работе термин «эксперимент» обычно используется в значении, общем для целого ряда сопряженных понятий: опыт, целенаправленное наблюдение, воспроизведение объекта познания, организация особых условий его существования, проверка предсказания. В это понятие вкладывается научная постановка опытов и наблюдение исследуемого явления в точно учитываемых условиях, позволяющих следить за ходом явлений и воссоздавать его каждый раз при повторении этих условий. Само по себе понятие «эксперимент» означает действие, направленное на создание условий в целях осуществления того или иного явления и по возможности наиболее частого, т.е. не осложняемого другими явлениями. Основной целью эксперимента являются выявление свойств исследуемых объектов, проверка справедливости гипотез и на этой основе широкое и глубокое изучение темы научного исследования.

Постановка и организация эксперимента определяются его назначением. Эксперименты, которые проводятся в различных отраслях науки, являются химическими, биологическими, физическими, психологическими, социальными и т.п. Они различаются по способу формирования условий(естественных и искусственных); по целям исследования (преобразующие, констатирующие, контролирующие, поисковые, решающие); по организации проведения (лабораторные, натурные, полевые, производственные и т.п.);по структуре изучаемых объектов и явлений(простые, сложные); по характеру внешних воздействий на объект исследования (вещественные, энергетические, информационные); по характеру взаимодействия средства экспериментального исследования с объектом исследования (обычный и модельный); по типу моделей, исследуемых в эксперименте (материальный и мысленный); по контролируемым величинам(пассивный и активный); по числу варьируемых факторов(однофакторный и многофакторный); по характеру изучаемых объектов или явлений (технологические, социометрические) и т.п. Конечно, для классификации могут быть использованы и другие признаки.

Из числа названных признаков естественный эксперимент предполагает проведение опытов в естественных условиях существования объекта исследования (чаще всего используется в биологических, социальных, педагогических и психологических науках). Искусственныйэксперимент предполагает формирование искусственных условий (широко применяется в естественных и технических науках).

Преобразующий (созидательный) эксперимент включает активное изменение структуры и функций объекта исследования в соответствии с выдвинутой гипотезой, формирование новых связей и отношений между компонентами объекта или между исследуемым объектом и другими объектами. Исследователь в соответствии со вскрытыми тенденциями развития объекта исследования преднамеренно создает условия, которые должны способствовать формированию новых свойств и качеств объекта. Констатирующийэксперимент используется для проверки определенных предложений. В процессе этого эксперимента констатируется наличие определенной связи между воздействием на объект исследования и результатом, выявляется наличие определенных фактов. Контролирующийэксперимент сводится к контролю за результатами внешних воздействий на объект исследования с учетом его состояния, характера воздействия и ожидаемого эффекта. Поисковый эксперимент проводится в том случае если затруднена классификация факторов, влияющих на изучаемое явление вследствие отсутствия достаточных предварительных (априорных) данных. По результатам поискового эксперимента устанавливается значимость факторов, осуществляется отсеивание незначимых. Решающийэксперимент ставится для проверки справедливости основных положений фундаментальных теорий в том случае, когда две или несколько гипотез одинаково согласуются со многими явлениями. Это согласие приводит к затруднению, какую именно из гипотез считать правильной. Решающий эксперимент дает такие факты, которые согласуются с одной из гипотез и противоречат другой. Примером решающего эксперимента служат опыты по проверке справедливости ньютоновской теории истечения света и волнообразной теории Гюйгенса. Эти опыты были поставлены французским ученым Фуко (1819­1868). Они касались вопроса о скорости распространения света внутри прозрачных тел. Согласно гипотезе истечения, скорость света внутри таких тел должна быть больше, чем в пустоте. Но Фуко своими опытами доказал обратное, т.е. что в менее плотной среде скорость света большая. Этот опыт Фуко и был тем решающим опытом, который решил спор между двумя гипотезами (в настоящее время гипотеза Гюйгенса заменена электромагнитной гипотезой Максвелла). Другим примером решающего эксперимента может служить спор Птолемеем и Коперником о движении земли. Решающий опыт Фуко с маятником окончательно решил спор в пользу теории Коперника.

Лабораторныйэксперимент проводится в лабораторных условиях с применением типовых приборов, специальных моделирующих установок стендов, оборудования и т.д. Чаще всего в лабораторном эксперименте изучается не сам объект, а его образец. Это эксперимент позволяет доброкачественно, с требуемой повторностью изучить влияние одних характеристик при варьировании других, получить хорошую научную информацию с минимальными затратами времени и ресурсов. Однако такой эксперимент не всегда полностью моделирует реальный ход изучаемого процесса, поэтому возникает потребность в проведении натурного эксперимента. Натурный эксперимент проводится в естественных условиях и на реальных объектах. Этот вид эксперимента часто используется в процессе натурных испытаний изготовленных систем. В зависимости от места проведения испытаний натурные эксперименты подразделяются на производственные, полевые, полигонные, полунатурные и т.п.

Эксперименты могут быть открытыми и закрытыми, они широко распространены в психологии, социологии, педагогике. В открытом эксперименте его задачи открыто объясняются испытуемым, в закрытом — в целях получения объективных данных эти задачи скрываются от испытуемого.

Простой эксперимент используется для изучения объектов, не имеющих разветвленной структуры, с небольшим количеством взаимосвязанных и взаимодействующих объектов, выполняющих простейшие функции. В сложном эксперименте изучаются явления и объекты с разветвленной структурой и большим количеством взаимосвязанных и взаимодействующих элементов, выполняющих сложные функции. Высокая степень связности элементов приводит к тому, что изменение состояния какого-либо элемента или связи влечет за собой изменение состояния многих других элементов системы.

Информационный эксперимент используется для изучения воздействия определенной (различной по форме и содержанию) информации на объект исследования (чаще всего используется в биологии, психологии, социологии, кибернетике и т.п.). С помощью этого эксперимента изучается изменение состояния объекта исследования под влиянием сообщаемой ему информации. Вещественныйэксперимент предполагает изучение влияния различных факторов на состояние объекта исследования. Например, влияние различных добавок на качество стали и т.п. Энергетическийэксперимент используется для изучения воздействия различных видов энергии (электромагнитной, механической, тепловой и т.д.) на объект исследования. Этот тип эксперимента широко распространен в естественных науках.

Обычный(классический) эксперимент включает экспериментатора как познающего субъекта; объект или предмет экспериментального исследования и средства (инструменты, приборы, экспериментальные установки), при помощи которых осуществляется эксперимент. В обычном эксперименте экспериментальные средства непосредственно воздействуют с объектом исследования. Они являются посредниками между экспериментатором и объектом исследования. Модельный эксперимент в отличие от обычного имеет дело с моделью исследуемого объекта. Модель входит в состав экспериментальной установки, замещая не только объект исследования, но часто и условия, в которых изучается некоторый объект. Модельный эксперимент при расширении возможностей экспериментального исследования одновременно имеет и ряд недостатков, связанных с тем, что различие между моделью и реальным объектом может стать источником ошибок.

Различие между орудиями эксперимента при моделировании позволяет выделить мысленный и материальныйэксперимент. Орудиямимысленного (умственного)эксперимента являются мысленные модели исследуемых объектов и явлений. Для обозначения мысленного эксперимента иногда пользуются терминами: идеализированный или воображаемый эксперимент. Так, Галилей в мысленном эксперименте пришел к выводу о существовании движения инерции, согласно которой движущееся тело останавливается, если сила, его толкающая, прекращает свое действие. Этот вывод мог быть получен только с помощью мысленного эксперимента. По этому поводу А. Эйнштейн говорил следующее: «Мы видели, что закон инерции нельзя вывести непосредственно из эксперимента, его можно вывести лишь умозрительно — мышлением, связанным с наблюдением…». Мысленный эксперимент используется не только учеными, но и писателями, художниками, педагогами, врачами. Мысленное экспериментирование ярко проявляется в мышлении шахматистов. Огромна роль мысленного эксперимента в техническом конструировании и изобретательстве. Материальныйэксперимент имеет аналогичную структуру. Однако в эксперименте используются материальные, а не идеальные объекты исследования. Основное отличие материального эксперимента от мысленного в том, что реальный эксперимент представляет собой форму объективной материальной связи сознания с внешним миром. Сходство мысленного с реальным в значительной мере определяется тем, что всякий реальный эксперимент, прежде чем быть осуществленным на практике, сначала проводится человеком мысленно в процессе обдумывания и планирования. Поэтому мысленный эксперимент нередко вступает в роли идеального плана реального эксперимента, в известном смысле предваряя его.

Пассивный эксперимент предусматривает измерение только выбранных показателей (параметров, переменных) в результате наблюдения за объектом без искусственного вмешательства в его функционирование. Примерами пассивного эксперимента является наблюдение: за интенсивностью, составом, скоростями движения транспортных потоков; за числом заболеваний; за работоспособностью определенной группы лиц; за показателями, изменяющимися с возрастом и т.п. пассивный эксперимент, по существу, является наблюдением, которое сопровождается инструментальным измерением выбранных показателей состояния объекта исследования. Активный эксперимент связан с выбором специальных входных сигналов (факторов) и контролирует вход и выход исследуемой системы.

Однофакторный эксперимент предполагает: выделение нужных факторов; стабилизацию мешающих факторов; поочередное варьирование интересующих исследователя факторов. Стратегия многофакторного эксперимента состоит в том, что варьируются все переменные сразу и каждый эффект оценивается по результатам всех опытов, проведенных в данной серии экспериментов.

Технологический эксперимент направлен на изучение элементов технологического процесса (продукции, оборудования, деятельности работников и т.п.) или процесса в целом. Социометрический эксперимент используется для измерения существующих межличностных социально-психологических отношений в малых группах с целью их последующего измерения.

Приведенная классификация экспериментальных исследований не может быть признана полной, поскольку с расширением научного знания расширяется и область применения экспериментального метода. Кроме того, в зависимости от задач эксперимента различные его типы могут объединятся, образуя комплексный или комбинированный эксперимент.

Для проведения эксперимента любого типа необходимо: разработать гипотезу, подлежащую проверке; создать программы экспериментальных работ; определить способы и приемы вмешательства в объект исследования; обеспечить условия для осуществления процедуры экспериментальных работ; разработать пути и приемы фиксирования хода и результатов эксперимента; подготовить средства эксперимента (приборы, установки, модели и т.п.); обеспечить эксперимент необходимым обслуживающим персоналом.

Особое значение имеет правильная разработка методик эксперимента. Методика — это совокупность мыслительных и физических операций, размещенных в определенной последовательности, в соответствии с которой достигается цель исследования. При разработке методик проведения эксперимента необходимо предусматривать; проведение предварительного целенаправленного наблюдения над изучаемым объектом или явлением с целью определения исходных данных (гипотез, выбора варьирующих факторов); создание условий, в которых возможно экспериментирование (подбор объектов для экспериментального воздействия, устранение влияния случайных факторов); определение пределов измерений; систематическое наблюдение за ходом развития изучаемого явления и точные описания фактов; проведение систематической регистрации измерений и оценок фактов различными средствами и способами; создание повторяющихся ситуаций, изменение характера условий и перекрестные воздействия, создание усложненных ситуаций с целью подтверждения или опровержения ранее полученных данных; переход от эмпирического изучения к логическим обобщениям, к анализу и теоретической обработке полученного фактического материала.

Правильно разработанная методика экспериментального исследования предопределяет его ценность. Поэтому разработка, выбор, определение методики должно проводится особенно тщательно. Необходим о убедиться в том, что она соответствует современному уровню науки, условиям, в которых выполняется исследование. Целесообразно проверить возможность использования методик, применяемых в смежных проблемах и науках.

Выбрав методику эксперимента, исследователь должен удостовериться в ее практической применимости, так как она может оказаться неприемлемой или сложной в силу специфических особенностей климата, помещения, лабораторного оборудования, персонала, объекта исследований и т.д.

Перед каждым экспериментом составляется его план (программа), который включает: цель и задачи эксперимента; выбор варьирующих факторов; обоснование объема эксперимента, числа опытов; порядок реализации опытов, определение последовательности измерения факторов; выбор шага изменения факторов, задавание интервалов между будущими экспериментальными точками; обоснование способов обработки и анализа результатов эксперимента.

Применение математической теории эксперимента позволяет уже при планировании определенным образом оптимизировать объем экспериментальных исследований и повысить их точность.

Важным этапом подготовки к эксперименту является определение его целей и задач. Количество задач для конкретного эксперимента не должно быть слишком большим (лучше 3…4).

Необходимо также обосновать набор средств измерений (приборов) другого оборудования, машин и аппаратов. В отдельных случаях возникает потребность в создании уникальных приборов, установок, стендов для разработки темы.

Методы измерений должны базироваться на законах науки — метрологии, изучающей средства и методы измерений.

При экспериментальном исследовании одного и того же процесса (наблюдения и измерения) повторные отсчеты на приборах, как правило, неодинаковы. Отклонения объясняются различными причинами — неоднородностью свойств изучаемого тела (материал, конструкция и т.д.), несовершенностью приборов и классов их точности, субъективными особенностями экспериментатора и др. Чем больше случайных факторов, влияющих на опыт, тем больше расхождения цифр, получаемых при измерениях, т.е. тем больше отклонения отдельных измерений от среднего значения. Это требует повторных измерений, а следовательно, необходимо знать их минимальное количество Под потребным минимальным количеством измерений понимают такое количество измерений, которое в данном опыте обеспечивает устойчивое среднее значение измеряемой величины, удовлетворяющее заданной степени точности. Установление потребного минимального количества измерений имеет большое значение, поскольку обеспечивает получение наиболее объективных результатов при минимальных затратах времени и средств.

Обработка и анализ экспериментальных данных сводится к систематизации всех цифр, классификации. Результаты экспериментов должны быть сведены в удобочитаемые формы записи — таблицы, графики, формулы, номограммы, позволяющие быстро и доброкачественно сопоставлять и проанализировать результаты. Все переменные должны быть оценены в единой системе единиц физических величин.

ПОГРЕШНОСТИ РЕАЛЬНЫХ ИЗМЕРЕНИЙ. СРЕДНИЕ ЗНАЧЕНИЯ И ОТКЛОНЕНИЯ ОТ НИХ. ПРИБОР КАК ИДЕАЛЬНЫЙ КАНАЛ СВЯЗИ МЕЖДУ ИССЛЕДОВАТЕЛЕМ И ОБЪЕКТОМ. ПРИНЦИП СОВМЕСТНЫХ РЕЗУЛЬТАТОВ ОДНОВРЕМЕННЫХ ИЗМЕРЕНИЙ НЕСКОЛЬКИХ ФИЗИЧЕСКИХ ВЕЛИЧИН. НЕЗАВИСИМОСТЬ (ПЕРЕСТАНОВОЧНОСТЬ) И АДДИТИВНОСТЬ ИЗМЕРЯЕМЫХ ХАРАКТЕРИСТИК. ВЛИЯНИЕ ПРИБОРА НА ПРОЦЕСС РЕАЛЬНЫХ ИЗМЕРЕНИЙ.

Дмитрий Иванович Менделеев о значении измерений для науки говорил: «Наука начинается с тех пор, как начинают измерять. Точная наука немыслима без меры». А английский физик В. Томсон (Кельвин) указал на то, что «каждая вещь известна лишь в той степени, в какой ее можно измерить».

Измерение следует отличать от других приемов количественной характеристики величин, применяемых в тех случаях, когда нет однозначного соответствия между величиной и ее количественным выражением в определенных единицах. Так, визуальное определение скорости ветра по шкале Бофорта или твердости минералов по шкале Мооса следует считать не измерением, а оценкой.

При исследовании приходится иметь дело с измерением физических величин. Под физической величиной понимается особенность, свойство, общее в качественном отношении многим физическим явлениям, объектам, физическим системам, их состояниям и т.п., но в количественном отношении индивидуальное для каждого объекта (Советский энцикл. словарь, 1987). Примерами физических величин служат масса, плотность, интервал времени, вязкость и др.).

Под измерением физической величины понимают последовательность операций, выполняемых опытным путем при помощи технических средств, специально предназначенных для этой цели, по нахождению с известной точностью значения физической величины, характеризующей исследуемый объект или явление. (Измерить физическую величину — это значит найти опытным путем значение физической величины, используя специальные технические средства).

Измерение начинают с приведения технического средства измерения во взаимодействие с исследуемым объектом. В результате возникает измерительный сигнал на входе средства измерения. Оканчивают измерение при получении информации о физической величине в виде значения величины и оценки погрешности этого значения.

Строго говоря, законченное измерение включает несколько элементов: собственно физический объект (явление), свойство или состояние которого характеризует измеряемая величина; единицу этой величины; технические средства измерений, проградуированные в этих единицах; метод измерения и, наконец, наблюдателя (регистрирующее устройство), воспринимающего результат измерений.

Наличие субъекта (исследователя), производящего измерения, не всегда является обязательным. Он может и не принимать непосредственного участия в процессе измерения, если измерительная процедура включена в работу автоматической информационно-измерительной системы. Последняя строится на базе электронно-вычислительной техники. Причем с появлением сравнительно недорогих микропроцессорных вычислительных устройств в измерительной технике стало возможным создание «интеллектуальных» приборов, в которых обработка данных измерений производится одновременно с чисто измерительными операциями.

Различают следующие виды измерений: прямые, косвенные, совокупные и совместные.

Прямым измерением называют измерение физической величины, при котором входной измерительный сигнал уже содержит информацию об измеряемой физической величине, например измерения температуры физического объекта термометром, давления газа в сосуде манометром, атмосферного давления барометром, массы тела взвешиванием на рычажных весах и т.д. (т.е. при прямых измерениях искомую величину устанавливают непосредственно из опыта).

Косвенным измерением называют измерение физической величины, при котором искомое значение вычисляют с помощью известной зависимости между искомой величиной и величинами подвергаемыми прямым измерением. Например, вычисление значения электрической мощности постоянного тока по показаниям амперметра и вольтметра, определение удельного электрического сопротивления цилиндрического проводника прямыми измерениями длины, диаметра поперечного сечения и электрического сопротивления проводника (при косвенных измерениях искомую величину устанавливают функционально от других величин, определенных прямыми измерениями).

Под совокупным измерением понимают измерение нескольких одноименных физических величин, состоящее из прямых измерений различных сочетаний этих величин. Например, определение масс отдельных гирь по известному значению массы одной гири и разности масс нескольких целесообразно выбранных сочетаний гирь.

Совместным измерением понимают измерение, состоящее из прямых измерений нескольких величин в изменяющихся условиях и последующего нахождения зависимости между этими величинами. Например, определение температурной зависимости электрического сопротивления путем его измерения при различных температурах.

Кроме того, различают измерения постоянной или мало изменяющейся физической величины, называемые статистическими измерениями, и измерения переменной во времени величины, называемые динамическими измерениями. Примеры статистических измерений: измерения размеров физического объекта, постоянного давления манометром, остающегося постоянным действующего напряжения переменного тока вольтметром. Примеры динамических измерений: измерения вибраций, пульсирующих давлений.

Выделяется несколько основных методов измерения.

Метод непосредственной оценки соответствует определению значения величины непосредственно по отсчетному устройству измерительного прибора прямого действия (например, измерение массы на циферблатных весах). При использовании метода сравнения с мерой измеряемую величину сравнивают с величиной, воспроизводимой мерой (например, измерение массы на рычажных весах с уравновешиванием гирями). При методе противопоставления осуществляется сравнение с мерой (измеряемая величина и величина, воспроизводимая мерой, одновременно воздействуют на прибор, с помощью которого устанавливается соотношение между этими величинами, как, например, при измерении массы на равноплечных весах с помещением измеряемой массы и гирь на двух противоположных чашках весов). При дифференциальном методе на измерительный прибор воздействует разность измеряемой и известной величины, воспроизводимой мерой (например, измерения, выполняемые при проверке мер длины сравнением с образцовой мерой на компараторе). При нулевом методе результирующий эффект воздействия величины на прибор доводят до нуля (например, измерение электрического сопротивления мостом с полным его уравновешиванием). При методе замещения измеренную величину замещают известной величиной, воспроизводимой мерой (например, взвешивание с поочередным помещением измеряемой массы и гири на одну и ту же чашку весов). При методе совпадений разность между измеряемой величиной и величиной воспроизводимой мерой измеряется с использованием совпадения отметок шкал или периодических сигналов.

Результат измерения получается в виде некоторого числа единиц измерения. Единица измерения —это эталон, с которым сравнивается измеряемая сторона объекта или явления (эталону присваивается числовое значение ²1²). Существует множество единиц измерения, соответствующее множеству объектов, явлений, их свойств, сторон, связей, которые приходится измерять в процессе научного познания. При этом единицы измерения подразделяются на основные, выбираемые в качестве базисных при построении системы единиц, и производные, выводимые из других единиц с помощью каких-то математических соотношений.

Вопрос об обеспечении единообразия в измерении величин, отражающих те или иные явления материального мира, всегда был очень важным. В настоящее время действует преимущественно Международная система единиц (СИ), принятая в 1960 г. ХI Генеральной конференцией по мерам и весам. Международная система единиц физических величин является наиболее совершенной и универсальной из всех существовавших до настоящего времени. Она охватывает физические величины механики, термодинамики, электродинамики и оптики, которые связаны между собой физическими законами. Поэтому такие международные организации, как ЮНЕСКО и международная организация законодательной метрологии, призвали государства, являющиеся членами этих организаций, принять вышеупомянутую Международную систему единиц и градуировать в этих единицах все измерительные приборы.

Неотъемлемойчастью экспериментальных исследований являются средства измерений, т.е. совокупность технических средств, имеющих нормированные погрешности, которые дают необходимую информацию для экспериментатора. Можно выделить средства измерения, позволяющие непосредственно определить испытуемый показатель (например, пресс для определения прочности материалов), и измерения, которые дают возможность косвенно судить об исследуемом показателе (ультразвуковые дефектоскопы позволяют оценить прочность материала по скорости прохождения ультразвука). К средствам измерений относят меры, измерительные приборы, установки и системы. Простейшим средством измерения является мера, предназначенная для воспроизведения физической величины заданного размера (например, гиря — мера массы).

Выходной сигнал средств измерения фиксируется отчетными устройствами, которые бывают шкальными, цифровыми и регистрирующими. Шкала является важной частью прибора. Расстояние в миллиметрах между двумя смежными отметками на шкале называют длиной деления шкалы. Разность между значениями измеряемой величины, соответствующую началу и концу шкалы, называют диапазоном показаний прибора.

Измерительные приборы (отчетные устройства) характеризуются величиной погрешности и точности, стабильностью измерений и чувствительностью. Погрешности приборов бывают абсолютными и относительными.

Под абсолютной погрешностью измерительного прибора принимается величина

x_и —показательная прибора (номинальное значение измеряемой величины);

x_д —действительное значение измеренной величины,полученное более точным методом.

Погрешность средства измерения — одна из важнейших его характеристик. Она возникает вследствие недоброкачественных материалов, комплектующих изделий, применяемых для приготовления приборов; неудовлетворительной эксплуатации, неправильной установки измерительной аппаратуры и др. Существенное влияние оказывают градуировка шкалы и периодическая поверка приборов. Кроме этих систематических погрешностей возникают случайные, обусловленные сочетаниями различных факторов — ошибками отсчета, параллаксом, вариацией, колебаниями температуры и т.д. Таким образом, необходимо рассматривать не какие-либо отдельные, а суммарные погрешности приборов, (т.е. случайные погрешности оцениваются методами математической статистики по данным многократных измерений). Систематические погрешности исключают введением поправок, найденных экспериментально.

Относительная погрешностьопределяется отношением

Суммарные погрешности, установленные при нормальных условиях (t_в=20°С; влажность воздуха 80%; p=1,01325×10 5 Н/м 2 ), называют основными погрешностями прибора.

Результаты измерений из-за погрешностей всегда несколько отличаются от истинного значения измеряемой величины, поэтому результаты измерения обычно сопровождают указанием оценки погрешности.

Диапазоном измерений называют ту часть диапазона показаний прибора, для которой установлены погрешности прибора (если известны погрешности прибора, то диапазон измерений и показаний прибора совпадает). Диапазон измерений является важной характеристикой прибора. Если шкала измерений изменяется от 0 до N, то в характеристике на прибор диапазон указывают в пределах 0…N. Ряд приборов с нижним пределом измерения 0 имеет большую погрешность в интервале 0…25% от верхнего предела измерений. Поэтому имеется много приборов без нижнего нулевого предела измерений. Приборы нельзя перегружать, хотя некоторые приборы выдерживают перегрузки, но со временем погрешности у верхнего предела измерений существенно возрастают.

Разность между максимальным и минимальным показаниями прибора называют размахом. Если эта величина непостоянная, т.е. если при обратном ходе имеется увеличение или уменьшение хода, то эту разность называют вариацией показаний W. Величина W — это простейшая характеристика погрешности прибора. Другой характеристикой прибора является чувствительность, т.е. способность отсчитывающего устройства реагировать на изменения измеряемой величины. Под порогом чувствительности прибора понимают наименьшее значение измеренной величины, вызывающее изменение показания прибора, которое можно зафиксировать.

Средства измерения делятся на классы точности. Класс точности — это обобщенная характеристика, определяемая пределами основной и дополнительных допускаемых погрешностей, влияющих на точность.

Стабильность (воспроизводимость прибора) — это свойство отсчетного устройства обеспечивать постоянство показаний одной и той же величины. Со временем в результате старения материалов стабильность показания приборов нарушается. Стабильность прибора определяется вариацией показания. Поэтому при установлении стабильности нормируют величину допускаемой вариации W_д. Поскольку вариация принимается с одним знаком, а допускаемая погрешность имеет положительные или отрицательные значения, то W_д=0,5b_д, где b_д— допустимая относительная погрешность прибора.

На все измерительные приборы в той или иной мере действует магнитное поле. Поэтому ряд электроизмерительных приборов должен быть защищен от действия магнитного поля, а также электростатистических явлений.

В последние годы при исследованиях различных процессов стали широко применяться электрические, электронные, частотные, радиоизотопные и другие приборы. Такие приборы, как правило, требуют дополнительной защиты от пыли, вибрации, газа, снега и др. отсутствие такой защиты может вызвать погрешности, превышающие допустимые. Все средства измерения (приборы, используемые для измерения в научных исследованиях) проходят периодическую поверку на точность. Такая поверка предусматривает определение и по возможности уменьшение погрешностей приборов. Поверка позволяет установить соответствие данного прибора регламентированной степени точности и определяет возможность его применения для данных измерений, т.е. определяются погрешности, и устанавливается, не выходят ли они за пределы допускаемых значений. Поверку средств измерений производят на различных уровнях — от специальных государственных организаций до низовых звеньев. На высокоточные измерительные средства государственные метрологические организации выдают специальное свидетельство, в котором после поверки указывают номинальные значения измеряемой величины, класс точности, предельную допускаемую погрешность, результаты поверки погрешности прибора в виде таблиц, вариации измерений. Для приборов меньшей ответственности свидетельство может не выдаваться и заменяться лишь указанием о том, что прибор удовлетворяет требованиям стандарта или инструкции. Прибор снабжается клеймом поверки.

Источник