Что такое градиент функции

Производная по направлению, градиент функции: объяснение, примеры

Понятие производной по направлению

Понятие производной по направлению рассматривается для функций двух и трёх переменных. Чтобы понять смысл производной по направлению, нужно сравнить производные по определению

И вот ответ на этот вопрос: приращение функции трёх переменных отображается на некоторой прямой, направление которой определяется вектором, произвольно заданным в задаче.

Для того, чтобы перейти к строгому математическому определению производной по направлению, нужно рассмотреть:

Величину отрезка MM 1 можно обозначить .

Функция u = f(M) при этом получит приращение

Определение производной по направлению. Предел отношения при , если он существует, называется производной функции u = f(M) по направлению вектора l и обозначается , то есть

Формула, которой нужно пользоваться для нахождения производной по направлению, следующая:

Смысл этой формулы: производная по направлению является линейной комбинацией частных производных, причём направляющие косинусы показывают вклад в производную по направлению соответствующей частной производной.

Примеры нахождения производной по направлению

Пример 1. Найти производную функции в точке M 0 (1; 2; 3) по направлению вектора .

Найдём направляющие косинусы, пользуясь определением скалярного произведения векторов:

Теперь можем найти производную по направлению данной функции по её формуле:

Пример 3. Найти производную функции в точке M 0 (1; 1; 1) по направлению вектора .

Решение. Найдём направляющие косинусы вектора

Найдём частные производные функции в точке M 0 :

Следовательно, можем найти производную по направлению данной функции по её формуле:

Градиент функции

Градиент функции нескольких переменных в точке M 0 характеризует направление максимального роста этой функции в точке M 0 и величину этого максимального роста.

Как найти градиент?

Нужно определить вектор, проекциями которого на оси координат являются значения частных производных , , этой функции в соответствующей точке:

То есть, должно получиться представление вектора по ортам координатных осей, в котором на каждый орт умножается соответствующая его оси частная производная.

Для градиента функции двух переменных формула короче:

Решение. Найдём частные производные функции в точке M 0 :

Следовательно, можем записать искомый градиент данной функции:

Источник

Градиент и его свойства

Градиентом функции в данной точке называется вектор, расположенный в плоскости с началом в точке

Основное свойство градиента: направление градиента функции в точке является направлением быстрейшего возрастания функции, его модуль равен наибольшей скорости возрастания в заданной точке.

Другое свойство градиента: он перпендикулярен касательной линии уровня, проходящей через точку начала градиента.

Иллюстрация свойств градиента — на рисунке 8.2. Показаны линии уровня , причем .

Через точку , лежащую на линии с уровнем проведены касательная и градиент, которые перпендикулярны друг другу. Градиент направлен в сторону возрастания функции .

8.6 Экстремум функции двух переменных. Необходимые и достаточные условия экстремума

Точка называется точкой максимума функции , если значение функции в этой точке больше, чем её значение в любой другой точке некоторой (хотя бы малой) окрестности точки . Аналогично (с заменой «больше» на «меньше») определяется точка минимума функции.

Точки минимума и максимума объединяются под общим названием точки экстремума.

Для функции двух переменных точка имеет две координаты для функции трёх переменных — три координаты . При этом окрестностью точки является открытый шар с центром в этой точке.

Поиск критических точек, т.е. точек в которых может быть экстремум функции , производится при помощи необходимого условия экстремума:

Решение системы (8.12) определяет координаты критических точек

Однако необходимого условия мало для существования точек экстремума.

Нужно провести исследование критических точек с использованием достаточных условий экстремума.

Для функции двух переменных введём обозначения для вторых частных производных в критической точке :

Достаточные условия приводим в таблице 4.

Таблица 4 — Достаточные условия экстремума функции двух переменных

Пример:

Дана функция и точка . Найти градиент функции в заданной точке .

Решение:

Используем формулу градиента

Определяем частные производные и вычисляем их при .

При вычислении частной производной по одной из переменных вторая переменная считается постоянной величиной.

Значения частных производных подставляем в формулу градиента:

Ответ: .

Эта лекция взята с этой страницы, там вы найдёте все темы лекций по высшей математике для студентов 1 курса:

Возможно вам будут полезны эти страницы:

Образовательный сайт для студентов и школьников

Копирование материалов сайта возможно только с указанием активной ссылки «www.lfirmal.com» в качестве источника.

Источник

Нахождение градиента вектор-функции

Дата публикации Oct 20, 2018

ВЧасть 1Нам поставили задачу: вычислить градиент этой функции потерь:

Градиент скалярной функции

Скажи, что у нас есть функция,f (x, y) = 3x²y, Наши частные производные:

Если мы организуем эти части в горизонтальный вектор, мы получимградиентизР (х, у), или∇ f (x, y):

6yxэто изменение вР (х, у)в отношении изменения вИкс, в то время как3x²это изменение вР (х, у)в отношении изменения вY,

Что происходит, когда у нас есть две функции? Давайте добавим еще одну функцию,g (x, y) = 2x + y⁸, Частные производные:

Таким образом, градиент g (x, y):

Представляющие функции

Когда у нас есть несколько функций с несколькими параметрами, часто полезно представлять их более простым способом. Мы можем объединить несколько параметров функций в один векторный аргумент,Иксэто выглядит следующим образом:

Следовательно,Р (х, у, г)станетF (x₁, x₂, x₃)который становитсяе (Икс).

Мы также можем объединить несколько функций в вектор, например так:

Для нашего предыдущего примера с двумя функциями,f (x, y) ⇒ f (Икс)а такжеg (x, y) ⇒ g (Икс).Здесь векторИкс= [x₁, x₂], гдеx₁ = х, а такжеx₂ = у, Чтобы упростить его еще больше, мы можем объединить наши функции: [f (Икс),г(Икс)] = [f₁ (Икс), f₂ (Иксзнак равноf (x) = y.

Зачастую количество функций и количество переменных будет одинаковым, поэтому для каждой переменной существует решение.

Градиент вектор-функции

Теперь, когда у нас есть две функции, как мы можем найти градиент обеих функций? Если мы организуем оба их градиента в одну матрицу, мы переместимся из векторного исчисления в матричное исчисление. Эта матрица и организация градиентов нескольких функций с несколькими переменными, известна какМатрица Якобиана,

Есть несколько способов представления якобиана. Этот макет, где мы укладываем градиенты по вертикали, известен какмакет числителя, но другие документы будут использоватьрасположение знаменателя, который просто переворачивает его по диагонали:

Градиент функции идентичности

Давайте возьмем функцию идентичности,у = ф (х) = х, гдеFi (Икс) = xiи найдите его градиент:

Так же, как мы создали наш предыдущий якобиан, мы можем найти градиенты каждой скалярной функции и сложить их вертикально, чтобы создать якобиан тождественной функции:

Поскольку это функция идентичности, f₁ (Икс) = x₁, f₂ (Икс) = х₂ и тд. Следовательно,

Частичная производная функции по переменной, которой нет в функции, равна нулю. Например, частная производная 2x² по y равна 0. Другими словами,

Поэтому все, что не на диагонали якобиана, становится равным нулю. Между тем, частная производная любой переменной по отношению к себе равна 1. Например, частная производнаяИксв отношенииИксравен 1. Следовательно, якобиан становится:

Градиент комбинаций вектор-векторных функций

Элементарные бинарные операторыявляются операциями (такими как сложениевес+Иксиливес>Икскоторый возвращает вектор единиц и нулей), который применяет оператор последовательно, начиная с первого элемента обоих векторов, чтобы получить первый элемент вывода, затем второго элемента обоих векторов, чтобы получить второй элемент вывода… и так далее.

Эта статья представляет поэлементные бинарные операции с такими обозначениями:

Здесь ◯ означает любой поэлементный оператор (например, +), а не композицию функций.

Итак, как вы находите градиент поэлементной операции двух векторов?

Поскольку у нас есть два набора функций, нам нужны два якобиана, один из которых представляет градиент относительноИкси один по отношению квес:

Большинство арифметических операций нам понадобятся простые, поэтомуе (ш)часто просто векторвес, Другими словами,Fi (Wi) = Wi, Например, операцияW + хподходит к этой категории, так как она может быть представлена каке (ж) + д (х)гдеfi (wi) + gi (xi) = wi + xi.

При этом условии каждый элемент в двух якобианах упрощается до:

На диагонали i = j, поэтому существует значение для частной производной. Вне диагонали, однако, i ≠ j, поэтому частные производные становятся равными нулю:

Мы можем представить это более кратко как:

Попробуем найти градиент функцииW + х, Мы знаем, что все вне диагонали равно 0. Значения частичных по диагонали относительновеса такжеИксявляются:

Давайте попробуем это с умножением:ш * х, Значения частностей по диагонали относительновеса такжеИксявляются:

Следовательно, градиент по отношению квесизш * хявляетсяDiag (Икс)в то время как градиент по отношению кИксизш * хявляетсяDiag (вес).

Применяя те же шаги для вычитания и деления, мы можем суммировать все это:

Градиент векторных сумм

Одной из наиболее распространенных операций в глубоком обучении является операция суммирования. Как мы можем найти градиент функцииу = сумма (Икс)?

у = сумма (Икс)также может быть представлен как:

Следовательно, градиент может быть представлен как:

А так как частная производная функции по переменной, которой нет в функции, равна нулю, ее можно дополнительно упростить следующим образом:

Обратите внимание, что результатом является горизонтальный вектор.

Как насчет градиентау = сумма (Иксг)? Единственное отличие состоит в том, что мы умножаем каждый частный с константой, z:

Хотя это является производной по отношению кИкс, производная по скаляруZэто просто число:

Градиент комбинаций векторных функций правила цепочки

ВЧасть 2мы узнали о правилах цепей с несколькими переменными. Однако это работает только для скаляров. Давайте посмотрим, как мы можем интегрировать это в векторные вычисления!

Давайте возьмем векторную функцию,Yзнак равное(Икс)и найти градиент. Давайте определим функцию как:

И то и другоеf₁ (х)а такжеf₂ (х)являются составными функциями. Введем промежуточные переменные дляf₁ (х)а такжеf₂ (х)и переписать нашу функцию:

Теперь мы можем использовать наше правило цепочки переменных, чтобы вычислить производную вектораY, Просто вычислите производнуюf₁ (х)а такжеf₂ (х)и поместите их один над другим:

Вуаля! У нас есть наш градиент. Однако мы пришли к нашему решению со скалярными правилами, просто сгруппировав числа в вектор. Есть ли способ представить правило цепи с несколькими переменными для векторов?

Прямо сейчас наш градиент вычисляется с помощью:

Обратите внимание, что первый член градиентов обоихf₁ (х)а такжеf₂ (х)включает частичноеg₁надИкси второй член градиентов обоихf₁ (х)а такжеf₂ (х)включает частичноеg₂надИкс Это как умножение матриц! Поэтому мы можем представить это как:

Давайте проверим наше новое представление правила цепочки векторов:

Мы получаем тот же ответ, что и скалярный подход! Если вместо одного параметраИксу нас есть векторный параметрИкснам просто нужно немного изменить наше правило, чтобы получить полное правило цепочки векторов:

В нашем примере выше,еэто чисто функцияг; то есть,фиявляется функциейсолдатно нетGJ(каждая функцияесоответствует ровно 1 функцииг),В этом случае все вне диагонали становится равным нулю, и:

Теперь у нас есть все части, которые мы находим в градиенте нейронной сети, с которой мы начали нашу серию:

Проверять, выписыватьсяЧасть 4чтобы узнать, как вычислить его производную!

Если вы еще этого не сделали, прочитайте части 1 и 2:

ЧитатьЧасть 4для грандиозного финала!

Скачать оригинал статьиВот,

Если вам понравилась эта статья, не забудьте оставить несколько хлопков! Оставьте комментарий ниже, если у вас есть какие-либо вопросы или предложения 🙂

Источник