Что такое вектор градиент
Градиент (вектор)
Смотреть что такое «Градиент (вектор)» в других словарях:
градиент — вектор Словарь русских синонимов. градиент сущ., кол во синонимов: 2 • вектор (5) • … Словарь синонимов
вектор-градиент — вектор градиент, вектор градиента … Орфографический словарь-справочник
градиент — Изменение значения некоторой величины на единицу расстояния в заданном направлении. Топографический градиент — это изменение высоты местности на измеренном по горизонтали расстоянии. [http://www.oceanographers.ru/index.php?option=com… … Справочник технического переводчика
ГРАДИЕНТ ДАВЛЕНИЯ — барический градиент вектор, характеризующий степень изменения атмосферного давления в пространстве, равный производной от давления по нормали к изобарической поверхности, т. е. изменению давления на единицу расстояния в том направлении, в котором … Словарь ветров
ГРАДИЕНТ — (лат.). Разность в барометрических и термометрических показаниях в разных местностях. Словарь иностранных слов, вошедших в состав русского языка. Чудинов А.Н., 1910. ГРАДИЕНТ разность в показаниях барометра и термометра в один и тот же момент… … Словарь иностранных слов русского языка
вектор — градиент Словарь русских синонимов. вектор сущ., кол во синонимов: 5 • градиент (2) • орт … Словарь синонимов
ГРАДИЕНТ ФУНКЦИИ — и = f(x, у, z), заданной в некоторой обл. пространства (X Y Z), есть вектор с проекциями обозначаемый символами: grad где i, j, k координатные орты. Г. ф. есть функция точки (х, у, z), т. е. он образует векторное поле. Производная в направлении Г … Геологическая энциклопедия
ГРАДИЕНТ СУКЦЕССИОННЫЙ — вектор, показывающий направление и величину изменений экосистемы. Экологический энциклопедический словарь. Кишинев: Главная редакция Молдавской советской энциклопедии. И.И. Дедю. 1989 … Экологический словарь
ГРАДИЕНТ ТЕМПЕРАТУРЫ — вертикальный, вектор, отражающий изменение (перепад) температуры в атмосфере с высотой (в градусах на 100 м). Экологический энциклопедический словарь. Кишинев: Главная редакция Молдавской советской энциклопедии. И.И. Дедю. 1989 … Экологический словарь
Нахождение градиента вектор-функции
Дата публикации Oct 20, 2018
ВЧасть 1Нам поставили задачу: вычислить градиент этой функции потерь:
Градиент скалярной функции
Скажи, что у нас есть функция,f (x, y) = 3x²y, Наши частные производные:
Если мы организуем эти части в горизонтальный вектор, мы получимградиентизР (х, у), или∇ f (x, y):
6yxэто изменение вР (х, у)в отношении изменения вИкс, в то время как3x²это изменение вР (х, у)в отношении изменения вY,
Что происходит, когда у нас есть две функции? Давайте добавим еще одну функцию,g (x, y) = 2x + y⁸, Частные производные:
Таким образом, градиент g (x, y):
Представляющие функции
Когда у нас есть несколько функций с несколькими параметрами, часто полезно представлять их более простым способом. Мы можем объединить несколько параметров функций в один векторный аргумент,Иксэто выглядит следующим образом:
Следовательно,Р (х, у, г)станетF (x₁, x₂, x₃)который становитсяе (Икс).
Мы также можем объединить несколько функций в вектор, например так:
Для нашего предыдущего примера с двумя функциями,f (x, y) ⇒ f (Икс)а такжеg (x, y) ⇒ g (Икс).Здесь векторИкс= [x₁, x₂], гдеx₁ = х, а такжеx₂ = у, Чтобы упростить его еще больше, мы можем объединить наши функции: [f (Икс),г(Икс)] = [f₁ (Икс), f₂ (Иксзнак равноf (x) = y.
Зачастую количество функций и количество переменных будет одинаковым, поэтому для каждой переменной существует решение.
Градиент вектор-функции
Теперь, когда у нас есть две функции, как мы можем найти градиент обеих функций? Если мы организуем оба их градиента в одну матрицу, мы переместимся из векторного исчисления в матричное исчисление. Эта матрица и организация градиентов нескольких функций с несколькими переменными, известна какМатрица Якобиана,
Есть несколько способов представления якобиана. Этот макет, где мы укладываем градиенты по вертикали, известен какмакет числителя, но другие документы будут использоватьрасположение знаменателя, который просто переворачивает его по диагонали:
Градиент функции идентичности
Давайте возьмем функцию идентичности,у = ф (х) = х, гдеFi (Икс) = xiи найдите его градиент:
Так же, как мы создали наш предыдущий якобиан, мы можем найти градиенты каждой скалярной функции и сложить их вертикально, чтобы создать якобиан тождественной функции:
Поскольку это функция идентичности, f₁ (Икс) = x₁, f₂ (Икс) = х₂ и тд. Следовательно,
Частичная производная функции по переменной, которой нет в функции, равна нулю. Например, частная производная 2x² по y равна 0. Другими словами,
Поэтому все, что не на диагонали якобиана, становится равным нулю. Между тем, частная производная любой переменной по отношению к себе равна 1. Например, частная производнаяИксв отношенииИксравен 1. Следовательно, якобиан становится:
Градиент комбинаций вектор-векторных функций
Элементарные бинарные операторыявляются операциями (такими как сложениевес+Иксиливес>Икскоторый возвращает вектор единиц и нулей), который применяет оператор последовательно, начиная с первого элемента обоих векторов, чтобы получить первый элемент вывода, затем второго элемента обоих векторов, чтобы получить второй элемент вывода… и так далее.
Эта статья представляет поэлементные бинарные операции с такими обозначениями:
Здесь ◯ означает любой поэлементный оператор (например, +), а не композицию функций.
Итак, как вы находите градиент поэлементной операции двух векторов?
Поскольку у нас есть два набора функций, нам нужны два якобиана, один из которых представляет градиент относительноИкси один по отношению квес:
Большинство арифметических операций нам понадобятся простые, поэтомуе (ш)часто просто векторвес, Другими словами,Fi (Wi) = Wi, Например, операцияW + хподходит к этой категории, так как она может быть представлена каке (ж) + д (х)гдеfi (wi) + gi (xi) = wi + xi.
При этом условии каждый элемент в двух якобианах упрощается до:
На диагонали i = j, поэтому существует значение для частной производной. Вне диагонали, однако, i ≠ j, поэтому частные производные становятся равными нулю:
Мы можем представить это более кратко как:
Попробуем найти градиент функцииW + х, Мы знаем, что все вне диагонали равно 0. Значения частичных по диагонали относительновеса такжеИксявляются:
Давайте попробуем это с умножением:ш * х, Значения частностей по диагонали относительновеса такжеИксявляются:
Следовательно, градиент по отношению квесизш * хявляетсяDiag (Икс)в то время как градиент по отношению кИксизш * хявляетсяDiag (вес).
Применяя те же шаги для вычитания и деления, мы можем суммировать все это:
Градиент векторных сумм
Одной из наиболее распространенных операций в глубоком обучении является операция суммирования. Как мы можем найти градиент функцииу = сумма (Икс)?
у = сумма (Икс)также может быть представлен как:
Следовательно, градиент может быть представлен как:
А так как частная производная функции по переменной, которой нет в функции, равна нулю, ее можно дополнительно упростить следующим образом:
Обратите внимание, что результатом является горизонтальный вектор.
Как насчет градиентау = сумма (Иксг)? Единственное отличие состоит в том, что мы умножаем каждый частный с константой, z:
Хотя это является производной по отношению кИкс, производная по скаляруZэто просто число:
Градиент комбинаций векторных функций правила цепочки
ВЧасть 2мы узнали о правилах цепей с несколькими переменными. Однако это работает только для скаляров. Давайте посмотрим, как мы можем интегрировать это в векторные вычисления!
Давайте возьмем векторную функцию,Yзнак равное(Икс)и найти градиент. Давайте определим функцию как:
И то и другоеf₁ (х)а такжеf₂ (х)являются составными функциями. Введем промежуточные переменные дляf₁ (х)а такжеf₂ (х)и переписать нашу функцию:
Теперь мы можем использовать наше правило цепочки переменных, чтобы вычислить производную вектораY, Просто вычислите производнуюf₁ (х)а такжеf₂ (х)и поместите их один над другим:
Вуаля! У нас есть наш градиент. Однако мы пришли к нашему решению со скалярными правилами, просто сгруппировав числа в вектор. Есть ли способ представить правило цепи с несколькими переменными для векторов?
Прямо сейчас наш градиент вычисляется с помощью:
Обратите внимание, что первый член градиентов обоихf₁ (х)а такжеf₂ (х)включает частичноеg₁надИкси второй член градиентов обоихf₁ (х)а такжеf₂ (х)включает частичноеg₂надИкс Это как умножение матриц! Поэтому мы можем представить это как:
Давайте проверим наше новое представление правила цепочки векторов:
Мы получаем тот же ответ, что и скалярный подход! Если вместо одного параметраИксу нас есть векторный параметрИкснам просто нужно немного изменить наше правило, чтобы получить полное правило цепочки векторов:
В нашем примере выше,еэто чисто функцияг; то есть,фиявляется функциейсолдатно нетGJ(каждая функцияесоответствует ровно 1 функцииг),В этом случае все вне диагонали становится равным нулю, и:
Теперь у нас есть все части, которые мы находим в градиенте нейронной сети, с которой мы начали нашу серию:
Проверять, выписыватьсяЧасть 4чтобы узнать, как вычислить его производную!
Если вы еще этого не сделали, прочитайте части 1 и 2:
ЧитатьЧасть 4для грандиозного финала!
Скачать оригинал статьиВот,
Если вам понравилась эта статья, не забудьте оставить несколько хлопков! Оставьте комментарий ниже, если у вас есть какие-либо вопросы или предложения 🙂
Градиент допускает множественные обобщения на более общие функции на коллекторы; видеть § Обобщения.
Содержание
Мотивация
Градиент также можно использовать для измерения того, как скалярное поле изменяется в других направлениях, а не только в направлении наибольшего изменения, путем измерения скалярное произведение. Предположим, что самый крутой уклон холма составляет 40%. Дорога, идущая прямо в гору, имеет уклон 40%, но дорога, огибающая холм под углом, будет иметь более пологий уклон. Например, если дорога проходит под углом 60 ° к направлению подъема (когда оба направления проецируются на горизонтальную плоскость), то уклон вдоль дороги будет скалярным произведением между вектором градиента и единичный вектор вдоль дороги, а именно в 40% раз больше косинус 60 °, или 20%.
В более общем смысле, если функция высоты холма ЧАС является дифференцируемый, то градиент ЧАС пунктирный с единичный вектор дает наклон холма в направлении вектора, производная по направлению из ЧАС вдоль единичного вектора.
Определение
Формально градиент двойной к производной; видеть связь с производной.
Когда функция также зависит от параметра, такого как время, градиент часто относится просто к вектору только его пространственных производных (см. Пространственный градиент).
Величина и направление вектора градиента равны независимый особого координатное представление. [17] [18]
Декартовы координаты
В трехмерном Декартова система координат с Евклидова метрика, градиент, если он существует, определяется выражением:
Цилиндрические и сферические координаты
В цилиндрические координаты с евклидовой метрикой градиент определяется как: [19]
Общие координаты
где нельзя использовать обозначения Эйнштейна, поскольку невозможно избежать повторения более двух индексов. Несмотря на использование верхних и нижних индексов, е ^ я 
, е ^ я , и час я не являются ни контравариантными, ни ковариантными.
Последнее выражение соответствует приведенным выше выражениям для цилиндрических и сферических координат.
Градиент
СОДЕРЖАНИЕ
Мотивация [ править ]
Обозначение [ править ]
Определение [ править ]
Когда функция также зависит от параметра, такого как время, градиент часто относится просто к вектору только его пространственных производных (см. Пространственный градиент ).
Декартовы координаты [ править ]
В трехмерной декартовой системе координат с евклидовой метрикой градиент, если он существует, задается следующим образом:
Цилиндрические и сферические координаты [ править ]
В цилиндрических координатах с евклидовой метрикой градиент задается следующим образом: [19]
В сферических координатах градиент задается следующим образом: [19]
Общие координаты [ править ]
Последнее выражение соответствует приведенным выше выражениям для цилиндрических и сферических координат.
Градиент и производная или дифференциал [ редактировать ]
∇ f ( p ) = [ ∂ f ∂ x 1 ( p ) ⋮ ∂ f ∂ x n ( p ) ] <\displaystyle \nabla f(p)=<\begin =<\begin С вычислительной точки зрения, учитывая касательный вектор, вектор можно умножить на производную (в виде матриц), что равносильно взятию скалярного произведения с градиентом: ( d f p ) ( v ) = [ ∂ f ∂ x 1 ( p ) ⋯ ∂ f ∂ x n ( p ) ] [ v 1 ⋮ v n ] = ∑ i = 1 n ∂ f ∂ x i ( p ) v i = [ ∂ f ∂ x 1 ( p ) ⋮ ∂ f ∂ x n ( p ) ] ⋅ [ v 1 ⋮ v n ] = ∇ f ( p ) ⋅ v <\displaystyle (df_ )(v)=<\begin Наилучшее линейное приближение дифференцируемой функции Градиент связан с дифференциалом формулой Если R n рассматривается как пространство векторов-столбцов (размерности n ) (действительных чисел), то можно рассматривать df как вектор-строку с компонентами f ( x ) ≈ f ( x 0 ) + ( ∇ f ) x 0 ⋅ ( x − x 0 ) <\displaystyle f(x)\approx f(x_<0>)+(\nabla f)_ Как следствие, обычные свойства производной сохраняются для градиента, хотя градиент сам по себе не является производной, а скорее двойственен производной: В более общем смысле, любая вложенная гиперповерхность в римановом многообразии может быть вырезана уравнением вида F ( P ) = 0 таким, что dF нигде не равно нулю. Тогда градиент F нормален к гиперповерхности. Градиент функции называется градиентным полем. (Непрерывное) поле градиента всегда является консервативным векторным полем : его линейный интеграл вдоль любого пути зависит только от конечных точек пути и может быть вычислен с помощью градиентной теоремы (основная теорема исчисления для линейных интегралов). И наоборот, (непрерывное) консервативное векторное поле всегда является градиентом функции. Поскольку полная производная векторного поля является линейным отображением векторов в векторы, это тензорная величина. (где используется обозначение суммирования Эйнштейна, а тензорное произведение векторов e i и e k является диадическим тензором типа (2,0)). В целом это выражение равно транспонированной матрице Якоби: В криволинейных координатах или, в более общем смысле, на изогнутом многообразии градиент включает символы Кристоффеля : Выражаясь более инвариантно, градиент векторного поля f может быть определен связностью Леви-Чивиты и метрическим тензором: [23] где X j обозначает j- й компонент X в этой координатной карте. Итак, локальная форма градиента принимает вид: Когда функция также зависит от параметра, такого как время, градиент часто относится просто к вектору только его пространственных производных (см. Пространственный градиент ). В трехмерной декартовой системе координат с евклидовой метрикой градиент, если он существует, задается следующим образом: В цилиндрических координатах с евклидовой метрикой градиент задается следующим образом: [19] В сферических координатах градиент определяется как: [19] Последнее выражение соответствует приведенным выше выражениям для цилиндрических и сферических координат. ∇ f ( p ) = [ ∂ f ∂ x 1 ( p ) ⋮ ∂ f ∂ x n ( p ) ] <\displaystyle \nabla f(p)=<\begin =<\begin С вычислительной точки зрения, учитывая касательный вектор, вектор можно умножить на производную (в виде матриц), что равносильно взятию скалярного произведения с градиентом: ( d f p ) ( v ) = [ ∂ f ∂ x 1 ( p ) ⋯ ∂ f ∂ x n ( p ) ] [ v 1 ⋮ v n ] = ∑ i = 1 n ∂ f ∂ x i ( p ) v i = [ ∂ f ∂ x 1 ( p ) ⋮ ∂ f ∂ x n ( p ) ] ⋅ [ v 1 ⋮ v n ] = ∇ f ( p ) ⋅ v <\displaystyle (df_ )(v)=<\begin Наилучшее линейное приближение дифференцируемой функции Градиент связан с дифференциалом формулой Если R n рассматривается как пространство векторов-столбцов (размерности n ) (действительных чисел), то можно рассматривать df как вектор-строку с компонентами f ( x ) ≈ f ( x 0 ) + ( ∇ f ) x 0 ⋅ ( x − x 0 ) <\displaystyle f(x)\approx f(x_<0>)+(\nabla f)_ Как следствие, обычные свойства производной сохраняются для градиента, хотя градиент сам по себе не является производной, а скорее двойственен производной: В более общем смысле, любая вложенная гиперповерхность в римановом многообразии может быть вырезана уравнением вида F ( P ) = 0 таким, что dF нигде не равно нулю. Тогда градиент F нормален к гиперповерхности. Градиент функции называется градиентным полем. (Непрерывное) поле градиента всегда является консервативным векторным полем : его линейный интеграл вдоль любого пути зависит только от конечных точек пути и может быть вычислен с помощью градиентной теоремы (основная теорема исчисления для линейных интегралов). И наоборот, (непрерывное) консервативное векторное поле всегда является градиентом функции. Поскольку полная производная векторного поля является линейным отображением векторов в векторы, это тензорная величина. (где используется обозначение суммирования Эйнштейна, а тензорное произведение векторов e i и e k является диадическим тензором типа (2,0)). В целом, это выражение равно транспонированной матрице Якоби: В криволинейных координатах или, в более общем смысле, на изогнутом многообразии градиент включает символы Кристоффеля : Выражаясь более инвариантно, градиент векторного поля f может быть определен связностью Леви-Чивиты и метрическим тензором: [23] где X j обозначает j- й компонент X в этой координатной карте. Итак, локальная форма градиента принимает вид:; d f p = [ ∂ f ∂ x 1 ( p ) ⋯ ∂ f ∂ x n ( p ) ] <\displaystyle df_.Дифференциальная или (внешняя) производная [ править ]
Линейное приближение к функции [ править ]
Градиент как «производная» [ править ]
Линейность [ править ]
Правило продукта [ править ]
Цепное правило [ править ]
Другие свойства и приложения [ править ]
Наборы уровней [ править ]
Консервативные векторные поля и градиентная теорема [ править ]
Обобщения [ править ]
Якобиан [ править ]
Градиент векторного поля [ править ]
Римановы многообразия [ править ]
См. Также [ править ]
Заметки [ править ]
Градиент
Содержание
Мотивация [ править ]
Обозначение [ править ]
Определение [ править ]
Декартовы координаты [ править ]
Цилиндрические и сферические координаты [ править ]
Общие координаты [ править ]
Градиент и производная или дифференциал [ редактировать ]
; d f p = [ ∂ f ∂ x 1 ( p ) ⋯ ∂ f ∂ x n ( p ) ] <\displaystyle df_.Дифференциальная или (внешняя) производная [ править ]
Линейное приближение к функции [ править ]
Градиент как «производная» [ править ]
Линейность [ править ]
Правило продукта [ править ]
Цепное правило [ править ]
Другие свойства и приложения [ править ]
Наборы уровней [ править ]
Консервативные векторные поля и градиентная теорема [ править ]
Обобщения [ править ]
Якобиан [ править ]
Градиент векторного поля [ править ]
Римановы многообразия [ править ]
См. Также [ править ]
Примечания [ править ]