Градиентные методы

Градиентные методы — численные методы решения с помощью градиента задач, сводящихся к нахождению экстремумов функции.

Источник: Википедия

Связанные понятия

Скорость сходимости является основной характеристикой численных методов решения уравнений и оптимизации.

Целевая функция — вещественная или целочисленная функция нескольких переменных, подлежащая оптимизации (минимизации или максимизации) в целях решения некоторой оптимизационной задачи. Термин используется в математическом программировании, исследовании операций, линейном программировании, теории статистических решений и других областях математики в первую очередь прикладного характера, хотя целью оптимизации может быть и решение собственно математической задачи. Помимо целевой функции в задаче оптимизации...

Метод итерации — численный метод решения математических задач, приближённый метод решения системы линейных алгебраических уравнений. Суть такого метода заключается в нахождении по приближённому значению величины следующего приближения (являющегося более точным).

Функциональное уравнение — уравнение, выражающее связь между значением функции в одной точке с её значениями в других точках. Многие свойства функций можно определить, исследуя функциональные уравнения, которым эти функции удовлетворяют. Термин «функциональное уравнение» обычно используется для уравнений, несводимых простыми способами к алгебраическим уравнениям. Эта несводимость чаще всего обусловлена тем, что аргументами неизвестной функции в уравнении являются не сами независимые переменные, а...

Многоме́рное норма́льное распределе́ние (или многоме́рное га́уссовское распределе́ние) в теории вероятностей — это обобщение одномерного нормального распределения. Случайный вектор, имеющий многомерное нормальное распределение, называется гауссовским вектором.

Интегра́л Пуассо́на — общее название математических формул, выражающих решение краевой задачи или начальной задачи для уравнений с частными производными некоторых типов.

Линеаризация (от лат. linearis — линейный) — один из методов приближённого представления замкнутых нелинейных систем, при котором исследование нелинейной системы заменяется анализом линейной системы, в некотором смысле эквивалентной исходной. Методы линеаризации имеют ограниченный характер, т. е. эквивалентность исходной нелинейной системы и её линейного приближения сохраняется лишь для ограниченных пространственных или временных масштабов системы, либо для определенных процессов, причём, если система...

Система уравнений — это условие, состоящее в одновременном выполнении нескольких уравнений относительно нескольких (или одной) переменных.

Численное решение уравнений и их систем состоит в приближённом определении корней уравнения или системы уравнений и применяется в случаях, когда точный метод решения неизвестен или трудоёмок.

Точное нахождение первообразной (или интеграла) произвольных функций — процедура более сложная, чем «дифференцирование», то есть нахождение производной. Зачастую, выразить интеграл в элементарных функциях невозможно.

Подробнее: Методы интегрирования

Определённый интеграл — аддитивный монотонный функционал, заданный на множестве пар, первая компонента которых есть интегрируемая функция или функционал, а вторая — область в множестве задания этой функции (функционала).

Многомерный анализ (также известный как многомерное или многовариантное исчисление) является обобщением дифференциального и интегрального исчислений для случая нескольких переменных.

Весовая функция — математическая конструкция, используемая при проведении суммирования, интегрирования или усреднения с целью придания некоторым элементам большего веса в результирующем значении по сравнению с другими элементами. Задача часто возникает в статистике и математическом анализе, тесно связана с теорией меры. Весовые функции могут быть использованы как для дискретных, так и для непрерывных величин.

Корректно поставленная задача в математике — прикладная задача, математическое решение которой существует, единственно и устойчиво. Происходит от определения, данного Жаком Адамаром, согласно которому математические модели физических явлений должны иметь следующие свойства...

Градиентный спуск — метод нахождения локального экстремума (минимума или максимума) функции с помощью движения вдоль градиента. Для минимизации функции в направлении градиента используются методы одномерной оптимизации, например, метод золотого сечения. Также можно искать не наилучшую точку в направлении градиента, а какую-либо лучше текущей.

Алгоритм Гаусса — Ньютона используется для решения задач нелинейным методом наименьших квадратов. Алгоритм является модификацией метода Ньютона для нахождения минимума функции. В отличие от метода Ньютона, алгоритм Гаусса — Ньютона может быть использован только для минимизации суммы квадратов, но его преимущество в том, что метод не требует вычисления вторых производных, что может оказаться существенной трудностью.

Конечная разность — математический термин, широко применяющийся в методах вычисления при интерполировании.

Подробнее: Конечные разности

Ковариацио́нная ма́трица (или ма́трица ковариа́ций) в теории вероятностей — это матрица, составленная из попарных ковариаций элементов одного или двух случайных векторов.

Предобуславливание (также предобусловливание) — процесс преобразования условий задачи для её более корректного численного решения. Предобуславливание обычно связано с уменьшением числа обусловленности задачи. Предобуславливаемая задача обычно затем решается итерационным методом.

Дискретное преобразование Фурье (в англоязычной литературе DFT, Discrete Fourier Transform) — это одно из преобразований Фурье, широко применяемых в алгоритмах цифровой обработки сигналов (его модификации применяются в сжатии звука в MP3, сжатии изображений в JPEG и др.), а также в других областях, связанных с анализом частот в дискретном (к примеру, оцифрованном аналоговом) сигнале. Дискретное преобразование Фурье требует в качестве входа дискретную функцию. Такие функции часто создаются путём дискретизации...

Усло́вное распределе́ние в теории вероятностей — это распределение случайной величины при условии, что другая случайная величина принимает определённое значение.

Предги́льбертово простра́нство — линейное пространство с определённым на нём скалярным произведением.

Условное математическое ожидание в теории вероятностей — это среднее значение случайной величины относительно условного распределения.

Экстре́мум (лат. extremum — крайний) в математике — максимальное или минимальное значение функции на заданном множестве. Точка, в которой достигается экстремум, называется точкой экстремума. Соответственно, если достигается минимум — точка экстремума называется точкой минимума, а если максимум — точкой максимума. В математическом анализе выделяют также понятие локальный экстремум (соответственно минимум или максимум).

Единичный круг — круг радиуса 1 на евклидовой плоскости (рассматриваемый обычно на комплексной плоскости); «идиоматическая» область в комплексном анализе.

В вычислительной математике вычислительная устойчивость является обычно желательным свойством численных алгоритмов.

Метод неопределённых коэффициентов ― метод, используемый в математике для нахождения искомой функции в виде точной или приближённой линейной комбинации конечного или бесконечного набора базовых функций.

В теории дифференциальных уравнений, начальные и граничные условия — дополнение к основному дифференциальному уравнению (обыкновенному или в частных производных), задающее его поведение в начальный момент времени или на границе рассматриваемой области соответственно.

Дробная производная (или производная дробного порядка) является обобщением математического понятия производной. Существует несколько разных способов обобщить это понятие, но все они совпадают с понятием обычной производной в случае натурального порядка. Когда рассматриваются не только дробные, но и отрицательные порядки производной, к такой производной обычно применяется термин дифферинтеграл.

Параметрическое представление — используемая в математическом анализе разновидность представления переменных, когда их зависимость выражается через дополнительную величину — параметр.

Гауссовский процесс назван так в честь Карла Фридриха Гаусса, поскольку в его основе лежит понятие гауссовского распределения (нормального распределения). Гауссовский процесс может рассматриваться как бесконечномерное обобщение многомерных нормальных распределений. Эти процессы применяются в статистическом моделировании; в частности используются свойства нормальности. Например, если случайный процесс моделируется как гауссовский, то распределения различных производных величин, такие как среднее значение...

Проклятие размерности (ПР) — термин, используемый в отношении ряда свойств многомерных пространств и комбинаторных задач. В первую очередь это касается экспоненциального роста необходимых экспериментальных данных в зависимости от размерности пространства при решении задач вероятностно-статистического распознавания образов, машинного обучения, классификации и дискриминантного анализа. Также это касается экспоненциального роста числа вариантов в комбинаторных задачах в зависимости от размера исходных...

Квадратичное программирование (англ. quadratic programming, QP) — это процесс решения задачи оптимизации специального типа, а именно — задачи оптимизации (минимизации или максимизации) квадратичной функции нескольких переменных при линейных ограничениях на эти переменные. Квадратичное программирование является частным случаем нелинейного программирования.

Альтернати́ва Фредго́льма — совокупность теорем Фредгольма о разрешимости интегрального уравнения Фредгольма второго рода.

Основная теорема о рекуррентных соотношениях (англ. Master theorem) используется в анализе алгоритмов для получения асимптотической оценки рекурсивных соотношений (рекуррентных уравнений), часто возникающих при анализе алгоритмов типа «разделяй и властвуй» (divide and conquer), например, при оценке времени их выполнения. Теорема была популяризована в книге Алгоритмы: построение и анализ (Томас Кормен, Чарльз Лейзерстон, Рональд Ривест, Клиффорд Штайн), в которой она была введена и доказана.

Алгоритм Левенберга — Марквардта — метод оптимизации, направленный на решение задач о наименьших квадратах. Является альтернативой методу Ньютона. Может рассматриваться как комбинация последнего с методом градиентного спуска или как метод доверительных областей. Алгоритм был сформулирован независимо Левенбергом (1944) и Марквардтом (1963).

Мультииндекс (или мульти-индекс) — обобщение понятия целочисленного индекса до векторного индекса, которое нашло применение в различных областях математики, связанных с функциями многих переменных. Использование мультииндекса помогает упростить (записать более кратко) математические формулы.

О дискретном эквиваленте преобразования Лапласа см. Z-преобразование.В математике дискретный оператор Лапласа — аналог непрерывного оператора Лапласа, определяемого как отношения на графе или дискретной сетке. В случае конечномерного графа (имеющего конечное число вершин и рёбер) дискретный оператор Лапласа имеет более общее название: матрица Лапласа.

Подробнее: Дискретный оператор Лапласа

Непреры́вное равноме́рное распределе́ние — в теории вероятностей — распределение случайной вещественной величины, принимающей значения, принадлежащие интервалу , характеризующееся тем, что плотность вероятности на этом интервале постоянна.

Касательное пространство Зарисского — конструкция в алгебраической геометрии, позволяющая построить касательное пространство в точке алгебраического многообразия. Эта конструкция использует не методы дифференциальной геометрии, а только методы общей, и, в более конкретных ситуациях, линейной алгебры.

Ме́тод моме́нтов — метод оценки неизвестных параметров распределений в математической статистике и эконометрике, основанный на предполагаемых свойствах моментов (Пирсон, 1894 г.). Идея метода заключается в замене истинных соотношений выборочными аналогами.

В компле́ксном анализе вы́четом заданного объекта (функции, формы) называется объект (число, форма или когомологический класс формы), характеризующий локальные свойства заданного.

Подробнее: Вычет (комплексный анализ)

Характеристи́ческая фу́нкция случа́йной величины́ — один из способов задания распределения. Характеристические функции могут быть удобнее в тех случаях, когда, например, плотность или функция распределения имеют очень сложный вид. Также характеристические функции являются удобным инструментом для изучения вопросов слабой сходимости (сходимости по распределению). В теорию характеристических функций внесли большой вклад Ю.В. Линник, И.В. Островский, С.Р. Рао, Б. Рамачандран.

Спектральные методы — это класс техник, используемых в прикладной математике для численного решения некоторых дифференциальных уравнений, возможно, вовлекая Быстрое преобразование Фурье. Идея заключается в переписи решения дифференциальных уравнений как суммы некоторых «базисных функций» (например, как ряды Фурье являются суммой синусоид), а затем выбрать коэффициенты в сумме, чтобы удовлетворить дифференциальному уравнению, насколько это возможно.

Подробнее: Спектральный метод

Одноро́дный многочле́н — многочлен, все одночлены которого имеют одинаковую полную степень. Любая алгебраическая форма является однородным многочленом. Квадратичная форма задается однородным многочленом второй степени, бинарная форма - однородным многочленом любой степени от двух переменных.

Сглаживающие операторы — это гладкие функции со специальными свойствами, используемые в теории распределений для построения последовательности гладких функций, приближающей негладкую (обобщённую) функцию с помощью свёртки. Интуитивно, имея функцию с особенностями и осуществляя её свёртку со сглаживающей функцией, получаем «сглаженную функцию», в которой особенности исходной функции сглажены, хотя функция остаётся близкой к исходной функции. Операторы известны также как сглаживающие операторы Фридрихса...

Подробнее: Сглаживающий оператор

Ме́тоды Ру́нге — Ку́тты (в литературе встречаются названия: ме́тоды Ру́нге — Ку́тта или же ме́тоды Ру́нге — Кутта́) — большой класс численных методов решения задачи Коши для обыкновенных дифференциальных уравнений и их систем. Первые методы данного класса были предложены около 1900 года немецкими математиками К. Рунге и М. В. Куттой.

Производя́щая фу́нкция моме́нтов — способ задания вероятностных распределений. Используется чаще всего для вычисления моментов.

Асимптотическое разложение функции f(x) — формальный функциональный ряд, такой, что сумма произвольного конечного числа членов этого ряда приближает (аппроксимирует) функцию f(x) в окрестности некоторой (возможно, бесконечно удалённой) её предельной точки. Понятие асимптотического разложения функции и асимптотического ряда были введены Анри Пуанкаре при разрешении задач небесной механики. Отдельные случаи асимптотического разложения были открыты и применялись ещё в XVIII в. Асимптотические разложения...

Винеровский процесс в теории случайных процессов — это математическая модель броуновского движения или случайного блуждания с непрерывным временем.

а б в г д е ё ж з и й к л м н о п р с т у ф х ц ч ш щ э ю я