Активное обучение интеллектуальной релейной защиты. Противостоящие режимы

Обучение моделей классификации режимов работы объекта предполагает построение разграничивающей поверхности в наблюдаемом пространстве. Для решения данной задачи применяются различные методы из инструментария машинного обучения, такие как нейросети [1], машины опорных векторов [2], деревья решений [3] и многие другие [4,5].

Автор: Дементий Ю.А., канд. техн. наук, ООО «Релематика», Чебоксары, Российская Федерация

При этом известно [6], что форма и положение истинной границы режимов зависят только от структуры и допустимых диапазонов параметров объекта, однако классические подходы к построению классификаторов демонстрируют зависимость итогового алгоритма от обучающих данных, доступных на момент построения [7]. Кроме того, области режимов в наблюдаемом пространстве могут пересекаться, что является причиной существования различных разделяющих кривых, соответствующих различным ограничениям на решение задачи. При этом требование селективности, предъявляемое к алгоритмам релейной защиты, разрешает данную неопределенность, требуя абсолютного приоритета альтернативных режимов (β-режимов) над контролируемыми (α-режимами). Это обуславливает необходимость разработки метода построения классификаторов для решения задач релейной защиты, использующего в качестве входных данных модель объекта и диапазоны его параметров для формирования обучающей выборки, содержащей наиболее информативные прецеденты.

Результатом работы такого метода будет являться классификатор, разграничивающая поверхность которого с произвольной точностью аппроксимирует истинную границу режимов в области противостояния режимов.

Предлагаемый подход к построению релейной защиты обсуждался на конференции РЕЛАВЭКСПО-2021 [8].

Задача

В работе рассматривается подход к решению группы задач, в которых имеет место приоритет классификации одного режима над другим. То есть в случае, когда один и тот же набор наблюдаемых значений может соответствовать различным классам (вектор в наблюдаемом пространстве находится на пересечении областей режимов), ответ классификатора должен соответствовать приоритетному классу.

Задачи из этого класса в общем виде можно описать следующим образом. Пусть имеются имитационные модели, описывающие объект в двух режимах работы (α- и β-режимах), представляющие собой функции F_α, F_β, отображающие соответствующие множества (области) G_α, G_β векторов объектного пространства во множества векторов наблюдаемого пространства S_α, S_β. Множества G_α и G_β не пересекаются и могут находиться в разных пространствах. Векторы из множеств S_α, S_β являются элементами одного общего наблюдаемого пространства. Области G_α, G_β являются k_α и k_β-мерными гиперпрямоугольниками, определенными векторами, компонентами которых являются максимальные и минимальные значения объектных параметров

Требуется на основании имеющихся моделей F_α, F_β и векторов x^a_min, x^a_max, x^β_min, x^β_max, построить (обучить) классификатор a (v) векторов v∈S_α∪S_β так, чтобы, при принятии класса β-режимов приоритетным, выполнялись условия (1) и (2). Данные условия сформулированы в терминах машинного обучения.

где TPR — true positive rate или метрика полноты классификации, равная отношению количества верно распознанных альтернативных режимов к общему количеству альтернативных режимов;

a — алгоритм классификации.

Где PPV — positive predictive value или метрика точности классификации, равная отношению количества верно распознанных альтернативных режимов к количеству всех режимов, распознанных как альтернативные.

Условие (1) соответствует требованию селективности защиты, условие (2) соответствует требованию максимизации ее распознающей способности.

Разграничивающая модель

Активное обучение является надстройкой над базовым алгоритмом классификации. В данной работе используется линейная модель классификации (3), являющаяся одной из наиболее распространенных моделей машинного обучения [7].

где w=[w₁…w_m] - вектор параметров разграничивающей модели (коэффициенты полинома), m — количество параметров;

w₀ — смещение разграничивающей модели (свободный член полинома).

Модель обучается посредством минимизации функции (4), минимизация проводилась с использованием библиотеки LIBLINEAR [9].

где n — количество прецедентов в обучающей выборке;

d_i — класс i-го прецедента.

Множество классов D, элементами которого являются классы прецедентов d_i, соответствует множеству V векторов наблюдаемого пространства и образует с ним обучающую выборку (V, D). При этом d_i∈{-1,1}, где равенство d_i единице означает его принадлежность к классу β-режимов.

Функция M (w, v, d) представляет собой «отступ» (5), равный по модулю расстоянию от вектора v до разграничивающей гиперплоскости. Стоит отметить, что отступ положителен, когда классифицируемый вектор находится с «правильной» стороны от плоскости (отклассифицирован верно) и наоборот:

Для того чтобы линейная модель получила возможность создавать в наблюдаемом пространстве нелинейную разделяющую гиперповерхность, сохранив при этом полезные свойства линейных моделей, вводятся новые признаки на основе имеющихся компонентов вектора v. Взвешенная сумма новых признаков представляет собой полином, определяющий гиперповерхность N-го порядка в наблюдаемом пространстве.

В данной работе используется N=4. Преобразование вектора v=[x, y], состоящего из двух компонентов x, y описывается выражением (6):

Структура модели показана на рисунке 1, под каждой связью приведена длина передаваемого вектора.

После формирования вектор полиномиальных признаков масштабируется для приведения среднего значения каждого компонента (по всей выборке) к нулю, а стандартного отклонения к единичному значению. Масштабирование требуется для ускорения сходимости процедуры обучения, так как в случае различного масштаба признаков направление вектора градиента w будет искажено вследствие неравнозначного вклада его компонентов в функцию (4). Модель, показанная на рисунке 1, использована для демонстрации явлений, связанных с обучением релейной защиты, а также для построения итогового классификатора.

Отдельно стоит отметить, что предлагаемый подход испытан с использованием других видов базовых алгоритмов классификации, а именно: машин опорных векторов, классификаторов на основе ближайших соседей, полносвязных нейронных сетей прямого распространения. Результаты экспериментов показали универсальность предлагаемого подхода вследствие сходимости результатов обучения к единственному решению вне зависимости от выбора базового алгоритма.

Объект исследования

В качестве объекта, для которого будет проведено активное обучение измерительных органов, выбрана линия электропередачи, схема замещения которой показана на рисунке 2.

Разграничению подлежат короткие замыкания (КЗ) вне защищаемой зоны и внутри защищаемой зоны, длина которой составляет 80% от длины линии. В месте наблюдения измеряется ток и напряжение линии, рассчитывается проводимость Y. Она будет использована в качестве вектора наблюдаемых параметров, на основе которого классификатор режимов должен будет принимать решение об отключении или блокировке. Замер проводимости (7) выбран вследствие достаточно сложной формы граничной линии в области пересечения S_α и S_β (в области их противостояния). Такой выбор позволит наглядно продемонстрировать работу метода, реализующего предлагаемый подход.

Объектные параметры линии, задаваемые в виде диапазонов допустимых значений, приведены в таблице 1: место замыкания x_f, переходное сопротивление замыкания R_f и угол передачи δ. Константные параметры показаны в таблице 2: сопротивление линии Z, модули и углы сопротивлений систем |(Z_s)|, |(Z_r)|, ∠(Z_s), ∠(Z_r).

Для данного объекта возможно построить истинные границы, окаймляющие области режимов, отобразив имитационной моделью заранее известные линии в объектном пространстве [10]. Граничные линии для рассматриваемого объекта показаны на рисунке 3.

Данные линии будут использованы для проверки качества работы предлагаемого метода, так как найденная разграничивающая кривая должна стремиться к линии β, показанной на рисунке, в области противостояния α- и β-режимов.

Геометрическая интерпретация классификатора

Для решения поставленной задачи предлагается отказаться от вероятностной интерпретации методов из инструментария машинного обучения и воспользоваться геометрической интерпретацией. Это означает, что от модели классификации, вместо оценки вероятности принадлежности к какому-либо классу, требуется найти положение и форму разграничивающей кривой, которые строго детерминированы и зависят только от свойств объекта. Такая интерпретация предполагает существование не более чем одного класса в любой точке наблюдаемого пространства. Неопределенность, связанная с абсолютной нераспознаваемостью (пересечением областей S_α, S_β) разрешается в пользу β-режимов. Требование такой интерпретации следует из положений информационной теории релейной защиты [6].

На рисунке 4а показана случайно сгенерированная выборка и обученная разделяющая кривая. Коэффициенты полинома, соответствующие данному случаю показаны в таблице 3 в столбце «Статистическая интерпретация». Пунктирными изолиниями показаны безразмерные уровни уверенности модели в классификации, проградуированные от -10 до 10. Изолиния нулевой уверенности является текущей разделяющей кривой. Данные уровни целесообразно сравнивать с истиной границей, так как они позволяют оценить возможные формы разделяющей кривой, доступные к получению на имеющихся данных. Как видно по рисунку 4а, разделяющая кривая пересекает истинную границу β-режимов, из чего следует возможность неселективной работы защиты, использующей такой классификатор.

Сравнение уровней уверенности с границей также показывает низкое качество модели.

Для разрешения неопределенности требуется удалить из области пересечения режимов векторы α-режимов. В данном случае это 11 векторов, обозначенных оранжевыми точками, которые невозможно однозначно отделить от векторов β-режимов разграничивающей кривой. В соответствии с (4) алгоритм обучения пытается уменьшить ошибку работы модели на всех прецедентах выборки, тогда как корректная работа на этих 11 прецедентах невозможна принципиально (вследствие требования селективности). Изначальная статистическая природа алгоритмов машинного обучения приводит к учету неоднозначности класса в данной области путем уменьшения уверенности классификации и изменения формы разграничивающей кривой. Удаление векторов из зон неопределенности позволяет переосмыслить классификацию в геометрическом ключе и привести задачу разграничения пересекающихся классов α- и β-режимов к задаче разграничения не пересекающихся классов усеченного α- и полного β-режимов. На рисунке 4б показана отфильтрованная выборка, из которой удалены неоднозначные прецеденты. Удаление произведено на основании классификации исходной модели. Также на рисунке показана разделяющая линия классификатора, обученного на отфильтрованной выборке. Результирующие уровни уверенности модели показывают лучшую аппроксимацию истинной границы β-режимов в сравнении с исходной моделью. Коэффициенты новой модели приведены в таблице 3 в столбце «Геометрическая интерпретация».

Кроме того форма линий уровня уверенности классификатора, а значит и доступная для обучения форма разграничивающей кривой, зависят от плотности прецедентов в отдельной взятой области. Неконтролируемая плотность прецедентов во время обучения приводит к тому, что модели «выгодно» отодвигать разделяющую кривую от зон с высокой плотностью из-за значительного уменьшения ошибки вследствие такого движения. Таким образом разделяющая кривая будет отдалена от зон повышенной плотности ценой ошибки классификации в зонах малой плотности, т. е. найденный оптимум будет иметь вероятностный смысл, а не геометрический.

Решением данной проблемы является контроль плотности прецедентов обучающей выборки посредством применения, например, процедуры быстрого поиска ближайших соседей [11] и удаления точек, лежащих близко друг к другу.

Активное обучение классификатора

Для решения задачи предлагается использовать подход, основанный на концепции активного обучения [12]. Он представляет собой итерационный поиск наиболее информативных векторов v∈S_α∪S_β и использование их в качестве обучающей выборки для получения a (v), удовлетворяющего условиям (1) и (2).

Поиск векторов происходит в объектном пространстве. Это обусловлено тем, что прямоугольная форма областей G_α, G_β делает проверку попадания вектора в одну из них тривиальной задачей, тогда как форма областей S_α, S_β заранее неизвестна и определена имитационными моделями и диапазонами допустимых объектных параметров. Таким образом, алгоритм активного обучения осуществляет поиск наиболее информативных точек в наблюдаемом пространстве и пытается получить новые, более информативные точки, в некоторой окрестности вокруг них. При этом нет возможности создавать новые точки прямо в наблюдаемом пространстве, так как в таком случае невозможно проверить соблюдение ограничений, накладываемых задачей на объектные параметры. Формирование новых точек выполняется в объектном пространстве, с последующим их отображением имитационными моделями в наблюдаемое. Такой подход позволяет отказаться от заранее сформированной обучающей выборки и использовать имитационные модели объектов как основные источники информации для обучения классификатора.

Поиск может выполняться как с применением методов стохастической оптимизации, так и с использованием методов локальной оптимизации на основе частных производных [13] на основании заранее определённых критериев информативности и критерия остановки обучения, выбираемых исходя из особенностей модели классификации.

Критерии информативности и сходимость

Информативность можно разделить на выборочную и точечную. Точечная (условная) информативность является мерой влияния вектора на форму и положение поверхности, разделяющей режимы в наблюдаемом пространстве. Она зависит от текущих параметров обучаемого классификатора (полученных в результате обучения на предыдущей итерации) и текущего количества и расположения точек обучающей выборки. Прецеденты с различной информативностью, расположенные на плоскости замера, показаны на рисунке 5а. Стрелками показано направление, в котором прецеденты смещают разделяющую кривую. Размер точки прямо пропорционален информативности. Синим цветом окрашено пространство, находящееся со стороны разделяющей кривой, соответствующей β-режимам, красным цветом — α-режимам. Также показана истинная граница области β-режимов.

Выборочная (безусловная) информативность является способностью обучающей выборки характеризовать форму, размеры и положение разделяющей кривой. На рисунке 5б показана выборка с высокой выборочной информативностью. Точечная информативность отдельных прецедентов соответствует их размеру на рисунке.

Выборка с прецедентами противостоящих классов достигает максимальной информативности только тогда, когда наиболее информативные прецеденты обоих классов выстроены равномерно вдоль истинной разграничивающей линии. В такой выборке прецеденты разных классов имеют одинаковое воздействие на положение разделяющей кривой, что позволяет устойчиво выполнять процедуру обучения классификатора режимов. Поиск таких выборок и последующее обучение на них классификатора является целью активного обучения.

Итерационный процесс обучения

Генерация новых точек, объединение их в единую обучающую выборку и фильтрация выборки на основании точечной информативности увеличивает безусловную информативность выборки. В процессе обучения классификатора на каждой итерации происходит дообучение модели на выборке, имеющей увеличенную по сравнению с прошлой итерацией информативность. Этот процесс приводит к постепенному замедлению роста выборочной информативности по мере ее приближения к своему пределу, что говорит о сходимости обучения.

Блок-схема цикла повышения информативности выборки показана на рисунке 6. На начальном этапе генерируется случайная обучающая выборка (V, D), состоящая из пар векторов наблюдаемых значений V и соответствующих им значений классов D. После обучения модель классификации a (v) вместе с обучающей выборкой подаются на вход процедуре фильтрации прецедентов. Данная процедура отсеивает точки α-режимов, попавшие в β-область, а также контролирует плотность прецедентов обоих классов. Результирующая отфильтрованная выборка (V', D') и модель классификации попадают на вход процедуре поиска информативных прецедентов, в которой для каждого прецедента по заранее определенному критерию вычисляется информативность, на основании которой выделяются лучше прецеденты в информативную выборку (V_i, D_i). Затем прецеденты информативной выборки смещаются в объектном пространстве для получения вариаций (V_var, D_var) исходных прецедентов. Такие смещения представляют собой поиск наиболее информативных прецедентов в некоторой окрестности вокруг элементов V_var и являются частным случаем стохастической оптимизации [14]. Отварьированная выборка объединяется с отфильтрованной и передается на вход модели для повторного обучения.

Прецеденты, расположенные на плоскости замера, соответствующие различным итерациям обучения, показаны на рисунке 7. Коэффициенты разграничивающей модели, полученные в процессе обучения, показаны в таблице 3 в столбце «Активное обучение». Обученный классификатор удовлетворяет требованиям (1) и (2) для используемой информационной базы (для замера проводимости).

Важным аспектом реализации предлагаемого подхода является выбор распределения, из которого генерируются векторы V_var при вариации в объектном пространстве. Экспериментально подтвердилась эффективность использования бета-распределения (8), или же его многомерного варианта — распределения Дирихле [15].

где α,β - параметры, определяющие форму кривой плотности распределения;

B (α,β) — бета-функция.

Значения случайных величин, описываемых данным распределением, ограниченны интервалом [0,1], из чего следует необходимость масштабирования получаемых значений в соответствии с размерами гиперпрямоугольников G_α,β. Настройка параметров распределения α и β позволяет выбрать моду и дисперсию генерируемых вариаций. Экспериментально определено, что наибольшую эффективность показывает стратегия адаптивного изменения дисперсии случайной величины при варьировании.

Отдельно стоит отметить вопрос сходимости алгоритмов, реализующих данный подход, а также критерии остановки обучения. В данной работе в качестве критерия остановки использовалась производная суммы сопротивлений короткого замыкания α-режимов, доступных для распознавания. График изменения данной величины показан на рисунке 8.

Одним из аспектов сходимости обучения является выбор сложности алгоритма классификации. В случае её дефицита сходимость обучения к результату, обеспечивающему выполнение условия (2), невозможна. При этом вследствие возможности получения любого количества информативных прецедентов для обучения можно говорить о том, что завышенная сложность алгоритма не приводит к эффекту переобучения, являющемуся одной из главных проблем обучения по прецедентам [7]. Однако завышение сложности может привести к существенному замедлению сходимости. В качестве решения этой проблемы возможно использование механизма регуляризации совместно с завышенной сложностью алгоритма классификации. В таком случае следует адаптивно подбирать силу регуляризации в зависимости от результатов анализа изменения суммарного распознаваемого сопротивления. Целесообразно повышать силу регуляризации до тех пор, пока это не приводит к падению распознаваемого сопротивления.

Развитие подхода

Выбор размерности наблюдаемого пространства в экспериментах, показанных на рисунках 4, 5, 7 обусловлен наглядностью визуализаций граничных линий и точек, располагаемых на плоскости. При этом предлагаемый подход и базовые алгоритмы принципиально не ограничены двухмерным пространством. Например, на рисунке 9 показана обученная разграничивающая поверхность классификатора защиты линии электропередачи, схема замещения которой показана на рисунке 2. Поверхность размещена в трехмерном наблюдаемом пространстве, образованном напряжением U и действительной и мнимой частями тока I_re, I_im. Наблюдаемые векторы приведены к базовому вектору, за который принят вектор напряжения. Особенности обучения многомерной релейной защиты с примерами для реальных объектов будут подробно рассмотрены в следующих публикациях.

Кроме того, в следующих работах будет описано и проанализировано развитие предлагаемого подхода, использующего для разрешения неопределенности классов одноклассовые модели, например одноклассовую машину опорных векторов [16]. На рисунке 10 показан результат работы процедуры обучения одноклассового алгоритма, разделяющего наблюдаемое пространство на β-режимы и не-β-режимы, то есть использующая только β-класс для формирования информативных прецедентов.

Заключение

1. Задача построения классификатора режимов работы объекта в общем случае не может быть решена с использованием прецедентов как основного источника информации. В качестве такого источника целесообразно использовать имитационные модели объекта.
2. Отбор информации, получаемой из имитационных моделей, целесообразно производить на основании информативности, оцениваемой как для точек, так и для обучающей выборки в целом, с использованием подхода активного обучения. Критерии информативности могут быть определены произвольно в зависимости от задачи и особенностей модели классификации.
3. Сходимость процедуры обучения, основанной на предлагаемом подходе, возможна для классифицирующих моделей достаточной сложности. При этом правильно выбранные критерии информативности и критерий остановки обучения позволяют избежать проблемы переобучения модели даже в случае значительного завышения её сложности.
4. Предлагаемый подход к построению классификаторов режимов не имеет принципиальных ограничений на количество объектных или наблюдаемых параметров защищаемого объекта. Результирующие модели классификации имеют высокий потенциал для реализации на платформах релейной защиты и автоматики вследствие простоты своего описания, например, полиномом n-степени, и высокой вычислительной эффективности.

Список литературы

1. H.Singh, M.S. Sachdev, T.S. Sidhu Design, Implementation and Testing of an Artificial Neural Net-work Based Fault Direction Discriminator for protecting Transmission Lines / H. Singh, M.S. Sachdev, T.S. Sidhu // IEEE Transactions on Power Delivery — 1995, Vol. 10, No. 2 — p. 697−706.
2. Куликов А.Л. Анализ применения метода опорных векторов в многомерной релейной защите / А. Л. Куликов, Д. И. Бездушный, М. В. Шарыгин, В. Ю. Осокин // Известия Российской академии наук. Энергетика. — 2020. — № 2. — С. 123−132 — DOI 10.31857/S0002331020020065.
3. C. Liua. An overview of decision tree applied to power systems / C. Liua, Z. H. Rathera, Z. Chena and C. L. Bak // International Journal of Smart Grid and Clean Energy — 2013, Vol. 2, No. 3, p. 413−419.
4. Hanyu Yang, Xubin Liu, Di Zhang, Tao Chen, Canbing Li, Wentao Huang Machine learning for power system protection and control, The Electricity Journal, Volume 34, Issue 1, 2021, 106881, ISSN 1040−6190, https://doi.org/10.1016/j.tej.2020.106881.
5. Куликов А.Л. Применение статистических критериев распознавания режима релейной защиты сетей электроснабжения [Текст] / А.Л. Куликов, М.В. Шарыгин // Электротехника. — 2019. — № 2. — С. 58−64.
6. Лямец Ю.Я. Граничные режимы в методике обучения релейной защиты. Часть 1. Граничные условия и обучающие процедуры [Текст] / Ю.Я. Лямец, Д.В. Кержаев, Г. С. Нудельман, Ю.В. Романов // Известия вузов. Электромеханика — 2009. —  С. 24 — 30.
7. Vapnik V., The nature of statistical learning theory // Springer, New York, NY; 1st edition — 2000 — 314 p.
8. Дементий Ю.А. Активное обучение классификатора режимов работы объекта с использованием имитационной модели // Современные тенденции развития цифровых систем релейной защиты и автоматики: Материалы III Международной научно-технической конференции молодых специалистов форума «РЕЛАВЭКСПО-2021». — Чебоксары: Изд-во Чуваш. ун-та, 2021 — С. 157−162.
9. Fan, R. LIBLINEAR: A Library for Large Linear Classification / Fan, R.; Chang, K.; Hsieh, C.; Wang, X. & Lin, C. // Journal of Machine Learning Research — 2008, Vol. 9, p. 1871−1874.
10. Мартынов М. В. Исследование и разработка обучаемых модулей микропроцессорных защит линий электропередачи [Текст]: дис. … канд. техн. наук / Мартынов Михаил Владимирович. — Чебоксары, 2014. — 226 с
11. Jack A. Orenstein, Multidimensional tries used for associative searching // Information Processing Letters — 1982, Vol. 14, Issue 4, — p. 150−157.
12. Balcan MF., Urner R. (2016) Active Learning — Modern Learning Theory. In: Kao MY. (eds) Encyclopedia of Algorithms. Springer, New York, NY. https://doi.org/10.1007/978−1-4939−2864−4₇₆₉
13. Дементий Ю.А. Детерминированный метод построения образа имитационной модели объекта [Текст] / Ю.А. Дементий, К.П. Николаев // Современные тенденции развития цифровых систем релейной защиты и автоматики: Материалы III Международной научно-технической конференции молодых специалистов форума «РЕЛАВЭКСПО-2021». — Чебоксары: Изд-во Чуваш. ун-та, 2021 — С. 168−172А
14. Spall, J. C. Introduction to Stochastic Search and Optimization. // John Wiley & Sons; 1st edition — 2003. — 618 p.
15. Olkin, Ingram. Multivariate Beta Distributions and Independence Properties of the Wishart Distribution. / Olkin, Ingram; Rubin, Herman // The Annals of Mathematical Statistics — 1964, Vol. 35, No. 1 — p. 261−269.
16. Schölkopf, Bernhard. Estimating the support of a high-dimensional distribution. / Bernhard Schölkopf, John C. Platt, John Shawe-Taylor, Alex J. Smola, Robert C. Williamson // Neural computation — 2001, Vol. 13, No.7 — p. 1443−1471.