Что такое номер врф

Фейковые уведомления. Как мы звонили в Единую городскую службу по учёту водоснабжения

Корреспондент «Фонаря» позвонил в Единую городскую службу по учёту водоснабжения, которая распространяет по почтовым ящикам белгородцев уведомления, и пообщался с оператором call-центра.

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Уже около полугода белгородцы находят в своих почтовых ящиках листовки Единой городской службы по учёту водоснабжения с печатями, отсканированными на цветном принтере. Служба ссылается на Федеральный закон об обеспечении единства измерений и пишет в листовках, что «приборы учёта воды, установленные в вашей квартире, имеют межповерочный интервал и нуждаются в обязательной метрологической поверке, без проведения которой приборы считаются непригодными для водопотребления». На основании этого «служба» утверждает график проверки счётчиков. На таких листовках написано, что это повторное уведомление, и если хозяева не проведут обязательную метрологическую поверку, то будут платить за воду по нормативам. В конце листовки указан телефон, по которому предлагают подать заявку на проверку счётчиков.

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врфФото opko43.ru

О листовках Единой городской службы по учёту водоснабжения писали уже многие белгородские издания. Тем не менее, видимо, жители города всё ещё не знают, что не обязаны обращаться в эту компанию. Мы решили позвонить в эту службу и узнать, как она работает.

После нескольких гудков, автоответчик вежливо попросил подождать и сообщил, что я девятый в очереди к оператору. Операторов в службе достаточно много, потому что при разговоре с девушкой из call-центра на заднем фоне слышно множество других женских голосов.

После того, как подошла моя очередь, я объяснил девушке, что сегодня приехал из отпуска и нашёл в своём почтовом ящике листовку Единой городской службы по учёту водоснабжения и спросил, что мне нужно делать.

— Как давно у вас установлены приборы учёта воды? — спросила оператор.

— Не знаю. Последний раз у нас его проверяли в 2013 году.

— У вас горячая или холодная вода?

— Межповерочный интервал составляет четыре года на горячую и шесть лет на холодную воду. А паспорта имеются у вас на приборы?

— Ну, да, наверное, где-то лежат.

— Нужно уточнить точный месяц поверки и за месяц до межповерочного интервала обращаться к нам. Поверка осуществляется в лабораторных условиях, стоимость поверки одного прибора с учётом демонтажа и монтажа выходит в районе 2 тысяч рублей.

—То есть вы у меня счётчик скрутите и заберёте, да?

— Да, его надо демонтировать и проверить в лабораторных условиях.

— Вы сказали про управляющую компанию, вы с ними это как-то согласовываете? — уточняю я у оператора.

— Мы имеем право устанавливать пломбу. Мастер ставит пломбу, и это подтверждение его работы. Он соответственно подтверждает, что там нет никаких магнитов, и ничего другого. Он опломбирует. Никаких проблем не будет.

— А на какое число можно назначить проверку? Потому что мне уже повторное уведомление пришло. Там написано, что до 17 августа будут идти проверки. Мне надо до этого числа выбрать день и позвонить вам?

— В любое удобное время и день. Лучше заранее это делать потому, что заявки все обрабатываются. Мы можем предварительную заявку составить. Если что-то не так, вы можете всегда откорректировать заявку, — ответила девушка, закончив наш разговор.

У этой «службы», по словам оператора, нет сайта, а юридический адрес находится в Санкт-Петербурге. В Белгороде — только call-центр и филиал, где работают мастера. Белгородский филиал расположен по адресу Портовая 94.

Владельцем Единой городской службы по учёту водоснабжения является Валерий Семёнов. Мужчина пользовался услугами call-центров, чтобы собирать заявки, и заключал договоры с Почтой России на распространение листовок. УФАС уже устанавливало, что Семёнов нарушал антимонопольное законодательство, распространяя ложные, неточные или искажённые сведения, а также вводил потребителей в заблуждение в Калуге, Перми, и Калининградской области с 2014 по 2016 год.

— Организации «Единый городской центр обслуживая ЖКХ» и «Единая городская служба по учёту водоснабжения» не имеют никакого отношения к органам местного самоуправления, а также не являются муниципальными учреждениями. Кроме того, организации являются юридическими лицами, которые не имеют аккредитации, соответственно не имеют права выполнять работы по поверке приборов учета воды. Все компании, которые прошли аккредитацию, указаны на сайте Федеральной службы по аккредитации, — предостерегает пресс-служба департамента ЖКХ Белгородской области.

В ведомстве сообщили, что проводить поверки и ставить счётчики могут только те частные компании, которые получили аттестат в Федеральной службе по аккредитации. Компании, которые разбрасывают листовки в почтовые ящики, обманывают горожан. Если вы не знаете, когда у вас ставились счётчики, и когда истекает межповерочный интервал, то можно уточнить эту информацию в организации, которая ставила счётчик на учёт.

— Поверка приборов учёта воды осуществляется на месте установки прибора, без его монтажа. Стоимость подобной услуги составляет от 400 до 500 рублей. Собственник жилого помещения обращается в аккредитованную организацию (ФБУ «Белгородский ЦСМ» по телефону +7 (4722) 20-13-33, ООО «Водомер сервис» по телефону +7 (4722) 21-92-82, ООО «Метрологическая служба» по телефону +7 (4722) 50-02-62 и другие), специалисты испытательной лаборатории выезжают на дом, осуществляют поверку прибора учёта. По итогам поверки оформляется «акт поверки», в который вносится информация о приборе учета и результатах поверки. После проведения поверки прибора учета, необходимо осуществить его опломбировку, которая осуществляется на дому и бесплатно. Опломбировку проводит ресурсоснабжающая организация, — сообщает сайт департамента ЖКХ Белгородской области.

Источник

Фальшивые извещения: ЖКХ-мошенники добрались до Хабаровска

Весна. Оживает природа. Оживляются мошенники. И опять в почтовых ящиках хабаровчан замечены извещения от некоей Центральной службы учета ресурсов (ЦСУР). Как видно, предприимчивые рыцари наживы снова вышли на охотничью тропу. Предмет охоты – мы, жители Хабаровска. И не только. Свои лукавые сети сикофанты из ЦСУР сплели еще почти в 60 городах России.

В прошлом сезоне гаврики из ЦСУР уже рассылали извещения, которые на поверку оказывались фальшивками. Работала фирма «рога и копыта» по одной и той же схеме в разных городах, только меняя в извещениях их названия. Маклеры подкидывали в наши почтовые ящики листовки, в которых предлагали жильцами срочно выполнить поверку и замену счетчиков холодной и горячей воды. Естественно, через их уважаемую фирму. Предложение усиливали страшилкой «Обращаем Ваше внимание, что самостоятельный демонтаж приборов учета, а также несанкционированное вмешательство в работу прибора КАТЕГОРИЧЕСКИ ЗАПРЕЩЕНО!».

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Такие извещения периодически появляются в почтовых ящиках хабаровчан

Стряхнули пыль – и снова на подмостки

Тогда в нашем городе, и не только, компанию вывели на чистую воду. Правда, некоторые повелись на предложения от ЦСУР и заплатили немалые деньги, как оказалось, недобросовестным партнерам. Ославилась фирма-фальшивка через соцсети на всю страну. Казалось бы, уже и не появится на жилищно-коммунальном горизонте. А если и появится, то уже с какой-то совершенно новой аферой или с новым сценарием аферы старой. Ан, нет. С прошлогодней пьесы стряхнули пыль, и опять она — на подмостках.

ЦСУР массово закинула в почтовые ящики извещения, датированные уже этим годом. И выглядят листовки вполне убедительно. К примеру, та, что приземлилась в конце февраля в почтовом ящике одного из журналистов нашего издательского дома, выглядит убедительно. Имеет номер 1116 и реквизиты ВРФ 875253778, справочный телефон 20-20-51 и код подразделения 2 РО-ПО. Да и текст внятный: «Напоминаем Вам, что согласно ФЗ от 26.06. 2008 г. №102 «Об обеспечении единства измерений», а так же Постановлению Правительства РФ от 06.06.2011 г. №354, индивидуальные приборы учета воды должны пройти обязательную метрологическую поверку, без которой приборы считаются непригодными для учета водопотребления».

Все честь по чести. И закон такой есть, и постановление. И проводить поверку счетчиков надо, кто спорит. И менять, если приборы окажутся неисправными. Правда, смущают некоторые грамматические ошибки в тексте, но не всем же быть знатоками русского языка.

В списках не значится

Однако, вот незадача, QR-код на извещении через интернет не расшифровывается. Да и штрих-код доверия не вызывает — не читается. Складывается мнение, что компания взяла несуществующие коды и для весомости просто вставила в свою листовку. И это первый звоночек, что с квитанцией что-то не так. А дальше, в левом углу, под меткой оператора и датой заполнения квитанции — 4 февраля 2019 года, идет норматив расчета потребления холодной и горячей воды отчего-то на 3 человек. Цифры явно завышенные.

Например, за месяц семья из трех человек должна заплатить за холодную и горячую воду (плюс общедомовые нужды) почти четыре тысячи рублей. Это если нет поверенных приборов учета. Как полагают люди из ЦСУР, именно эти цифры и должны мотивировать жильцов. Аргумент тут же, в извещении, –«во избежание начисления платы за потребление по общему нормативу, а также в целях соблюдения Федерального закона, вам необходимо согласовать дату и время процедуры проведения поверки приборов учета». Мол, так мы экономим ваши деньги. Ничего личного.

Но, вот что интересно — на извещении нет фамилии и лицевого счета жильца, которому оно предназначается. Нет даже адреса. Анонимка, одним словом. Тем более что все эти извещения — как под копирку. И для семьи Сидоровых из четырех человек, и для семьи Петровых из двух, и для холостяка Карпова. И это еще один повод для сомнений. Недолгие искания в соцсетях, и оказывается, как не было ЦСУР в едином государственном реестре юридических лиц, так она здесь и не появилась: «По вашему запросу в базе данных юрлиц и ИП РФ не найдено».

Как известно, проводить поверку и замену приборов учета может только представитель Водоканала, ресурсоснабжающей организации. Именно он наделен правом снять пломбу со счетчика. Ну, есть еще узкий круг организаций, имеющий специальную аккредитацию на такие действия. Входит ли в этот круг ЦСУР? Опять интернет нам в помощь. Нет, не входит. Проще говоря, нет у этой фирмы права заниматься этой деятельностью. Присвоила она его себе.

Кто заказывает музыку, то и танцует?

Если ЦСУР ведет свои нечестные игры уж второй год, попробуем и мы поиграть по их правилам. Набираю указанный в извещении номер, слушаю традиционную лаундж-музыку, и оператор Виктория, явно по заранее написанному и добросовестно выученному тексту рассказывает мне о преимуществе их фирмы перед всеми другими подобными.

Во-первых, они заменят ваш действующий счетчик просто на фантастический прибор со сроком службы в 12 лет. И обойдутся все манипуляции, включая стоимость двух счетчиков и работу мастера, в 4900 рублей. Счетчик нового поколения мало что долгожитель российского производства, так еще и будет обслуживаться по гарантии целый год, и в придачу к нему – полный пакет документов, включая акт о пломбировке, паспорта на счетчики.

На мое робкое «А нельзя ли счетчик не менять, он исправный?», Виктория начинает убеждать в неэффективности и дороговизне поверки прибора из прошлой эпохи. Добивая информацией, что все время, пока счетчик будет ожидать своей очереди в лаборатории, платить за услугу придется по общему нормативу. А сколько это будет – так это на извещении сбоку слева. Сумма из четырех цифр. Посчитав, что я уже морально подготовлена, оператор Виктория повела речь о дате визита мастера. Пришлось диалог завершить.

Но, предположим, повелись вы на сладкие речи и поменяли счетчики учета потребления холодной и горячей воды, потратив без малого пять тысяч рублей? И что дальше. А дальше люди знающие вам скажут, что приборы учета энергоресурсов надо заменять только тогда, когда придет уведомление из вашего ТСЖ или из вашей управляющей компании.

На мошенников не тянут?

Теперь подводим итоги. Аккредитации на поверку у этой конторы нет. Значит, ставить пломбу на счетчик она не уполномочена. Юридического адреса, да и вообще никакого, в извещении не указано. Да и самое извещение не имеет адресата. Оператор ЦСУР по имени Елена опять же по телефону 20-20-51 вежливо ответила на всем мои вопросы и без тени сомнения сказала, что их учреждение правомочно и работоспособно. А на вопрос, в Хабаровске ли находится офис фирмы, замялась и неуверенно произнесла «Да». Однако адреса не выдала. И это тоже в копилку сомнений.

Поверка счетчиков для ЦСУР, как кажется, просто предлог. Она этим, по сути, и не занимается. Лукавцам важно, чтобы вы захватили наживку и согласились с тем, что поверка – это половинчатая мера, и лучше все-таки счетчик б/у заменить на новый. Назвать их в чистом виде мошенниками вряд ли можно. Они ведь услугу все-таки готовы предоставить. Пожалуй, для них больше подходит слово – предприимчивые дельцы. Которых все-таки стоит держаться подальше.

Как говорит один известный телеведущий – «Мы вам рассказали эту историю. Выводы делайте сами».

Главное фото: kubnews.ru

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Источник

ЦСУР прислал извещение: нужна поверка и замена счетчиков воды

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Сегодня статья про мошенников, которые на первый взгляд делают благое дело — беспокоятся о правильности работы счетчиков воды. А почему они мошенники — давайте разбираться вместе.

В который раз приходят «квитанции», а точнее извещения о проведении работ от конторы под названием ЦСУР — Центральная служба учета ресурсов. Всё выглядит вполне официально, как и письма от коллекторов, разбор которых я на блоге проводил неоднократно. И каждый раз выяснялось, что все слова у них — не более чем детские страшилки и пустые обещания.

Так и здесь, главное помнить, что никому доверять нельзя, даже если приходит извещение на официальном бланке, а голос по телефону поёт как соловей.

В тему — недавно вышла моя новая статья про мошенников, заставляющих менять и устанавливать новые электрические счетчики.

Извещение о проведении работ от ЦСУР

Итак, давайте внимательно посмотрим, что же за извещение прислала мне Центральная Служба Учета Ресурсов Таганрога:

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Извещение о проведении работ ЦСУР Таганрог

Сразу скажу, что единственное, что правда на этом листке — телефон горячей линии, 8-8634-38-66-28, по которому я звонил и имел интересный разговор. Но не буду забегать вперёд, всё по порядку.

Извещение имеет № 6415-14 и номер ВРФ 62471438. Я задался выяснить, что это за номера, и что такое ВРФ. Ни Гугл, ни Яндекс не знают этого. Единственное, на что они дают ссылки — на жалобы на ЦСУР и на некий Городской Центр Учета Водопотребления. Перейдя по ссылкам, я увидел такие же квитанции, как у меня, только изменены даты и некоторые названия. Причем, шлют подобные квитанции по всей стране уже несколько лет. Конечно, меняя даты, города и номер телефона.

Далее, смотрим табличку расчета суммы оплаты за воду. Тут всё не очень гладко, мягко говоря. Откуда они взяли такие тарифы? Сейчас тарифы на холодную и горячую воду больше примерно в 2 раза! И как надо лить воду, чтобы вылить столько кубов!

Вот выдержка из моей квитанции:

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Реальная квитанция на воду

Попытался найти, что такое «период РРИМ» — тот же эффект. Выдает ссылки на тех же мошенников и что-то про Римскую империю.

QR-код, приведенный на квитанции, фейковый — это видно хотя бы по тому, что квадрат в верхнем правом углу полностью закрашен, а должен выглядеть, как два остальных. Так же не по правилам выполнен штрих-код. Само собой, оба кода не читаются.

Текст извещения

ВНИМАНИЕ!
Напоминаем Вам, что согласно Федеральному Закону от 26.06.2008 г. №102-ФЗ «Об
обеспечении единства измерений», а также Постановлению Правительства РФ от
06.05.2011 г. №354, индивидуальные приборы учета воды должны пройти обязательную метрологическую поверку, без проведения которой приборы считаются непригодными для учета водопотребления.
Таким образом, во избежание начисления платы за потребление воды по общему
нормативу, а также в целях соблюдения требований Федерального Закона, Вам
необходимо согласовать дату и время процедуры проведения поверки приборов учета
воды (в случае истечения межповерочного интервала) по телефону 8 (8634) 38-66-28.
Работы по поверке будут проводиться с 14 января по 31 января 2019 года.
Обращаем Ваше внимание, что самостоятельный демонтаж, а так
же несанкционированное вмешательство в работу приборов учета
категорически запрещено!

Слово «также» пишется слитно. Но, как ни странно, это единственное, с чем можно поспорить в приведенном тексте.

Действительно, по истечению интервала поверки счетчики нужно поверять, либо менять на новые. Это относится к любым измерительным приборам — вплоть до линеек на солидных предприятиях.

Тут не поспоришь ни с чем. Но как всегда, дьявол кроется в деталях.

Что такое поверка счетчика?

Поверка (не путать с проверкой) — это сверка показаний измеряемой величины с эталонным измерительным прибором. Если показания расходятся не более, чем на величину допустимой погрешности (указана в паспорте прибора), то поверка считается пройденной, и прибор запускается к эксплуатации.

Если же поверка не пройдена, и прибор врёт больше, чем положено, то он подлежит замене.

Но поверка может зависеть не только от технических измерений, но и от честности и компетентности сотрудника органа поверки.

О мошеннической схеме ЦСУР и Городского Центра Учета Водопотребления — ниже.

Кто может проводить поверку счетчика?

Проводить поверку может представитель Водоканала (водоснабжающей организации). Конечно, если Водоканал имеет лицензию на такой вид деятельности. Для этого при истечении срока поверки нужно обратиться в Водоканал и вызвать специалиста. Важно то, что снимать пломбу не имеет права никто, кроме них. Поверка может быть как на дому, так и со снятием счетчика.

Чаще всего поверку проводят метрологические организации. Например, Центр Стандартизации и Метрологии. Главное, чтобы у них был официальный документ (Аккредитация), который позволяет проводить поверку. У таких организаций всегда есть сайт, на котором приведена Аккредитация и другая внятная информация.

У ЦСУР и Городского Центра Учета Водопотребления нет ни сайта, ни тем более Аккредитации либо подобных документов. Иначе бы они кричали о них на каждом шагу.

Но всё же, если поверка не пройдена, и нужно будет менять счетчик, для снятия пломбы нужно вызвать человека из Водоканала.

Поверка на дому проходит обычно без снятия пломбы, и стоит недорого, по сравнению с покупкой и установкой нового счетчика. Поверку в Водоканале или другом органе поверки обычно никто не делает — это накладно, да и оставаться без воды на целый день никто не захочет. Кроме того, не факт, что поверка будет пройдена.

А поменять счетчик можно, вызвав сантехника, либо самостоятельно — дело это нехитрое.

Срок поверки счетчиков на воду

Однако, поскольку дата поверки больше всего волнует водоканал, то нужно смотреть информацию, которая есть у них. Проще всего это сделать, посмотрев в квитанцию. Посмотрите в мою квитанцию, которую я приводил выше — дата очередной поверки указана 1 октября 2023 года.

Не знаю, как так вышло, счетчики у меня стоят более 3 лет, и я никого не хочу подставлять.

Когда подойдёт эта дата, мне придёт официальное извещение (опубликую его, подписывайтесь!), а если я не отреагирую, то будет сначала считаться по среднему, а потом по тарифу огульно. Но это не точно.

Мошенническая схема ЦСУР

Я позвонил по телефону ЦСУР Таганрога 8 (8634) 38-66-28. Это было в воскресенье днём, но трубку сразу подняли. Интересно, не правда ли?

Там мне женщина бодрым голосом рассказала, что поверка мне крайне необходима (про свои даты я не говорил), что снять счетчик для поверки обойдется более чем в 2000 рублей, и результат неизвестен.

А если придёт специалист из ЦСУР, то он сделает единственно правильное — заменит счетчики на новые, поскольку «счетчики поверку обычно не проходят».

Работа по замене двух счетчиков (счетчики + работа) будет стоить 4900 руб.

Выдается договор и Акт выполненных работ, с которым мне нужно самостоятельно идти в Водоканал и все оформлять. И потом специалисты из Водоканала поставят пломбу!

То есть, у ЦСУР нет аккредитации на поверку, они её не производят, а просто тупо меняют счетчики по цене в 2 раза выше, чем обычно (я узнавал у знакомого сантехника!)

Но самое печальное, что ЦСУР срывают пломбы, а это незаконно! Ведь они сами же писали:

Обращаем Ваше внимание, что самостоятельный демонтаж, а так
же несанкционированное вмешательство в работу приборов учета
категорически запрещено!

Женщина из ЦСУР несколько раз порывалась записать мой адрес, чтобы согласовать приезд мастера.

Это похоже на откровенный развод лохов!

Всё равно, как если бы я сам сорвал пломбы и прикрутил новые счетчики! Без оповещения Водоканала.

Напоследок, нашел интересное видео по теме:

Ответ из водоканала

Я написал письмо в Таганрогский водоканал:

Здравствуйте!
Мне по почте пришло извещение (прикрепил фото), в котором говорится, что нужно проходить поверку счетчиков.
Это законно?
Стоит ли доверять ЦСУР?

Где можно узнать официально о поверке?

Спасибо за ответ.
Александр.

А вот что мне официально ответил Водоканал. Заметьте, ни слова о ЦСУР:

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

ЕИС ЖКХ

Вот ещё контора, которая наживается на незаконных поверках счетчиков воды — Единая информационная служба ЖКХ. Много запугиваний, номеров законов и телефонов:

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Извещение от мошенников: замена счетчиков ЕИС ЖКХ

Та же шайка, но с другим названием.

На этом всё, и мой совет: мыслите критически и всё проверяйте! Мир таков, что «без лоха жизнь плоха».

Источник

Сети для самых маленьких. Часть одиннадцатая. MPLS L3VPN

В прошлый раз мы не оставили камня на камне при разборе MPLS. И это, пожалуй, хорошо.

Но до сих пор только призрачно прорисовывается применение его в реальной жизни. И это плохо.

Этой статьёй начнём исправлять ситуацию. Вообще же читателя ждёт череда из трёх статей: L3VPN, L2VPN, Traffic Engineering, где мы постараемся в полной мере рассказать, для чего нужен MPLS на практике.

Итак, linkmeup — уже больше не аутсорсинг по поддержке хоть и крупной, но единственной компании, мы — провайдер. Можно даже сказать федеральный провайдер, потому что наша оптика ведёт во все концы страны. И наши многочисленные клиенты хотят уже не только высокоскоростной доступ в Интернет, они хотят VPN.
Сегодня разберёмся, что придётся сделать на нашей сети (на которой уже меж тем настроен MPLS), чтобы удовлетворить эти необузданные аппетиты.

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Как организовать взаимодействие двух отдалённых узлов в сети Интернет? Очень просто, если они имеют публичные адреса — IP для этого и был придуман. Они могут общаться напрямую. В любом случае, чтобы соединить две точки в Интернете, нужно два публичных адреса — по одному с каждой стороны. А если у нас адреса частные (10/8, 172.16/20, 192.168/16)?
Тогда они будут «натиться» с одной стороны, а потом «разначиваться» с другой стороны. А NAT — штука, скажу я вам, ой, какая неприятная.

Поэтому существует VPN. Virtual Private Network — это набор технологий и протоколов, который позволяет подключить что-то к вашей частной сети через чужую сеть, в частности, через Интернет.
Например, Томский филиал компании linkmeup можно подключить к головному офису в Москве с помощью VPN через Интернет, как мы и делали в выпуске про VPN.
То есть другие филиалы через VPN вы будете видеть так, как если бы они находились в соседней комнате и подключены вы к ним через шнурок, коммутатор или маршрутизатор. Соответственно и общаться узлы могут по своим приватным адресам, а не по публичным.

В этом случае ваши личные данные с частными адресами упаковываются в пакеты с публичными адресами и как в туннеле летят через Интернет.

Это называется клиентский VPN, потому что клиент сам озабочен его конфигурацией и поднятием. Единственный его посредник — Интернет.
Его мы разобрали в 7-м выпуске и о нём же в блоге linkmeup есть огромная статья нашего читателя — Вадима Семёнова.

Другой возможный вариант — провайдерский VPN. В этом случае провайдер предоставляет клиенту несколько точек подключения, а внутри своей сети строит каналы между ними.
От клиента тогда требуется только оплачивать провайдеру этот канал.
Провайдерский VPN, в отличие от клиентского позволяет обеспечить определённое качество услуг. Обычно при заключении договора подписывается SLA, где оговариваются уровень задержки, джиттера, процент потерь пакетов, максимальный период недоступности сервисов итд. И если в клиентском VPN вы можете только уповать на то, что в интернете сейчас всё спокойно, и ваши данные дойдут в полном порядке, то в провайдерском, вам есть с кого спросить.

Вот на провайдерском VPN мы в этот раз и сосредоточимся.

Речь пойдёт о VPN 3-го уровня — L3VPN, когда нам необходимо обеспечить маршрутизацию сетевого трафика. L2VPN — тема следующего выпуска.

VRF, VPN-Instance, Routing-instance

Когда речь заходит о VPN, возникает вопрос изоляции трафика. Никто другой не должен его получать, а ваши частные адреса не должны появляться там, где им не положено — то есть в Интернете, в сети нашего провайдера и в VPN других клиентов.
Когда вы настраиваете GRE-туннель через Интернет (или OpenVPN, на ваш вкус), то ваши данные автоматически обособлены — никто не видит ваши частные адреса в Интернете, и трафик не попадёт в чужие руки (если не поднимать вопрос нацеленной атаки).
То есть существует некий туннель между двумя публичными адресами, который никак не связан ни с вашим провайдером, ни с другими транзитными туннелями. Два разных VPN — два совершенно разных туннеля — и по вашему туннелю течёт только ваши трафик.
Совсем иначе стоит вопрос в провайдерском VPN — одна и та же магистральная сеть должна переносить данные сотен клиентов. Как тут быть?
Нет, можно, конечно, и тут GRE, OpenVPN, L2TP и иже с ними, но тогда всё, чем будут заниматься инженеры эксплуатации — это настраивать туннели и лопатить миллионы строк конфигурации.
Но проблема глубже — вопрос организации такого универсального для всех канала вторичен: главное сейчас — как изолировать двух клиентов, подключенных к одному маршрутизатору? Если, например, оба используют сеть 10.0.0.0/8, как не позволить трафику маршрутизироваться между ними?

Здесь мы приходим к понятию VRF — Virtual Routing and Forwarding instance. Терминология тут не устоявшаяся: в Cisco — это VRF, в Huawei — VPN-instance, в Juniper — Routing Instance. Все названия имеют право на жизнь, но суть одна — виртуальный маршрутизатор. Это что-то вроде виртуальный машины в каком-нибудь VirtualBox — там на одном физическом сервере поднимается много виртуальных серверов, а здесь на одном физическом маршрутизаторе есть много виртуальных маршрутизаторов.
Каждый такой виртуальный маршуртизатор — это по сути отдельный VPN. Их таблицы маршрутизации, FIB, список интерфейсов и прочие параметры не пересекаются — они строго индивидуальны и изолированы. Ровно так же они обособлены и от самого физического маршрутизатора. Но как и в случае виртуальных серверов, между ними возможна коммуникация.

VRF — он строго локален для маршрутизатора — за его пределами VRF не существует. Соответственно VRF на одном маршрутизаторе никак не связан с VRF на другом.
Раз уж мы рассматриваем все примеры на оборудовании Cisco, то будем придерживаться их терминологии.

VRF Lite

Так называется создание провайдерского VPN без MPLS.
Вот, например, так можно настроить VPN в пределах одного маршрутизатора:

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Тут у нас есть два клиента — TAR’s Robotics и C3PO Electronic.

Интерфейсы FE0/0 и FE0/1 принадлежат VPN C3PO Electronic, интерфейсы FE1/0 и FE1/1 — VPN TAR’s Robotics. Внутри одного VPN узлы общаются без проблем, между собой — уже никак.

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Вот так выглядят их таблицы маршрутизации на провайдерском маршрутизаторе:
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Маршруты C3PO Electronic не попадут в сети TARS’ Robotics и наоборот.

Клиентские интерфейсы здесь привязаны к конкретному VRF.
Один интерфейс не может быть членом двух VRF сразу или членом и VRF и глобальной таблицы маршрутизации.

Используя VRF Lite можно легко пробросить VPN между разными концами сети. Для этого нужно настроить одинаковые VRF на всех промежуточных узлах и правильно привязать их к интерфейсам:

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф
То есть R1 и R2 будут общаться друг с другом через одну пару интерфейсов в глобальной таблице маршрутизации, через другую пару в VRF TARS’ Robotics и через третью в VRF C3PO Electronic. Разумеется, это могут быть сабинтерфейсы.
Аналогично между R2-R3.
Таким образом, получаются две виртуальные сети, которые друг с другом не пересекаются. Учитывая этот факт, в каждой такой сети нужно поднимать свой процесс IGP, чтобы обеспечить связность.
В данном случае будет один процесс для физического маршрутизатора, один для TARS’ Robotics, один для C3PO Electric. Соответственно, каждый из них будет сигнализироваться отдельно от других по своим собственным интерфейсам.

Если говорить о передаче данных, то пакет, придя от узла из сети TARS’s Robotics, сразу попадает в соответствующий VRF, потому что входной интерфейс R1 является его членом. Согласно FIB данного VRF он направляется на R2 через выходной интерфейс. На участке между R1 и R2 ходят самые обычные IP-пакеты, которые и не подозревают, что они принадлежат разным VPN. Вся разница только в том, что они идут по разным физическим интерфейсам, либо несут разный тег в заголовке 802.1q. R2 принимает этот пакет интерфейсом, который также член VRF TARS’s Robotics.
R2 варит пакет в нужном FIB и отправляет дальше, согласно IGP. И так до самого выхода пакета ну другой стороне сети.

Как узел определяет, что полученный пакет относится к определённому VPN? Очень просто: данный интерфейс привязан («прибинден») к конкретному VRF.
Как вы уже, вероятно, заметили, эти интерфейсы помечены на иллюстрации колечками соответствующего цвета.

Включим немного воображение:
Если пакет проходит через серое колечко, он переходит на серую сторону окрашивается в серый цвет. Далее он будет уже проверяться по серой таблице маршрутизации.
Аналогично, когда пакет проходит через золотое кольцо, он покрывается благородной позолотой и проверяется по золотой таблице маршрутизации.

Точно также выходные интерфейсы привязаны к VPN, и соответствующие таблицы маршрутизации знают, какие за ними сети находятся.
Учитывайте, что всё, что мы говорим о таблицах маршрутизации, касается и FIB — в каждом VPN свой собственный FIB.
Между маршрутизаторами пакеты не окрашены. Пакеты разных VPN не смешиваются, потому что идут либо по разных физическим интерфейсам, либо по одному, но имеют разные VLAN-теги (каждому VRF соответствует свой выходной саб-интерфейс).

Вот он простой и прозрачный VPN — для клиента сформирована самая что ни на есть частная сеть.
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Но этот способ удобен, пока у вас 2-3 клиента и 2-3 маршрутизатора. Он совершенно не поддаётся масштабированию, потому что один новый VPN означает новый VRF на каждом узле, новые интерфейсы, новый пул линковых IP-адресов, новый процесс IGP/BGP.
А если точек подключения не 2-3, а 10, а если нужно ещё резервирование, а каково это поднимать IGP с клиентом и обслуживать его маршруты на каждом своём узле?

И тут мы подходим уже к MPLS VPN.

MPLS L3VPN

MPLS VPN позволяет избавиться от вот этих неприятных шагов:
1) Настройка VRF на каждом узле между точками подключения
2) Настройка отдельных интерфейсов для каждого VRF на каждом узле.
3) Настройка отдельных процессов IGP для каждого VRF на каждом узле.
4) Необходимость поддержки таблицы маршрутизации для каждого VRF на каждом узле.

Рассмотрим, что такое MPLS L3VPN на примере такой сети:

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Итак, это три филиала нашего клиента TARS’ Robotics: головной офис в Москве и офисы в Новосибирске и Красноярске — весьма удалённые, чтобы дотянуть до них своё оптоволокно. А у нас туда уже есть каналы.

Центральное облако — это мы — linkmeup — провайдер, который предоставляет услугу L3VPN.

Вообще говоря, TARS Robotics как заказчику, совершенно без разницы, как мы организуем L3VPN — да пусть мы хоть на поезде возим их пакеты, лишь бы в SLA укладывались. Но в рамках данной статьи, конечно, внутри нашей сети работает MPLS.

Data Plane или передача пользовательских данных

Сначала надо бы сказать, что в MPLS VPN VRF создаётся только на тех маршрутизаторах, куда подключены клиентские сети. В нашем примере это R1 и R3. Любым промежуточным узлам не нужно ничего знать о VPN.
А между ними нужно как-то обеспечить изолированную передачу пакетов разных VPN.

Вот какой подход предлагает MPLS VPN: коммутация в пределах магистральной сети осуществляется, как мы описывали в предыдущей статье, по одной метке MPLS, а принадлежность конкретному VPN определяется другой — дополнительной меткой.

1) Вот клиент отправляет пакет из сети 172.16.0.0/24 в сеть 172.16.1.0/24.
2) Пока он движется в пределах своего филиала (сеть клиента), он представляет из себя самый обычный пакет IP, в котором Source IP — 172.16.0.2, Destination IP — 172.16.1.2.
3) Сеть филиала знает, что добраться до 172.16.1.0/24 можно через Сеть провайдера.
До сих пор это самый обычный пакет, потому что стык идёт по чистому IP с частными адресами.
4) Дальше R1 (маршрутизатор провайдера), получает этот пакет, знает, что он принадлежит определённому VRF (интерфейс привязан к VRF TARS), проверяет таблицу маршрутизации этого VRF — в какой из филиалов отправить пакет — и инкапсулирует его в пакет MPLS.
Метка MPLS на этом пакете означает как раз его принадлежность определённому VPN. Это называется «Сервисная метка».
5) Далее наш маршрутизатор должен отправить пакет на R3 — за ним находится искомый офис клиента. Естественно, по MPLS. Для этого при выходе с R1 на него навешивается транспортная метка MPLS. То есть в этот момент на пакете две метки.
Продвижение пакета MPLS по облаку происходит ровно так, как было описано в выпуске про базовый MPLS. В частности на R2 заменяется транспортная метка — SWAP Label.
6) R3 в итоге получает пакет, отбрасывает транспортную метку, а по сервисной понимает, что тот принадлежит к VPN TARS’ Robotics.
7) Он снимает все заголовки MPLS и отправляет пакет в интерфейс таким, какой он пришёл на R1 изначально.

На диаграмме железо-углерод видно, как преображается пакет по ходу движения от ПК1 до ПК2:
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Помните, чем хорош MPLS? Тем, что никому нет дела до того, что находится под меткой. Поэтому в пределах магистральной сети не важно, какие адресные пространства у клиента, то есть, какой IP-пакет кроется под заголовком MPLS.
Поскольку пакет коммутируется по меткам, а не маршрутизируется по IP-адресам — нет нужды поддерживать и таблицу маршрутизации VPN на промежуточных узлах.

То есть у нас получается такой удобный MPLS-туннель, который сигнализируется, как вы увидите дальше, автоматически.

Итак, в промежутке между R1 и R3 (то есть в облаке MPLS) ни у кого нет понимания, что такое VPN – пакеты VPN движутся по метками до пункта назначения, и только он уже должен волноваться, что с ними делать дальше. Это убирает необходимость поднимать VRF на каждом узле и, соответственно, поддерживать таблицу маршрутизации, FIB, список интерфейсов итд.
Учитывая, что весь дальнейший путь пакета определяется на первом MPLS-маршрутизаторе (R1), отпадает нужда и в индивидуальном протоколе маршрутизации в каждом VPN, хотя остаётся вопрос, как найти выходной маршрутизатор, на который мы ответим дальше.

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Чтобы лучше понять, как передаётся трафик, нужно выяснить значение меток в пакете.

Роль меток MPLS

Если мы вернёмся к изначальной схеме с VRF-Lite, то проблема в том, что серый цвет IP-пакета (индикатор принадлежности к VPN TARS’ Robotics) существует только в пределах узла, при передаче его на другой эта информация переносится в тегах VLAN. И если мы откажемся от сабинтерфейсов на промежуточных узлах, начнётся каша. А сделать это нужно во благо всего хорошего.
Чтобы этого не произошло в сценарии с MPLS, Ingress LSR на пакет навешивает специальную метку MPLS — Сервисную — она идентификатор VPN. Egress LSR (последний маршрутизатор — R3) по этой метке понимает, что IP-пакет принадлежит VPN TARS’s Robotics и просматривает соответствующий FIB.
То есть очень похоже на VLAN, с той разницей, что только первый маршрутизатор должен об этом заботиться.

Но на основе сервисной метки пакет не может коммутироваться по MPLS-сети — если мы где-то её поменяем, то Egress LSR не сможет распознать, какому VPN она принадлежит.

И тут на выручку приходит стек меток, который мы так тщательно избегали в прошлом выпуске.
Сервисная метка оказывается внутренней — первой в стеке, а сверху на неё ещё навешивается транспортная.
То есть по сети MPLS пакет путешествует с двумя метками — верхней — транспортной и нижней — сервисной).

Для чего нужно две метки, почему нельзя обойтись одной сервисной? Пусть бы, например, одна метка на Ingress LSR задавал один VPN, другая — другой. Соответственно дальше по пути они бы тоже коммутировались как обычно, и Egress LSR точно знал бы какому VRF нужно передать пакет.
Вообще говоря, сделать так можно было бы, и это бы работало, но тогда в магистральной сети для каждого VPN был бы отдельный LSP. И если, например, у вас идёт пучок в 20 VPN с R1 на R3, то пришлось бы создавать 20 LSP. А это сложнее поддерживать, это перерасход меток, это лишняя нагрузка на транзитные LSR. Да и, строго говоря, это то, от чего мы тут пытаемся уйти.
Кроме того, для разных префиксов одного VPN могут быть разные метки — это ещё значительно увеличивает количество LSP.
Куда ведь проще создать один LSP, который будет туннелировать сразу все 20 VPN?

Транспортная метка

Таким образом, нам необходима транспортная метка. Она верхняя в стеке.

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Она определяет LSP и меняется на каждом узле.
Она добавляется (PUSH) Ingress LSR и удаляется (POP) Egress LSR (или Penultimate LSR в случае PHP). На всех промежуточных узлах она меняется с одной на другую (SWAP).
Распространением транспортных меток занимаются протоколы LDP и RSVP-TE. Об этом мы тоже очень хорошо поговорили в прошлой статье и не будем останавливаться сейчас.
В целом транспортная метка нам мало интересна, поскольку всё и так уже понятно, за исключением одной детали — FEC.
FEC здесь уже не сеть назначения пакета (приватный адрес клиента), это адрес последнего LSR в сети MPLS, куда подключен клиент.
Это очень важно, потому что LSP не в курсе про всякие там VPN, соответственно ничего не знает о их приватных маршрутах/префиксах. Зато он хорошо знает адреса интерфейсов Loopback всех LSR. Так вот к какому именно LSR подключен данный префикс клиента, подскажет BGP — это и будет FEC для транспортной метки.
В нашем примере R1, опираясь на адрес назначения клиентского пакета, должен понять, что нужно выбрать тот LSP, который ведёт к R3.
Чуть позже мы ещё вернёмся к этому вопросу.

Сервисная метка

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Нижняя метка в стеке — сервисная. Она является уникальным идентификатором префикса в конкретном VPN.
Она добавляется Ingress LSR и больше не меняется нигде до самого Egress LSR, который в итоге её снимает.
FEC для Сервисной метки — это префикс в VPN, или, грубо говоря, подсеть назначения изначального пакета. В примере ниже FEC – 192.168.1.0/24 для VRF C3PO и 172.16.1.0/24 для VRF TARS.
То есть Ingress LSR должен знать, какая метка выделена для этого VPN. Как это происходит — предмет дальнейших наших с вами исследований.
Вот так выглядит целиком процесс передачи пакетов в различных VPN’ах:
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Обратите внимание, что для двух разных VPN отличаются сервисные метки – по ним выходной маршрутизатор узнаёт, в какой VRF передавать пакет.
А транспортные в данном случае одинаковые для пакетов обоих VRF, потому что они используют один LSP – R1R2R3.

Терминология

Пока мы не ушли слишком далеко, надо ввести терминологию.
Когда речь заходит о MPLS VPN, появляется несколько новых терминов, которые, впрочем, вполне очевидны:
CE — Customer Edge router — граничный маршрутизатор клиента, который подключен в сеть провайдера.
PE — Provider Edge router — граничный маршрутизатор провайдера. Собственно к нему и подключаются CE. На PE зарождается VPN, на нём они и кончаются. Именно на нём расположены интерфейсы, привязанные к VPN. Именно PE назначает и снимает сервисные метки. Именно PE являются Ingress LSR и Egress LSR.
PE должны знать таблицы маршрутизации каждого VPN, ведь это они принимают решение о том, куда посылать пакет, как в пределах провайдерской сети, так и в плане клиентских интерфейсов.
P — Provider router — транзитный маршрутизатор, который не является точкой подключения — пакеты VPN проходят через него без каких-либо дополнительных обработок, иными словами просто коммутируются по транспортной метке. P нет нужды знать таблицы маршрутизации VPN или сервисные метки. На P нет интерфейсов привязанных к VPN.

На самом деле роль P-PE индивидуальна для VPN. Если в одном VPN R1 и R3 — это PE, а R2 — P, то в другом они могут поменять свои роли.

Вот, например, на схеме ниже роли синих маршрутизаторов отличаются для зелёного клиента и для фиолетового:
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Стек меток — набор MPLS заголовков, навешанных на один пакет. Каждый из них выполняет какую-то свою роль. В нашей реальности мало кто из вендоров поддерживает больше шести меток в стеке.

Будет и ещё ряд терминов, но их пока рано вводить.

В целом мы закончили с тем, как передаются данные, то есть как работает Forwading Plane.
Давайте подытожим:
Маршрутизатор PE навешивает на клиентский трафик две метки — внутреннюю сервисную, которая не меняется до самого конца путешествия и по ней последний PE понимает, какому VRF принадлежит пакет, и внешнюю транспортную, по которой пакет передаётся через сеть провайдера — эта метка меняется на каждом P-маршрутизаторе и снимается на последнем PE или предпоследнем P.
Благодаря наличию сервисной метки и VRF трафик различных VPN изолирован друг от друга как в пределах маршрутизаторов, так и в каналах.

И собственно, теперь можно сформулировать ряд беспокоящих вопросов:
1) Как распределяются метки MPLS?
2) Как распространяется маршрутная информация по каждому VPN?
3) Как маршруты разных VPN изолируются друг от друга и не смешиваются?

На эти и другие вопросы отвечаем ниже.

Control Plane или передача служебной (маршрутной) информации

Отвечая на них, как раз поговорим о том, как подготавливается вся эта среда, в которой будут успешно ходить пакеты данных.

Протоколы маршрутизации

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Напоминаю, речь о L3VPN. А тут нужно заботиться о IP-связности. Причём теперь у нас куча ограничений. Разберёмся, какие протоколы на каких участках нам пригодятся.

Во-первых, нужно обеспечить базовую IP-связность внутри магистральной сети провайдера. Чтобы были известны все Loopback-адреса, линковые сети, служебные префиксы, возможно, какие-то выходы вовне.
Для этого запускается IGP (ISIS, OSPF).
Уже поверх связной сети поднимается MPLS.
Так мы обеспечили работоспособность магистральной сети.

Во-вторых, у клиента в филиалах может стоять не по одному маршрутизатору, а какие-никакие сети. Эти сети тоже надо маршрутизировать внутри себя как минимум.
Очевидно, что внутри своей собственной сети клиент волен распространять маршрутную информацию, как ему угодно. Мы как провайдер на это повлиять не можем, да нам и без разницы.
Так обеспечивается передача маршрутов в пределах сетей клиентов.

В-третьих, клиенту нужно как-то сообщать своим маршруты провайдеру. На стыке CE-PE клиенту и провайдеру уже нужно договариваться о том, какой протокол будет использоваться.
Хотя, едва ли у клиента какой-то свой самописный протокол IGP. Наверняка, это OSPF/ISIS/RIP. Поэтому обычно провайдер идёт навстречу и выбирает тот, который удобен клиенту.
Тут надо понимать, что вот этот протокол взаимодействия с клиентом работает в VPN и никак не пересекается с IGP самого провайдера. Это разные независимые процессы.
Зачастую на этом стыке работает BGP, поскольку позволяет гибко фильтровать префиксы по различным атрибутам.
Так провайдер получает маршруты клиентов.

В-четвёртых, и это самое интересное — осталось передать маршруты одного филиала другому через магистральную сеть. При этом их надо по пути не потерять, не перепутать с чужими, доставить в целости и сохранности. Тут нам поможет расширение протокола BGP — MBGP — Multiprotocol BGP (Часто его называют MP-BGP). О нём мы сейчас и поговорим.

Но сначала посмотрите, что и где работает:

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Может, на примере из реальной жизни будет немного понятнее.
Допустим, вы живёте в посёлке Ола и решили отдохнуть в Шэньчжэне.
1) На своих двоих, на машине или на такси вы добираетесь до автовокзала посёлка Ола (IGP внутри сети).
2) Садитесь на автобус, и он довозит вас до Магадана (IGP/BGP с провайдером).
3) В Магадане вам туроператор выдаёт ваши загранпаспорта, билеты и ваучер (внутренняя сервисная метка). Теперь вы стали членом определённого рейса (VPN).
4) В аэропорту всем без разницы, в какую гостиницу вы в итоге едете — их задача доставить вас в Шэньчжэнь (BGP), а для этого нужно посадить вас на правильный самолёт согласно вашему ваучеру (назначить внешнюю транспортную метку — PUSH Label — и отправить в правильный интерфейс)
Итак, вы сели в самолёт. Этот самолёт является вашей внешней транспортной меткой, а ваучер — сервисной. Самолёт доставит вас до следующего хопа, а ваучер до гостиницы.
5) Самолёт летит из Магадана в Шэньчжэнь не напрямую, а с пересадками. Сначала вы вышли в Москве, пересели в новый самолёт до Пекина. Потом в Пекине вы пересели на самолёт уже до Шэньчжэня. (Так произошла коммутация по меткам — SWAP Label). При этом ваучер — сервисная метка по-прежнему у вас в кармане.
6) В Шэньчжэне вы вышли из самолёта (POP Label) и уже тут проверят ваш ваучер — куда вас собственно нужно везти (в какой VPN).
7) Вас садят в автобус до вашей гостиницы (IGP/BGP с провайдером).
8) Во дворе гостиницы вы самостоятельно находите дорогу до номера, через ресепшн (IGP внутри сети).

Итак, аэропорт Магадана — это PE/Ingress LSR, аэропорт Шэньчжэня — это другой PE/Egress LSR, аэропорт Москвы — P/Intermediate LSR.
Особенно интересно будет выглядеть PHP в этой фантазии.

Сейчас ответим на два вопроса: как маршруты передаются в провайдерской сети от одного PE к другому и как обеспечивается изоляция.

В общем-то до сих пор не придумано ничего лучше для передачи маршрутов на удалённые узлы, чем BGP: и гибкость передачи самих маршрутов, и масса инструментов по влиянию на выбор маршрута, и политики получения и передачи маршрутов, и Community, сильно упрощающие групповые действия над маршрутами.

Если вдруг вы забыли, тот вот обычное сообщение BGP Update:
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

В секции NLRI оно переносит сам префикс. А в других секциях масса его параметров.

К его помощи и прибегают при реализации MPLS L3VPN. Поэтому его второе имя MPLS BGP VPN.

Вы ведь помните, как это происходит? BGP устанавливает сессию со своими соседями через TCP на порт 179. Это позволяет в качестве соседей выбирать не напрямую подключенный маршрутизатор, а те, что находятся в нескольких хопах. Так и работает IBGP, где в пределах магистральной сети предполагается связь «каждый с каждым».
Когда несколько маршрутов, ведущих в одну сеть, приходят на узел, BGP просто выбирает из них лучший и инсталлирует его в таблицу маршрутизации.

То есть в целом нам ничего не стоит передать маршрут VPN через сеть на другой её конец.
BGP должен взять маршруты из VRF на одном узле, доставить их на другой и там экспортировать в правильный VRF.

Вот только загвоздка в том, что BGP изначально ориентирован на работу с публичными адресами, которые предполагаются уникальными во всём мире. А клиенты-негодяи обычно хотят передавать маршруты в частные сети (RFC1918) и, как назло, они запросто могут пересекаться как с сетями других VPN, так и со внутренним адресным пространством самого провайдера.

То есть, если, например, R3 получит два маршрута в сеть 10.10.10.10/32 (один от TARS’s Robotics, другой от C3PO Electronic), он выберет только один — с лучшими показателями, как предписывает стандарт — он думает, что это два маршрута в одну и ту же сеть.

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Естественно, нам это не подходит. Нужно, чтобы выполнялось два условия:
1) Маршруты разных VPN были уникальными и не смешивались при передаче между PE.
2) Маршруты в конечной точке должны быть переданы правильному VRF.

Этим проблемам было найдено элегантное решение. Начнём с п.1 — уникальность маршрутов.

В нашем примере 10.10.10.10/32 от TARS’s Robotics должен чем-то отличаться от 10.10.10.10/32 от C3PO Electronic.
BGP невероятно гибкий протокол (не зря ведь он стал единственным протоколом внешнего шлюза). Он легко масштабируется и с помощью так называемых Address Family он может передавать маршруты не только IPv4, но и IPv6 и IPX (да только кому он нужен). Хочешь передать что-то новое — заведи свою Address Family,
И создал IETF новый Address Family. И дал он имя ему VPNv4 (или VPN-IPv4).

Route Distinguisher

Для того, чтобы различать маршруты различных VPN, обычный IPv4 префикс дополняется специальной приставкой длиной 8 байтов — RD — Route Distinguisher.

Тогда маршрут от C3PO будет выглядеть так: 64500:100:10.10.10.10/32, а от TARS так: 64500:200:10.10.10.10/32. И теперь это совершенно разные вещи, которые процесс BGP сможет друг от друга отличить.

Разберёмся что из себя представляет RD и как его определить.
Существует 3 типа RD:
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф
Навеяно.

Первая часть — сам тип (0, 1 или 2);
Вторая часть — Административное поле (Administrator field) — это всегда публичный параметр — публичный IP-адрес или публичный номер AS. Она необходима для того, чтобы ваши RD были уникальны не только в пределах сети, но и в пределах планеты.
То есть в Административной части не должны появиться случайно IP адрес 172.16.127.2 или AS 65001. Это может пригодиться в том случае, когда VPN нужно передать в сеть другого провайдера (а такое тоже не исключено в наше безумное время, и оно даже носит название Inter-AS VPN).
Третья часть — Выделенный номер (Assigned Number) — это уже то, что назначаете вы. Эта часть позволяет RD быть уникальным в пределах вашей сети и, собственно, определять VPN.

Как видите, RD уникальны в пределах планеты.

Вот два примера преобразования обычного IPv4-префикса 10.10.10.10/32 в VPNv4:

Какой выберете вы, не имеет значения, даже если в пределах сети вы будете использовать оба подхода одновременно. Даже для одного VRF на разных маршрутизаторах. Главная задача RD — разделить префиксы.
То есть если совсем простым языком: совершенно не важно, что вы настроите, главное, чтобы вы были уверены, что BGP никогда не спутает маршруты разных VPN.
Хотя систематизация ещё никому не мешала.

Обычно используют тип 0, Административное поле — это номер AS провайдера, а Выделенный номер вы выбираете самостоятельно. При настройке RD первые «0:» или «1:» (тип RD) сокращаются и получается так: 64500:100 и 100.0.0.1:100.
Cisco позволяет использовать типы 0 и 1.

Да, RD придётся настроить вручную и самому следить за его уникальностью. Но по-другому тут и не получится — сами маршрутизаторы не умеют отслеживать, есть ли на других узлах уже такой RD или нет. А если и есть, то не тот же ли самый это VPN?

И что же у нас получается?

1) Приходит от CE анонс новой сети. Пусть это будет 10.10.10.10/32, как мы и договаривались. PE добавляет этот маршрут в таблицу маршрутизации конкретного VRF. Заметьте, что в таблице маршрутизации хранится обычный IPv4 маршрут — никаких VPNv4. А это и не нужно: VRF изолированы друг от друга, как мы уже говорили раньше — это отдельный, пусть и виртуальный маршрутизатор.
2) BGP заметил, что появился новый префикс в VPN. Из конфигурации VRF он видит какой RD нужно использовать. Компилирует из RD и нового IPv4-префикса, VPNv4-префикс. Получается так:
C3PO: 64500:100:10.10.10.10/32
или так:
TARS: 64500:200:10.10.10.10/32

3) Создавая BGP Update, маршрутизатор вставляет туда полученный VPNv4-префикс, адрес Next Hop и прочие атрибуты BGP. Но кроме всего прочего, он добавляет в поле NLRI информацию о метке. Эта метка привязана к маршруту, или точнее говоря, VPNv4-префикс — это FEC, а в NLRI передаётся связка данного FEC и метки.
По-английски это называется Labeled Route — по-русски, пожалуй, маршрут, снабжённый меткой. Так данный PE уведомляет своих соседей, что если те получили от CE IP-пакет в эту сеть, ему нужно назначить такую сервисную метку.

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Обратите также внимание на адрес Next Hop — это Loopback PE. И это очень правильно — Ingress PE должен знать, до какого Egress PE нужно отправить пришедший пакет с данными, то есть знать его Loopback, а дальше хоть потоп.

4) Дальше BGP Update передаётся всем соседям, настроенным в секции VPNv4 family.

5) Удалённый PE получает этот Update, видит в NLRI, что это не обычный IPv4 маршрут, а VPNv4. Помните, да: если придёт два маршрута в одну сеть от разных клиентов — они не перепутаются, потому что имеют разные RD. Далее Egress PE определяет, в какой VRF этот маршрут нужно экспортировать и, собственно, делает это. Так маршрут появляется в таблице маршрутизации и FIB нужного VRF, а оттуда уходит в сеть клиента.

Теперь, когда PE получает от CE пакет с данными, который следует в сеть 10.10.10.10/32, в FIB этого VPN он находит сервисную метку (22) и Next-Hop (1.1.1.1). Инкапсулирует IP в MPLS, дальше ищет в уже глобальном FIB транспортную метку для Next Hop.
Сама транспортная метка как и прежде доставляется протоколами LDP или RSVP-TE, а сервисная — MBGP.

Сравните поле NLRI в обычном BGP и в MP-BGP.
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Route Target

Я ведь не зря выше в пятом пункте выделил фразу «определяет, в какой VRF этот маршрут нужно экспортировать» курсивом. За этой простотой скрывается ещё одна вещь — RT — Route Target.

Дело в том, что единственная роль RD — разнообразить жизнь BGP, то есть сделать маршруты уникальными. Несмотря на то, что он настраивается для VRF, он не является каким-то его уникальными идентификатором и на всех точках подключения это значение может быть даже разным. Поэтому PE не может определить в какой VRF засунуть маршрут на основе RD.
Да и это было бы не совсем в традициях BGP — разбирать переданный адрес, анализировать его перед тем, как куда-то анонсировать. Для этих целей у нас есть политики.
То есть в классическом BGP, пришлось бы вешать политики на экспорт маршрутов в VRF для каждого отдельно. И мы бы вручную отфильтровывали куда нужно пристроить каждый маршрут.
Один шаг в сторону упрощения — использование community. При отправке маршрута с одного PE на другой можно устанавливать определённый community — свой для каждого VRF, а на удалённой по этому community уже настраивать экспорт в соответствующий VRF. Это уже выглядит удобно и убедительно.
В MBGP зашли ещё немного дальше — идею community развили до понятия Route Target. По сути, это то же community — RT даже передаётся в атрибуте Extended Community, только все политики работают автоматически.
Формат RT, точно такой же, как у обычного Extended Community. Например:
64500:100

То есть он похож на первый тип RD. Отчасти поэтому RD и RT так часто путают.

На одной стороне в VRF настраивается RT на экспорт маршрута — тот RT, с которым он будет путешествовать к удалённому PE. На другой именно это же значение RT устанавливается на импорт. И наоборот.
Обычно, если задача — просто организовать услугу VPN для одного клиента, то RT на экспорт и на импорт совпадают на всех точках подключения.

Возвращаясь к нашему примеру:
R1 посылает R3 маршрут к сети 10.10.10.10/32 (TARS’ Robotics), указывает метку и всяческие другие параметры, и в числе прочего в атрибут Extended Community он записывает RT на экспорт маршрута, который настроен для данного VRF: 64500:200.
R3 получает этот анонс, проверят community, видит 64500:200, а из конфигурации он знает, что маршруты с этим RT нужно импортировать в VRF TARS.

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Красиво? Элегантно? Но это ещё не всё. Гибкость BGP и здесь проявляется в очередной раз. С помощью механизма RT вы можете импортировать маршруты как вам заблагорассудится как в пределах одного VPN, так и между различными VPN.

Вот вам два сценария:

1) Клиент хочет организовать топологию звезда, а не каждый с каждым. То есть центральная точка должна знать маршруты во все точки подключения, а вот те должны знать только маршруты до центра. Таким образом, любые взаимодействия между разделёнными клиентскими сетями будут осуществляться через центральный узел. Без всяких действий со стороны клиента — удобно же!
Решение: У каждого филиала — свой RT на экспорт. В филиалах RT на импорт равен RT на экспорт, настроенный на центральном узле — то есть они могут получать маршруты от центра. При этом на импорт нет RT других филиалов — соответственно напрямую их маршруты они не видят. Зато в центре на импорт настроены RT всех филиалов, то есть он будет получать всё-всё-всё.

2) Допустим, помимо наших двух VPN появился третий — R2D2. У него есть какие-то свои задачи, но ещё они поддерживают сервера с прошивками для микропроцессоров, шаблонами, дополнительными модулями итд, которые необходимы C3PO Electronic. При этом он не хочет светить в мир своими серверами, а для клиентов обеспечить доступ через сеть провайдера.
И тогда с помощью RT можно обеспечить взаимодействие между различными VPN. Для этого в C3PO Electronic мы настраиваем такой RT на импорт, который в VPN R2D2 был указан на экспорт. И, соответственно, наоборот.
Правда в этом случае нужно следить за тем, не пересекаются ли используемые подсети. Ведь несмотря на все RD и RT, BGP выберет только один маршрут в каждую подсеть в VRF.

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Осталось увидеть процесс передачи маршрута от и до:
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Практика

Традиционно на практике повторим всё то, что было до сих пор в теории.

VRF-Lite

Так и пойдём от простого к сложному. Начнём с ситуации, когда один клиент имеет два подключения в один маршрутизатор:

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Сначала попробуем настроить всё так, как мы делали это раньше:

Пинг между филиалами появляется — они друг друга видят.
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Но при этом они видят и, например, адрес Loopback R1:
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Соответственно, они видят всю сеть провайдера и будут видеть сети других клиентов.

Поэтому настраиваем VRF:

Чтобы в этот VRF поместить клиентов, нужно их интерфейсы привязать к VRF:

Обратите внимание, что после выполнения команды ip vrf forwarding C3PO, IOS удалил IP-адреса с интерфейсов, теперь их нужно настроить повторно. Это произошло для того, чтобы удалить указанные подсети из глобальной таблицы маршрутизации.

После повторной настройки адреса эти подсети появятся уже в таблице маршрутизации VRF.
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Проверяем снова пинг:
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

А вот до внутреннего адреса провайдера уже не будет:
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Аналогичные настройки нужно сделать и для клиента TARS:

Вот и славно. VRF TARS и C3PO полностью изолированы от сети провайдера и друг от друга:

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Теперь растягиваем удовольствие на сеть linkmeup:

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Первый шаг настройки — создать VRF на каждом узле от R1 до R3:

* Следует понимать, что VRF — это строго локальное для узла понятие. Вполне можно устанавливать разные имена VRF на разных маршрутизаторах.

Второй шагсоздать цепочку линковых сетей между всеми узлами и привязать каждую пару интерфейсов к нужному VRF.

Мы не стали указывать на схеме линковые адреса, чтобы не загромождать её. Для порядка выберем префиксы 10.0/16 для собственно сети провайдера (VLAN1), 192.168/16 для C3PO Electronic (Vlan 2) и 100.0/16 для TARS’ Robotics (Vlan 3).

ISIS для связности внутренней сети провайдера, OSPF для VPN.
OSPF поднимается и с клиентами, чтобы они изучали маршруты динамически. Соответственно, в них должна быть конструкция вроде этой:

Собственно всё. Теперь каждая сеть знает свои маршруты:

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

В принципе, на базе одной физической сети мы создали три абсолютно самостоятельных виртуальных сети, внутри которых можно делать практически всё, что угодно — хоть свой MPLS поднимать.

Но, как и было сказано раньше — это очень инертное решение, поэтому переходим к MPLS BGP VPN.

MPLS L3VPN

Я предлагаю в этот раз не брать уже готовую сеть, где уже всё преднастроено. Сейчас интереснее будет пройти этот путь с нуля, пусть и только вехами, не вдаваясь в детали.

Итак, мучаем всё ту же сеть, но упростим её удалением одного филиала:

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Начнём с одного клиента и двух точек подключения.

Клиентские маршрутизаторы имеют очень простую конфигурацию:

На клиентских узлах настроены линковые адреса с провайдером и интерфейс Loopback (как и прежде, мы используем этот интерфейс, чтобы имитировать сеть, дабы не плодить маршрутизаторы). То есть если на C3PO_2 мы увидим сеть 192.168.255.1/32, это значит, что мы увидели бы и всю сеть полностью.
В качестве локального протокола динамической маршрутизации используется OSPF. Собственно, именно он позволит сообщить адрес Loopback-интерфейса всем заинтересованным.

Что же касается сети провайдера.

1) Настраиваем IP-адреса: линковые и loopback. Клиентские пока не трогаем.

2) Теперь поднимаем ISIS в качестве IGP — он свяжет всю сеть linkmeup, распространив маршрутную информацию о линковых и Loopback-адресах.
Linkmeup_R1:

На этом шаге получили глобальную таблицу маршрутизации — необходимая платформа для следующего шага.

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

3) Включаем MPLS и LDP:

На этом шаге у нас построены LSP между всеми парами LSR:
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф
*Пример выделения меток на Linkmeup_R1.

Это базис для VPN. Эти LSP — это набор транспортных меток.

Мы выбрали здесь LDP, чтобы не усложнять конфигурацию. С RSVP-TE ещё поразбираемся в статье про Traffic Engineering.

4) Создаём VRF на двух узлах: Linkmeup_R1 и Linkmeup_R3.

Это позволяет нам обособить все данные одного клиента от других и от сети самого провайдера.
Здесь же указываем RD и RT. Поскольку задача у нас простая — связать все филиалы C3PO Electronic, то сделаем RD и RT совпадающими. Причём RT на Import и RT на Export тоже будут одинаковыми. Поскольку это обычная практика, существует даже специальная директива — both — тогда создаются оба RT сразу одинаковыми.
В 8-м выпуске мы выбрали номер AS для сети linkmeup — 64500. Он и используется в качестве административного поля.
Выделенный номер выбирается произвольно, но отслеживается, чтобы не было совпадения с другим, уже использованным.

5) Привязываем интерфейсы к VRF и указываем на них IP-адреса.

В таблицах маршрутизации VRF C3PO должны появиться настроенные сети, как Directly connected.
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

6) Нужно поднять протокол маршрутизации с клиентом. В нашем случае это будет OSPF, хотя с равным успехом это мог бы быть и ISIS или EBGP. Данный процесс никак не должен пересекаться с глобальной таблицей маршрутизации, поэтому помещаем его в VRF:

Учитывая, что у клиента OSPF уже настроен, мы должны увидеть адреса Loopback-интерфейсов в таблице маршрутизации.
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Как видите, Linkmeup_R1 видит 192.168.255.1, но не видит удалённый Loopback – 192.168.255.2. Аналогично и Linkmeup_R3 видит только маршруты со своей стороны. Это потому, что через сеть провайдера пока не передаются маршруты клиента.

7) Вот и пришло время MBGP.
Помните, мы говорили о BGP Free Core в прошлом выпуске? Этот приём мы вполне можем использовать и здесь. Нам без надобности BGP на Linkmeup_R2 — там и не будем его поднимать.

Первая часть — это базовая настройка соседей iBGP.

Вторая часть — настройка Address Family VPNv4 — это то, что позволит с Linkmeup_R1 на Linkmeup_R3 передать клиентские маршруты. Заметьте, что мы активируем передачу community, потому что этот атрибут используется RT.

Третья часть — это Address Family для данного конкретного VRF. Он работает с обычными IPv4 префиксами, но из VRF C3PO Electronic. Он нужен для того, чтобы передавать маршруты между MBGP и OSPF.
Linkmeup_R1:

Как видите, здесь настроен импорт маршрутов из процесса OSPF с номером 2.
Соответственно, нужно настроить и импорт маршрутов в OSPF из BGP:

И вот теперь всё завертится, закрутится.

Маршруты на PE:
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Маршруты на CE:
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Пинг между клиентскими сетями:
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Попытка пинга провайдерской сети:
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Подключение клиента по BGP
Теперь подключим клиента TAR’S Robotics. Маршруты между CE и PE будут передаваться по BGP или, иными словами, поднимаем EBGP с клиентским маршрутизатором.
Шаги 4 и 5 не будут отличаться. Приведём конфигурацию только одной стороны:

6) На CE EBGP настраивается самым обычным образом.
TARS_1:

Здесь указано, что TARS’ Robotics будет анонсировать свою сеть 172.16.255.1/32.
OSPF по-прежнему может быть нужен, но он уже будет использоваться для маршрутизации внутри этого филиала и только.

На PE всё то же самое, только не будет нового процесс OSPF (потому что с клиентом теперь EBGP, вместо OSPF) и меняется address family ipv4 vrf TARS:

Теперь Linkmeup_R1 является BGP-соседом TARS_1:

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Клиентские сети он получит сообщениями Update от CE.

7) Всё, что касается MBGP — то же самое. От того, что мы поменяли протокол взаимодействия с клиентом, в нём ничего не перевернётся.
То есть уже сейчас всё должно заработать (если, конечно, вторая сторона настроена):

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Полная конфигурация всех узлов с комментариями и без.

Что же мы натворили?

Давайте теперь проследим распространение меток.

Вот что передал Linkmeup_R1 узлу Linkmeup_R3.
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Вы видите здесь метку 22 для FEC 192.168.255.1 и адрес Next Hop 1.1.1.1.
Как её понимает маршрутизатор?
В ТМ VRF C3PO он заносит информацию о том, какой Next Hop:
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Рекурсивно вычислить, как доступен 1.1.1.1:
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Сервисную метку можно увидеть в таблице BGP для VRF C3PO:
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф
Кстати, здесь же видно и Next Hop.

Транспортная метка для FEC 1.1.1.1:
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Но, как обычно FIB содержит всю актуальную информацию без многократных обращений к ТМ:
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

FIB говорит нам: упаковать пакет с DIP 192.168.255.1 в стек меток <17, 22>и отправить его в сторону 10.0.23.2 в интерфейс FE0/0.

Всё тут предельно ясно и детерминировано.

Это были необходимые и достаточные действия для настройки базового L3VPN.
Ну и последний сценарий в рамках практики — это

Взаимодействие между VPN

Где-то там — далеко вверху — мы предположили существование некого третьего клиента — R2D2, у которого есть некоторые виды на C3PO — а конкретно они должны обмениваться маршрутами, находясь при этом в разных VPN.
Вот такая схема:
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Здесь мы поработаем с RT — сделаем так, чтобы маршруты из VPN C3PO передавались в R2D2 протоколом BGP. Ну, и обратно — куда без этого?

Конфигурация маршрутизатора R2D2:

Настройка VRF на Linkmeup_R3:

Собственно ничего здесь нового нет, за исключением настройки route-target в VRF.
Как видите, кроме обычной команды «route-target both 64500:300» мы дали ещё и «route-target import 64500:100». Она означает, что в VRF необходимо импортировать маршруты с RT 645500:100, то есть из VPN C3PO, как мы этого и хотели.
Сразу после этого маршруты появляются на R2D2:
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

После этого пинг успешно проходит до 192.168.255.2:
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Но, если запустить пинг до адреса 192.168.255.1, то он не пройдёт. Почему?
Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Для интереса вы можете добавить на TARS_2 Loopback 1 с адресом 10.20.22.22/32 — такой же, как у Loopback 0 R2D2 и посмотреть что из этого получится.

Доступ из VPN в Интернет

Может статься, что провайдер в тот же самый VPN подаёт и доступ в Интернет. Именно в VPN, не отдельный кабель, не отдельный VLAN, а именно доступ в Интернет через то же самое подключение, через те же адреса. Это может быть также капризом заказчика.
Тема интересная, но большая, поэтому я раскрою её чуть позже в отдельном микровыпуске.

Трассировка в MPLS L3VPN

Около года назад у меня была небольшая статейка с каверзными вопросами.
Среди них был один очень для нас актуальный.

Пришло время разобрать его получше.

Если вдруг, вы не знали, как работает обычная трассировка, то стыд вам я вкратце расскажу.

Вы отправляете получателю пакеты с постепенно увеличивающимся значением TTL. Обычно это UDP, но может быть и ICMP и даже TCP.

Сначала это 1. Пакет доходит до непосредственно подключенного маршрутизатора, тот уменьшает TTL, видит, что теперь он равен нулю, формирует сообщение «time exceeded in transit» и посылает его вам обратно. Так по адресу отправителя вы знаете первый хоп.

Потом это 2. Пакет доходит до второго маршрутизатора. Происходит то же самое, так вы узнали следующий хоп.

Наконец TTL достигает N, узел назначения получает пакет, видит, что это к нему, формирует ответ (в соответствии с протоколом), по которому вы понимаете, что всё, кончено, и концы в консоль.

Кроме того, можно добавить, что на каждой итерации вы посылаете не один, а несколько пакетов (как правило, три).

В чём же особенность трассировки через L3VPN?

Пока пакет коммутируется по меткам значения каких-бы то ни было полей любых заголовков глубже MPLS не имеют никакого значения. В том числе и TTL. Маршрутизаторы ориентируются на TTL в заголовке MPLS.

В первом сценарии вы сможете увидеть каждый маршрутизатор на пути к получателю. Результат трассировки будет таким:

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

А что, если у меня есть закономерное желание, чтобы клиенты не видели топологию моей сети своими трассировками? Надо запретить, скажете вы. Как отец двухгодовалой дочки, я вам говорю: не нужно запрещать. Можно и нужно поступить хитрее – я просто не буду внутри своей сети уменьшать TTL MPLS до нуля.

Для этого используется второй сценарий — установить TTL MPLS в 255. В этом случае при трассировке с TARS_1 вы увидите следующий путь: R1R3TARS_2.

Что такое номер врф. Смотреть фото Что такое номер врф. Смотреть картинку Что такое номер врф. Картинка про Что такое номер врф. Фото Что такое номер врф

Поведение по умолчанию различается у вендоров.
Циска считает, что инженер знает, что делает и чем ему грозит каждое действие, поэтому выбирает первый путь, а, например, Хуавэй предпочитает перестраховаться — лучше сначала запретить, дабы чего не вышло, а потом инженер разрешит при необходимости.
Как бы то ни было, режим всегда можно поменять — в нашем случае в режиме глобальной конфигурации нужно для этого дать команду «no mpls ip propagate-ttl».

Замечательный пятидесятитрёхстраничный документ по трассировке на nano.org.

Замечательная глава Вопросы и Ответы. Мне очень нравится, потому что сюда можно засунуть всё, чему не хватило места в основной статье.

В1: Можно ли говорить, что P — это Intermediate LSR, а PE — это LER?

Строго говоря, нет. Как минимум, потому что понятия LER, LSR — это базовый MPLS и касаются LSP, а P, PE, CE — только в VPN.
Хотя, конечно, обычно тот узел, к которому подключен клиент, выполняет и роль Ingress/Egress LSR в MPLS и роль PE в VPN.

В2: Почему MBGP — это MultiProtocol BGP, а не, например, MPLS BGP? Что в нём многопротокольного?

Задача BGP — передавать маршруты. Исторически и классически — это IPv4. Но помимо обычных префиксов BGP может передавать и массу других: IPv6, IPX, Multicast, VPN. Каждый тип префиксов настраивается как отдельный Address Family — то есть группа адресов одного типа. Собственно вот за эту возможность передавать маршрутные данные разных протоколов такой BGP и получил имя MBGP.

В3: Где передаются сами маршруты, RD и их атрибуты в MBGP?

RD является частью VPNv4-маршрута и вместе с ним передаётся в секции NLRI — Network Layer Reachability Information.
RT передаётся в секции Extended Community, поскольку им и является по своей сути.
Вообще многие атрибуты VPN-маршрута в сообщении BGP Update вынесены в специальную секцию — MP_REACH_NLRI, частью которого являются привычные NLRI и Next-Hop.

В4: Так в чём всё-таки разница между RD и RT? Почему недостаточно только одного из них? И я правильно понял: RD не является идентификатором VPN, как и RT?

Да, ни RD, ни RT однозначно не идентифицируют VPN. Как для одного VPN на разных маршрутизаторах могут быть настроены разные RD/RT, так и для двух разных теоретически могут быть одинаковые RD/RT.

Ещё раз:
RD — Route Distinguisher — его основная и единственная задача — сделать так, чтобы маршруты не смешались в MBGP — два одинаковых маршрута из разных VPN должны быть таки двумя разными маршрутами. RD не говорит PE, куда нужно экспортировать маршрут и существует/работает только при передаче маршрута.
RT — Route Target. Он не помогает разделить маршруты разных VPN, но он позволяет экспортировать их в те VRF, в которые надо. То есть он имеет значение в момент импорта маршрута из VRF в самом начале и в момент экспорта в VRF на другом конце в самом конце. Передаётся в Extended Community.
Одного RD не хватит, потому что PE не будут знать, как правильно распорядиться маршрутами.
А одного RT не хватит, потому что маршруты смешаются при передаче и потеряются все, кроме одного.

Можно было бы оставить только RD, например, и на его основе решать, куда маршрут передать, но это и не гибко и идёт в разрез с принципами BGP.

В5: Молодой, человек, мы крупный оператор, мы занимаемся серьёзными вещами — строим Adnvanced LTE, пока поддерживаем 2G, у нас нет клиентов, которые хотят VPN, ваша гигантская статья бесполезна для нас.

Вовсе не зря. Как минимум ещё одно применение — это разделение своих собственных услуг в пределах своей же сети.
Например, если вы оператор сотовой связи и предоставляете услуги в сетях 2G, 3G, 4G и строите уже вовсю 5G, то свою сеть Mobile Backhaul (MBH) вы можете разбить на 5 VPN: по одной для каждого поколения радиосвязи и одну для сети управления элементами. Это позволит к каждой сети применять свои правила маршрутизации, качества обслуживания, политики обработки трафика. А если совместить это ещё и с Traffic Engineering…
Причём тут даже не надо будет настраивать взаимосвязь между VPN в пределах MBH — каждая сеть изолирована от абонента до Core Network: у 2G в ядре стоит BSC, у 3G — RNC, у 4G — MME. И только в ядре сети на специальном маршрутизаторе или файрволе можно их скрестить.

А вот ещё пример: столь популярная ныне технология MVNO — Mobile Virtual Network Operator — когда одна сеть MBH используется для двух и более операторов. Здесь уже однозначно нужно будет разделять и властвовать.

Но как ни крути, да, MPLS VPN — это всё-таки преимущественно игрушка больших воротил телекома или интерпрайза.

В6: Не возьму в толк: как Egress PE, получив пакет с одной меткой, то есть если произошёл PHP, определяет что эта метка VPN, а не транспортная, и, соответственно, что по метке нужно передать его в VRF, а не скоммутировать куда-то дальше?

Всё очень просто — пространство меток для VPN, для LSP, для всевозможных FRR и CSC — общее. Не может быть такого, что для VPN и для LSP была выделена одна и та же метка. Ну а каждой метке при её создании ставится в соответствие её роль и действия при её получении.

Полезные ссылки

Не устаю говорить, что все термины и сокращения, использованные в статье, вы можете найти в глоссарии lookmeup. Ладно, я лукавлю: не все, а лишь большинство
Горячо мной любимый Джеф Дойл: VPN в двух частях: Part I, Part II.
О различиях RD и RT пишет Jeremy Stretch: Route Distinguishers and Route Targets.

Как вы могли заметить, создание L3VPN — это большое количество ручной работы. И в случае необходимости организовать взаимодействие между VPN, придётся настроить не только один Интернет-шлюз даже в самом правильном и красивом способе, но и клиентские PE.
Но вся эта работа необходима, здесь нет избыточности. Для контраста вспомните, во что бы вам встала настройка, VPN с помощью GRE или VRF-Lite.

И обратите внимание, маршрутизатор P — Linkmeup_R2 — оставался абсолютно неизменным в течение всех стадий настройки с момента первоначального включения на нём MPLS. Это ли не прелестно?!

Нельзя сказать, что этой небольшой статьёй мы объяли весь L3VPN, в частности остались за пределами общей картины такие интереснейшие вещи, как Inter-AS VPN, коих 3 вида, и CSC (Carrier Support Carrier). Но я надеюсь конкретно по этим двум механизмам написать отдельную статью.
L3VPN — вещь зрелая, продуманная и стандартизированная. У всех производителей она работает плюс/минус одинаково.
А вот впереди ещё статья про L2VPN, которая включит в себя AToM, VLL, PWE3 и VPLS. В ней узнаем, какую роль сыграли Cisco и Juniper в развитии этого направления, какие радости в нашу жизнь привносят такие услуги, как CES или EoMPLS. Наберитесь терпения — в этом году я постараюсь увеличить темпы, набрать обороты, раскрутиться и увеличить КПД.

Иллюстратор проекта — Анастасия Мецлер.
За помощь в подготовке статьи, спасибо JDima.

Источник

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *