Акс белый: Мужской уход, стиль жизни и лайфхаки

Содержание

Акс/ванна SofiDeMarko Набор №48 (белый) ВК-48-белый

Характеристики Описание Оплата и доставка Отзывы Наличие в магазинах

  • Доставка осуществляется за порог квартиры или частного домовладения. Это подразумевает услуги грузчиков по перемещению доставленного товара от транспорта до места удобного для осмотра товара или его временного хранения, включая подъем на любой этаж. Работы по демонтажу дверей и т.п. не производятся.
  • В случае если товар по габаритам не проходит в дверные проёмы подъезда, квартиры или лифта, допускается его распаковка в присутствии покупателя.
  • Товар доставляется как в заводской упаковке, так и в специальной транспортировочной пленке.
  • В случае невозможности доставки — либо нет подъезда на грузовой машине, качество дорожного покрытия не соответствует безопасному проезду (провозу товара), а также невозможности осуществить доставку по другим причинам, не зависящим от исполнителя, покупатель обязан самостоятельно забрать оплаченный товар в трехдневный срок с момента уведомления о невозможности доставки.

Отзывы и оценки покупателей

Наличие в магазинах

г. Ростов-на-Дону, ул. 50-лет Ростсельмаша, д.1/52 09:00-19:00 Под заказ На карте
г. Ростов-на-Дону, ул. Красноармейская, д.157 10:00-22:00 Под заказ На карте
г. Ростов-на-Дону, пр. М.Нагибина, д.32Ж в ТЦ «Горизонт» 11:00-22:00
Под заказ
На карте
г. Ростов-на-Дону, ул. Малиновского, д.27а 10:00-21:00 Под заказ На карте
г. Ростов-на-Дону, пр. Космонавтов, д. 19А/28Ж в ТРЦ «ПАРК» магазин техники и мебельный салон 10:00-22:00 Под заказ На карте
г. Ростов-на-Дону, пр. Космонавтов, д. 19А/28Ж в ТРЦ «ПАРК» «Посудная лавка» 10:00-22:00 Под заказ На карте
г. Ростов-на-Дону, пр. Космонавтов, д. 19А/28Ж в ТРЦ «ПАРК» магазин посуды и декора 10:00-22:00 Под заказ На карте
г. Ростов-на-Дону, пр. Космонавтов, д. 19А/28Ж в ТРЦ «ПАРК» магазин текстиля
10:00-22:00
Под заказ На карте

Акс/ванна SofiDeMarko Набор №23 (белый) ВК-23-белый

Характеристики Описание Оплата и доставка Отзывы Наличие в магазинах

  • Доставка осуществляется за порог квартиры или частного домовладения. Это подразумевает услуги грузчиков по перемещению доставленного товара от транспорта до места удобного для осмотра товара или его временного хранения, включая подъем на любой этаж. Работы по демонтажу дверей и т.п. не производятся.
  • В случае если товар по габаритам не проходит в дверные проёмы подъезда, квартиры или лифта, допускается его распаковка в присутствии покупателя.
  • Товар доставляется как в заводской упаковке, так и в специальной транспортировочной пленке.
  • В случае невозможности доставки — либо нет подъезда на грузовой машине, качество дорожного покрытия не соответствует безопасному проезду (провозу товара), а также невозможности осуществить доставку по другим причинам, не зависящим от исполнителя, покупатель обязан самостоятельно забрать оплаченный товар в трехдневный срок с момента уведомления о невозможности доставки.

Отзывы и оценки покупателей

Наличие в магазинах

г. Ростов-на-Дону, ул. 50-лет Ростсельмаша, д.1/52 09:00-19:00 Под заказ
На карте
г. Ростов-на-Дону, ул. Красноармейская, д.157 10:00-22:00 Под заказ На карте
г. Ростов-на-Дону, пр. М.Нагибина, д.32Ж в ТЦ «Горизонт» 11:00-22:00 Под заказ На карте
г. Ростов-на-Дону, ул. Малиновского, д.27а
10:00-21:00
Под заказ На карте
г. Ростов-на-Дону, пр. Космонавтов, д. 19А/28Ж в ТРЦ «ПАРК» магазин техники и мебельный салон 10:00-22:00 Под заказ На карте
г. Ростов-на-Дону, пр. Космонавтов, д. 19А/28Ж в ТРЦ «ПАРК» «Посудная лавка» 10:00-22:00 Под заказ
На карте
г. Ростов-на-Дону, пр. Космонавтов, д. 19А/28Ж в ТРЦ «ПАРК» магазин посуды и декора 10:00-22:00 Под заказ На карте
г. Ростов-на-Дону, пр. Космонавтов, д. 19А/28Ж в ТРЦ «ПАРК» магазин текстиля 10:00-22:00 Под заказ На карте

Системы безопасности и видеонаблюдения оптом и в розницу с доставкой в Пермь

  • 21.07.2021

    Сертификат соответствия требованиям ТР ЕАЭС 043/2017 на оборудование адресной противопожарной системы RUBEZH R3

    Читать далее
  • 16.07.2021

    Старт продаж IP-системы оповещения на моноблоках SONAR+

    Читать далее
  • 14.07.2021

    Вебинар «СКУД и видеонаблюдение. Все, что нужно знать об этой интеграции»

    Читать далее
  • 13.07.2021

    Стартовали продажи считывателей контроля доступа RUBEZH STRAZH

    Читать далее
  • 13.07.2021

    RUBEZH R3-Link: как это сделано? Премьера фильма на YouTube

    Читать далее
  • 28.06.2021

    Регистрируйтесь на новый онлайн-курс для партнёров Ajax Systems

    Читать далее
  • 15.06.2021

    ЖК дисплеи для видеостен LATEOS

    Читать далее
  • 13.06.2021

    Macroscop назван одним из крупнейших поставщиков российских ИТ-решений

    Читать далее
  • 09.06.2021

    Интеграция СКУД RUBEZH STRAZH с BIOSMART: в чем суть?

    Читать далее
  • 07.06.2021

    Аккумуляторные батареи Delta DT, DTM

    Читать далее
  • 03.06.2021

    Новинки PRO-серии: новые сетевые регистраторы для хранения больших архивов и классификации объектов

    Читать далее
  • 03.06.2021

    Установка тревожной кнопки, как одна из мер повышения антитеррористической защищенности

    Читать далее
  • 01.06.2021

    Новинки PRO-серии: Вызывные панели для IP-домофонии и контроля доступа

    Читать далее
  • 26.05.2021

    Первые биометрические терминалы доступа от бренда HiWatch

    Читать далее
  • 26.05.2021

    Новые IP-камеры D-Link удостоены премии iF Design Award 2021

    Читать далее
  • 23.05.2021

    Новинки PRO-серии: многофункциональные сетевые видеорегистраторы с Extended PoE и функцией Virtual Host

    Читать далее
  • 20.05.2021

    Два новых ИБП SKAT в корпусе на DIN рейку

    Читать далее
  • 19.05.2021

    Начались продажи новых скоростных проходов

    Читать далее
  • 19.05.2021

    Зарядная мини-станция Delta Tourist Camper 2

    Читать далее
  • 14.05.2021

    Узнайте первыми о новых устройствах Ajax

    Читать далее
  • 12.05.2021

    ШОРОХ-3В — извещатель охранный совмещенный

    Читать далее
  • 12.05.2021

    Гелевые аккумуляторы

    Читать далее
  • 10.05.2021

    На старт, внимание, серия вебинаров по проектированию от RUBEZH!

    Читать далее
  • 10.05.2021

    Новинки PRO-серии: многофункциональные сетевые видеорегистраторы

    Читать далее
  • 07.05.2021

    График вебинаров компании БАСТИОН в мае

    Читать далее
  • 07.05.2021

    Солнечная панель DELTA Tourist Light 6

    Читать далее
  • 29.04.2021

    Новинка! Дезинфекционно-досмотровая станция БЛОКПОСТ

    Читать далее
  • 29.04.2021

    Универсальный радиокомплект ДУ NAVIgard PB 16 KIT

    Читать далее
  • 27.04.2021

    EZVIZ C3W Color Night Pro — 4МП Wi-Fi камера с цветной ночной съемкой

    Читать далее
  • 25.04.2021

    Снижение цен на IP-терминалы с встроенным распознаванием лиц

    Читать далее
  • 21.04.2021

    Расширение ассортимента: кронштейны для установки дополнительного оборудования

    Читать далее
  • 17.04.2021

    Новый ББП РАПАН — лучший среди равных!

    Читать далее
  • 13.04.2021

    Комплект аналогового видеодомофона DS-D100K

    Читать далее
  • 13.04.2021

    С HiWatch на высоте!

    Читать далее
  • 13.04.2021

    Быстро, точно и просто — тестеры емкости АКБ

    Читать далее
  • 01.04.2021

    Большая презентация новой версии Macroscop 3.3

    Читать далее
  • 24.03.2021

    Распознавание эмоций в новой версии Macroscop 3.3

    Читать далее
  • 23.03.2021

    Интеграция СКУД RUBEZH STRAZH с BIOSMART

    Читать далее
  • 22.03.2021

    Новые 4 Мп камеры HiWatch со встроенным микрофоном

    Читать далее
  • 10.03.2021

    Обновление в линейке СКУД SPRUT LOCK

    Читать далее
  • 10.03.2021

    Новинка CAME – вызывная панель XVP

    Читать далее
  • 02.03.2021

    Получение сертификата ЕАЭС ТР 043/2015 на приборы интерфейса R3-Link

    Читать далее
  • 02.03.2021

    Новая версия Macroscop 3.3 позволит работать с СКУД Paxton Net2

    Читать далее
  • 15.02.2021

    RUBEZH R3: новые возможности в полном соответствии с СП 484.1311500.200

    Читать далее
  • 07.02.2021

    ИБП для групповой системы аварийного освещения SkatLED-ELS UPS!

    Читать далее
  • 05.02.2021

    Главные тренды в сфере безопасности в 2021 году

    Читать далее
  • 03.02.2021

    Пополнение линейки скоростных проходов

    Читать далее
  • 29.01.2021

    Новая модель TVI-камеры HiWatch DS-T206(B) c вариообъективом и EXIR-подсветкой

    Читать далее
  • 27.01.2021

    Контроль температуры в системах PERCo

    Читать далее
  • 26.01.2021

    Прокачай свой Autodesk Revit!

    Читать далее
  • МЕТОД/ МАКСИМЕРА Высокий шкаф с отд д/акс д/уборки, белый Акстад, матовая поверхность синий, 40x60x200 см

    Описание

    Главные черты

    Ящик с доводчиком закрывается плавно, мягко и бесшумно.

    Ящик напольного/высокого шкафа выдвигается полностью, обеспечивая удобный доступ к содержимому.

    Cамозакрывающийся ящик с плавным ходом и стопором.

    Съемная полка – организуйте место для хранения в соответствии с вашими потребностями.

    Дверцу можно установить справа или слева.

    Каркас имеет устойчивую конструкцию благодаря стенкам из ДСП толщиной 18 мм.

    Защелкивающиеся петли устанавливаются на дверцу без шурупов, поэтому дверцу легко снять и помыть.

    Дизайнер:

    Размеры товара

    Ширина: 40.0 см

    Глубина: 61.9 см

    Высота: 208.0 см

    Каркас, глубина: 60.0 см

    Каркас, высота: 200.0 см

    Экологическая информация

    Материалы

    Дверь

    Основные части: ДВП

    Внутренняя сторона: Меламиновая пленка

    Внешняя сторона: Полимерная пленка (мин. 90 % переработанного материала)

    Каркас высокого шкафа

    Каркас: ДСП, Меламиновая пленка, Пластиковая окантовка

    Задняя стенка: ДВП, Акриловая краска

    Ящик, средний

    Боковая часть ящика/ Задняя стенка ящика: Сталь, Эпоксидное/полиэстерное порошковое покрытие

    Дно ящика: ДСП, Меламиновая пленка, Меламиновая пленка

    Направляющие: Оцинкованная сталь

    Обвязка ящика: Сталь, Пигментированное порошковое покрытие на основе эпоксидной/полиэфирной смолы

    Амортизаторы: Пластмасса АБС, Масло

    Полка

    ДСП, Меламиновая пленка, Полипропилен

    Фронтальная панель ящика, средняя

    ДВП, Акриловая краска

    Модуль д/хран аксессуаров д/уборки

    Основные части: Сталь, Пигментированное порошковое покрытие на основе эпоксидной/полиэфирной смолы

    Пластмассовые части: Полипропилен

    Петля со встроенным стопором

    Сталь, Никелирование

    Инструкция по уходу

    Протирать тканью, смоченной водой или неабразивным моющим средством.

    Вытирать чистой сухой тканью.

    Информация об упаковке

    Упаковка: 8
    МАКСИМЕРА

    ящик, средний

    003.681.02

    Ширина упаковки, см: 31

    Высота упаковки, см: 7

    Длина упаковки, см: 54

    Вес упаковки, кг: 5,55

    Упаковки: 1

    УТРУСТА

    модуль д/хран аксессуаров д/уборки

    103.681.54

    Ширина упаковки, см: 32

    Высота упаковки, см: 15

    Длина упаковки, см: 135

    Вес упаковки, кг: 8,4

    Упаковки: 1

    УТРУСТА

    полка

    203.681.63

    Ширина упаковки, см: 37

    Высота упаковки, см: 4

    Длина упаковки, см: 58

    Вес упаковки, кг: 5,2

    Упаковки: 1

    УТРУСТА

    петля со встроенным стопором

    404.272.65

    Ширина упаковки, см: 22

    Высота упаковки, см: 6

    Длина упаковки, см: 26

    Вес упаковки, кг: 0,43

    Упаковки: 2

    МЕТОД

    каркас высокого шкафа

    503.679.54

    Ширина упаковки, см: 61

    Высота упаковки, см: 7

    Длина упаковки, см: 210

    Вес упаковки, кг: 38,4

    Упаковки: 1

    УТРУСТА

    фронтальная панель ящика, средняя

    803.681.41

    Ширина упаковки, см: 15

    Высота упаковки, см: 2

    Длина упаковки, см: 37

    Вес упаковки, кг: 0,59

    Упаковки: 1

    АКСТАД

    дверь

    904.912.06

    Ширина упаковки, см: 42

    Высота упаковки, см: 3

    Длина упаковки, см: 209

    Вес упаковки, кг: 11,97

    Упаковки: 1

    Новая философия AXE от BBH

     

    Мужской бренд для ухода за телом AXE (принадлежит Unilever) запустил новую масштабную рекламную кампанию «Axe Black — без лишних слов». Концепцию кампании на глобальном уровне для всех стран разработал давний партнер бренда — команда агентства BBH. Российская адаптация идеи и рекламных материалов (принты, пресса, digital , ТВ) принадлежит Deluxe Interactive Moscow и IWILL. Медийная поддержка кампании осуществляется агентством Initiative.

    «В мире, где правит шум, недосказанность лучше громких фраз. В современном мире всё вокруг слишком громкое, яркое, навязчивое. Нас учат, как себя вести, что говорить, как одеваться. Но, если все вокруг кричат, то никто не будет услышан. Поэтому философия Axe Black – это стремление быть заметным без лишних слов», — рассказал Арам Даниелян, старший бренд – менеджер AXE.

    Для AXE Black Deluxe Interactive разработал интегрированную коммуникационную стратегию с центром в digital, локализовал креативную концепцию, а также — разработал и произвел новый календарь. Стратегический директор Deluxe Interactive Павел Меринов рассказал, что перед агентством стояла задача репозиционировать бренд, но сохранить в бренде AXE то, благодаря чему он известен и так популярен – его сущность.

    «Если раньше AXE был афродизиаком, повышающим шансы не очень уверенного в себе парня, то сейчас бренд повзрослел, и его аудитория – тоже. AXE Black – более лаконичный, более сдержанный и более спокойный. И как продукт — это уже не просто набор разных средств – это цельная мужская линия средств по уходу за собой», — отметил он.

    Напомним, что в конце января текущего года в число партнеров Axe вошло голландское агентство 72andSunny. Согласно условиям сотрудничества, агентство займется разработкой глобального позиционирования бренда.

    Бренд AXE принадлежит компании Unilever, занимающей 4 место в рейтинге крупнейших рекламодателей Sostav.ru. Марка известна благодаря весьма скандальным рекламным кампаниям. Ключевым продуктом AXE остается популярный парфюмированный дезодорант-спрей.

     

    Рекламные ролики

     

    Принты

     

    Антиперспирант спрей Axe Urban Защита от запаха с антибактериальным эффектом

    Самые выгодные предложения по Антиперспирант спрей Axe Urban Защита от запаха с антибактериальным эффектом

     
     

    Имя скрыто, 31.07.2020

    Комментарий: Запах: Необычный для AXE,но довольно приятный
    Из указанных по времени действия 48 часов, максимум держит часов 12

    Имя скрыто, 09.05.2020

    Комментарий: Супер запах вообще не потеешь

    Имя скрыто, 22.04.2020

    Комментарий: Дезодорант с хорошим запахом.

    Имя скрыто, 08.12.2019

    Комментарий: Запах нравится, беру его только из-за него. Держит пот часов 8-10

    Daria Damaskina, 22.11.2019

    Достоинства: Запах бомбический! Очень нравится, когда мужчина пахнет этим дезодорантом. Плюс от пота защищает хорошо

    Недостатки: Не заметила

    Имя скрыто, 30.10.2019

    Достоинства: Аромат

    Недостатки: Не долго держит запах

    Комментарий: Нравится запах

    Имя скрыто, 25.10.2019

    Комментарий: Сначала запах кажется противным, но потом он раскрывается на коже и становится обалденным. Оставляет следы на одежде, поэтому минус 1 звезда.

    Георгий Б., 23.10.2019

    Достоинства: Дизайн флакона.

    Недостатки: Ужасный резкий запах. Химическая атака.

    Комментарий: Запах — умри всё живое! Удушающий!

    Имя скрыто, 06.08.2019

    Достоинства: защита на целый день

    Недостатки: Очень яркий

    Комментарий: Распылитель обычный, дисперсия мелкая, работает все исправно. Покрывает подмышечную впадину с рекомендуемого расстояния в 15-20 см отлично.
    Вот такой вот он, не уверена, что прямо женский, но в целом интересный аромат унисекс Axe Urbun Clean Protection. Перебьет любой запах.

    Имя скрыто, 30.07.2019

    Комментарий: Лучший из всех Аксов, что я пробовал

     

    Имя скрыто, 25.07.2019

    Комментарий: Оставляет белые следы на темной одежде

    kinematik, 08.07.2019

    Достоинства: Действительно защищает

    Недостатки: Странный запах

    Комментарий: Антиперспирант действительно выполняет свою прямую функцию — защита от пота. Смущает отдушка — пахнет как смесь перцев. В целом, рекомендую

    Имя скрыто, 29.05.2019

    Комментарий: Норм запах и держится хорошо, не оставляет белых следов, и так же не даёт проявится желтым следам на одежде.

    Имя скрыто, 20.05.2019

    Комментарий: Приятный аромат, девушке нравится

    Имя скрыто, 15.05.2019

    Достоинства: Запах, качество, цена

    Недостатки: Нестойкий

    Комментарий: Постоянно пользуюсь дезодорантами Аxe, у меня есть коллекция из 10 штук, и причём каждый отличается по запаху. Этот дезодорант пахнет нежно, вкус жевачки или конфеты. Единственный минус, недостаточно стойкий, но он не парфюмированный, поэтому нормально.

    Имя скрыто, 15.05.2019

    Комментарий: Отличный дезик, не потеешь даже, цена приемлемая для такого отличного дезика

    Василий, 22.04.2019

    Достоинства: Запах, дизайн, объем.

    Недостатки: Цена

    Комментарий: Запах очень приятный и бренд мой любимый всем советую

    Имя скрыто, 14.04.2019

    Комментарий: Очень хороший антиперспирант

    Имя скрыто, 16.03.2019

    Комментарий: Я хоть и девушка, но тоже им пользуюсь, потому что покорил запах) из плюсов как раз он и его стойкость )

    Имя скрыто, 28.02.2019

    Достоинства: Всё

    Недостатки: Никаких

    Комментарий: Это же дезодорант, что о нём можно написать?! Запах нейтральный, следов и раздражения не оставляет. Всё ОК!

    Имя скрыто, 27.02.2019

    Комментарий: Оболденый запах ну и эффект на ура

    Имя скрыто, 25.02.2019

    Комментарий: Запах на любителя. Но держится долго. Телочка нравится

    Имя скрыто, 01.02.2019

    Комментарий: Запах на любителя, оставляет следы, но со своей задачей справляется

    Имя скрыто, 26.01.2019

    Комментарий: Пахнёт отвратительно и к тому же оставляет следы на одежде.

    Имя скрыто, 25.01.2019

    Достоинства: Понравился запах. Брызгает чем то сухим, поэтому никакой влажности на подмышках не ощущаешь. Другие дезодоранты (AXE и не только) оставляют влажные подмышки и не очень приятные ощущения.

    Недостатки: Потёк к концу использования. Половина мимо уходить стало. На фото видно, что крышка вся белая. Но возможно от неправильного использования механизма

    Базовая архитектура

    для кластера службы Azure Kubernetes (AKS) — Центр архитектуры Azure

    В этой эталонной архитектуре мы построим базовую инфраструктуру, которая развертывает кластер службы Azure Kubernetes (AKS). Эта статья содержит рекомендации по сети, безопасности, идентификации, управлению и мониторингу кластера на основе бизнес-требований организации.

    Реализация этой архитектуры доступна на GitHub: Базовая эталонная реализация безопасной службы Azure Kubernetes (AKS).Вы можете использовать его в качестве отправной точки и настроить в соответствии с вашими потребностями.

    Примечание

    Эта эталонная архитектура требует знания Kubernetes и его концепций. Если вам нужна дополнительная информация, см. Ресурсы в разделе Связанные статьи .

    Топология сети

    В этой архитектуре используется топология сети со звездообразным узлом. Концентратор и луч (ы) развернуты в отдельных виртуальных сетях, подключенных через пиринг. Некоторые преимущества этой топологии:

    • Раздельное управление.Это позволяет применять управление и контролировать радиус взрыва. Он также поддерживает концепцию зоны приземления с разделением обязанностей.

    • Минимизирует прямую доступность ресурсов Azure к общедоступному Интернету.

    • Организации часто работают с региональными топологиями узловых звеньев. В будущем топологии сети со звездообразными концентраторами могут быть расширены и обеспечивать изоляцию рабочих нагрузок.

    • Все веб-приложения должны требовать службы брандмауэра веб-приложений (WAF) для управления потоками HTTP-трафика.

    • Естественный выбор для рабочих нагрузок, охватывающих несколько подписок.

    • Делает архитектуру расширяемой. Чтобы приспособиться к новым функциям или рабочим нагрузкам, вместо изменения топологии сети можно добавлять новые периферийные устройства.

    • Определенные ресурсы, такие как брандмауэр и DNS, могут совместно использоваться в разных сетях.

    концентратор

    Виртуальная сеть концентратора является центральной точкой подключения и наблюдения.Внутри сети развернуты три подсети.

    Подсеть
    для размещения брандмауэра Azure

    Брандмауэр Azure — это брандмауэр как услуга. Экземпляр брандмауэра защищает исходящий сетевой трафик. Без этого уровня безопасности поток может взаимодействовать со сторонней вредоносной службой, которая может украсть конфиденциальные данные компании.

    Подсеть для размещения шлюза

    Эта подсеть является заместителем для шлюза VPN или ExpressRoute. Шлюз обеспечивает связь между маршрутизаторами в локальной сети и виртуальной сети.

    Подсеть
    для размещения Azure Bastion

    Эта подсеть является заместителем для Azure Bastion. Вы можете использовать Bastion для безопасного доступа к ресурсам Azure, не открывая ресурсы в Интернете. Эта подсеть используется только для управления и операций.

    Говорил

    Лучевая виртуальная сеть будет содержать кластер AKS и другие связанные ресурсы. Спица имеет три подсети:

    Подсеть
    для размещения шлюза приложений Azure

    Azure Application Gateway — это балансировщик нагрузки веб-трафика, работающий на уровне 7.В эталонной реализации используется SKU Application Gateway v2, который включает брандмауэр веб-приложений (WAF). WAF защищает входящий трафик от распространенных атак веб-трафика. Экземпляр имеет общедоступную IP-конфигурацию внешнего интерфейса, которая принимает запросы пользователей. По умолчанию для шлюза приложений требуется выделенная подсеть.

    Подсеть для размещения входящих ресурсов

    Для маршрутизации и распределения трафика Traefik является контроллером входящего трафика, который будет выполнять входящие ресурсы Kubernetes.В этой подсети существуют внутренние балансировщики нагрузки Azure.

    Подсеть для размещения узлов кластера

    AKS поддерживает две отдельные группы узлов (или пулы узлов). Пул системных узлов размещает модули, которые запускают основные службы кластера. Пул пользовательских узлов запускает рабочую нагрузку Contoso и входной контроллер, чтобы облегчить входящую связь с рабочей нагрузкой. Рабочая нагрузка — это простое приложение ASP.NET.

    Для получения дополнительной информации см. Топологию сети с распределенными узлами в Azure.

    Планирование IP-адресов

    Адресное пространство виртуальной сети должно быть достаточно большим, чтобы вместить все подсети. Учет всех лиц, которые будут получать трафик. IP-адреса для этих объектов будут выделены из адресного пространства подсети. Учтите эти моменты.

    • Обновление

      AKS регулярно обновляет узлы, чтобы обеспечить актуальность функций безопасности и других системных исправлений на базовых виртуальных машинах. Во время процесса обновления AKS создает узел, на котором временно размещаются модули, в то время как узел обновления блокируется и опорожняется.Этому временному узлу назначается IP-адрес из подсети кластера.

      Для модулей вам могут потребоваться дополнительные адреса в зависимости от вашей стратегии. Для непрерывных обновлений вам потребуются адреса временных модулей, которые запускают рабочую нагрузку, пока обновляются фактические модули. Если вы используете стратегию замены, модули удаляются и создаются новые. Таким образом, адреса, связанные со старыми модулями, используются повторно.

    • Масштабируемость

      Примите во внимание количество узлов всех системных и пользовательских узлов и их максимальный предел масштабируемости.Предположим, вы хотите масштабировать на 400%. Вам понадобится в четыре раза больше адресов для всех этих масштабируемых узлов.

      В этой архитектуре с каждым модулем можно связаться напрямую. Итак, каждому модулю нужен индивидуальный адрес. Масштабируемость Pod повлияет на вычисление адреса. Это решение будет зависеть от вашего выбора количества стручков, которые вы хотите вырастить.

    • Адреса частной ссылки Azure

      Фактор адресов, необходимых для связи с другими службами Azure по частной ссылке.В этой архитектуре у нас есть два адреса, назначенных для ссылок на реестр контейнеров Azure и хранилище ключей.

    • Определенные адреса зарезервированы для использования в Azure. Их нельзя назначить.

    Предыдущий список не является исчерпывающим. Если в вашем проекте есть другие ресурсы, которые повлияют на количество доступных IP-адресов, разместите эти адреса.

    Эта архитектура предназначена для одной рабочей нагрузки. Для нескольких рабочих нагрузок может потребоваться изолировать пулы пользовательских узлов друг от друга и от пула системных узлов.Этот выбор может привести к увеличению количества подсетей меньшего размера. Кроме того, входящий ресурс может быть более сложным. Вам может потребоваться несколько контроллеров входа, для которых потребуются дополнительные адреса.

    Полный набор рекомендаций по этой архитектуре см. В разделе Базовая топология сети AKS.

    Для получения информации, связанной с планированием IP-адресов для кластера AKS, см. Планирование IP-адресации для вашего кластера.

    Ссылка на изображение контейнера

    Помимо рабочей нагрузки, кластер может содержать несколько других образов, например входной контроллер.Некоторые из этих изображений могут находиться в публичных реестрах. Учитывайте эти моменты, когда втягиваете их в свой кластер.

    • Кластер аутентифицирован для получения образа.

    • Если вы используете общедоступный образ, рассмотрите возможность импорта его в реестр контейнеров, который соответствует вашему SLO. В противном случае у изображения могут возникнуть непредвиденные проблемы с доступностью. Эти проблемы могут вызвать проблемы в работе, если изображение недоступно, когда оно вам нужно. Вот некоторые преимущества использования реестра контейнеров вместо общедоступного реестра:

      • Вы можете заблокировать несанкционированный доступ к вашим изображениям.
      • У вас не будет публичных зависимостей.
      • Вы можете получить доступ к журналам получения изображений для отслеживания действий и выявления проблем с подключением.
      • Воспользуйтесь преимуществами интегрированного сканирования контейнеров и соответствия изображений.

      Возможный вариант — Реестр контейнеров Azure (ACR).

    • Получить образы из авторизованных реестров. Вы можете применить это ограничение с помощью политики Azure. В этой эталонной реализации кластер извлекает образы только из ACR, развернутой как часть архитектуры.

    Настройка вычислений для базового кластера

    В AKS каждый пул узлов сопоставляется с масштабируемым набором виртуальных машин. Узлы — это виртуальные машины в каждом пуле узлов. Для минимизации затрат рассмотрите возможность использования виртуальных машин меньшего размера для системного пула узлов. Эта эталонная реализация развертывает пул системных узлов с тремя узлами DS2_v2. Этого размера достаточно, чтобы удовлетворить ожидаемую нагрузку на системные модули. Диск ОС — 512 ГБ.

    Для пула пользовательских узлов, вот некоторые соображения:

    • Выберите больший размер узла, чтобы упаковать максимальное количество модулей, установленное на узле.Это сведет к минимуму количество сервисов, работающих на всех узлах, таких как мониторинг и ведение журнала.

    • Разверните как минимум два узла. Таким образом, рабочая нагрузка будет иметь шаблон высокой доступности с двумя репликами. С помощью AKS вы можете изменить количество узлов, не воссоздавая кластер.

    • Фактические размеры узлов для вашей рабочей нагрузки будут зависеть от требований, определенных группой разработчиков. Исходя из бизнес-требований, мы выбрали DS4_v2 для производственной нагрузки.Чтобы снизить затраты, можно уменьшить размер до DS3_v2, что является минимальной рекомендацией.

    • При планировании мощности для кластера предположите, что ваша рабочая нагрузка может потреблять до 80% каждого узла; оставшиеся 20% зарезервированы для сервисов AKS.

    • Установите максимальное количество модулей на узел в зависимости от вашего планирования мощности. Если вы пытаетесь установить базовый уровень емкости, начните со значения 30. Отрегулируйте это значение в зависимости от требований рабочей нагрузки, размера узла и ограничений IP.

    Интеграция Azure Active Directory для кластера

    Защита доступа к кластеру и из него имеет решающее значение. Принимая решения по безопасности, думайте с точки зрения кластера:

    • Доступ наизнанку . Доступ AKS к компонентам Azure, таким как сетевая инфраструктура, реестр контейнеров Azure и хранилище ключей Azure. Авторизуйте только те ресурсы, к которым кластеру разрешен доступ.
    • Доступ извне . Предоставление идентификационного доступа к кластеру Kubernetes.Авторизуйте только те внешние объекты, которым разрешен доступ к серверу Kubernetes API и Azure Resource Manager.

    Доступ AKS к Azure

    Существует два способа управления доступом AKS к Azure через Azure Active Directory (Azure AD): субъектов-служб, или , управляемые удостоверения для ресурсов Azure .

    Из двух способов рекомендуется использовать управляемые удостоверения. С субъектами служб вы несете ответственность за управление секретами и их ротацию вручную или программно.С помощью управляемых удостоверений Azure AD управляет и выполняет проверку подлинности и своевременную ротацию секретов за вас.

    Рекомендуется включить управляемые удостоверения, чтобы кластер мог взаимодействовать с внешними ресурсами Azure через Azure AD. Вы можете включить этот параметр только во время создания кластера. Даже если Azure AD не используется сразу, вы можете включить его позже.

    В качестве примера для случая «наизнанку» давайте изучим использование управляемых удостоверений, когда кластеру необходимо извлечь образы из реестра контейнеров.Это действие требует, чтобы кластер получил учетные данные реестра. Один из способов — сохранить эту информацию в форме объекта Kubernetes Secrets и использовать imagePullSecrets для извлечения секрета. Такой подход не рекомендуется из-за сложности безопасности. Вам нужно не только предварительное знание секрета, но и раскрытие этого секрета через конвейер DevOps. Другая причина — это накладные расходы на управление ротацией секрета. Вместо этого предоставьте acrPull доступ к управляемому удостоверению кластера в вашем реестре.Такой подход решает эти проблемы.

    В этой архитектуре кластер получает доступ к ресурсам Azure, которые защищены Azure AD, и выполняет операции, поддерживающие управляемые удостоверения. Назначьте управление доступом на основе ролей Azure (Azure RBAC) и разрешения для управляемых удостоверений кластера в зависимости от операций, которые кластер намеревается выполнять. Кластер будет аутентифицироваться в Azure AD, а затем ему будет разрешен или запрещен доступ в зависимости от назначенных ему ролей. Вот несколько примеров из этой эталонной реализации, в которых встроенные роли Azure были назначены кластеру:

    • Участник сети.Возможность кластера управлять распределенной виртуальной сетью. Это назначение ролей позволяет кластерной системе AKS, назначенной идентификатору, работать с выделенной подсетью для служб внутреннего контроллера входящего трафика.
    • Издатель показателей мониторинга. Возможность кластера отправлять метрики в Azure Monitor.
    • AcrPull. Возможность кластера извлекать образы из указанных реестров контейнеров Azure.

    Доступ к кластеру

    Интеграция

    с Azure AD также упрощает безопасность для внешнего доступа.Предположим, пользователь хочет использовать kubectl. В качестве начального шага отправляет команду az aks get-credentials для получения учетных данных кластера. Azure AD будет проверять подлинность пользователя по ролям Azure, которым разрешено получать учетные данные кластера. Дополнительные сведения см. В разделе Доступные разрешения ролей кластера.

    AKS обеспечивает доступ Kubernetes с помощью Azure Active Directory двумя способами. Первый — это использование Azure Active Directory в качестве поставщика удостоверений, интегрированного с собственной системой Kubernetes RBAC.Другой — использование собственного Azure RBAC для управления доступом к кластеру. Оба подробно описаны ниже.

    Свяжите Kubernetes RBAC с Azure Active Directory

    Kubernetes поддерживает управление доступом на основе ролей (RBAC) через:

    • Набор разрешений. Определяется объектом Role или ClusterRole для разрешений на уровне кластера.

    • Привязки, которые назначают пользователей и группы, которым разрешено выполнять действия. Определяется объектом RoleBinding или CluserRoleBinding .

    Kubernetes имеет несколько встроенных ролей, таких как администратор кластера, редактирование, просмотр и т. Д. Привяжите эти роли к пользователям и группам Azure Active Directory, чтобы использовать корпоративный каталог для управления доступом. Дополнительные сведения см. В разделе Использование Kubernetes RBAC с интеграцией Azure AD.

    Убедитесь, что ваши группы Azure AD, используемые для доступа к кластеру и пространству имен, включены в ваши проверки доступа Azure AD.

    Использование Azure RBAC для авторизации Kubernetes

    Вместо использования Kubernetes RBAC со встроенной аутентификацией AAD другим вариантом является использование Azure RBAC и назначения ролей для обеспечения доступа к кластеру.Преимущество использования Azure RBAC заключается в том, что вам не нужно настраивать собственные роли RBAC Kubernetes и привязки ролей.

    Дополнительные сведения см. В разделе «Роли Azure».

    Локальные счета

    AKS поддерживает собственную аутентификацию пользователей Kubernetes. Доступ пользователей к кластерам с использованием этого метода не рекомендуется. Он основан на сертификате и выполняется вне вашего основного поставщика удостоверений; усложняет централизованный контроль доступа пользователей и управление. Всегда управляйте доступом к кластеру через Azure Active Directory и настройте кластер на явное отключение доступа к локальной учетной записи.

    В этой эталонной реализации доступ через локальные учетные записи кластера явно отключен при развертывании кластера.

    Интеграция Azure Active Directory для рабочей нагрузки

    Подобно управляемым удостоверениям Azure для всего кластера, вы можете назначать управляемые удостоверения на уровне модуля. Удостоверение, управляемое модулем, позволяет размещенной рабочей нагрузке получать доступ к ресурсам через Azure Active Directory. Например, рабочая нагрузка хранит файлы в хранилище Azure. Когда ему нужно получить доступ к этим файлам, модуль будет аутентифицировать себя по ресурсу.

    В этой эталонной реализации идентификаторы управляемых модулей упрощаются через идентификатор модуля-модуля.

    Развертывание ресурсов Ingress

    Ресурсы Kubernetes Ingress направляют и распределяют входящий трафик в кластер. Ресурсы Ingress делятся на две части:

    .
    • Внутренний балансировщик нагрузки. Управляется АКС. Этот балансировщик нагрузки предоставляет доступ к контроллеру входящего трафика через частный статический IP-адрес. Он служит единой точкой контакта, которая принимает входящие потоки.

      В этой архитектуре используется Azure Load Balancer. Он размещается вне кластера в подсети, выделенной для входящих ресурсов. Он получает трафик от шлюза приложений Azure, и эта связь осуществляется через TLS. Для получения информации о шифровании TLS для входящего трафика см. Поток входящего трафика.

    • Входной контроллер. Мы выбрали Traefik. Он работает в пуле пользовательских узлов в кластере. Он получает трафик от внутреннего балансировщика нагрузки, завершает TLS и перенаправляет его в модули рабочей нагрузки по HTTP.

    Входящий контроллер — критический компонент кластера. Учтите эти моменты при настройке этого компонента.

    • При принятии проектных решений выберите область, в которой будет разрешено работать входному контроллеру. Например, вы можете разрешить контроллеру взаимодействовать только с модулями, выполняющими определенную рабочую нагрузку.

    • Избегайте размещения реплик на одном узле, чтобы распределить нагрузку и обеспечить непрерывность бизнеса в случае отказа узла.Для этой цели используйте podAntiAffinity .

    • Ограничить планирование подов только в пуле пользовательских узлов с помощью nodeSelectors . Этот параметр изолирует рабочую нагрузку и системные модули.

    • Открытые порты и протоколы, которые позволяют определенным объектам отправлять трафик на входной контроллер. В этой архитектуре Traefik получает трафик только от шлюза приложений Azure.

    • Ingress-контроллер должен посылать сигналы, указывающие на работоспособность подов.Настройте параметры readinessProbe и livenessProbe , которые будут отслеживать состояние модулей с заданным интервалом.

    • Рассмотрите возможность ограничения доступа контроллера входящего трафика к определенным ресурсам и возможности выполнять определенные действия. Это ограничение можно реализовать с помощью разрешений Kubernetes RBAC. Например, в этой архитектуре Traefik были предоставлены разрешения на просмотр, получение и перечисление служб и конечных точек с помощью правил в объекте Kubernetes ClusterRole .

    Примечание

    Выбор подходящего контроллера входящего трафика определяется требованиями, рабочей нагрузкой, набором навыков оператора и возможностью поддержки технологических опций. Самое главное, способность соответствовать вашим ожиданиям от SLO.

    Traefik — популярный вариант с открытым исходным кодом для кластера Kubernetes, выбранный в этой архитектуре в иллюстративных целях. Он показывает интеграцию сторонних продуктов со службами Azure. Например, в реализации показано, как интегрировать Traefik с управляемой идентификацией Azure AD Pod и хранилищем ключей Azure.

    Другой вариант — контроллер входящего трафика шлюза приложений Azure, хорошо интегрированный с AKS. Помимо возможностей контроллера входящего трафика, он предлагает и другие преимущества. Например, шлюз приложений упрощает создание точки входа в виртуальную сеть для вашего кластера. Он может наблюдать за трафиком, входящим в кластер. Если у вас есть приложение, для которого требуется WAF, шлюз приложений — хороший выбор, поскольку он интегрирован с WAF. Кроме того, это дает возможность выполнить завершение TLS.

    Настройки маршрутизатора

    Входной контроллер использует маршруты, чтобы определить, куда отправлять трафик. Маршруты определяют исходный порт, по которому принимается трафик, а также информацию о портах и ​​протоколах назначения.

    Вот пример из этой архитектуры:

    Traefik использует поставщика Kubernetes для настройки маршрутов. Аннотации , tls и точки входа указывают, что маршруты будут обслуживаться через HTTPS. Промежуточное ПО указывает, что разрешен только трафик из подсети шлюза приложений Azure.Ответы будут использовать кодировку gzip, если клиент соглашается. Поскольку Traefik выполняет завершение TLS, связь с серверными службами осуществляется через HTTP.

      apiВерсия: network.k8s.io/v1beta1
    вид: Ingress
    метаданные:
      имя: aspnetapp-ingress
      пространство имен: a0008
      аннотации:
        kubernetes.io/ingress.allow-http: "ложь"
        kubernetes.io/ingress.class: traefik-internal
        traefik.ingress.kubernetes.io/router.entrypoints: websecure
        traefik.ingress.kubernetes.io/router.tls: "правда"
        траэфик.ingress.kubernetes.io/router.tls.options: по умолчанию
        traefik.ingress.kubernetes.io/router.middlewares: app-gateway-snet @ file, gzip-compress @ file
    спецификация:
      tls:
      - хосты:
          - bu0001a0008-00.aks-ingress.contoso.com
      правила:
      - хост: bu0001a0008-00.aks-ingress.contoso.com
        http:
          пути:
          - дорожка: /
            бэкэнд:
              serviceName: aspnetapp-service
              servicePort: http
      

    Защитите сетевой поток

    Сетевой поток в этом контексте можно отнести к категории:

    • Входящий трафик .От клиента к рабочей нагрузке, выполняющейся в кластере.

    • Исходящий трафик . От модуля или узла в кластере до внешней службы.

    • Межподовое движение . Связь между стручками. Этот трафик включает обмен данными между контроллером входящего трафика и рабочей нагрузкой. Кроме того, если ваша рабочая нагрузка состоит из нескольких приложений, развернутых в кластере, связь между этими приложениями попадает в эту категорию.

    • Управление трафиком . Трафик, который проходит между клиентом и сервером Kubernetes API.

    Эта архитектура имеет несколько уровней безопасности для защиты всех типов трафика.

    Входящий трафик

    Архитектура принимает от клиента только зашифрованные запросы TLS. TLS v1.2 — это минимально допустимая версия с ограниченным набором шифров. Включено строгое указание имени сервера (SNI). Сквозной TLS настраивается через шлюз приложений с использованием двух разных сертификатов TLS, как показано на этом изображении.

    1. Клиент отправляет запрос HTTPS на доменное имя: bike.contoso.com. Это имя связано с помощью записи A DNS с общедоступным IP-адресом шлюза приложений Azure. Этот трафик зашифрован, чтобы гарантировать невозможность проверки или изменения трафика между клиентским браузером и шлюзом.

    2. Application Gateway имеет встроенный брандмауэр веб-приложений (WAF) и согласовывает рукопожатие TLS для bike.contoso.com, позволяя использовать только безопасные шифры. Шлюз приложений — это точка завершения TLS, поскольку он требуется для обработки правил проверки WAF и выполнения правил маршрутизации, которые перенаправляют трафик на настроенный сервер. Сертификат TLS хранится в Azure Key Vault. Доступ к нему осуществляется с помощью назначаемого пользователем управляемого удостоверения, интегрированного со шлюзом приложений. Дополнительные сведения об этой функции см. В разделе Завершение TLS с помощью сертификатов Key Vault.

    3. Трафик перемещается от шлюза приложений к серверной части, трафик снова шифруется с помощью другого сертификата TLS (подстановочный знак для *.aks-ingress.contoso.com), поскольку он перенаправляется на внутренний балансировщик нагрузки. Это повторное шифрование гарантирует, что небезопасный трафик не попадает в подсеть кластера.

    4. Входной контроллер получает зашифрованный трафик через балансировщик нагрузки. Контроллер является еще одной точкой завершения TLS для * .aks-ingress.contoso.com и перенаправляет трафик на модули рабочей нагрузки по протоколу HTTP. Сертификаты хранятся в Azure Key Vault и подключаются к кластеру с помощью драйвера интерфейса хранилища контейнеров (CSI).Для получения дополнительной информации см. Добавление управления секретами.

    Вы можете реализовать сквозной трафик TLS на каждом этапе до модуля рабочей нагрузки. Обязательно измеряйте производительность, задержку и операционное воздействие, принимая решение о защите трафика между модулями. Для большинства однопользовательских кластеров с надлежащей плоскостью управления RBAC и зрелыми практиками жизненного цикла разработки программного обеспечения достаточно шифровать TLS вплоть до входного контроллера и защищать с помощью брандмауэра веб-приложений (WAF).Это минимизирует накладные расходы на управление рабочей нагрузкой и влияние на производительность сети. Ваша рабочая нагрузка и нормативные требования будут определять, где вы будете выполнять завершение TLS.

    Исходящий поток трафика

    Для контроля с нулевым доверием и возможности проверки трафика весь исходящий трафик из кластера проходит через брандмауэр Azure. Вы можете реализовать этот выбор, используя определяемые пользователем маршруты (UDR). Следующим шагом маршрута является частный IP-адрес брандмауэра Azure. Здесь брандмауэр Azure решает, разрешить или заблокировать исходящий трафик.Это решение основывается на конкретных правилах, определенных в брандмауэре Azure, или на встроенных правилах анализа угроз.

    Примечание

    Если вы используете общедоступный балансировщик нагрузки в качестве общедоступной точки для входящего и исходящего трафика через брандмауэр Azure с использованием UDR, вы можете увидеть ситуацию асимметричной маршрутизации. Эта архитектура использует внутренних балансировщиков нагрузки в выделенной входящей подсети за шлюзом приложений. Такой выбор конструкции не только повышает безопасность, но и устраняет проблемы асимметричной маршрутизации.Кроме того, вы можете направить входящий трафик через брандмауэр Azure до или после шлюза приложений. Такой подход не нужен и не рекомендуется для большинства ситуаций. Дополнительные сведения об асимметричной маршрутизации см. В разделе Интеграция брандмауэра Azure со стандартным балансировщиком нагрузки Azure.

    Исключением из элемента управления с нулевым доверием является ситуация, когда кластеру необходимо взаимодействовать с другими ресурсами Azure. Например, кластеру необходимо получить обновленный образ из реестра контейнеров.Рекомендуемый подход — использование частной ссылки Azure. Преимущество в том, что определенные подсети достигают сервиса напрямую. Кроме того, трафик между кластером и службой не предоставляется общедоступному Интернету. Обратной стороной является то, что Private Link требует дополнительной настройки вместо использования целевой службы через общедоступную конечную точку. Кроме того, не все службы или номера SKU Azure поддерживают частную ссылку. В таких случаях рассмотрите возможность включения конечной точки службы в подсети для доступа к службе.

    Если частный канал или конечные точки службы не подходят, вы можете подключиться к другим службам через их общедоступные конечные точки и управлять доступом с помощью правил брандмауэра Azure и брандмауэра, встроенного в целевую службу.Поскольку этот трафик будет проходить через статический IP-адрес брандмауэра, этот адрес можно добавить в список разрешенных IP-адресов службы. Одним из недостатков является то, что брандмауэру Azure потребуются дополнительные правила, чтобы разрешить трафик только из определенной подсети.

    Трафик от контейнера к контейнеру

    По умолчанию модуль может принимать трафик от любого другого модуля в кластере. Kubernetes NetworkPolicy используется для ограничения сетевого трафика между модулями. Применяйте политики разумно, иначе может возникнуть ситуация, когда критически важный сетевой поток будет заблокирован. Только разрешает определенные каналы связи по мере необходимости, такие как трафик между входным контроллером и рабочей нагрузкой. Для получения дополнительной информации см. Сетевые политики.

    Включите сетевую политику, когда кластер подготовлен, потому что он не может быть добавлен позже. Существует несколько вариантов технологий, реализующих NetworkPolicy . Рекомендуется использовать политику сети Azure, для которой требуется сетевой интерфейс контейнера Azure (CNI), см. Примечание ниже. Другие варианты включают Calico Network Policy, хорошо известный вариант с открытым исходным кодом.Рассмотрите Calico, если вам нужно управлять сетевыми политиками в масштабе кластера. Стандартная поддержка Azure не распространяется на Calico.

    Дополнительные сведения см. В разделе Различия между политикой сети Azure и политиками Calico и их возможностями.

    Примечание

    AKS поддерживает следующие сетевые модели: kubenet и сетевой интерфейс контейнеров Azure (CNI). CNI является более продвинутой из двух моделей и требуется для включения сетевой политики Azure. В этой модели каждый модуль получает IP-адрес из адресного пространства подсети.Ресурсы в одной сети (или одноранговые ресурсы) могут получать доступ к модулям напрямую через свой IP-адрес. NAT не требуется для маршрутизации этого трафика. Итак, CNI эффективен, потому что нет дополнительных сетевых оверлеев. Он также предлагает лучший контроль безопасности, поскольку позволяет использовать сетевую политику Azure. В общем, рекомендуется CNI. CNI предлагает детальный контроль со стороны команд и ресурсов, которые они контролируют. Кроме того, CNI позволяет использовать больше масштабируемых контейнеров, чем кубенет. Тщательно продумайте этот выбор, иначе кластер придется повторно развернуть.Для получения информации о моделях см. Сравнение сетевых моделей.

    Управление трафиком

    В рамках запуска кластера сервер API Kubernetes будет получать трафик от ресурсов, которые хотят выполнять операции управления в кластере, такие как запросы на создание ресурсов или масштабирование кластера. Примеры этих ресурсов включают пул агентов сборки в конвейере DevOps, подсеть Bastion и сами пулы узлов. Вместо того, чтобы принимать этот трафик управления со всех IP-адресов, используйте функцию «Авторизованные диапазоны IP-адресов» AKS, чтобы разрешить трафик только из авторизованных диапазонов IP-адресов на сервер API.

    Для получения дополнительной информации см. Определение диапазонов разрешенных IP-адресов сервера API.

    Добавить управление секретом

    Хранить секреты в управляемом хранилище ключей, таком как Azure Key Vault. Преимущество состоит в том, что управляемое хранилище обрабатывает ротацию секретов, предлагает надежное шифрование, предоставляет журнал аудита доступа и хранит основные секреты вне конвейера развертывания.

    Azure Key Vault хорошо интегрирован с другими службами Azure. Используйте встроенную функцию этих сервисов для доступа к секретам.Пример того, как шлюз приложений Azure получает доступ к сертификатам TLS для входящего потока, см. В разделе Входящий поток трафика.

    Доступ к секретам кластера

    Вам нужно будет использовать идентификаторы, управляемые модулем, чтобы модуль мог получить доступ к секретам из определенного хранилища.

    Для облегчения процесса извлечения используйте драйвер CSI хранилища секретов. Когда модулю требуется секрет, драйвер подключается к указанному хранилищу, извлекает секрет на томе и монтирует этот том в кластере.Затем модуль может получить секрет из файловой системы тома.

    Драйвер CSI имеет множество поставщиков для поддержки различных управляемых хранилищ. В этой реализации мы выбрали хранилище ключей Azure с драйвером CSI хранилища секретов, чтобы получить сертификат TLS из хранилища ключей Azure и загрузить его в модуль, на котором запущен контроллер входящего трафика. Это делается во время создания пода, и на томе хранятся как открытые, так и закрытые ключи.

    Хранение нагрузки

    Рабочая нагрузка, используемая в этой архитектуре, не имеет состояния.Если вам нужно сохранить состояние, рекомендуется сохранить его вне кластера. Рекомендации по состоянию рабочей нагрузки выходят за рамки этой статьи.

    Дополнительные сведения о вариантах хранения см. В разделе Параметры хранения для приложений в службе Azure Kubernetes (AKS).

    Управление политиками

    Эффективный способ управления кластером AKS — обеспечение управления с помощью политик. Kubernetes реализует политики через OPA Gatekeeper. Для AKS политики доставляются через политику Azure.Каждая политика применяется ко всем кластерам в своей области. Применение политик Azure в конечном итоге обрабатывается OPA Gatekeeper в кластере, и все проверки политик регистрируются. Изменения политики не сразу отражаются в вашем кластере. Ожидайте некоторых задержек.

    При настройке политик применяйте их в зависимости от требований рабочей нагрузки. Примите во внимание следующие факторы:

    • Вы хотите установить набор политик (называемых инициативами) или выбрать отдельные политики. Политика Azure предоставляет две встроенные инициативы: базовую и ограниченную.Каждая инициатива представляет собой набор встроенных политик, применимых к кластеру AKS. Рекомендуется выбрать инициативу и выбрать и выбрать дополнительные политики для кластера и ресурсов (ACR, Application Gateway, Key Vault и другие), которые взаимодействуют с кластером, в соответствии с требованиями вашей организации.

    • Вы хотите Аудит или Запретить действие. В режиме Audit действие разрешено, но оно помечено как Несоответствующий .Разработайте процессы для регулярной проверки несоответствующих состояний и принятия необходимых мер. В режиме Запретить действие блокируется, поскольку оно нарушает политику. Будьте осторожны при выборе этого режима, поскольку он может быть слишком ограничивающим для работы рабочей нагрузки.

    • Есть ли в вашей рабочей нагрузке области, которые не должны соответствовать требованиям по дизайну? Политика Azure может указывать пространства имен Kubernetes, на которые не распространяется действие политики. Рекомендуется по-прежнему применять политики в режиме Audit , чтобы вы знали об этих экземплярах.

    • Есть ли у вас требования, которые не покрываются встроенными политиками? В этих редких случаях создайте настраиваемое определение политики Azure, которое применяет ваши настраиваемые политики OPA Gatekeeper. Не применяйте политики непосредственно к кластеру.

    • Есть ли у вас общеорганизационные требования? Если да, добавьте эти политики на уровне группы управления. Ваш кластер также должен назначать свои собственные политики для конкретных рабочих нагрузок, даже если в организации есть общие политики.

    • Политики Azure назначаются определенным областям. Убедитесь, что политики production также проверены на соответствие вашей среде pre-production . В противном случае при развертывании в производственной среде вы можете столкнуться с неожиданными дополнительными ограничениями, которые не были учтены на этапе подготовки к производству.

    В этой эталонной реализации политика Azure включается при создании кластера AKS и назначает ограничительную инициативу в режиме Audit , чтобы получить информацию о несоответствии.

    Реализация также устанавливает дополнительные политики, которые не являются частью каких-либо встроенных инициатив. Эти политики установлены в режиме Запретить . Например, существует политика, гарантирующая, что образы извлекаются только из развернутого ACR. Рассмотрите возможность создания собственных индивидуальных инициатив. Объедините политики, применимые к вашей рабочей нагрузке, в одно задание.

    Чтобы наблюдать за работой политики Azure из кластера, вы можете получить доступ к журналам модулей для всех модулей в пространстве имен gatekeeper-system , а также к журналам azure-policy и azure-policy-webhook pods в пространстве имен kube-system .

    Масштабируемость узлов и подов

    По мере роста спроса Kubernetes может масштабироваться, добавляя дополнительные модули к существующим узлам с помощью горизонтального автомасштабирования модулей (HPA). Когда дополнительные модули больше не могут быть запланированы, количество узлов необходимо увеличить с помощью автомасштабирования кластера AKS. Полное решение для масштабирования должно иметь способы масштабирования как реплик модуля, так и количества узлов в кластере.

    Есть два подхода: автомасштабирование или ручное масштабирование.

    Ручной или программный способ требует, чтобы вы отслеживали и устанавливали предупреждения об использовании ЦП или настраиваемых показателях.Для масштабирования пода оператор приложения может увеличить или уменьшить количество реплик пода, настроив ReplicaSet через API Kubernetes. Один из способов масштабирования кластера - получать уведомления при сбое планировщика Kubernetes. Другой способ - следить за появлением ожидающих стручков с течением времени. Вы можете настроить количество узлов с помощью Azure CLI или портала.

    Автомасштабирование - это подход, потому что некоторые из этих ручных механизмов встроены в автомасштабирование.

    Как правило, начните с тестирования производительности с минимальным количеством модулей и узлов.Используйте эти значения, чтобы установить базовое ожидание. Затем используйте комбинацию показателей производительности и ручного масштабирования, чтобы найти узкие места и понять реакцию приложения на масштабирование. Наконец, используйте эти данные для установки параметров автомасштабирования. Дополнительные сведения о сценарии настройки производительности с использованием AKS см. В разделе Сценарий настройки производительности: распределенные бизнес-транзакции.

    Горизонтальный модуль автомасштабирования для модулей

    Horizontal Pod Autoscaler (HPA) - это ресурс Kubernetes, который масштабирует количество модулей.

    В ресурсе HPA рекомендуется установить минимальное и максимальное количество реплик. Эти значения ограничивают границы автомасштабирования.

    HPA может масштабироваться в зависимости от загрузки ЦП, памяти и пользовательских показателей. Из коробки предусмотрена только загрузка ЦП. Определение HorizontalPodAutoscaler указывает целевые значения для этих показателей. Например, спецификация устанавливает целевое использование ЦП. Во время работы модулей контроллер HPA использует Kubernetes Metrics API для проверки загрузки ЦП каждого модуля.Он сравнивает это значение с целевым использованием и вычисляет коэффициент. Затем он использует это соотношение, чтобы определить, находятся ли модули с превышением доступности или с недостаточной доступностью. Он использует планировщик Kubernetes для назначения новых модулей узлам или удаления модулей из узлов.

    Может быть состояние гонки, при котором (HPA) проверяет перед завершением операции масштабирования. Результатом может быть неправильный расчет коэффициента. Дополнительные сведения см. В разделе «Время восстановления масштабирования событий».

    Если ваша рабочая нагрузка является событийной, популярным вариантом с открытым исходным кодом является KEDA.Рассмотрим KEDA, если ваша рабочая нагрузка определяется источником событий, например очередью сообщений, а не ограничивается ЦП или памятью. KEDA поддерживает множество источников событий (или масштабаторов). Здесь вы можете найти список поддерживаемых средств масштабирования KEDA, включая средство масштабирования Azure Monitor; удобный способ масштабирования рабочих нагрузок KEDA на основе метрик Azure Monitor.

    Кластерный автомат масштабирования

    Автомасштабирование кластера - это дополнительный компонент AKS, который масштабирует количество узлов в пуле узлов. Его следует добавить во время подготовки кластера.Вам потребуется отдельный инструмент автомасштабирования кластера для каждого пула пользовательских узлов.

    Автоматическое масштабирование кластера запускается планировщиком Kubernetes. Когда планировщик Kubernetes не может запланировать модуль из-за ограничений ресурсов, автомасштабирование автоматически подготавливает новый узел в пуле узлов. И наоборот, автомасштабирование кластера проверяет неиспользуемую емкость узлов. Если узел не работает с ожидаемой мощностью, модули перемещаются на другой узел, а неиспользуемый узел удаляется.

    При включении автомасштабирования установите максимальное и минимальное количество узлов.Рекомендуемые значения зависят от ожидаемой производительности рабочей нагрузки, желаемого роста кластера и финансовых последствий. Минимальное количество - это зарезервированная емкость для этого пула узлов. В этой эталонной реализации минимальное значение установлено на 2 из-за простого характера рабочей нагрузки.

    Для системного пула узлов рекомендуемое минимальное значение - 3.

    Решения о непрерывности бизнеса

    Для поддержания непрерывности бизнеса определите соглашение об уровне обслуживания для инфраструктуры и вашего приложения.Для получения информации о ежемесячном расчете времени безотказной работы см. SLA для службы Azure Kubernetes (AKS).

    Узлы кластера

    Чтобы обеспечить минимальный уровень доступности для рабочих нагрузок, необходимо несколько узлов в пуле узлов. Если узел выходит из строя, другой узел в пуле узлов в том же кластере может продолжить выполнение приложения. Для надежности рекомендуется использовать три узла для системного пула узлов. Для пула пользовательских узлов начните не менее чем с двух узлов. Если вам нужна более высокая доступность, выделите больше узлов.

    Изолируйте свое приложение от системных служб, поместив его в отдельный пул узлов. Таким образом, сервисы Kubernetes работают на выделенных узлах и не конкурируют с вашей рабочей нагрузкой. Рекомендуется использовать теги, метки и taints для идентификации пула узлов для планирования вашей рабочей нагрузки.

    Регулярное обслуживание кластера, например своевременное обновление, имеет решающее значение для надежности. Также рекомендуется контролировать состояние капсул с помощью датчиков.

    Наличие капсулы

    Обеспечьте ресурсы модуля .Настоятельно рекомендуется, чтобы при развертывании указывались требования к ресурсам модуля. Затем планировщик может соответствующим образом запланировать модуль. Надежность значительно снизится, если поды не могут быть запланированы.

    Установить бюджеты на нарушение работы модулей . Этот параметр определяет, сколько реплик в развертывании может выйти из строя во время обновления или обновления. Для получения дополнительной информации см. Бюджеты нарушения работы Pod.

    Настройте несколько реплик в развертывании для обработки сбоев, например сбоев оборудования.Для запланированных событий, таких как обновления и обновления, бюджет прерывания может гарантировать наличие необходимого количества реплик модуля для обработки ожидаемой нагрузки приложения.

    Установите квоты ресурсов для пространств имен рабочих нагрузок . Квота ресурсов в пространстве имен гарантирует, что запросы и ограничения модуля будут правильно установлены при развертывании. Дополнительные сведения см. В разделе Применение квот ресурсов.

    Примечание

    Установка квот ресурсов на уровне кластера может вызвать проблемы при развертывании сторонних рабочих нагрузок, которые не имеют надлежащих запросов и ограничений.

    Установить запросы пакетов и ограничения . Установка этих ограничений позволяет Kubernetes эффективно распределять ресурсы ЦП и / или памяти для модулей и иметь более высокую плотность контейнеров на узле. Ограничения также могут повысить надежность при снижении затрат за счет лучшего использования оборудования.

    Чтобы оценить пределы, протестируйте и установите базовый уровень. Начните с одинаковых значений запросов и лимитов. Затем постепенно настраивайте эти значения, пока не установите порог, который может вызвать нестабильность в кластере.

    Эти ограничения можно указать в манифестах развертывания. Дополнительные сведения см. В разделе Установка запросов и ограничений для модулей.

    Зоны доступности и поддержка нескольких регионов

    Если ваше соглашение об уровне обслуживания требует более продолжительного времени безотказной работы, защитите от потерь в зоне. Вы можете использовать зоны доступности, если их поддерживает регион. Тогда как компоненты уровня управления, так и узлы в пулах узлов могут распространяться по зонам. Если вся зона недоступна, узел в другой зоне внутри региона по-прежнему доступен.Каждый пул узлов сопоставляется с отдельным масштабируемым набором виртуальных машин, который управляет экземплярами узлов и масштабируемостью. Операциями и настройкой масштабируемого набора управляет служба AKS. Вот некоторые соображения при включении мультизональности:

    • Вся инфраструктура. Выберите регион, поддерживающий зоны доступности. Для получения дополнительной информации см. Ограничения и доступность по регионам. Если вы хотите приобрести Соглашение об уровне обслуживания Uptime, выберите регион, который поддерживает эту опцию. Соглашение об уровне обслуживания выше при использовании зон доступности.

    • Кластер . Зоны доступности могут быть установлены только при создании пула узлов и не могут быть изменены позже. Размеры узлов должны поддерживаться во всех зонах, чтобы было возможно ожидаемое распределение. Базовый масштабируемый набор виртуальных машин обеспечивает одинаковую конфигурацию оборудования для разных зон.

      Поддержка

      Multizone распространяется не только на пулы узлов, но и на плоскость управления. Плоскость управления AKS будет охватывать запрошенные зоны, как и пулы узлов.Если вы не используете поддержку зоны в своем кластере, не гарантируется, что компоненты уровня управления будут распределены по зонам доступности.

    • Зависимые ресурсы . Для полного преимущества зоны все зависимости сервисов должны также поддерживать зоны. Если зависимая служба не поддерживает зоны, возможно, отказ зоны может привести к сбою этой службы.

    Например, управляемый диск доступен в зоне, в которой он подготовлен. В случае сбоя узел может переместиться в другую зону, но управляемый диск не переместится вместе с узлом в эту зону.

    Для простоты в этой архитектуре AKS развертывается в одном регионе с пулами узлов, охватывающими зоны доступности 1, 2 и 3. Другие ресурсы инфраструктуры, такие как брандмауэр Azure и шлюз приложений, развернуты в том же регионе также с поддержкой нескольких зон. . Для реестра контейнеров Azure включена георепликация.

    Несколько регионов

    Включение зон доступности будет недостаточно, если выйдет из строя весь регион. Чтобы обеспечить более высокую доступность, запустите несколько кластеров AKS в разных регионах.

    • Использовать парные регионы. Рассмотрите возможность использования конвейера CI / CD, который настроен на использование парной области для восстановления после сбоев региона. Преимущество использования парных регионов - надежность во время обновлений. Azure гарантирует, что одновременно обновляется только один регион в паре. Некоторые инструменты DevOps, такие как flux, могут упростить развертывание в нескольких регионах.

    • Если ресурс Azure поддерживает геоизбыточность, укажите расположение, в котором избыточная служба будет иметь вторичную службу.Например, включение георепликации для реестра контейнеров Azure автоматически реплицирует образы в выбранные регионы Azure и обеспечит постоянный доступ к изображениям, даже если в каком-либо регионе произошел сбой.

    • Выберите маршрутизатор трафика, который может распределять трафик по зонам или регионам в зависимости от ваших требований. В этой архитектуре развертывается Azure Load Balancer, поскольку он может распределять не веб-трафик по зонам. Если вам необходимо распределить трафик по регионам, следует рассмотреть возможность использования Azure Front Door.Для других соображений см. Выбор балансировщика нагрузки.

    Аварийное восстановление

    В случае сбоя в основном регионе вы сможете быстро создать новый экземпляр в другом регионе. Вот несколько рекомендаций:

    • Использовать парные регионы.

    • Рабочую нагрузку без отслеживания состояния можно эффективно реплицировать. Если вам нужно сохранить состояние в кластере (не рекомендуется), убедитесь, что вы часто выполняете резервное копирование данных в парном регионе.

    • Интегрируйте стратегию восстановления, такую ​​как репликация в другой регион, как часть конвейера DevOps для достижения ваших целей уровня обслуживания (SLO).

    • При подготовке каждой службы Azure выберите функции, поддерживающие аварийное восстановление. Например, в этой архитектуре реестр контейнеров Azure включен для георепликации. Если регион выходит из строя, вы все равно можете извлекать изображения из реплицированного региона.

    Соглашение об уровне обслуживания API Kubernetes API

    AKS можно использовать как бесплатную услугу, но этот уровень не предлагает SLA с финансовой поддержкой.Чтобы получить это SLA, вы должны добавить к своей покупке соглашение об уровне обслуживания Uptime. Мы рекомендуем всем производственным кластерам использовать эту опцию. Зарезервируйте кластеры без этой опции для опытных кластеров. В сочетании с зонами доступности Azure соглашение об уровне обслуживания Kubernetes API увеличивается до 99,95%. На ваши пулы узлов и другие ресурсы распространяется их собственное соглашение об уровне обслуживания.

    Компромисс

    При развертывании архитектуры в зонах и особенно регионах существует компромисс между стоимостью и доступностью.Некоторые функции репликации, такие как георепликация в реестре контейнеров Azure, доступны в расширенных SKU, что дороже. Стоимость также увеличится, поскольку плата за пропускную способность взимается при перемещении трафика между зонами и регионами.

    Также следует ожидать дополнительной задержки в сети при обмене данными между зонами или регионами. Измерьте влияние этого архитектурного решения на вашу рабочую нагрузку.

    Тест с моделированием и принудительной отработкой отказа

    Обеспечьте надежность с помощью принудительного тестирования аварийного переключения с имитацией сбоев, таких как отключение узла, отключение всех ресурсов AKS в определенной зоне для моделирования сбоя в зоне или отключение внешней зависимости.

    Мониторинг и сбор показателей

    Функция Azure Monitor для контейнеров - это рекомендуемый инструмент для мониторинга и ведения журнала, поскольку вы можете просматривать события в режиме реального времени. Он собирает журналы контейнеров из запущенных модулей и объединяет их для просмотра. Он также собирает информацию из Metrics API об использовании памяти и ЦП для отслеживания состояния работающих ресурсов и рабочих нагрузок. Вы можете использовать его для отслеживания производительности при масштабировании подов. Еще одно преимущество заключается в том, что вы можете легко использовать портал Azure для настройки диаграмм и панелей мониторинга.У него есть возможность создавать оповещения, которые запускают модули Runbook автоматизации, Функции Azure и другие.

    Большинство рабочих нагрузок, размещенных в модулях, генерируют метрики Prometheus. Azure Monitor может извлекать метрики Prometheus и визуализировать их.

    Есть некоторые сторонние утилиты, интегрированные с Kubernetes. Воспользуйтесь преимуществами платформ журналов и показателей, таких как Grafana или Datadog, если ваша организация их уже использует.

    С помощью AKS Azure управляет некоторыми основными службами Kubernetes.Журналы из этих сервисов должны быть включены только по запросу от службы поддержки. Однако рекомендуется включить эти источники журналов, поскольку они могут помочь в устранении неполадок кластера:

    • Регистрация в ClusterAutoscaler для получения возможности наблюдения за операциями масштабирования. Дополнительные сведения см. В разделе Получение журналов и состояния автомасштабирования кластера.
    • KubeControllerManager, чтобы иметь возможность наблюдения в планировщике модулей.
    • KubeAuditAdmin, чтобы можно было наблюдать за действиями, которые изменяют ваш кластер.

    Включить самовосстановление

    Следите за состоянием подов, задавая зонды живучести и готовности. Если обнаружен неотвечающий модуль, Kubernetes перезапускает его. Зонд живучести определяет, здорова ли стручок. Если он не отвечает, Kubernetes перезапустит модуль. Зонд готовности определяет, готов ли модуль принимать запросы / трафик.

    Примечание

    AKS обеспечивает встроенное самовосстановление узлов инфраструктуры с помощью функции автоматического восстановления узлов.

    Обновления безопасности

    Поддерживайте версию Kubernetes в актуальном состоянии с помощью поддерживаемых версий N-2.Обновление до последней версии Kubernetes имеет решающее значение, поскольку новые версии выпускаются часто.

    Дополнительные сведения см. В разделах Регулярное обновление до последней версии Kubernetes и Обновление кластера службы Azure Kubernetes (AKS).

    Уведомление о событиях, инициированных вашим кластером, таких как доступность новой версии AKS для вашего кластера, может быть достигнуто с помощью раздела системы AKS для сетки событий Azure. Эталонная реализация развертывает этот раздел системы сетки событий, чтобы вы могли подписаться на Microsoft.ContainerService.NewKubernetesVersionAvailable из вашего решения для уведомления потока событий.

    Еженедельные обновления

    AKS предоставляет новые образы узлов с последними обновлениями ОС и среды выполнения. Эти новые изображения не применяются автоматически. Вы несете ответственность за решение, как часто должны обновляться изображения. Рекомендуется еженедельно обновлять базовый образ пулов узлов. Дополнительные сведения см. В статье об обновлении образа узла службы Azure Kubernetes (AKS) в примечаниях к выпуску AKS.

    Ежедневные обновления

    Между обновлениями образов узлы AKS загружают и устанавливают исправления ОС и среды выполнения по отдельности. Для установки может потребоваться перезагрузка виртуальных машин узла. AKS не будет перезагружать узлы из-за ожидающих обновлений. Имейте процесс, который отслеживает узлы на предмет примененных обновлений, требующих перезагрузки, и выполняет перезагрузку этих узлов контролируемым образом. Вариант с открытым исходным кодом - Kured (демон перезагрузки Kubernetes).

    Синхронизация образов узлов с последним еженедельным выпуском сводит к минимуму эти случайные запросы на перезагрузку, сохраняя при этом повышенную безопасность.Если полагаться только на обновления образа узла, это обеспечит совместимость с AKS и еженедельное обновление системы безопасности. Принимая во внимание, что применение ежедневных обновлений позволит быстрее устранить проблемы с безопасностью, они не обязательно тестировались в AKS. По возможности используйте обновление образа узла в качестве основной еженедельной стратегии установки исправлений безопасности.

    Мониторинг безопасности

    Контролируйте свою контейнерную инфраструктуру как на активные угрозы, так и на потенциальные угрозы безопасности:

    Операции кластера и рабочих нагрузок (DevOps)

    Вот некоторые соображения.Дополнительные сведения см. В разделе «Операционное превосходство».

    Изоляция ответственности за рабочую нагрузку

    Разделите рабочую нагрузку по командам и типам ресурсов для индивидуального управления каждой частью.

    Начните с базовой рабочей нагрузки, которая содержит основные компоненты, и развивайте ее. Первоначальной задачей будет настройка сети. Подготовьте виртуальные сети для концентратора и луча, а также подсети в этих сетях. Например, луч имеет отдельные подсети для пулов системных и пользовательских узлов и входящих ресурсов.Подсеть для брандмауэра Azure в хабе.

    Другая часть может заключаться в интеграции базовой рабочей нагрузки с Azure Active Directory.

    Использовать инфраструктуру как код (IaC)

    По возможности предпочитайте идемпотентный декларативный метод императивному подходу. Вместо написания последовательности команд, определяющих конфигурацию параметры используйте декларативный синтаксис, описывающий ресурсы и их свойства. Один из вариантов - шаблоны Azure Resource Manager (ARM), другой - Terraform.

    Убедитесь, что вы предоставляете ресурсы в соответствии с управляющими политиками. Например, при выборе правильных размеров виртуальных машин не выходите за рамки ограничений по стоимости и параметров зоны доступности, чтобы они соответствовали требованиям вашего приложения.

    Если вам нужно написать последовательность команд, используйте Azure CLI. Эти команды охватывают ряд служб Azure и могут быть автоматизированы с помощью сценариев. Azure CLI поддерживается в Windows и Linux. Еще один кроссплатформенный вариант - Azure PowerShell. Ваш выбор будет зависеть от предпочтительного набора навыков.

    Сохраняйте и изменяйте скрипты и файлы шаблонов в вашей системе управления версиями.

    CI / CD рабочей нагрузки

    Конвейеры для рабочего процесса и развертывания должны иметь возможность непрерывно создавать и развертывать приложения. Обновления необходимо развертывать безопасно и быстро, а также откатывать их в случае возникновения проблем.

    Ваша стратегия развертывания должна включать надежный и автоматизированный конвейер непрерывной доставки (CD). Изменения образов контейнеров рабочих нагрузок должны автоматически развертываться в кластере.

    В этой архитектуре мы выбрали GitHub Actions для управления рабочим процессом и развертыванием. Другие популярные варианты включают Azure DevOps Services и Jenkins.

    Кластерный CI / CD

    Вместо императивного подхода, такого как kubectl, используйте инструменты, которые автоматически синхронизируют изменения кластера и репозитория. Чтобы управлять рабочим процессом, например выпуском новой версии и проверкой этой версии перед развертыванием в производственной среде, рассмотрите поток GitOps. В кластере развертывается агент, чтобы убедиться, что состояние кластера согласовано с конфигурацией, хранящейся в вашем частном репозитории Git.Kubernetes и AKS изначально не поддерживают такой опыт. Рекомендуемый вариант - флюс. Он использует один или несколько операторов в кластере для запуска развертываний внутри Kubernetes. flux выполняет следующие задачи:

    • Отслеживает все настроенные репозитории.
    • Обнаруживает новые изменения конфигурации.
    • Запускает развертывание.
    • Обновляет желаемую рабочую конфигурацию на основе этих изменений.

    Вы также можете установить политики, управляющие развертыванием этих изменений.

    Вот пример из эталонной реализации, который показывает, как автоматизировать настройку кластера с помощью GitOps и Flux.

    1. Разработчик фиксирует изменения исходного кода, такие как файлы конфигурации YAML, которые хранятся в репозитории git. Затем изменения отправляются на сервер git.

    2. flux работает в контейнере вместе с рабочей нагрузкой. flux имеет доступ только для чтения к репозиторию git, чтобы убедиться, что flux применяет только те изменения, которые запрашиваются разработчиками.

    3. flux распознает изменения в конфигурации и применяет эти изменения с помощью команд kubectl.

    4. Разработчики не имеют прямого доступа к Kubernetes API через kubectl. Установите политики веток на вашем сервере git. Таким образом, несколько разработчиков могут одобрить изменение до того, как оно будет применено в производственной среде.

    Стратегии развертывания рабочих нагрузок и кластеров

    Разверните любое изменение (компоненты архитектуры, рабочая нагрузка, конфигурация кластера) хотя бы в одном опытном кластере AKS.Это будет имитировать изменение, которое может решить проблемы перед развертыванием в производственной среде.

    Выполняйте тесты / проверки на каждом этапе, прежде чем переходить к следующему, чтобы убедиться, что вы можете отправлять обновления в производственную среду строго контролируемым образом и минимизировать нарушения из-за непредвиденных проблем развертывания. Это развертывание должно следовать той же схеме, что и производственная, с использованием того же конвейера действий GitHub или операторов Flux.

    Расширенные методы развертывания, такие как сине-зеленое развертывание, A / B-тестирование и выпуски Canary, потребуют дополнительных процессов и, возможно, инструментов.Flagger - это популярное решение с открытым исходным кодом, помогающее решать сложные сценарии развертывания.

    Управление затратами

    Используйте калькулятор цен Azure, чтобы оценить затраты на службы, используемые в архитектуре. Другие передовые методы описаны в разделе «Оптимизация затрат» в Microsoft Azure Well-Architected Framework.

    Резерв

    • AKS не требует затрат на развертывание, управление и эксплуатацию кластера Kubernetes.Основным драйвером затрат являются экземпляры виртуальных машин, хранилище и сетевые ресурсы, потребляемые кластером. Рассмотрите возможность выбора более дешевых виртуальных машин для пулов системных узлов. Рекомендуемый SKU - DS2_v2.

    • Не используйте одинаковую конфигурацию для сред разработки / тестирования и производственной среды. Производственные рабочие нагрузки предъявляют дополнительные требования к высокой доступности и будут более дорогостоящими. Это может не понадобиться в среде разработки / тестирования.

    • Для производственных рабочих нагрузок добавьте соглашение об уровне обслуживания Uptime.Однако есть экономия для кластеров, предназначенных для разработки / тестирования или экспериментальных рабочих нагрузок, для которых не требуется гарантировать доступность. Например, SLO достаточно. Кроме того, если ваша рабочая нагрузка поддерживает это, рассмотрите возможность использования выделенных пулов спотовых узлов, на которых работают спотовые виртуальные машины.

      Для непроизводственных рабочих нагрузок, которые включают базу данных SQL Azure или службу приложений Azure как часть архитектуры рабочей нагрузки AKS, оцените, имеете ли вы право использовать подписки для разработки и тестирования Azure для получения скидок на обслуживание.

    • Вместо того, чтобы начинать с негабаритного кластера для удовлетворения потребностей масштабирования, подготовьте кластер с минимальным количеством узлов и включите автоматическое масштабирование кластера для мониторинга и принятия решений о размере.

    • Задайте запросы модулей и ограничения, чтобы Kubernetes мог выделять ресурсы узла с более высокой плотностью, чтобы оборудование использовалось в полную силу.

    • Включение диагностики в кластере может увеличить стоимость.

    • Если ожидается, что ваша рабочая нагрузка будет существовать в течение длительного периода, вы можете выделить зарезервированные экземпляры виртуальных машин на один или три года, чтобы снизить затраты на узлы.Дополнительные сведения см. В разделе Зарезервированные виртуальные машины.

    • Используйте теги при создании пулов узлов. Теги полезны при создании настраиваемых отчетов для отслеживания понесенных затрат. Теги дают возможность отслеживать общую сумму расходов и сопоставлять любую стоимость с конкретным ресурсом или командой. Кроме того, если кластер используется совместно между командами, создайте отчеты о возвратных платежах для каждого потребителя, чтобы определить измеренные затраты на общие облачные службы. Дополнительные сведения см. В разделе Определение заражения, метки или тега для пула узлов.

    • Передача данных в зонах доступности региона платная.Если ваша рабочая нагрузка является многорегиональной или есть переводы между зонами выставления счетов, ожидайте дополнительных затрат на пропускную способность. Дополнительные сведения см. В разделе Трафик между зонами и регионами выставления счетов.

    • Создавайте бюджеты, чтобы не выходить за рамки затрат, определенных организацией. Один из способов - создавать бюджеты с помощью службы управления затратами Azure. Вы также можете создавать оповещения, чтобы получать уведомления при превышении определенных пороговых значений. Дополнительные сведения см. В разделе Создание бюджета с помощью шаблона.

    Монитор

    Чтобы отслеживать стоимость всего кластера, наряду со стоимостью вычислений, также собирайте информацию о стоимости хранилища, пропускной способности, межсетевого экрана и журналов. Azure предоставляет различные панели мониторинга для отслеживания и анализа затрат:

    В идеале, отслеживать затраты в режиме реального времени или, по крайней мере, регулярно, чтобы принимать меры до конца месяца, когда затраты уже рассчитаны. Также отслеживайте ежемесячную тенденцию с течением времени, чтобы не выходить из бюджета.

    Чтобы принимать решения на основе данных, определите, какой ресурс (уровень детализации) требует наибольших затрат.Также хорошо разбирайтесь в счетчиках, которые используются для расчета использования каждого ресурса. Анализируя метрики, вы можете определить, например, не превышает ли размер платформы. Вы можете увидеть счетчики использования в метриках Azure Monitor.

    Оптимизировать

    Действуйте в соответствии с рекомендациями Azure Advisor. Есть и другие способы оптимизации:

    • Включите автоматическое масштабирование кластера для обнаружения и удаления недостаточно используемых узлов в пуле узлов.

    • Выберите более низкий номер SKU для пулов узлов, если ваша рабочая нагрузка поддерживает это.

    • Если приложение не требует пакетного масштабирования, рассмотрите возможность выбора подходящего размера кластера, анализируя показатели производительности с течением времени.

    • Если ваша рабочая нагрузка поддерживает это, масштабируйте пулы пользовательских узлов до 0 узлов, если не ожидается, что они будут работать. Кроме того, если в кластере не осталось рабочих нагрузок, запланированных для запуска, рассмотрите возможность использования функции AKS Start / Stop для завершения всех вычислений, включая пул системных узлов и плоскость управления AKS.

    Для получения другой информации о затратах см. Расценки AKS.

    Следующие шаги

    Статьи по теме

    Если вам нужно освежить в памяти Kubernetes, пройдите «Введение в Kubernetes» и «Разрабатывайте и развертывайте приложения на путях обучения Kubernetes в Microsoft Learn».

    Ограничения для ресурсов, SKU, регионов - Служба Azure Kubernetes

    • 2 минуты на чтение

    В этой статье

    Все службы Azure устанавливают ограничения и квоты по умолчанию для ресурсов и функций, включая ограничения на использование для определенных SKU виртуальных машин (ВМ).

    В этой статье подробно описаны ограничения ресурсов по умолчанию для ресурсов службы Azure Kubernetes (AKS) и доступность AKS в регионах Azure.

    Квоты и лимиты услуг

    Ресурс Лимит
    Максимальное количество кластеров на подписку 5000
    Максимальное количество узлов в кластере с наборами доступности виртуальных машин и базовым балансировщиком нагрузки SKU 100
    Максимальное количество узлов в кластере с масштабируемыми наборами виртуальных машин и стандартным балансировщиком нагрузки SKU 1000 (по всем пулам узлов)
    Максимальное количество пулов узлов на кластер 100
    Максимальное количество модулей на узел: базовая сеть с Kubenet Максимум: 250
    Azure CLI по умолчанию: 110
    Шаблон Azure Resource Manager по умолчанию: 110
    Развертывание портала Azure по умолчанию: 30
    Максимальное количество модулей на узел: расширенная сеть с сетевым интерфейсом контейнеров Azure Максимум: 250
    По умолчанию: 30
    Предварительный просмотр аддона AKS Open Service Mesh (OSM) Kubernetes Cluster Версия: 1.19+ 1
    контроллеров OSM на кластер: 1 1
    Подов на контроллер OSM: 500 1
    учетных записей служб Kubernetes под управлением OSM: 50 1

    1 Надстройка OSM для AKS находится в состоянии предварительной версии и будет подвергаться дополнительным улучшениям до того, как станет общедоступной (GA). На этапе предварительного просмотра рекомендуется не превышать указанные ограничения.

    Предоставленная инфраструктура

    Все остальные ограничения сети, вычислений и хранилища применяются к подготовленной инфраструктуре.Соответствующие ограничения см. В разделе Ограничения подписки и служб Azure.

    Важно

    При обновлении кластера AKS временно потребляются дополнительные ресурсы. Эти ресурсы включают доступные IP-адреса в подсети виртуальной сети или квоту виртуальных ЦП виртуальных машин.

    Для контейнеров Windows Server можно выполнить операцию обновления, чтобы применить последние обновления узлов. Если у вас нет доступного пространства IP-адресов или квоты виртуальных ЦП для обработки этих временных ресурсов, процесс обновления кластера завершится ошибкой.Дополнительные сведения о процессе обновления узла Windows Server см. В разделе Обновление пула узлов в AKS.

    Ограниченные размеры виртуальных машин

    Каждый узел в кластере AKS содержит фиксированный объем вычислительных ресурсов, таких как виртуальный ЦП и память. Если узел AKS содержит недостаточно вычислительных ресурсов, модули могут работать неправильно. Чтобы гарантировать, что требуемые модули kube-system и ваши приложения могут быть надежно запланированы, не использует следующие SKU виртуальных машин в AKS :

    • Standard_A0
    • Standard_A1
    • Standard_A1_v2
    • Standard_B1ls
    • Standard_B1s
    • Standard_B1ms
    • Standard_F1
    • Standard_F1s
    • Standard_A2
    • Стандарт_D1
    • Standard_D1_v2
    • Standard_DS1
    • Standard_DS1_v2

    Дополнительные сведения о типах виртуальных машин и их вычислительных ресурсах см. В разделе Размеры виртуальных машин в Azure.

    Наличие региона

    Последний список мест, где можно развертывать и запускать кластеры, см. В разделе Доступность региона AKS.

    Наборы настроек конфигурации кластера на портале Azure

    При создании кластера с помощью портала Azure вы можете выбрать предустановленную конфигурацию для быстрой настройки в соответствии с вашим сценарием. Вы можете изменить любое из предустановленных значений в любое время.

    Предустановка Описание
    Стандартный Лучше всего, если вы не знаете, что выбрать.Хорошо работает с большинством приложений.
    Разработка / тестирование Лучше всего подходит для экспериментов с AKS или развертывания тестового приложения.
    Оптимизация затрат Лучше всего подходит для снижения затрат на производственные рабочие нагрузки, допускающие перебои.
    Пакетная обработка Лучше всего подходит для машинного обучения, рабочих нагрузок с интенсивными вычислениями и графикой. Подходит для приложений, требующих быстрого масштабирования и масштабирования кластера.
    Защищенный доступ Лучше всего подходит для крупных предприятий, которым нужен полный контроль над безопасностью и стабильностью.

    Следующие шаги

    Вы можете увеличить определенные лимиты и квоты по умолчанию. Если ваш ресурс поддерживает увеличение, запросите увеличение с помощью запроса в службу поддержки Azure (для типа проблемы выберите Quota ).

    AkS Original Trucker Hat в цвете Digi Snow & White с розовым - AkSportswear

    Получите $ 5 ДОСТАВКА на все заказы Узнать больше Дом › Дальнобойщики › Оригинальная шляпа для дальнобойщика AkS в цвете Digi Snow & White с розовым

    30 долларов.00

    S / M - Продано L / XL - 30 долларов США

    Официальная шапка AkS с розовым AkS и белым контуром, розовая AkSportswear на спине (408M)

    Рекомендуемые товары
    Посмотреть больше 25 долларов.00 25,00 долл. США 25,00 долл. США 25 долларов.00
    Информационный бюллетень

    Подпишитесь, чтобы узнавать первыми о наших эксклюзивных предложениях и последних поступлениях!

    О нас

    Узнайте о нас больше.

    Ссылки нижнего колонтитула

    Просмотрите наши последние продукты и коллекции.

    © 2021, AkSportswear
    На платформе Shopify

    Футболка с длинным рукавом

    AKs Белая L / S - 8 & 9 Clothing Co.

    Ваше удовлетворение - наш главный приоритет.

    Мы принимаем возврат до 7 календарных дней после доставки товара. По нашему собственному усмотрению по истечении 7 календарных дней мы предоставим только кредит магазина. Предметы должны быть в «новом, неизмененном и неиспользованном состоянии». Товар можно вернуть, если он не подходит или вы хотите что-то другое. Опять же, удовлетворение покупателя - наш главный приоритет. В случае возврата у вас есть 3 варианта:

    # 1 Возврат для возврата или кредита магазина

    Используйте эту опцию, если вы хотите вернуть товар для возврата денег или кредита магазина.Напишите нам по адресу [email protected] в течение 7 дней с момента получения товара, чтобы сообщить нам, что вы хотите вернуть деньги, и укажите номер вашего заказа. Мы отправим вам по электронной почте этикетку с предоплаченной доставкой и форму возврата. Возврат будет обработан в течение 3 рабочих дней с момента получения.

    # 2 Обмен возврата

    Если вы хотите вернуть товар и получить другой размер, используйте эту опцию. Зайдите на сайт и закажите товар нужного вам размера. Это гарантирует, что ваш размер не будет распродан.

    Напишите нам по адресу [email protected] и сообщите нам, что вы уже заказали желаемый товар и вам необходимо вернуть товар для возврата денег. Используйте этикетку с предоплаченной доставкой, которую мы вам предоставим, чтобы отправить товар нам обратно. Отметьте номер вашего заказа и причину возврата (возврата) в форме возврата и приложите ее к возврату. Возврат будет обработан в течение 3 рабочих дней с момента получения возврата. Это самый быстрый и эффективный способ обменять товар и гарантировать, что вы получите нужный размер.

    • Покупатель должен заполнить и приложить бланк возврата / обмена
    • На изделиях не должно быть следов износа, повреждений или задымления.
    • Покупатель должен связаться со службой поддержки клиентов в течение 7 календарных дней с даты доставки (через 7 дней возврат невозможен)

    Если товар получен поврежденным или неправильно отправлен нами, немедленно свяжитесь со службой поддержки клиентов. В случае какой-либо ошибки с нашей стороны, она будет исправлена ​​за наш счет.Напишите нам по адресу [email protected] или отправьте текстовое сообщение по телефону 305-482-1126

    .

    Возврат возможен после проверки товара (ов), как только мы его получим.

    Опять же, вы ДОЛЖНЫ связаться с нами в течение 7 дней, если вы собираетесь вернуть ЛЮБОЙ товар обратно в наш магазин.

    Предметы, возвращенные нам ПОСЛЕ 7 дней и БЕЗ связи с нами, НЕ будут возвращены.

    Rancher Docs: Создание кластера AKS

    Вы можете использовать Rancher для создания кластера, размещенного в Microsoft Azure Kubernetes Service (AKS).

    Предварительные требования в Microsoft Azure

    Примечание За развертывание в AKS взимается плата.

    Для взаимодействия с API Azure кластеру AKS требуется субъект-служба Azure Active Directory (AD). Субъект-служба необходим для динамического создания других ресурсов Azure и управления ими, а также предоставляет учетные данные для вашего кластера для связи с AKS. Дополнительные сведения о субъекте службы см. В документации AKS.

    Перед созданием субъекта-службы необходимо получить следующую информацию на портале Microsoft Azure:

    • Ваш номер подписки
    • Ваш ID арендатора
    • Идентификатор приложения (также называемый идентификатором клиента)
    • Секрет клиента
    • Группа ресурсов

    В следующих разделах описывается, как настроить эти предварительные условия с помощью инструмента командной строки Azure или портала Azure.

    Настройка субъекта-службы с помощью инструмента командной строки Azure

    Вы можете создать субъект-службу, выполнив эту команду:

      az ad sp create-for-rbac --skip-assignment
      

    Результат должен показать информацию о новом субъекте службы:

      {
      "appId": "xxxx - xxx",
      "displayName": "<ГЛАВНОЕ-НАЗВАНИЕ-СЕРВИСА>",
      "name": "http: // <НАИМЕНОВАНИЕ-ОБСЛУЖИВАНИЕ>",
      "пароль": "<СЕКРЕТНО>",
      "арендатор": "<ИМЯ АРЕНДАТОРА>"
    }
      

    Вам также необходимо добавить роли к субъекту-службе, чтобы у него были привилегии для взаимодействия с AKS API.Ему также необходим доступ для создания и перечисления виртуальных сетей.

    Ниже приведен пример команды для назначения роли участника субъекту службы. Участники могут управлять чем угодно на AKS, но не могут предоставлять доступ другим:

      az назначение роли создать \
      --assignee $ appId \
      --scope / subscriptions / $  / resourceGroups / $  \
      --role Contributor
      

    Вы также можете создать субъект-службу и предоставить ему права участника, объединив две команды в одну.В этой команде в области должен быть указан полный путь к ресурсу Azure:

    .
      az ad sp create-for-rbac \
      --scope / subscriptions / $  / resourceGroups / $  \
      --role Contributor
      

    Настройка субъекта-службы с портала Azure

    Вы также можете следовать этим инструкциям, чтобы настроить участника-службу и предоставить ему доступ на основе ролей с портала Azure.

    1. Перейдите на домашнюю страницу портала Microsoft Azure.

    2. Щелкните Azure Active Directory.

    3. Щелкните Регистрация приложений.

    4. Щелкните Новая регистрация.

    5. Введите имя. Это будет имя вашего субъекта-службы.

    6. Необязательно: выберите, какие учетные записи могут использовать субъект-службу.

    7. Щелкните Register.

    8. Теперь вы должны увидеть имя участника-службы в разделе Azure Active Directory> Регистрация приложений.

    9. Щелкните имя субъекта-службы. Обратите внимание на идентификатор клиента и идентификатор приложения (также называемый идентификатором приложения или идентификатором клиента), чтобы вы могли использовать его при подготовке кластера AKS. Затем щелкните Сертификаты и секреты.

    10. Щелкните Новый секрет клиента.

    11. Введите краткое описание, выберите срок действия и нажмите Добавить. Запишите секрет клиента, чтобы его можно было использовать при подготовке кластера AKS.

    Результат: Вы создали субъект-службу, и вы должны увидеть его в списке Azure Active Directory в разделе Регистрации приложений. Вам по-прежнему необходимо предоставить принципалу службы доступ к AKS.

    Чтобы предоставить основанный на ролях доступ к вашему субъекту службы,

    1. Щелкните Все службы на левой панели навигации. Затем щелкните «Подписки ».

    2. Щелкните имя подписки, которую вы хотите связать с кластером Kubernetes.Запишите идентификатор подписки, чтобы вы могли использовать его при подготовке кластера AKS.

    3. Щелкните Access Control (IAM).

    4. В разделе Добавить назначение роли щелкните Добавить.

    5. В поле Роль выберите роль, которая будет иметь доступ к AKS. Например, вы можете использовать роль Contributor , у которой есть разрешение на управление всем, кроме предоставления доступа другим пользователям.

    6. В поле Назначить доступ к выберите пользователя, группу или субъект службы Azure AD.

    7. В поле Select выберите имя субъекта-службы и нажмите Save.

    Результат: Теперь у вашего субъекта-службы есть доступ к AKS.

    Создание кластера AKS

    Используйте Rancher для установки и настройки кластера Kubernetes.

    1. На странице Clusters щелкните Add Cluster .

    2. Выберите Служба Azure Kubernetes .

    3. Введите имя кластера .

    4. Используйте ролей участников для настройки авторизации пользователей для кластера. Щелкните Добавить участника , чтобы добавить пользователей, которые могут получить доступ к кластеру. Используйте раскрывающийся список Роль , чтобы установить разрешения для каждого пользователя.

    5. Используйте свой идентификатор подписки, идентификатор клиента, идентификатор приложения и секрет клиента, чтобы предоставить кластеру доступ к AKS.Если у вас нет всей этой информации, вы можете получить ее, используя следующие инструкции:

      • Идентификатор приложения и идентификатор клиента: Чтобы получить идентификатор приложения и идентификатор клиента, вы можете перейти на портал Azure, затем щелкнуть Azure Active Directory , затем щелкнуть регистрации приложений, затем щелкнуть имя субъекта-службы . Идентификатор приложения и идентификатор клиента находятся на странице сведений о регистрации приложения.
      • Секрет клиента: Если вы не копировали секрет клиента при создании субъекта-службы, вы можете получить новый, если перейдете на страницу сведений о регистрации приложения, затем щелкните Сертификаты и секреты , затем щелкните Новый клиент секрет.
      • Идентификатор подписки: Вы можете получить идентификатор подписки, доступный на портале из Все услуги> Подписки.
    6. Используйте Cluster Options , чтобы выбрать версию Kubernetes, какой сетевой провайдер будет использоваться, и если вы хотите включить изоляцию сети проекта. Чтобы увидеть дополнительные параметры кластера, щелкните Показать дополнительные параметры.

    7. Заполните форму Доступ к счету , используя данные, полученные от вашего Принципала обслуживания.Эта информация используется для аутентификации в Azure.

    8. Используйте узлов , чтобы подготовить каждый узел в кластере и выбрать географический регион.

      Документация Microsoft: Как создать и использовать пару открытого и закрытого ключей SSH

    9. Щелкните Create .

    10. Проверьте свои варианты, чтобы убедиться, что они верны. Затем нажмите Create .

    Результат:

    Ваш кластер создан и ему присвоено состояние Provisioning. Rancher поднимает ваш кластер.

    Вы можете получить доступ к своему кластеру после того, как его состояние будет обновлено до Active.

    Активным кластерам назначены два проекта:

    • По умолчанию , содержащий пространство имен по умолчанию
    • Система , содержащая пространства имен cattle-system , ingress-nginx , kube-public и kube-system

    Акс Анаркали Курта с белой печатью по цене 700 рупий / штука | Ladies Kurta

    Aks Анаркали Курта с белым принтом по цене 700 рупий / штука | Дамы Курта | ID: 16392442548

    Спецификация продукта

    Цвет Белый
    Минимальное количество заказа 1 штука

    Описание продукта

    Закажите элегантность в одежде и продвигайте ее по дороге в анаркали. Эти легкие, легкие и идеально подходящие для повседневного ношения из хлопка, легкие.Совместите его с контрастными чуридаром и колхапурисом, чтобы завершить свой образ на день.

    Тип Anarkali

    Цвет Белый

    Стиль печати


    Заинтересовал этот товар? Получите последнюю цену у продавца

    Связаться с продавцом

    Изображение продукта


    О компании

    Год основания 2016

    Юридический статус Фирмы Физическое лицо - Собственник

    Характер бизнеса Производитель

    Количество сотрудников от 11 до 25 человек

    Годовой оборот До рупий50 лакх

    IndiaMART Участник с октября 2014 г.

    GST23FDZPS9623A1Z2

    Вернуться к началу 1

    Есть потребность?
    Получите лучшую цену

    1

    Есть потребность?
    Получите лучшую цену

    OIG завершает разработку новых и пересматривает существующие безопасные гавани AKS и создает новое исключение из закона CMP | HUB

    U.S. Предупреждение о медицинском обслуживании

    2 декабря 2020 года Управление генерального инспектора (OIG) Министерства здравоохранения и социальных служб США (HHS) издало долгожданное окончательное правило (Final Rule или Rule). 1 Окончательное правило добавляет несколько новых безопасных гаваней и пересматривает несколько существующих безопасных гаваней в соответствии с федеральным законом о борьбе с отдачей (AKS), а также добавляет новые меры защиты в соответствии с Законом о гражданских денежных штрафах (Закон CMP), которые были впервые рассмотрены в октябре Предлагаемое правило 2019 года. 2 Заключительное правило - это ключевая часть Регулятивного спринта HHS по скоординированному уходу, направленного на устранение потенциальных нормативных барьеров для координации ухода и ухода, основанного на ценностях, созданных применимыми законами о здравоохранении. HHS определила широкий охват AKS и запрет на поощрение бенефициаров в Законе о CMP как потенциально препятствующие выгодным соглашениям, которые будут способствовать переходу к уходу, основанному на ценностях, и улучшить координацию ухода за пациентами между поставщиками и в разных учреждениях помощи в контексте как федеральные программы здравоохранения, так и коммерческий сектор.Это клиентское предупреждение содержит подробности (i) трех новых безопасных гаваней в рамках AKS (обратите внимание, что дополнительные правила ухода, основанные на стоимости, будут рассмотрены в предстоящем предупреждении клиента и что изменения закона Старка будут рассмотрены в недавнем предупреждении клиента, найденном здесь), (ii) четыре модификации существующих безопасных гаваней AKS и (iii) новые меры защиты в соответствии с Законом CMP, касающиеся технологий телемедицины и пациентов с терминальной стадией почечной недостаточности (ESRD).

    Изменения в Заключительном правиле, относящиеся к безопасным гаваням AKS и исключению из Закона CMP, направлены на устранение существующих препятствий для более эффективного и действенного ухода.

    В частности, следует особо отметить следующие изменения в безопасных гаванях AKS и Законе о CMP. Последнее правило делает следующее:

    Технологии и услуги кибербезопасности

    Добавляет новую безопасную гавань AKS, связанную с пожертвованиями технологий и услуг кибербезопасности, чтобы способствовать повышению кибербезопасности при оказании медицинской помощи. (1001.952 (jj))

    Модели, спонсируемые CMS

    Включает новую безопасную гавань AKS, связанную с моделями, спонсируемыми CMS, как определено в Правиле.Это предназначено для устранения случаев мошенничества и злоупотреблений, запрашиваемых в связи с этими моделями. (1001.952 (ii))

    Программа поощрения бенефициаров организации подотчетной помощи (ACO)

    Кодифицирует установленное законом исключение из определения «вознаграждения» в соответствии с AKS, относящееся к программам поощрения бенефициаров ACO для программы общих сбережений Medicare. (1001.952 (кк))

    Электронная медицинская карта товаров и услуг

    Изменяет существующую безопасную гавань AKS, чтобы учесть ряд положений, таких как уточнение мер защиты для кибербезопасности, удаление даты истечения срока действия и решение проблем совместимости.(1001.952 (год))

    Контракты на личные услуги и управление и договоренности о выплатах, основанных на результатах

    Изменяет существующую безопасную гавань AKS, чтобы увеличить гибкость для неполного рабочего дня и спорадических соглашений, а также для защиты определенных схем оплаты, основанных на результатах. (1001.952 (г))

    Местный транспорт

    Изменяет существующую безопасную гавань AKS для транспортировки, расширяя лимиты пробега и уточняя, что договоренности о совместных поездках защищены. (1001.952 (бб)

    Гарантии

    Изменяет существующую безопасную гавань AKS для гарантий, чтобы расширить защиту услуг, а также предметов, при условии, что эти услуги связаны с предоставляемыми предметами или связаны с ними. (1001,952 (г))

    Изменение CMS для телемедицины для домашнего диализа

    Изменяет определение вознаграждения для кодификации нового исключения, касающегося «технологий телездравоохранения», предоставляемых определенным пациентам, находящимся на диализе. (42 CFR 1003.110)

    Дальнейшие изменения описаны в прилагаемой нами Белой книге.

    Как подчеркивалось выше, в этом предупреждении основное внимание уделяется изменениям, не связанным с ценностями, и дополнениям к Окончательному правилу, с подробным описанием трех новых безопасных гаваней и четырьмя изменениями в существующих безопасных гаванях в рамках AKS, а также выделением новой кодификации в рамках CMP. Закон. Эти изменения и уточнения, несомненно, повлияют на многие аспекты повседневной деятельности и стратегического планирования поставщиков медицинских услуг.

    Группа по медицинскому праву K&L Gates регулярно консультирует больницы, системы здравоохранения, академические медицинские центры и поставщиков всех типов по всем аспектам соблюдения AKS и CMP, включая интерпретацию и применение безопасных гаваней, нормативный анализ существующих и предлагаемых механизмов и рисков. управление.

    .

    Добавить комментарий