Skip to content

Latest commit

 

History

History
332 lines (248 loc) · 28.3 KB

readme.md

File metadata and controls

332 lines (248 loc) · 28.3 KB

Модуль 5: Введение в Облачные Вычисления

Обратно в содержание курса ↩️

В 5 модуле мы узнаем про облачные вычисления, или просто cloud computing. Мы начнем с основ, и поговорим и главных вендорах и их решениях. Я расскажу про свой опыт с облачными решениями и постараюсь вас научить их использовать и дать достаточно знаний, для того, чтобы вы могли понимать, что это такое, и как это используется, а так же применять в работе. Из модуля вы узнаете:

  • Основные вендоры облачных решений AWS, Microsoft Azure и Google Cloud
  • Типы облачных сервисов и их примеры (Cloud Service Models)
  • Модели облачных решений (Cloud Model Types)
  • Безопасность облачных решений и Shared Responsibility Model
  • Научитесь создавать виртуальную машину и подключаться к ней через SSH
  • Настраивать сеть для безопасного доступ (Networking)
  • Попробуете различные облачные сервисы
  • Примеры профессий, сертификации от вендоров и тренинги

Модуль 5.1 Введение

Видео лекция - теория - Введение.

Модуль 5.2 Введение в Облачные вычисления (Cloud Computing)?

В 2020 году и в 1-м квартале 2021 года западные вендоры (AWS, Azure, GCP) показали рекордные доходы. "Облако" используется повсеместно в западных странах и становится все популярней и востребованнее. Прежде чем мы начнем использовать "облако" для аналитических задач, мы должны познакомиться с основами облачных вычислений. В этом видео вы узнаете:

  • Несколько кейсов из прошлого
  • История зарождения облачных вычислений и идеи utility computing
  • Ключевые бизнес драйверы и риски
  • Определения, терминология и характеристики облачных вычислений
  • Основные компоненты облачных вычислений и дата-центров

Видео лекция - теория - Введение в Облачные вычисления

Так же на лабораторной работе я рассмотрел:

  • Free trial account AWS и Azure
  • AWS Virtual Private Cloud, Subnets, Security Groups - (виртуальная сеть, с этого начинается любой проект в облаке).
  • Создали виртуальную машину EC2 и подключились к ней через протокол SSH с использование командной строки и ключа

Видео лекция - практика - Введение в Облачные вычисления - hands-on.

Дополнительные материалы для изучения

Практика

Вам необходимо:

  1. Создать Free trial учетные записи в AWS и Azure
  2. Создать виртуальную машину в AWS и Azure и сохранить ключ для нее
  3. Проверить настройку Security Groups (firewall)
  4. Подключится к виртуальной машине через SSH
  5. Создать S3 bucket в AWS, и загрузить туда CSV superstore из 1го модуля
  6. Создать Storage Account в Azure, и загрузить туда CSV superstore из 1го модуля
  7. Используя draw.io и иконки AWS/Azure, нарисуйте архитектуру решения, на котором будет VPC, Subnet, Internet Gateway, Route Table, Subnet и укажите IP адрес EC2.

Лабораторной работе

Запуск экземпляра EC2 в частном виртуальном облаке (Virtual Private Cloud - VPC)

Опциональное задание:

Если вы хотите получше разобраться в концепции AWS Virtual Private Cloud, то вам необходимо сделать еще 2 упражнения:

  1. Используя документацию AWS, создайте новый VPC, Public и Private Subnets, Availability Zones и все необходимое. Создайте 2 EC2 инстанса (один в public subnet, другой в private) и попробуйте к ним подключится через SSH
  2. Нарисуйте диаграмму в draw.io.

Если хотите, попробуйте тоже само в Azure с Vnet.

Модуль 5.3 Концепции и модели облачных вычислений

Согласно National Institute of Standards and Technology (NIST) можно выделить несколько типов облачных сервис моделей и тип самого облако. В этом видео мы рассмотрим:

  • Облачные Сервис Модели IaaS, Paas, Saas
  • Cloud Stack
  • Cloud Deployments Models - Public, Private, Hybrid и Community
  • Рост популярности облачных вычисления
  • Рост доли рынка основных вендоров

Видео лекция - теория - Концепции и модели облачных вычислений

На лабораторной работе я покажу:

  • AWS QuickStart
  • AWS Load Balancer
  • Рассмотрим основные команды для Bash/Shell (командной строки, которые необходимы для работы специалиста с данными)
  • Инфраструктура as Код на пример AWS CloudFormation и Azure ARM templates
  • Посмотрим на billing (стоимость владения по факту) и на AWS Budgets, AWS Calculator
  • Так же посмотрим на Azure Calculator

Видео лекция - практика - Введение в Облачные вычисления - hands-on

Дополнительные материалы для изучения

Лабораторная Работа

Дополнительно вам необходимо:

  • В своем AWS Account создать Billing Alert
  • Воспользоваться AWS или Azure калькулятором, чтобы посчитать стоимость решения
  • Запустить шаблон AWS Cloudformation или Azure ARM, чтобы создать, какой-нибудь ресурс(ы) в облаке.
  • Попробовать создать 2 AWS EC2, установить на них Apache Web Server и подключить к Application Load Balancer. Потом отключить один из EC2 и убедиться, что вы все еще можете пользоваться другим EC2. Или можете создать решение EC2+RDS. Не забудьте нарисовать диаграмму решения в draw.io. Пример из AWS документации - Create a web server and an Amazon RDS DB instance

Если хотите, можете сделать свою лабу и мы загрузим описание к нам в Git и добавим в курс.

Модуль 5.4 Основы безопасности облачных решений

Безопасность одна из самых важных и скучных тем, по крайней мере для меня. Очень важно понимать возможности облачных провайдеров и знать основные правила создания облачных решений. В этом уроке я расскажу про:

  • Cloud Shared Responsibility Model (Модель общей ответственности в облаке)
  • Security Terms (Термины безопасности)
  • Cloud Security Threats (Облачные угрозы безопасности)
  • Cloud Security Mechanisms

Видео лекция - теория - Основы безопасности облачных решений

На лабораторной работе мы посмотрим примеры сервисов для безопасности облачных решения и воспользуемся AWS CLI.

Видео лекция - практика - Введение в Облачные вычисления - hands-on

Дополнительные материалы для изучения

Практика

Вам нужно:

  • Скачать AWS CLI или Azure AZ и сконфигурировать, чтобы вы могли управлять вашим облачным аккаунтом
  • Используйте AWS CLI, чтобы создать S3 бакет в AWS и загрузить в него файл
  • Создайте KMS ключ в AWS и примените шифрование для данных в S3

Лабораторная Работа

Введение в Azure Active Directory. Автор Sergii Volodarskyi.

Вы также можете использовать похожие сервисы в Azure.

Модуль 5.5 Данные в облаке

Данные повсюду и облака не исключение. Облачные решения могут создавать или использовать данные для различных целей, например аналитика, IoT, мобильные приложения, бизнес приложения и многое другое. Все данные, которые находятся в "нашем" облаке - являются нашей собственностью и мы несем за них ответственность и должны соблюдать законодательство и все регламенты. В этом уроке мы:

  • Характеристики данных
  • Соответствие с законами
  • Тип хранения данных
  • Данные в России
  • Персональные Данные (PII)
  • Как работать с персональными данными в облаке по закону
  • AWS и Azure решения для Compliance

Видео лекция - теория - Данные в облаке

Видео лекция - практика - Данные в облаке - hands-on.

Дополнительные материалы для изучения

Лабораторная Работа

Создаем лямбда функцию в AWS Console. Автор Alexander Uryumtsev.

Модуль 5.6 Архитектура облачных решений

Прежде чем строить дом, нам нужно нарисовать архитектуру дома и сделать много других подготовительных работ. Тоже самое и в облаке и ИТ решениях. А если мы еще вспомним про принципы Амазон и их подход к созданию новых продуктов - Working Backwards, то самый первый шаг в создании решения мы начнем с потребностей клиента и бизнеса, напишем press releases, ответим на все возможные вопросы в FAQ и создадим visuals, включая диаграмму/архитектуру нашего будущего решения или продукта.

Видео лекция - теория - Данные в облаке

Из модуля вы узнаете:

  • Что такое архитектура
  • Amazon Working Backwards и Press Releases
  • Enterprise Architecture Frameworks
  • TOGAF и Zachman frameworks
  • AWS и Azure blueprint решения и шаблоны
  • The 5 Pillars of the AWS Well-Architected Framework
  • Примеры AWS решений
  • Диаграммы и архитектуры аналитических решений

Дополнительные материалы для изучения

Практика

Вы можете нарисовать архитектуру решения (например использовать из модуля 1 и заменить элементы диаграммы на элементы из AWS или Azure), затем попытаться перерисовать ее и описать, ответив на 6 вопросов про вашу облачную архитектуру:

  • Why - какую проблему мы хотим решить, какие бизнес цели?
  • Who - для кого мы решаем эту проблему, кто вовлечен в проект?
  • What - какие бизнес и технические требования?
  • Where - где приложение/сервис будет использовать? (данные, законы)
  • When - когда нужно предоставить работающее приложение\сервис?
  • How - как можно выполнить этот проект?

Модуль 5.7 Миграция в облако

Окей, облако это хорошо, но что делать, если существующее решение существует on-premise? Ответ прост - мигрировать. Но как? Облачные вендоры максимально решили нам помочь и предоставили огромное количество сервисов, которые упростят нашу жизнь.

Видео лекция - теория - Миграция в облако

Из модуля вы узнаете:

  • Стратегии миграции в облако
  • Примеры миграции базы данных и аналитического решения
  • AWS Schema Conversion Tool
  • AWS Database Migration Service
  • Azure Migration Services

Дополнительные материалы для изучения

Модуль 5.8 Аналитические решения в облаке

Облачные вычисления дают нам много преимуществ, и аналитика не исключение. Мы можем сфокусироваться на решение бизнес задач и не тратить время на создание инфраструктуры. В зависимости от задачи и доступных ресурсов мы можем использовать IaaS, PaaS или SaaS. Пару кликов и у вас есть хранилище данных, куда вы можете загружать данные и сразу их визуализировать практически в реальном времени. Если кратко, то возможности безграничны и зависят лишь от вашей фантазии и кошелька.

Видео лекция - теория - Миграция в облако

В этом видео вы узнаете про:

  • Основные компоненты аналитики
  • Роли и специалисты
  • AWS решения для аналитики
  • Azure решения для аналитики
  • GCP решения для аналитики

Дополнительные материалы для изучения

Вебинар от эксперта

Практика

Если вам интересно, то можете выполнить любую лабу по аналитике в облаке AWS или все сразу:

Модуль 5.9 Профессии и сертификация в облачных вычисления

AWS, Azure и GCP предлагают нам сертификацию на любой вкус и цвет. Есть для начинающих и продвинутых. Помимо основной сертификации есть еще специализация в аналитике, сетях, безопасности и тд.

Видео лекция - теория - Миграция в облако

Обзор облачных вакансий - Вакансии с облачными технологиями

В этом видео вы узнаете про:

  • Сертификации и специализации в AWS, Azure, GCP
  • Материалы подготовки
  • Нужна ли сертификация или нет?
  • Обзор облачных профессий на HeadHunter и Indeed

Модуль 5.10 Python в Облаке

Python является самым популярным языком программирования и используются абсолютно для любых задач. В будущих модулях 07. Spark, 08. Big Data и 09. Data Lake мы начнем использовать Python для аналитики, трансформации и инжиниринга данных, поэтому мы решили в конце модуля про обычные вычисления провести Workshop по Python на AWS. Из которого вы на практике узнаете основы работы с Python:

  • Переменные
  • Типы данных
    • Строки,числа, словари, списки
    • Определение типа данных
  • Пакеты
  • Функции
    • Лаба #1. Простая функция
    • Лаба #2. Введение в boto3
    • Лаба #3. Функция main()
  • Аргументы и параметры
    • Лаба #4. Аргументы
  • Ввод данных
    • Лаба #5. Ввод данных
  • Циклы
    • Лаба #6. Циклы по спискам и JSON
  • Условия
    • Лаба #7. Условия
  • Логирование (logging)
    • Лаба #8. Логирование
  • Ошибки и исключения
    • Лаба #9. Try-Except
  • Хранение данных
    • Лаба #10. Amazon DynamoDB

Видео - теория - Python в Облаке

Workshop

Вам нужно выполнить все материалы по AWS Python Workshop. Можно выбрать один из 2х: -AWS Python Workshop Original -Русская версия описания и задания для AWS Python Workshop

Дополнительные материалы для изучения

Вебинар от эксперта

Вы рассмотрите основной функционал Python с помощью облачной AWS IDE Cloud9 и с использованием сервиса Amazon Translate.

Пожалуйста пройдите опрос по завершении Модуля 5. Так я смогу посмотреть, сколько человек закончило модуль, что было хорошо, а что можно улучшить.

Опрос

Ссылка на опрос по завершению модуля.

Сертификаты и значки

По окончанию модуля 5, вы можете расшарить значок 05 | Cloud Computing в социальных сетях и рассказать о своих достижениях.

img

А также добавить в Linkedin сертификат:

img Все доступные сертификаты можете посмотреть в этом linkedin профайле.

Поддержка datalearn

PS Если материал оказался полезным, вы можете поддержать авторов через ЮMoney или Patreon или Paypal