Prohomelab

🔧 Нативная установка Terraform#

🐳 Установка Terraform с помощью Docker#

🏁 Выводы#

{{< alert >}} Обратите внимание В видео ролике я использую VS Code, как более простой инструмент. Я предполагаю, что у вас уже настроена виртуальная машина в Proxmox и установлен docker, а также подготовлен шаблон виртуальной машины на Ubuntu в Proxmox VE, как мы это с вами делали в предыдущей статье. {{< /alert >}}

Шаг 1: Создание структуры проекта#

1
mkdir terraform
2
cd terraform

Создайте файл docker-compose.yml со следующим содержимым:

1
services:
2
  terraform:
3
    image: hashicorp/terraform:latest #Официальный образ terraform
4
    volumes:
5
      - .:/terraform # маппим тома. Точка показывает, что установка будет в директорию terraform, в который мы с вами сейчас находимся
6
    working_dir: /terraform # Описываем рабочую директорию. Она должна совпадать с той, что задана строчкой выше. В противном случае terraform обидится и не будет работать
7
    network_mode: host # обязательно указываем тип сети как хост. Это нужно для того, что terraform мог взаимодействовать с proxmox и нам не нужно будет делать дополнительные настройки сети, которые понимают не только лишь все

Шаг 2: Установка расширения Terraform в VS Code#

Откройте VS Code → Extensions → найдите Terraform → Установите. Это расширение поможет нам взаимодействовать с Terraform, интерпретируя язык Terraform в понятную нам структуру и формат. Я пользуюсь официальным плагином от Hashicorp - разработчик Terraform

Шаг 3: Создаем файл с учётными данными#

Формально учетные данные мы могли бы указать и в файле provider.tf (о нем чуть позже), но формально это неправильно с точки зрения безопасности. Поэтому давайте хотя бы здесь постараюсь показать правильно.

Создайте файл в нашей директории командой :

1
touch credentials.auto.tfvars
2
# tf.vars означает переменные (variables) terraform

Пример содержимого credentials.auto.tfvars:

1
proxmox_api_url        = "https://<ВАШ_IP>:8006/api2/json"
2
proxmox_api_token_id   = "root@pam!terraform"
3
proxmox_api_token_secret = "<ВАШ_СЕКРЕТ>" # proxmox показывает его один раз, поэтому сразу скопируйте

{{< alert >}} Правильно создавать конечно отдельного юзера в Proxmox и задать ему сначала соответствующие права. Но я хочу для целей этой статьи сделать все максимально просто, поэтому я буду использовать пользователя root. С точки зрения безопасности - это неправильно! {{< /alert >}}

Создайте токен в Proxmox:

• Datacenter → Permissions → API Tokens → Add
• Пользователь: root@pam
• Token ID: terraform
• Снимите галочку с “Privilege Separation”

Шаг 4: Провайдер (provider.tf)#

Сначала давайте определимся, что такое provider. Provider в нашем случае - это некий бридж между Terraform и вашей платформой, на которой вы разворачиваете Terraform. В нашем случае - это Proxmox VE, но в продакшене это может быть любая серьезная облачная инфраструктура типа AWS, Azure и т.д. При этом для каждой платформы свой провайдер.

Мы будем использовать провайдера от Telmate. Связано это с тем, что официального провайдера для Proxmox от разработчиков нет. И тут есть один хитрый момент. У этого провайдера есть проблемы с версионностью. То есть не каждая версия провайдера заведется с разными версиями Proxmox VE. В интернете по этому поводу всегда много стонов. Очень похожая ситуация с Nextcloud - всем нужен, все плачут, но продолжают использовать.

Открываем Terraform Registry → ищем terraform proxmox → выбираем ссылку от Telmate. Я выбрал его, потому что он широко используется, а поэтому его легче “дебажить”.

Нажимаем “Use Provider” и копируем предложенный код в наш файл для данных провайдера.

После заполнения скопированной части файла, - ниже, на той же странице провайдера будут переменные, которые я использую в конфигурационном файле.

Содержимое:

1
terraform {
2
  required_providers {
3
    proxmox = {
4
      source = "Telmate/proxmox"
5
      version = "3.0.2-rc03"
6
    }
7
  }
8
}
9

10
provider "proxmox" {
11
  pm_api_url          = var.proxmox_api_url
12
  pm_api_token_id     = var.proxmox_api_token_id
13
  pm_api_token_secret = var.proxmox_api_token_secret
14
  pm_tls_insecure     = true
15
}
16

17
variable "proxmox_api_url" {
18
  type        = string
19
  description = "URL API Proxmox, например https://proxmox.example.com:8006/api2/json"
20
}
21

22
variable "proxmox_api_token_id" {
23
  type        = string
24
  description = "API token id в формате user@realm!tokenid, например root@pam!terraform"
25
}
26

27
variable "proxmox_api_token_secret" {
28
  type        = string
29
  description = "Секретный ключ API токена"
30
  sensitive   = true
31
}

С этой частью закончили, переходим к инициализации всего того что мы только что с вами натворили.

Шаг 5: Инициализация Terraform#

В терминале переходим в директорию где у нас находятся наши файлы.

Вводим следующую команду

1
docker compose -f docker-compose.yml run --rm terraform init

Сейчас поясню, что это значит.

В своих роликах я никогда не запускал докер с флагом -f, но тут особый случай.

Флаг -f определяет какой конкретно файл надо запустить. В нашем случае docker-compose.yml. Команда —rm говорит, что контейнер должен самоликвидироваться, после того, как он выполнит свои темные делишки. Запускаем команду. После того как контейнер будут скачан, наш проект будет запущен. То есть скачивается контейнер Terraform, скачивается провайдер, устанавливаются все необходимые бекэнд файлы. В итоге мы должны получить сообщение, что Terraform инициализирован. В нашей директории Terraform мы увидим новые файлы. Трогать их нам не надо, но просто само их наличие говорит о том, что все в порядке. Так и должно быть. Фактически Terraform проверяет возможность соединения с ProxmoxVE

В версии Proxmox 9.0.3 вы получите ошибку, которая нам скажет, что Terraform понятия не имеет, что это за провайдер такой Telmate, откуда брать его данные и т.д. Решить это можно только путем ручного скачивания бинарного файла нашего провайдера и прописывания соответствующих путей в docker-compose файле.

Сделаем с вами следующее

1
 sudo mkdir -p ~/.terraform.d/plugins/registry.terraform.io/telmate/proxmox/3.0.2-rc03/linux_amd64 #создаем директорию для плагина
2

3
 wget https://github.com/Telmate/terraform-provider-proxmox/releases/download/v3.0.2-rc03/terraform-provider-proxmox_3.0.2-rc03_linux_amd64.zip #скачиваем нужную версию плагина
4

5

6
 sudo unzip terraform-provider-proxmox_3.0.2-rc03_linux_amd64.zip -d ~/.terraform.d/plugins/registry.terraform.io/telmate/proxmox/3.0.2-rc03/linux_amd64 #разархивируем плагин и переместим его во вновь созданную директорию

После того как мы все с вами скачали, разархивировали и переместили в нужную директорию, надо внести изменения в наш docker compose файл

1
services:
2
  terraform:
3
    image: hashicorp/terraform:latest
4
    volumes:
5
      - .:/terraform
6
      - ~/.terraform.d/plugins/registry.terraform.io/telmate/proxmox/3.0.2-rc03/linux_amd64:/root/.terraform.d/plugins/registry.terraform.io/telmate/proxmox/3.0.2-rc03/linux_amd64:ro
7
    working_dir: /terraform
8
    network_mode: host

Тут мы руками прописываем путь, по которому надо смотреть/искать нашего провайдера.

Опять вводим команду

1
docker compose -f docker-compose.yml run --rm terraform init

В этот раз у нас все должно быть хорошо и проект должен пройти инициализацию

Шаг 6: Проверка текущего состояния#

Запускаем следующую команду.

1
docker compose -f docker-compose.yml run --rm terraform plan

Как вы видите, команда не особо отличается от предыдущей, кроме последнего значения. Эта команда нужна, чтобы проверить, какие именно изменения будут применены, но без фактического их применения. Этакий тестовый прогон. Поэтому если на этом этапе что-то пошло не так, то дальше нам надо понять где и что пошло не так. Но никакие изменения в работающую инфраструктуру не вносятся. Пока мы ничего не конфигурировали, никаких изменений не применяли, поэтому Terraform просто скажет, что всё актуально. Это нормально реакция.

Но в версии Proxmox 9.0.3/4 по состоянию на дату написания статьи у вас опять выскочит ошибка. Ошибка будет связана с “якобы” недостаточным объемом прав у токена. Это на самом деле не так. Дело в том, что в Proxmox 9 разработчики переименовали некоторые вещи, а Telmate об этом еще не знает. Мы же токен от пользователя root создавали, у нас прав выше крыши. Чтобы избавиться от этой ошибки внесем изменения в файл provider.tf.

1
terraform {
2
  required_providers {
3
    proxmox = {
4
      source = "Telmate/proxmox"
5
      version = "3.0.2-rc03"
6
    }
7
  }
8
}
9

10
provider "proxmox" {
11
  pm_api_url = var.proxmox_api_url
12
  pm_api_token_id = var.proxmox_api_token_id
13
  pm_api_token_secret = var.proxmox_api_token_secret
14
  pm_tls_insecure = true
15
  pm_minimum_permission_check = false # отключем проверку прав
16
}
17

18
variable "proxmox_api_url" {
19
  type        = string
20
  description = "URL API Proxmox, например https://proxmox.example.com:8006/api2/json"
21
}
22

23
variable "proxmox_api_token_id" {
24
  type        = string
25
  description = "API token id в формате user@realm!tokenid, например root@pam!terraform"
26
}
27

28
variable "proxmox_api_token_secret" {
29
  type        = string
30
  description = "Секретный ключ API токена"
31
  sensitive   = true
32
}

Мы укажем новую переменную pm_minimum_permission_check = false, которая отключает проверку прав. На дату написания статьи - это был единственный рабочий вариант

Теперь, когда мы с вами введем еще раз команду

1
docker compose -f docker-compose.yml run --rm terraform plan

то мы увидим что конфигурация применена. На самом деле никакой конфигурации мы еще не сформировали,- это просто проверка работоспособности на будущее

Шаг 7: Создание первой виртуальной машины (youtubetest.tf)#

Давайте заставим Terraform создать первую виртуальную машину на Ubuntu из нашего предварительно созданного шаблона. Как создать шаблон у меня есть статья на сайте и видео на канале. И даже есть плейлист с названием автоматизация в Proxmox. Пора уже заняться всем по взрослому.

Прежде всего опять зайдем на сайт Telmate и подсмотрим там нужные нам переменные в разделе proxmox_vm_qemu.

Создаем соответствующий файл с названием youtubetest.tf. Именно в нем мы будем задавать значения для нашей виртуальной машины, которую мы будем создавать с помощью Terraform.

1
touch youtubetest.tf

Пример содержимого:

1
resource "proxmox_vm_qemu" "youtubetest" {
2
  vmid        = 357 #id создаваемой машины
3
  name        = "youtubetest" # ее название
4
  target_node = "belisarius" # название ноды
5
  clone       = "ubuntutemplate" # название шаблона из которого все разворачиваем
6
  full_clone  = true
7
  bios        = "ovmf"
8
  agent       = 1 # установить qemu-guest-agent
9
  scsihw      = "virtio-scsi-single"
10
  os_type     = "ubuntu"
11
  cpu_type    = "x86-64-v2-AES"
12
  cores       = 2
13
  sockets     = 1
14
  memory      = 2048
15

16
  disks {
17
    scsi {
18
      scsi0 {
19
        disk {
20
          size    = "32G"
21
          storage = "local"
22
          format  = "qcow2"
23
        }
24
      }
25
    }
26
  }
27

28
  network {
29
    id     = 0
30
    model  = "virtio"
31
    bridge = "vmbr0"
32
  }
33
}

Это мы с вами создаем нашу первую, самую простенькую, виртуальную машину с помощью текстового файла.

Теперь давайте еще раз применим уже известную нам команду

1
docker compose -f docker-compose.yml run --rm terraform plan

Соответственно Terraform должен показать все изменения, которые он должен применить.

Шаг 8: Применение конфигурации#

Давайте теперь уже начнем разворачивать нашу виртуальную машину в реальности.

1
docker compose -f docker-compose.yml run --rm terraform apply

Нужно будет подтвердить наше потайное желание начать создание виртуальной машины вводом команды:

1
yes

Теперь начнётся клонирование ВМ в Proxmox, статус будет виден в логах ProxmoxVE. После завершения ВМ автоматически запустится.

В Summary вы увидите IP — благодаря guest-agent.

Можно открыть консоль — ВМ загружена и готова.

Шаг 9: Тест восстановления#

Давайте теперь проверим как у нас работает процесс восстановления. Так как мы с вами все сделали с помощью Terraform, то вот пусть теперь он сам за поддержку нашей инфраструктуры и отвечает.

Удалим ВМ вручную в ProxmoxVE, затем опять запустим уже известную нам команду :

1
docker compose -f docker-compose.yml run --rm terraform apply

Шаг 10: Обновление конфигурации#

Давайте изменим нашу конфигурацию ВМ, например:

1
memory = 8192
2
cores  = 2

Повторно примените:

1
docker compose -f docker-compose.yml run --rm terraform apply

Пару секунд и вуаля, у нас все обновилось.

Если эта статья вам помогла, то можете подписаться на мой ютуб канал и стать спонсором на boosty.