Doris のデプロイ¶

https://static.guance.com/guancedb/guancedb-doris-deploy-latest.tar.gz

https://static.guance.com/guancedb/selectdb-latest.tar.gz

https://static.guance.com/guancedb/guancedb-cluster-linux-amd64-latest.tar.gz

https://static.guance.com/guancedb/vmutils-latest.tar.gz

ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub  root@192.168.xxx.xxx

clusters:
  - name: xxx
    hosts:
      - name: xxx-doris-be-01
        port: xxx
        host: xxx
        user: xxx
        vars:
          default_ipv4: xxx
      - name: xxx-doris-be-02
        port: xxx
        host: xxx
        user: xxx
        vars:
          default_ipv4: xxx

# name:          クラスターを識別します。poc または prd を記入できます。
# hosts.name:    サーバーのロールを識別します。xxx-doris-be-01 のように記入します。xxx は poc または prd にできます。
# hosts.port:    SSH ポートです。通常は 22 です。
# hosts.host:    SSH 接続先のマシンの IP です。
# hosts.user:    SSH 接続先のマシンのユーザーです。通常は root です。
# vars.default_ipv4: be-01 の IP アドレスです。

clusters:
  - name: xxx
    vars:
      # マシン上の Doris インストールパッケージのパスを記入します。例：/root/packages/xxx.tar.gz
      doris_local_path: 
      # マシン上の Doris Manager インストールパッケージのパスを記入します。例：/root/packages/xxx.tar.gz
      manager_local_path:

      # コールドストレージを使用しない場合、以下の部分は記入不要です。
      oss_endpoint:
      oss_bucket:
      # 記入は必須ではありません。
      oss_region:
      # クラウドベンダーのオブジェクトストレージを使用する場合、通常は記入不要です。オブジェクトストレージを自社構築し、エンドポイントが IP の場合、「path」を記入する必要があります。
      addressing_style:

clusters:
  - name: xxx
    vars:
      # レプリカ数設定。テスト環境では 1 に設定可能。本番環境では 2 以上を推奨します。
      replication_factor: 2
      # FE マシンのメモリ（GB）
      fe_host_mem_gb:
      # FE マシンの数
      fe_num:
      # BE マシンの数
      be_num:
      # BE マシンのコア数
      be_host_core_num:
      # BE データディスクの個数
      be_data_disk_num:
      # BE 単一データディスクのサイズ（GB）
      be_data_disk_gb:
      # BE cgroup cpu パス。以下の説明に従って v1 または v2 を確認し、対応するアドレスを記入します。
      be_cgroup_cpu_path: 
      # fe 自身のログ保存期間
      fe_log_retention: 3d
      # FE および BE マシンの内部ネットワークセグメント
      cidr: 

  - name: xxx
    vars:
      # バージョン番号は使用しないため、空にします。
      version: ""
      # マシン上のインストールパッケージがあるディレクトリを記入します。例：/root/packages
      local_dir:

clusters:
  - name: xxx
    vars:
      # OS の zyadmin ユーザーパスワード。セキュリティ要件を満たすため、強力なパスワードを推奨します。
      os_zyadmin_password:
      # OS の doris ユーザーパスワード。セキュリティ要件を満たすため、強力なパスワードを推奨します。
      os_doris_password:
      # root データベースユーザーパスワード。強力なパスワードを推奨します。
      doris_root_password:
      # user_read データベースユーザーパスワード。強力なパスワードを推奨します。
      doris_user_read_password:
      # オブジェクトストレージのアクセスキー。コールドストレージを使用しない場合は記入不要です。
      oss_ak:
      # オブジェクトストレージのシークレットキー。コールドストレージを使用しない場合は記入不要です。
      oss_sk:
      # 自己観測データの報告用。配列です。通常は1つだけ記入すればよく、記入は必須ではありません。
      dataway_urls: []
      # ホスト名を設定するかどうか。混在配置時は false に設定する必要があります。
      set_hostname: false

pip3 install -r requirements.txt

python3 deployer.py -l clusrer_name -i 'inventory/doris-?e.*.yaml' -p playbooks/doris/initialize-machine.yaml

python3 deployer.py -l cluster_name -i 'inventory/doris-?e.*.yaml' -p playbooks/doris/update-datakit.yaml

python3 deployer.py -l cluster_name -i 'inventory/doris-manager.*.yaml' -p playbooks/doris/initialize-manager.yaml

# このパスが存在する場合、現在有効なのは cgroup v1 です。
ls /sys/fs/cgroup/cpu/

# このパスが存在する場合、現在有効なのは cgroup v2 です。
ls /sys/fs/cgroup/cgroup.controllers

python3 deployer.py -l cluster_name -i 'inventory/doris-be.*.yaml' -p playbooks/doris/update-be.yaml

python3 deployer.py -l cluster_name -i 'inventory/doris.vars.yaml' -p playbooks/doris/render-config.yaml

python3 deployer.py -l cluster_name -i 'inventory/doris-manager.*.yaml' -p playbooks/doris/exec-init-sql.yaml

mysql -uroot -h127.0.0.1 -P 9030

use information_schema;
SELECT * FROM files
INTO OUTFILE "s3://bucket_name/default_resource/result_"
FORMAT AS ORC
PROPERTIES(
    "s3.endpoint" = "https://xxx",
    "s3.access_key"= "your-ak",
    "s3.secret_key" = "your-sk"
);

python3 deployer.py -l cluster_name -i 'inventory/guancedb-logs-doris.*.yaml' -p playbooks/guancedb/initialize-machine.yaml 

 python3 deployer.py -l cluster_name -i 'inventory/guancedb-logs-doris-vm.*.yaml' -p playbooks/doris/init-victoria-metrics.yaml

python3 deployer.py -l cluster_name -i 'inventory/guancedb-logs-doris.*.yaml' -p playbooks/guancedb/update-config.yaml

guancedb-logs-doris-api-test -ip xxx -ip yyy -ip zzz

# コンポーネントを確認します。
supervisorctl

# ログを確認します。
/var/log/supervisor/guance-select-stderr.log