콘텐츠로 이동

Alibaba Cloud API 서명 문제 해결로 청구 분석 구현


여러 퍼블릭 클라우드 리소스를 구매하는 것과 프라이빗 호스트를 조달하는 것은 비용 측면에서 인식이 크게 다릅니다. 프라이빗 호스트 조달은 일회성 투자이므로 구매 후 사용하든 사용하지 않든, 잘 사용하든 그렇지 않든 후속 투자에 지속적인 영향을 미치지 않습니다. 반면 퍼블릭 클라우드 리소스를 구매할 때는 초기 투입 비용이 적더라도 하루가 지날 때마다 하루치 비용이 발생한다는 점을 항상 인지해야 합니다. 따라서 여러 클라우드 리소스에서 발생하는 비용 지출 내역과 청구 분석을 한눈에 확인할 수 있는 방법이 절실히 필요합니다.

Alibaba Cloud 비용 API 수집

먼저 Alibaba Cloud 청구서를 예로 들어, Alibaba Cloud의 비용 청구 정보를 수집하고 분석하려면 거래 및 청구 관리 API를 충분히 이해해야 합니다. Alibaba Cloud API를 호출할 때 가장 골치 아픈 부분은 API 서명(Signature) 메커니즘입니다. Alibaba Cloud는 공통 문서에서도 별도 설명을 제공하지만, 서명 메커니즘을 설명하는 문서만 있을 뿐이라 경험이 부족한 개발자에게는 상당히 어려운 일입니다. 그렇다면 이렇게 불완전한 설명 문서만으로 어떻게 청구 비용을 수집할 수 있을까요?

API 요청 원리

간단히 말하면 Alibaba Cloud API 호출은 HTTP 요청(대부분 GET이며, 여기서도 GET 요청 기반)입니다. 다만 뒤에 많은 파라미터가 따라붙습니다. 예를 들어 스냅샷을 조회하는 요청은 다음과 같습니다:

http://ecs.aliyuncs.com/?SignatureVersion=1.0&Format=JSON&Timestamp=2017-08-07T05%3A50%3A57Z&RegionId=cn-hongkong&AccessKeyId=xxxxxxxxx&SignatureMethod=HMAC-SHA1&Version=2017-12-14&Signature=%2FeGgFfxxxxxtZ2w1FLt8%3D&Action=DescribeSnapshots&SignatureNonce=b5046ef2-7b2b-11e7-a3c5-00163e001831&ZoneId=cn-hongkong-b

요청에 필요한 공통 파라미터(API 호출에 항상 필요한 파라미터)는 다음과 같습니다:

SignatureVersion # 서명 알고리즘 버전, 현재 1.0
Format # 응답 메시지 형식, JSON 또는 XML, 기본값은 XML
Timestamp # 요청 타임스탬프, UTC 시간, 예: 2021-12-16T12:00:00Z
AccessKeyId # 계정 키 ID
SignatureMethod # 서명 방식, 현재 HMAC-SHA1
Version # 버전 번호, 날짜 형식, 예: 2017-12-14, 제품마다 다름
Signature # 가장 까다로운 서명
SignatureNonce # 네트워크 공격을 방지하는 고유 난수. 요청마다 다른 난수 값을 사용합니다.

Signature 외의 다른 파라미터는 비교적 쉽게 얻을 수 있으며 일부는 고정 값입니다. 자세한 내용은 Alibaba Cloud 문서를 참조하세요.
공통 파라미터 외에도 특정 인터페이스(Action)의 요청 파라미터가 필요하며, 각 Action 인터페이스의 파라미터는 해당 제품의 인터페이스 문서를 참조할 수 있습니다. 예: QuerySettleBill
Signature는 공통 파라미터와 인터페이스 파라미터를 기반으로 생성되므로 비교적 복잡합니다.

표준화된 요청 문자열 구성

  • dict 생성
    Python에서 파라미터의 일대일 대응을 나타내는 것이 dict입니다. dict를 생성하고 요청 파라미터를 입력합니다.
D = {
    'BillingCycle':str(time.strftime("%Y-%m", time.gmtime())),
    'Action':'QuerySettleBill',
    # 'PageNum':'5',
    'Format':'JSON',
    'Version':'2017-12-14',
    'AccessKeyId':'LTAI5tLumx55Vui4WJwZJneK',
    'SignatureMethod':'HMAC-SHA1',
    'MaxResults' : '300',
    # 'NextToken':"", #?
    'Timestamp':str(time.strftime("%Y-%m-%dT%H:%M:%SZ", time.gmtime())),
    'SignatureVersion':'1.0'
    # 'SignatureNonce':str_seed
}
  • 정렬
    서명은 순서를 포함한 유일성이 요구되므로 파라미터 이름별로 정렬해야 합니다.
  # 서명은 순서를 포함한 유일성이 요구되므로 파라미터 이름별로 정렬해야 합니다
        sortedD = sorted(D.items(),key=lambda x: x[0])
  • URL 인코딩
    표준 요청 문자열에서는 UTF-8 문자 집합을 사용해야 하므로 요청 파라미터 이름과 값 중 규격에 맞지 않는 문자는 URL 인코딩을 수행해야 합니다. 구체적인 규칙은 다음과 같습니다:

문자 A-Z, a-z, 0~9 및 문자 "-", "_", ".", "~"는 인코딩하지 않습니다.
기타 문자는 %XY 형식으로 인코딩하며, XY는 해당 문자 ASCII 코드의 16진수 표현입니다. 예를 들어 영어 큰따옴표(")는 %22로 인코딩됩니다.
확장 UTF-8 문자의 경우 %XY%ZA… 형식으로 인코딩합니다.
영어 공백( )은 더하기(+)가 아닌 %20으로 인코딩해야 합니다.

참고: 일반적으로 URL 인코딩을 지원하는 라이브러리(예: Java의 java.net.URLEncoder)는 "application/x-www-form-urlencoded" MIME 유형의 규칙에 따라 인코딩합니다. 구현 시 이러한 방식을 직접 사용하여 인코딩한 다음, 인코딩된 문자열에서 더하기(+)를 %20으로, 별표(*)를 %2A로, %7E를 물결표(~)로 치환하면 위 규칙에 해당하는 인코딩 문자열을 얻을 수 있습니다.

여기서는 Python의 urllib 라이브러리를 사용하여 인코딩합니다:

# Python의 urllib 라이브러리를 사용하여 인코딩
def percentEncode(str):
    res = urllib.parse.quote(str.encode('utf8'), '')
    res = res.replace('+', '%20')
    res = res.replace('*', '%2A')
    res = res.replace('%7E', '~')
    return res
  • 표준화된 요청 문자열 생성
# 표준화된 요청 문자열 생성
canstring = ''
for k,v in sortedD:
    canstring += '&' + percentEncode(k) + '=' + percentEncode(v)

서명 대상 문자열 StringToSign 구성

규칙은 다음과 같습니다:

StringToSign=
HTTPMethod + "&" +
percentEncode("/") + "&" +
percentEncode(CanonicalizedQueryString)

따라서 이 예시에서는:

        # 표준화된 요청 문자열 생성
        stringToSign = 'GET&%2F&' + percentEncode(canstring[1:])

HMAC 값 계산

# access_key_secret
access_key_secret = '<access_key_secret>'
# HMAC 값 계산
h = hmac.new((access_key_secret + "&").encode('utf8'), stringToSign.encode('utf8'), sha1)

서명 값 계산

# 서명 값을 계산하여 signature 서명 생성
signature = base64.encodestring(h.digest()).strip()

여기까지 signature 서명이 생성되었습니다.

서명 추가

# 서명 추가
D['Signature'] = signature

따라서 이 예시에서 최종 요청 URL은 다음과 같습니다:

# 최종 API 호출
url = 'http://business.aliyuncs.com/?' + urllib.parse.urlencode(D)
http://business.aliyuncs.com/?BillingCycle=2021-12&Action=QuerySettleBill&Format=JSON&Version=2017-12-14&AccessKeyId=LTAI5tLumx55Vui4WJwZJneK&SignatureMethod=HMAC-SHA1&MaxResults=300&Timestamp=2021-12-16T12%3A27%3A58Z&SignatureVersion=1.0&SignatureNonce=0.30196531140307337&NextToken=&Signature=zFb4631sSGONvAeWD3xCIovMeoM%3D

브라우저에서 직접 접속하면 다음과 같은 결과를 확인할 수 있습니다:

image.png

전체 예시

import sys, datetime
import time
import json
import urllib
import hmac
from hashlib import sha1
import base64
import random
import requests


# 요청에 필요한 공통 파라미터(API 호출에 항상 필요한 파라미터)
D = {
    'BillingCycle':str(time.strftime("%Y-%m", time.gmtime())),
    'Action':'QuerySettleBill',
    # 'PageNum':'5',
    'Format':'JSON',
    'Version':'2017-12-14',
    'AccessKeyId':'<AccessKeyId>',
    'SignatureMethod':'HMAC-SHA1',
    'MaxResults' : '300',
    # 'NextToken':"", #?
    'Timestamp':str(time.strftime("%Y-%m-%dT%H:%M:%SZ", time.gmtime())),
    'SignatureVersion':'1.0'
    # 'SignatureNonce':str_seed
}
# 현재 시간
now_time = str(time.strftime("%Y-%m-%d", time.gmtime()))

# 로컬 DataKit 연결
datakit = DFF.SRC('datakit')

# Python의 urllib 라이브러리를 사용하여 인코딩
def percentEncode(str):
        res = urllib.parse.quote(str.encode('utf8'), '')
        res = res.replace('+', '%20')
        res = res.replace('*', '%2A')
        res = res.replace('%7E', '~')
        return res


# 청구서 조회
def getBill():
    # 청구서 현재 레코드 위치
    next_token = ""
    # 청구서를 반복 조회하여 DataKit에 쓰기
    for i in range(10000):
        random.seed()
        # 네트워크 재전송 공격을 방지하는 고유 난수. 요청마다 다른 난수 값을 사용합니다.
        D["SignatureNonce"] = str(random.random())
        D["NextToken"] = next_token
        # 서명은 순서를 포함한 유일성이 요구되므로 파라미터 이름별로 정렬
        sortedD = sorted(D.items(),key=lambda x: x[0])
        # 표준화된 요청 문자열 생성
        canstring = ''
        for k,v in sortedD:
            canstring += '&' + percentEncode(k) + '=' + percentEncode(v)
        # 표준화된 요청 문자열 생성
        stringToSign = 'GET&%2F&' + percentEncode(canstring[1:])
        # access_key_secret
        access_key_secret = '<access_key_secret>'
        # HMAC 값 계산
        h = hmac.new((access_key_secret + "&").encode('utf8'), stringToSign.encode('utf8'), sha1)
        # 서명 값을 계산하여 signature 서명 생성
        signature = base64.encodestring(h.digest()).strip()
        # 서명 추가
        D['Signature'] = signature
        # 최종 API 호출
        url = 'http://business.aliyuncs.com/?' + urllib.parse.urlencode(D)
        # Alibaba Cloud 청구 비용 요청
        print(url)

기술 방향 선택

아키텍처 설계

image.png

Crontab으로 Python 스크립트를 정기 스케줄링하여 Alibaba Cloud 청구 데이터를 주기적으로 가져와 MySQL 스토리지 엔진에 쓰고 Grafana로 청구 분석 데이터를 표시하는 방식입니다. Grafana Dashboards에서 관련 Bills 템플릿을 가져와 작업을 간소화할 수 있습니다. 아래에서는 이 아키텍처 설계를 바탕으로 기술 조사를 진행합니다.

기술 조사

현재 오픈소스 시각화 분야에서 가장 인기 있고 시각화 템플릿이 많은 것은 단연 Grafana입니다. Kibana도 훌륭한 시각화 플랫폼이지만, Grafana에 비해 Kibana는 ELK 아키텍처에 더 적합합니다. 우리의 요구 사항을 고려할 때 Kibana는 그다지 적합하지 않습니다. Grafana는 다양한 데이터 스토리지에서 사용할 수 있는 오픈소스 시각화 도구이며, Graphite-web의 기능이 풍부한 대안으로 대시보드를 쉽게 만들고 편집할 수 있게 해줍니다. 또한 독특한 Graphite 대상 파서를 포함하여 메트릭과 기능 편집을 쉽게 수행할 수 있습니다. 사용자는 스마트 축 형식(예: 선과 점)으로 포괄적인 차트를 만들 수 있습니다. 또한 Grafana에는 내장 알림 엔진이 포함되어 있어 대시보드 패널에 조건 규칙을 연결하고 트리거된 알림을 선택한 알림 엔드포인트(예: 이메일, Slack, PagerDuty, 사용자 정의 Webhooks 등)로 전송할 수 있습니다. 이는 Alibaba Cloud 비용 사전 경고 요구 사항도 정확히 충족합니다. 그러나 Grafana는 시스템 CPU, 메모리, 디스크 및 I/O 사용률과 같은 메트릭을 분석하고 시각화하는 데 중점을 둡니다. Grafana는 전체 텍스트 데이터 쿼리를 지원하지 않아 사용 경험이 다소 불편합니다. 오픈소스 커뮤니티를 둘러보던 중 "Guance"이라는 제품이 요구 사항을 정확히 충족한다는 것을 발견했습니다. Grafana와 Kibana의 모든 장점을 포함할 뿐만 아니라 다양한 고유 기능과 Serverless 온라인 프로그래밍 스케줄링 기능을 갖추고 있어, Python 스크립트로 Alibaba Cloud 청구 데이터를 수집할 때 스케줄링을 관리할 수 없었던 문제를 정확히 해결합니다. 또한 오픈소스 기반 상용 제품으로서 UI의 미려함은 Grafana를 훨씬 능가합니다. 또한 제공되는 무료 할당량이 마침 우리의 요구를 충족시킬 수 있으며,사용 중 문제가 발생하면 공식 제품 지원도 받을 수 있습니다.

기술 비교

Grafana Guance
사용 복잡도 설치 및 구성이 번거롭고 추가 스토리지 엔진도 필요합니다 명령어 하나로 설치 완료, 30분이면 바로 사용 가능
문서 완성도 Grafana 공식 사이트에는 완성도 높은 문서가 있지만 중국어 문서가 적어 영어에 익숙하지 않은 사용자에게는 다소 어려운 문제입니다 매우 완성도 높은 중국어 문서와 다양한 사용 사례 가이드 강좌를 제공합니다
커뮤니티 활성도 커뮤니티가 활성화되어 있고 개발 및 유지보수 팀이 강력하며 버전 업그레이드와 반복이 빠릅니다 상용 제품으로 커뮤니티가 매우 활성화되어 있고 개발 및 유지보수 팀이 강력하며 문제 해결이 빠르고 버전 업그레이드와 반복도 빠릅니다
기능 완성도 54개 데이터 소스, 173+ Dashboards 보유, 히트맵, 꺾은선 그래프, 차트 등 다양한 표시 방식을 지원하는 풍부한 대시보드 플러그인과 간단한 알림을 지원합니다 200+ 데이터 소스 연동, 200+ Dashboards, 다양한 운영 체제 지원, 표준화된 통일 DQL로 여러 데이터 유형을 쿼리하고 메트릭 데이터, 로그 데이터, APM 데이터, 인프라, 컨테이너, 미들웨어, 네트워크 성능을 모두 통합 관리합니다. 강력한 이상 탐지 기능과 고급 권한 기능을 갖추고 있으며 복잡한 알림 규칙 구성을 지원합니다
발전 추세 시장 점유율이 상승 추세에 있으며 제품 자체도 빠르게 발전하고 있습니다 성숙한 상용 제품으로서 관측 가능성 분야의 선두주자이며, 시장 점유율이 상승 추세에 있고 제품 자체도 빠르게 발전하고 있습니다
성능 리소스 점유율이 상대적으로 낮습니다 통합 관리로 리소스 점유율이 낮고, 데이터가 바이너리 파일이라 전송 효율이 높으며 대역폭 점유율이 낮습니다
Serverless 프로그래밍 없음 Python 3.x 기반 샌드박스 환경
비용 무료 무료
서비스 커뮤니티 지원 요청 전문 기술 팀 지원 제공

요구 사항 매칭

위 비교를 통해 "Guance"을 사용하면 사용 비용을 크게 절감할 수 있고 설치, 구성, 관리가 매우 편리하다는 것을 알 수 있습니다. Grafana가 단순한 표시 플랫폼으로서 외부 스토리지 엔진을 데이터 소스로 의존해야 하는 반면, "Guance"은 메트릭 데이터, 로그 데이터, APM 데이터, 인프라, 컨테이너, 미들웨어, 네트워크 성능 등 다양한 데이터를 통합 수집하고 통합 관리할 수 있어 훨씬 편리합니다. 스토리지 엔진 설치 및 유지보수 같은 번거로운 단계가 줄어듭니다. Grafana에는 완성도 높은 중국어 문서가 없어 영어에 익숙하지 않은 사용자에게는 다소 어려울 수 있지만, "Guance"은 완성도 높은 중국어 문서와 다양한 사용 사례 가이드 동영상을 제공하므로 제품을 훨씬 쉽게 익힐 수 있고 요구 사항 자체에 집중할 수 있습니다. "Guance"은 상용 제품으로서 무료로 사용하더라도전문 기술 팀의 지원을 받을 수 있을 뿐만 아니라 방대한 커뮤니티를 보유하고 있어 많은 제품 사용자와 사용 경험을 교류할 수 있습니다. 기능 면에서도 Grafana보다 강력한 이상 탐지 기능, 고급 권한 기능, 복잡한 알림 규칙 구성 지원 등을 갖추고 있어 비용 분석 외의 요구 사항도 충분히 구현할 수 있습니다. 또한 "Guance"은 시각화 방식으로 구성 요소를 통합 관리할 수 있고 리소스 점유율이 낮으며, 데이터가 바이너리 파일이라 전송 효율이 높고 대역폭 점유율이 낮습니다. 디자인을 중시하는 사용자에게 "Guance"의 UI 디자인은 눈길을 사로잡는 미니멀 스타일을 갖추고 있습니다. 따라서 우리의 요구 사항에 맞춰 "Guance"으로 구축하는 것이 당연한 선택입니다.

Guance로 비용 관리 구현

배포 설명

예시 Linux 버전: CentOS Linux release 7.8.2003 (Core)

단일 서버를 통해 모든 Alibaba Cloud 청구 비용 데이터를 수집합니다

사전 조건

DataKit 설치

"Guance"으로 호스트를 모니터링하기 전에 먼저 DataKit을 설치해야 합니다. DataKit은 공식적으로 배포된 데이터 수집 애플리케이션으로, 수백 가지 데이터 수집을 지원합니다. 수집 소스를 구성하면 호스트, 프로세스, 컨테이너, 로그, APM, RUM 등 다양한 데이터를 실시간으로 수집할 수 있습니다.

DataKit 설치를 시작하기 전에 먼저 "Guance 계정"을 등록해야 합니다. 등록 완료 후 "Guance" 워크스페이스에 로그인하면 DataKit 설치 명령어를 확인하고 첫 번째 DataKit을 배포할 수 있습니다.

설치 명령어 확인

"Guance" 워크스페이스에 로그인하여 「통합」-「DataKit」을 차례로 클릭하고 DataKit 설치 방식을 선택하면 아래와 같은 정보가 표시됩니다. 그런 다음 「설치 명령어」를 복사하여 호스트에서 실행합니다.

  • 설치 시스템: Linux

  • 시스템 유형: X86 amd64

  • DataWay 주소: OpenWay

image.png

호스트에서 설치 명령어 실행

명령줄 터미널 도구를 열고 서버에 로그인한 후 복사한 「설치 명령어」를 실행합니다. 설치가 완료되면 Install Success 메시지가 표시되며, DataKit 설치 결과에 제공된 링크를 통해 DataKit의 설치 상태, 매뉴얼 및 업데이트 기록을 확인할 수 있습니다.

2.安装datakit.png

"Guance" 사용 시작

DataKit 설치가 성공적으로 완료되면 호스트 객체 수집기 hostobject가 기본적으로 활성화됩니다. 이제 "Guance" 워크스페이스의 「인프라」-「호스트」에서 방금 DataKit을 설치한 호스트를 확인할 수 있습니다. 호스트 상태, 호스트 이름, 운영 체제, CPU 사용률, MEM 사용률, CPU 단일 코어 부하 등을 포함하며, 호스트를 클릭하면 더 자세한 정보를 확인할 수도 있습니다.

4.查看主机.png

Func 포터블 버전 설치

시스템 및 환경 요구 사항

DataFlux Func를 실행하는 호스트는 다음 조건을 충족해야 합니다:

  • CPU 코어 수 >= 2

  • 메모리 용량 >= 4GB

  • 디스크 공간 >= 20GB

  • 네트워크 대역폭 >= 10Mbps

  • 운영 체제: Ubuntu 16.04 LTS/CentOS 7.2 이상

  • 순정 시스템(운영 체제 설치 후 네트워크 구성 외에 다른 작업을 수행하지 않은 상태)

  • 8088 포트 개방(본 시스템은 기본적으로 8088 포트를 사용하므로 방화벽, 보안 그룹 등 구성에서 8088 인바운드 접근을 허용해야 합니다)

  • 외부 MySQL 사용 시 MySQL 버전은 5.7 이상이어야 합니다

  • 외부 Redis 사용 시 Redis 버전은 4.0 이상이어야 합니다

참고: DataFlux Func는 MacOS, Windows를 지원하지 않습니다. 가상 머신이나 클라우드 호스트에 DataFlux Func를 설치할 수 있습니다.

참고: DataFlux Func는 클러스터 버전 Redis를 지원하지 않습니다. 고가용성이 필요하면 마스터-슬레이브 버전을 선택하세요.

참고: Alibaba Cloud ECS에 DataFlux Func를 설치하고 Alibaba Cloud Shield 플러그인을 활성화한 경우, Cloud Shield 자체가 리소스를 많이 점유하므로 시스템 구성을 적절히 높여야 합니다.

포터블 버전 다운로드 명령어
/bin/bash -c "$(curl -fsSL https://t.guance.com/func-portable-download)"

참고: 본 문서에서 다루는 모든 셸 명령어는 root 사용자에서는 바로 실행할 수 있으며, 비root 사용자는 sudo를 추가하여 실행해야 합니다.

참고: 본 문서는 가장 일반적인 운영 절차만 제공합니다. 자세한 설치 및 배포는 「유지보수 매뉴얼」을 참조하세요.

자동 설치 스크립트로 설치 실행

다운로드한 dataflux-func-portable 디렉터리에서
다음 명령어를 실행하면 자동으로 구성이 완료되고 전체 DataFlux Func가 최종적으로 시작됩니다:

참고: 설치 전에 시스템 요구 사항과 서버 구성을 확인하세요.

참고: DataFlux Func는 Mac을 지원하지 않습니다. Linux 시스템에 복사한 후 설치를 실행하세요.

sudo /bin/bash run-portable.sh

자동 설치 스크립트를 사용하면 몇 분 내에 빠르게 설치하고 실행할 수 있습니다. 자동 구성 내용은 다음과 같습니다:

  • MySQL, Redis, DataFlux Func(Server, Worker, Beat 포함) 실행

  • 모든 데이터를 자동으로 생성하여 /usr/local/dataflux-func/ 디렉터리에 저장(MySQL 데이터, Redis 데이터, DataFlux Func 구성, 로그 등 파일 포함)

  • MySQL root 사용자 비밀번호와 시스템 Secret을 무작위로 생성하여 DataFlux Func 구성 파일에 저장

  • Redis는 비밀번호를 설정하지 않음

  • MySQL, Redis는 외부 접근을 제공하지 않음

실행 완료 후 브라우저에서 http://{서버 IP 주소/도메인}:8088에 접속하여 초기화 작업을 수행할 수 있습니다.

참고: 실행 환경의 성능이 낮은 경우 docker ps 명령어로 모든 구성 요소가 성공적으로 시작되었는지 확인한 후에 접속해야 합니다(아래 목록 참조).

  1. dataflux-func_mysql

  2. dataflux-func_redis

  3. dataflux-func_server

  4. dataflux-func_worker-0

  5. dataflux-func_worker-1-6

  6. dataflux-func_worker-7

  7. dataflux-func_worker-8-9

  8. dataflux-func_beat

RAM 액세스 제어 생성

  1. RAM 콘솔 https://ram.console.aliyun.com/users에 로그인합니다.

  2. 사용자 생성: 인원 관리 - 사용자 - 사용자 생성

image.png

  1. AccessKeyID와 AccessKey Secret의 CSV 파일을 저장하거나 다운로드합니다(구성 파일에서 사용됨).

  2. 사용자 권한 부여(청구 권한)

구성 적용

DataFlux Function 로그인

Func에 로그인합니다. 주소는 http://ip:8088(기본 admin/admin)

스크립트 세트 생성

제목/설명 정보를 입력합니다.

image.png

스크립트 편집

스크립트를 작성하여 청구 데이터를 DataKit에 기록하고 보고서 생성을 준비합니다.

전체 스크립트는 다음과 같습니다:

import sys, datetime
import time
import json
import urllib
import hmac
from hashlib import sha1
import base64
import random
import requests


# 요청에 필요한 공통 파라미터(API 호출에 항상 필요한 파라미터)
D = {
    'BillingCycle':str(time.strftime("%Y-%m", time.gmtime())),
    'Action':'QuerySettleBill',
    # 'PageNum':'5',
    'Format':'JSON',
    'Version':'2017-12-14',
    'AccessKeyId':'<AccessKeyId>',
    'SignatureMethod':'HMAC-SHA1',
    'MaxResults' : '300',
    # 'NextToken':"", #?
    'Timestamp':str(time.strftime("%Y-%m-%dT%H:%M:%SZ", time.gmtime())),
    'SignatureVersion':'1.0'
    # 'SignatureNonce':str_seed
}
# 현재 시간
now_time = str(time.strftime("%Y-%m-%d", time.gmtime()))

# 로컬 DataKit 연결
datakit = DFF.SRC('datakit')

# Python의 urllib 라이브러리를 사용하여 인코딩
def percentEncode(str):
        res = urllib.parse.quote(str.encode('utf8'), '')
        res = res.replace('+', '%20')
        res = res.replace('*', '%2A')
        res = res.replace('%7E', '~')
        return res


# 청구서 조회
@DFF.API('getBill')
def getBill():
    # 청구서 현재 레코드 위치
    next_token = ""
    # 청구서를 반복 조회하여 DataKit에 쓰기
    for i in range(10000):
        random.seed()
        # 네트워크 재전송 공격을 방지하는 고유 난수. 요청마다 다른 난수 값을 사용합니다.
        D["SignatureNonce"] = str(random.random())
        D["NextToken"] = next_token
        # 서명은 순서를 포함한 유일성이 요구되므로 파라미터 이름별로 정렬
        sortedD = sorted(D.items(),key=lambda x: x[0])
        canstring = ''
        for k,v in sortedD:
            canstring += '&' + percentEncode(k) + '=' + percentEncode(v)
        # 표준화된 요청 문자열 생성
        stringToSign = 'GET&%2F&' + percentEncode(canstring[1:])
        # access_key_secret
        access_key_secret = '<access_key_secret>'
        # HMAC 값 계산
        h = hmac.new((access_key_secret + "&").encode('utf8'), stringToSign.encode('utf8'), sha1)
        # 서명 값을 계산하여 signature 서명 생성
        signature = base64.encodestring(h.digest()).strip()
        # 서명 추가
        D['Signature'] = signature
        # 최종 API 호출
        url = 'http://business.aliyuncs.com/?' + urllib.parse.urlencode(D)
        # Alibaba Cloud 청구 비용 요청
        response = requests.get(url)
        billing_cycle = response.json()["Data"]["BillingCycle"]
        account_id = response.json()["Data"]["AccountID"]
        next_token = response.json()["Data"]["NextToken"]
        if next_token is not None:
            bill = response.json()["Data"]["Items"]["Item"]
            print(bill)
            # 당일 청구서를 Guance에 쓰기
            for i in bill:
                print(i["UsageEndTime"])
                time = i["UsageEndTime"].split(" ")[0]
                print(time,now_time)
                if time == now_time:
                    measurement = "aliyunSettleBill"
                    tags = {
                        "BillingCycle":billing_cycle,
                        "AccountID":account_id
                    }
                    fields = {
                        "ProductName":i["ProductName"],
                        "SubOrderId":i["SubOrderId"],
                        "BillAccountID":i["BillAccountID"],
                        "DeductedByCashCoupons":i["DeductedByCashCoupons"],
                        "PaymentTime":i["PaymentTime"],
                        "PaymentAmount":i["PaymentAmount"],
                        "DeductedByPrepaidCard":i["DeductedByPrepaidCard"],
                        "InvoiceDiscount":i["InvoiceDiscount"],
                        "UsageEndTime":i["UsageEndTime"],
                        "Item":i["Item"],
                        "SubscriptionType":i["SubscriptionType"],
                        "PretaxGrossAmount":i["PretaxGrossAmount"],
                        "Currency":i["Currency"],
                        "CommodityCode":i["CommodityCode"],
                        "UsageStartTime":i["UsageStartTime"],
                        "AdjustAmount":i["AdjustAmount"],
                        "Status":i["Status"],
                        "DeductedByCoupons":i["DeductedByCoupons"],
                        "RoundDownDiscount":i["RoundDownDiscount"],
                        "ProductDetail":i["ProductDetail"],
                        "ProductCode":i["ProductCode"],
                        "ProductType":i["ProductType"],
                        "OutstandingAmount":i["OutstandingAmount"],
                        "BizType":i["BizType"], 
                        "PipCode":i["PipCode"],
                        "PretaxAmount":i["PretaxAmount"],
                        "OwnerID":i["OwnerID"],
                        "BillAccountName":i["BillAccountName"],
                        "RecordID":i["RecordID"],
                        "CashAmount":i["CashAmount"],
                    }
                    try:
                        status_code, result = datakit.write_logging(measurement=measurement, tags=tags, fields=fields)
                        print(status_code,result)
                    except:
                        print("삽입 실패!")
                else:
                    break
            else:
                continue
            break
        else:
            break

스크립트 게시

저장 구성 후 게시

image.png

예약 작업 생성

자동 트리거 작업을 추가합니다. 관리 - 자동 트리거 구성 - 작업 생성 순서로 진행합니다. 청구서가 일별로 생성되므로 수집 빈도를 하루 1회로 설정하면 됩니다.

image.png

수집 데이터 확인

로그 미리보기

image.png

탐색기 생성

탐색기 가져오기

image.png

문서 평가

이 페이지가 도움이 되었나요?