로그 데이터 OSS 백업 모범 사례 (Function)¶

전제 조건¶

Datakit 설치¶

1. [통합] 모듈의 [Datakit]를 클릭하고, 운영 체제 및 시스템 유형에 따라 적절한 설치 명령어를 선택하세요.

1. Datakit 설치 명령어를 복사하여 모니터링 대상 서버에서 직접 실행하세요.

2. 설치 디렉터리 /usr/local/datakit/

3. 로그 디렉터리 /var/log/datakit/

4. 기본 구성 파일 /usr/local/datakit/conf.d/datakit.conf

5. 플러그인 구성 디렉터리 /usr/local/datakit/conf.d/

Function 설치¶

1. [통합] 모듈의 [Function]을 클릭하고, 설치 패키지를 다운로드한 후 설치 명령어를 실행하세요.

1. 설치가 완료되면 브라우저로 http://서버 IP 주소:8088에 접속하여 초기화 작업을 수행하세요.

1. 기본 사용자 이름/비밀번호 admin으로 시스템에 로그인하세요.

RAM 액세스 제어¶

1. RAM 콘솔 https://ram.console.aliyun.com/users에 로그인하세요.

2. 사용자 생성: 인사 관리 - 사용자 - 사용자 생성

1. AccessKey ID 및 AccessKey Secret의 CSV 파일을 저장하거나 다운로드하세요. (구성 파일에 사용됨)

2. 사용자 권한 부여 (OSS(객체 스토리지 서비스) 관리 권한)

스크립트 개발¶

로그를 OSS에 백업¶

1. 관리 - 실험적 기능 - PIP 도구 모듈 활성화

1. Alibaba Cloud SDK 종속성 패키지(oss2) 설치

1. 스크립트 세트를 생성하고 스크립트를 추가하세요.

1. 코드를 작성하고 AccessKey ID, AccessKey Secret, Bucket Name, Filename을 입력해야 합니다.

참고 문서

• <OSS 객체 업로드>

• <Function 개발 가이드 - DataKit.Query>

import time
import json
import oss2

@DFF.API('Run DQL via DataKit')
def run_dql_via_datakit():
    datakit = DFF.SRC('datakit')
    # time_range 매개변수를 사용하여 최근 10분 데이터로 제한
    time_range = [
        int(time.time() - 600) * 1000,
        int(time.time()) * 1000,
    ]
    # dql 쿼리 문
    status_code, result = datakit.query(dql='L::`apache`', time_range=time_range, raw=True)
    result = (json.dumps(result, indent=2))
    # oss 정보 구성
    auth = oss2.Auth('AccessKey ID', 'AccessKey Secret')
    bucket = oss2.Bucket(auth, 'https://oss-cn-hangzhou.aliyuncs.com', 'Bucket Name')
    file = bucket.put_object('Filename.txt', result)

1. OSS 콘솔에 로그인하여 파일을 확인하세요.