Pythond コレクタークイックスタートのベストプラクティス¶
Pythond は、ユーザー定義の Python 収集スクリプトを定期的にトリガーするための一連のソリューションです。このドキュメントでは、「1 時間ごとのログインユーザー数を取得する」処理をメトリクスとしてセンターに報告する例を説明します。
業務デモの概要¶
ビジネスフローの概要は次のとおりです。
データベースからデータを収集(Python スクリプト)-> Pythond コレクターがスクリプトを定期的にトリガーしてデータを報告(datakit)-> センターでメトリクスを確認(web)
データベースには customers というテーブルがあり、以下のフィールドが含まれています。
- name: 名前(文字列)
- last_logined_time : ログイン時間(タイムスタンプ)
テーブル作成の SQL は次のとおりです。
create table customers
(
`id` BIGINT(20) not null AUTO_INCREMENT COMMENT '自動増分 ID',
`last_logined_time` BIGINT(20) not null DEFAULT 0 COMMENT 'ログイン時間(タイムスタンプ)',
`name` VARCHAR(48) not null DEFAULT '' COMMENT '名前',
primary key(`id`),
key idx_last_logined_time(last_logined_time)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
上記のテーブルにテストデータを挿入します。
INSERT INTO customers (id, last_logined_time, name) VALUES (1, 1645600127, 'zhangsan');
INSERT INTO customers (id, last_logined_time, name) VALUES (2, 1645600127, 'lisi');
INSERT INTO customers (id, last_logined_time, name) VALUES (3, 1645600127, 'wangwu');
次の SQL ステートメントを使用して「1 時間ごとのログインユーザー数」を取得します。
上記のデータをメトリクスとしてセンターに報告します。
以下では、上記のビジネスを実装するための具体的な手順について詳しく説明します。
前提条件¶
Python 環境¶
現在はアルファ段階であり、Python 3+ のみに対応しています。テスト済みのバージョンは次のとおりです。
- 3.10.1
Python 依存ライブラリ¶
以下の依存ライブラリをインストールする必要があります。
- requests(ネットワーク操作、メトリクスの報告に使用)
- pymysql(MySQL データベースの操作、データベースに接続してビジネスデータを取得するために使用)
インストール方法は次のとおりです。
上記のインストールには pip が必要です。pip がない場合は、以下の方法を参照してください(出典: こちら)。
インストールとデプロイ¶
1 ユーザー定義スクリプトの作成¶
ユーザーは DataKitFramework クラスを継承し、run メソッドを書き換える必要があります。DataKitFramework クラスのソースコードファイルは datakit_framework.py で、パスは datakit/python.d/core/datakit_framework.py です。
具体的な使用方法は、ソースコードファイル
datakit/python.d/core/demo.pyを参照してください。
ここでは、上記の要件に基づいて、以下のような Python スクリプトを作成し、hellopythond.py と名付けます。
hellopythond.py
from datakit_framework import DataKitFramework
import pymysql
import re
import logging
class MysqlConn():
def __init__(self, logger, config):
self.logger = logger
self.config = config
self.re_errno = re.compile(r'^\((\d+),')
try:
self.conn = pymysql.Connect(**self.config)
self.logger.info("pymysql.Connect() ok, {0}".format(id(self.conn)))
except Exception as e:
raise e
def __del__(self):
self.close()
def close(self):
if self.conn:
self.logger.info("conn.close() {0}".format(id(self.conn)))
self.conn.close()
def execute_query(self, sql_str, sql_params=(), first=True):
res_list = None
cur = None
try:
cur = self.conn.cursor()
cur.execute(sql_str, sql_params)
res_list = cur.fetchall()
except Exception as e:
err = str(e)
self.logger.error('execute_query: {0}'.format(err))
if first:
retry = self._deal_with_network_exception(err)
if retry:
return self.execute_query(sql_str, sql_params, False)
finally:
if cur is not None:
cur.close()
return res_list
def execute_write(self, sql_str, sql_params=(), first=True):
cur = None
n = None
err = None
try:
cur = self.conn.cursor()
n = cur.execute(sql_str, sql_params)
except Exception as e:
err = str(e)
self.logger.error('execute_query: {0}'.format(err))
if first:
retry = self._deal_with_network_exception(err)
if retry:
return self.execute_write(sql_str, sql_params, False)
finally:
if cur is not None:
cur.close()
return n, err
def _deal_with_network_exception(self, stre):
errno_str = self._get_errorno_str(stre)
if errno_str != '2006' and errno_str != '2013' and errno_str != '0':
return False
try:
self.conn.ping()
except Exception as e:
return False
return True
def _get_errorno_str(self, stre):
searchObj = self.re_errno.search(stre)
if searchObj:
errno_str = searchObj.group(1)
else:
errno_str = '-1'
return errno_str
def _is_duplicated(self, stre):
errno_str = self._get_errorno_str(stre)
# 1062:フィールド値の重複により、データの登録に失敗しました
# 1169:フィールド値の重複により、レコードの更新に失敗しました
if errno_str == "1062" or errno_str == "1169":
return True
return False
class HelloPythond(DataKitFramework):
__name = 'HelloPythond'
interval = 10 # 10 秒ごとに 1 回収集・報告します。これは実際のビジネスに応じて調整してください。ここではデモ用です。
# if your datakit ip is 127.0.0.1 and port is 9529, you won't need use this,
# just comment it.
# def __init__(self, **kwargs):
# super().__init__(ip = '127.0.0.1', port = 9529)
def run(self):
config = {
"host": "172.16.2.203",
"port": 30080,
"user": "root",
"password": "Kx2ADer7",
"db": "df_core",
"autocommit": True,
# "cursorclass": pymysql.cursors.DictCursor,
"charset": "utf8mb4"
}
mysql_conn = MysqlConn(logging.getLogger(''), config)
query_str = "select count(1) from customers where last_logined_time>=(unix_timestamp()-%s)"
sql_params = ('3600')
n = mysql_conn.execute_query(query_str, sql_params)
data = [
{
"measurement": "hour_logined_customers_count", # メトリクス名。
"tags": {
"tag_name": "tag_value", # カスタムタグ。任意の値を設定できます。ここでは適当な値を入れています
},
"fields": {
"count": n[0][0], # メトリクス。ここでは 1 時間ごとのログインユーザー数
},
},
]
in_data = {
'M':data,
'input': "pyfromgit"
}
return self.report(in_data) # you must call self.report here
2 カスタムスクリプトを正しい場所に配置する¶
Datakit インストールディレクトリの python.d ディレクトリの下に新しいフォルダーを作成し、hellopythond と名付けます。このフォルダー名は、上記で作成したクラス名と同じにする必要があります。つまり hellopythond です。
次に、上記で作成したスクリプト hellopythond.py をこのフォルダーに配置します。最終的なディレクトリ構造は次のとおりです。
├── ...
├── datakit
└── python.d
├── core
│ ├── datakit_framework.py
│ └── demo.py
└── hellopythond
└── hellopythond.py
注意: 上記の
coreフォルダーは Pythond のコアフォルダーです。変更しないでください。
上記は gitrepos 機能を有効にしていない場合の構成です。gitrepos 機能を有効にしている場合は、パス構造は次のようになります。
├── ...
├── datakit
├── python.d
├── gitrepos
│ └── yourproject
│ ├── conf.d
│ ├── pipeline
│ └── python.d
│ └── hellopythond
│ └── hellopythond.py
3 Pythond 設定ファイルを有効にする¶
Pythond 設定ファイルをコピーします。
conf.d/pythond ディレクトリで pythond.conf.sample をコピーして pythond.conf を作成し、次のように設定します。
[[inputs.pythond]]
# Python コレクター名
name = 'some-python-inputs' # required
# Python コレクターの実行に必要な環境変数
#envs = ['LD_LIBRARY_PATH=/path/to/lib:$LD_LIBRARY_PATH',]
# Python コレクターの実行可能プログラムのパス(できるだけ絶対パスを指定してください)
cmd = "python3" # required. python3 is recommended.
# ユーザースクリプトの相対パス(フォルダー名を指定。指定したフォルダー直下のモジュールと py ファイルがすべて適用されます)
dirs = ["hellopythond"] # ここではフォルダー名(クラス名)を指定します
4 DataKit を再起動する¶
動作確認¶
すべてが順調に進めば、約 1 分以内にセンターでメトリクスのグラフを確認できます。
