AWS ELB¶

使用脚本市场中「观测云云同步」系列脚本包把云监控 云资产的数据同步到观测云

配置¶

安装 Func¶

推荐开通 观测云集成 - 扩展 - 托管版 Func: 一切前置条件都自动安装好, 请继续脚本安装

如果自行部署 Func 参考自行部署 Func

安装脚本¶

提示：请提前准备好符合要求的亚马逊 AK（简单起见，可直接授予全局只读权限ReadOnlyAccess）

托管版开通脚本¶

1. 登陆观测云控制台
2. 点击【集成】菜单，选择【云帐号管理】
3. 点击【添加云帐号】，选择【AWS】，填写界面所需的信息，如之前已配置过云帐号信息，则忽略此步骤
4. 点击【测试】，测试成功后点击【保存】，如果测试失败，请检查相关配置信息是否正确，并重新测试
5. 点击【云帐号管理】列表上可以看到已添加的云账号，点击相应的云帐号，进入详情页
6. 点击云帐号详情页的【集成】按钮，在未安装列表下，找到AWS ELB，点击【安装】按钮，弹出安装界面安装即可。

手动开通脚本¶

1. 登陆Func 控制台，点击【脚本市场】，进入官方脚本市场，搜索 guance_aws_elb, guance_aws_applicationelb, guance_aws_networkelb, guance_aws_gatewayelb

2. 点击【安装】后，输入相应的参数：AWS AK ID 、AK Secret 及账户名。

3. 点击【部署启动脚本】，系统会自动创建 Startup 脚本集，并自动配置相应的启动脚本。

4. 开启后可以在「管理 / 自动触发配置」里看到对应的自动触发配置。点击【执行】，即可立即执行一次，无需等待定期时间。稍等片刻，可以查看执行任务记录以及对应日志。

我们默认采集了一些配置, 具体见指标一栏

验证¶

1. 在「管理 / 自动触发配置」确认对应的任务是否已存在对应的自动触发配置，同时可以查看对应任务记录及日志检查是否有异常
2. 在观测云，「基础设施 / 自定义」中查看是否存在资产信息
3. 在观测云，「指标」查看是否有对应监控数据

指标¶

配置好亚马逊-云监控,默认的指标集如下.可以通过配置的方式采集更多的指标:

亚马逊云监控 Application Load Balancer 指标详情

亚马逊云监控 Network Load Balancer 指标详情

亚马逊云监控 Gateway Load Balancer 指标详情

亚马逊云监控 Classic Load Balancer 指标详情

Application Load Balancer 指标¶

AWS/ApplicationELB 命名空间包括目标的以下指标。

AWS/ApplicationELB 命名空间包括目标组运行状况的以下指标。有关更多信息，请参阅目标组运行状况。

AWS/ApplicationELB 命名空间包括已注册为目标的 Lambda 函数的以下指标。

AWS/ApplicationELB 命名空间包括用户身份验证的以下指标。

Network Load Balancer 指标¶

Gateway Load Balancer 指标¶

Classic Load Balancer 指标¶

负载均衡器的指标维度¶

要筛选 Application / Network / Gateway 负载均衡器的指标，请使用以下维度。

要筛选 Classic 负载均衡器的指标，请使用以下维度。

日志¶

ELB 日志没有直接对外暴露采集方式，需要先把日志存储到 S3 桶中，然后通过

Application ELB 日志开启¶

1. 选择对应的负载均衡器，进入详情页
2. 在详情页中，点击「操作」，然后选择「编辑负载均衡器属性」
3. 在「监控」类目下开启 「访问日志」，并选择对应的 S3 桶。
4. 保存

Lambda 配置¶

参考：Lambda 抓取 S3 日志数据

日志 Pipeline¶

grok(_, "%{NOTSPACE:protocal} %{TIMESTAMP_ISO8601:timestamp} %{NOTSPACE:LoadBalancer} %{IP:client}:%{POSINT:client_port} %{IP:target}:%{POSINT:target_port} %{NUMBER:request_processing_time} %{NUMBER:target_processing_time} %{NUMBER:response_processing_time} %{NUMBER:elb_status_code} %{NUMBER:target_status_code} %{NUMBER:received_bytes} %{NUMBER:sent_bytes} \"%{NOTSPACE:http_method} %{NOTSPACE:uri} HTTP/%{NUMBER:http_version}\" \"%{DATA:user_agent}\" %{NOTSPACE:ssl_cipher} %{NOTSPACE:ssl_protocol} %{NOTSPACE:target_group_arn} \"%{NOTSPACE:x_amzn_trace_id}\" \"%{DATA:domain_name}\" \"%{DATA:chosen_cert_arn}\" %{NUMBER:matched_rule_priority} %{TIMESTAMP_ISO8601:request_creation_time} \"%{WORD:actions_executed}\" \"%{DATA:redirect_url}\" \"%{DATA:error_reason}\" \"%{IP:target_host}:%{POSINT:target_host_port_list}\" \"%{NUMBER:target_status_code_list}\" \"%{DATA:classification}\" \"%{DATA:classification_reason}\" %{NOTSPACE:conn_trace_id}")

status = "info"

cast(elb_status_code,"int")

if elb_status_code >=400 {
  status = "error"
}

add_key("aws_log_type","access_log")
add_key(status,status)
aws_json=load_json(aws)

lambda_func_data = aws_json["invoked_function_arn"]

add_key(s3_bucket,aws_json["s3"]["bucket"])

grok(lambda_func_data, "arn:aws:lambda:%{DATA:region}:%{NUMBER:account_id}:function:%{NOTSPACE:lambda_func}")

对象¶

采集到的AWS ELB 对象数据结构, 可以从「基础设施-自定义」里看到对象数据

{
  "measurement": "aws_aelb",
  "tags": {
    "name"                 : "app/openway/8e8d762xxxxxx",
    "RegionId"             : "cn-northwest-1",
    "LoadBalancerArn"      : "arn:aws-cn:elasticloadbalancing:cn-northwest-1:588271xxxxx:loadbalancer/app/openway/8e8d762xxxxxx",
    "State"                : "active",
    "Type"                 : "application",
    "VpcId"                : "vpc-2exxxxx",
    "Scheme"               : "internet-facing",
    "DNSName"              : "openway-203509xxxx.cn-northwest-1.elb.amazonaws.com.cn",
    "LoadBalancerName"     : "openway",
    "CanonicalHostedZoneId": "ZM7IZAIxxxxxx"
  },
  "fields": {
    "CreatedTime"         : "2022-03-09T06:13:31Z",
    "ListenerDescriptions": "{JSON 数据}",
    "AvailabilityZones"   : "{可用区 JSON 数据}",
    "message"             : "{实例 JSON 数据}"
  }
}

注意：tags、fields中的字段可能会随后续更新有所变动*

提示 1：AWS ELB 指标集根据不同类型的负载均衡分四种：

1. Application ELB 对应指标集 aws_aelb
2. Network ELB 对应指标集 aws_nelb
3. Gateway ELB 对应指标集 aws_gelb
4. Classic ELB 对应指标集 aws_elb

提示 2：tags.name 取值方式分两种：

1. Classic Load Balancers 取 LoadBalancerName 字段。
2. Application、Network、Gateway 三类 Load Balancers 截取负载均衡器 ARN 的结尾部分（LoadBalancerArn）。

以 Network Load Balancer 为例：

`LoadBalancerArn`为`arn:awS-cn:elasticloadbalancing:cn-northwest-1:xxxx1335135:loadbalancer/net/k8s-forethou-kodongin-xxxxa46f01/xxxxe75ae81d08c2`

对应的tags.name为net/k8s-forethou-kodongin-xxxxa46f01/xxxxe75ae81d08c2

提示 3：

• fields.message、tags.AvailabilityZones 为 JSON 序列化后字符
• tags.state字段表示 Load Balancers 状态，取值：active、provisioning、active_impaired、failed （"classic" 类型负载均衡实例没有该字段）
• tags.Type字段表示 Load Balancers 类型，取值：application、network、gateway、classic
• tags.Scheme字段表示 Load Balancers 模式，取值：internet-facing、internal
• fields.ListenerDescriptions字段为该负载均衡的监听器列表
• fields.AvailabilityZones 字段表示负载均衡器关联的 Amazon Route 53 可用区信息