如何排查Grok配置故障

下面先说明排查思路（通用），再给出常见配置错误示例与解决办法。因为 Grok 本身只是模式匹配语法，不同场景下（Logstash、Elasticsearch Ingest Pipeline、Filebeat、Graylog 等）排查方式略有差异，你可以对照使用。

一、先明确你用 Grok 在哪里

不同使用场景，排查方式不同：

✅ 下面以 Logstash Grok（最常见） 为主，其他场景后面补充。

二、Logstash Grok 配置故障排查步骤

1️⃣ 看日志是否进入 Grok

在 filter 前加 debug 输出：

input {
stdin {}
}
filter {
mutate {
add_tag => ["entered_filter"]
}
}

或用 stdout：

output {
stdout {
codec => rubydebug
}
}

✅ 如果能看到原始日志，说明已经进入 filter。

2️⃣ 检查是否出现 _grokparsefailure

Logstash Grok 匹配失败会自动打 tag：

tags: [
"_grokparsefailure"
]

如果出现：

• 说明 Grok 表达式没匹配成功
• 不是字段不存在，就是 pattern 写错

3️⃣ 打印原始日志字段名

常见错误：字段名写错

filter {
mutate {
add_field => {
"raw_log" => "%{message}"
}
}
}

确认你匹配的是 message 还是 log 或 event.original

4️⃣ 使用 Grok Debugger（强烈推荐）

✅ 官方方式

• Elastic Grok Debugger（Kibana → Dev Tools → Grok Debugger）
• 或在线工具：
• https://grokdebugger.com
• https://github.com/nick geometric/grok-constructor

示例：

输入日志：
10.0.0.1 GET /index.html 200 1024
Grok：
%{IP:client} %{WORD:method} %{URIPATH:path} %{NUMBER:status:int} %{NUMBER:bytes:int}

5️⃣ 检查常见 Grok 配置错误

❌ 错误 1：多空格 / 制表符

日志是：

a  b   c

正则写死：

%{WORD:a} %{WORD:b} %{WORD:c}

✅ 解决：

%{WORD:a}\s+%{WORD:b}\s+%{WORD:c}

❌ 错误 2：字段不存在

grok {
match => { "log" => "%{IP:client}" }
}

但实际字段是 message
✅ 解决：

match => { "message" => "%{IP:client}" }

❌ 错误 3：自定义 pattern 未加载

grok {
patterns_dir => ["/etc/logstash/patterns"]
match => { "message" => "%{MY_PATTERN}" }
}

✅ 检查：

• 文件是否存在
• 文件是否有读权限
• pattern 是否拼写正确

❌ 错误 4：大小写 / 引号 / 括号

%{IP:Client}   # 不推荐

✅ 推荐：

%{IP:client}

6️⃣ 使用 break_on_match 控制匹配行为

默认：匹配第一个成功即停止

grok {
match => {
"message" => [
"pattern1",
"pattern2"
]
}
break_on_match => false
}

三、Elasticsearch Ingest Pipeline 排查

1️⃣ 使用 simulate API

POST _ingest/pipeline/_simulate
{
"pipeline": {
"processors": [
{
"grok": {
"field": "message",
"patterns": ["%{IP:client}"]
}
}
]
},
"docs": [
{
"_source": {
"message": "192.168.1.1"
}
}
]
}

✅ 如果失败，会直接返回错误原因。

四、快速自检清单（口诀）

✅ 日志进没进？
✅ 字段名对不对？
✅ 有没有 _grokparsefailure？
✅ pattern 在 debugger 里能不能匹配？

✅ 是不是空格 / 不可见字符？

五、如果你愿意

你可以直接贴出：

1. 原始日志一行
2. 你写的 Grok 表达式
3. 使用场景（Logstash / ES / Filebeat）

我可以 直接帮你改到可用 ✅。