如何在Linux上监控OpenELM - AI技术

Linux上监控OpenELM的实用方案
一基础资源与进程监控

进程定位与资源快照：使用ps aux | grep openelm快速找到进程PID与CPU/内存占用；用top/htop实时观察并按P(CPU)/M(内存)排序，必要时配合lsof -p 查看进程打开的文件与网络连接。
系统级资源：用glances一览CPU、内存、磁盘I/O、网络；用nethogs 按进程查看实时网络流量；如需定位磁盘压力，用df -h与du -sh <目录>检查日志与缓存占用。
GPU监控：若使用NVIDIA GPU，建议安装nvidia-smi并定期采样（如nvidia-smi -l 1）观察显存、利用率与温度，便于发现显存泄漏或算力瓶颈。

二日志与系统服务监控

日志实时查看：对应用日志使用tail -f /path/to/openelm.log；过滤错误用tail -f /path/to/log | grep "error"。
systemd服务：若以服务运行，使用systemctl status openelm查看运行状态，journalctl -u openelm -f实时跟踪日志。
网络连通与端口：用ss -tuln | grep <端口>确认监听端口；用lsof -i:<端口>或netstat -tulpen | grep <端口>排查占用与连接状态。

三网络流量与问题排查

带宽与主机视角：用iftop观察与特定主机/端口的实时带宽占用，定位异常上行/下行。
进程级流量：用nethogs 精确查看某个推理进程的网络消耗。
抓包分析：对可疑连接使用tcpdump进行抓包，必要时配合Wireshark进行深度分析。

四指标与可视化监控集成

应用内埋点：在推理服务中集成Prometheus Client，暴露请求总数与推理耗时等指标，并启动指标端点（如8000端口），示例：
指标定义：
REQUEST_COUNT = Counter('openelm_requests_total', 'Total inference requests')
INFERENCE_TIME = Histogram('openelm_inference_seconds', 'Inference time in seconds')
启动端点：start_http_server(8000)
在推理函数上使用装饰器：@INFERENCE_TIME.time(); REQUEST_COUNT.inc()
可视化与告警：以Prometheus抓取指标，Grafana构建面板展示QPS、P95/P99延迟、显存/内存使用等；结合Alertmanager配置阈值告警（如P95延迟、显存占用、服务宕机）。
可观测性扩展：若框架支持，可进一步集成OpenTelemetry采集追踪/指标，对接观测云等平台。

五一键巡检脚本示例

用途：快速输出进程状态、端口监听、GPU显存、日志错误等关键信号，便于定时巡检或排障。
使用方法：将脚本保存为check_openelm.sh，赋予执行权限并运行：chmod +x check_openelm.sh && ./check_openelm.sh

#!/usr/bin/env bash
set -euo pipefail
# 1) 基本进程与资源
echo "=== OpenELM 进程与资源 ==="
pgrep -x "openelm" >/dev/null && {
ps -o pid,ppid,cmd,%cpu,%mem -C openelm
echo "--- 线程与FD ---"
pgrep -x "openelm" | xargs -I{} sh -c 'echo "PID: {}"; ls -1 /proc/{}/fd 2>/dev/null | wc -l; echo'
} || echo "未找到 openelm 进程"
# 2) 端口监听（按需修改端口）
PORT=${1:-7860}
echo -e "\n=== 端口监听 :$PORT ==="
ss -tulpen | grep -E "(:$PORT\b)" || echo "未监听到端口 $PORT"
# 3) GPU 显存与利用率（若 nvidia-smi 存在）
echo -e "\n=== GPU 状态 ==="
if command -v nvidia-smi >/dev/null 2>&1; then
nvidia-smi --query-gpu=index,name,memory.used,memory.total,utilization.gpu,temperature.gpu \
--format=csv,noheader,nounits | column -t
else
echo "nvidia-smi 未安装或未找到 GPU"
fi
# 4) 日志错误关键字（按需修改日志路径与关键字）
LOG=${2:-/var/log/openelm.log}
echo -e "\n=== 日志错误检查：$LOG ==="
[ -f "$LOG" ] && {
tail -n 200 "$LOG" | grep -i -E "error|exception|fail|timeout" | tail -n 20 || echo "最近200行中未匹配到错误关键字"
} || echo "日志文件不存在: $LOG"

提示：将脚本中的端口与日志路径替换为你的实际值；如需长期留存，可配合crontab定时执行并将输出重定向到巡检日志。