上海市网站建设_网站建设公司_模板建站_seo优化

Grafana Loki 日志监控配置指南

前言

在微服务架构中，日志收集和分析是运维的重要环节。本文介绍如何使用 Grafana Loki 搭建轻量级日志监控系统，并与传统的 ELK 技术栈进行对比。

Loki vs ELK 技术栈对比

架构对比

核心差异

选型建议

选择 ELK 的场景：

• 需要复杂的全文搜索
• 日志分析是核心业务需求
• 有专门的运维团队
• 服务器资源充足

选择 Loki 的场景：

• 中小型项目，资源有限
• 已使用 Prometheus + Grafana 监控体系
• 主要需求是日志查看和简单过滤
• 追求快速部署和低维护成本

系统架构

┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ 微服务应用 │ ──▶ │ 日志文件 │ ──▶ │ Promtail │ ──▶ │ Loki │ │ (Java/Go等) │ │ (.log files)│ │ (采集器) │ │ (存储) │ └─────────────┘ └─────────────┘ └─────────────┘ └──────┬──────┘ │ ▼ ┌─────────────┐ │ Grafana │ │ (可视化) │ └─────────────┘

环境准备

• Docker 20.10+
• Docker Compose 2.0+
• 服务器内存 >= 2GB

目录结构

/docker/ ├── docker-compose.yaml ├── loki/ │ └── loki-config.yaml └── promtail/ └── promtail-config.yaml

配置文件

1. Loki 配置 (loki-config.yaml)

/* by 01130.hk - online tools website : 01130.hk/zh/formatcsql.html */ auth_enabled: false server: http_listen_port: 3100 grpc_listen_port: 9096 common: instance_addr: 127.0.0.1 path_prefix: /loki storage: filesystem: chunks_directory: /loki/chunks rules_directory: /loki/rules replication_factor: 1 ring: kvstore: store: inmemory query_range: results_cache: cache: embedded_cache: enabled: true max_size_mb: 100 limits_config: metric_aggregation_enabled: true retention_period: 720h # 日志保留 30 天 schema_config: configs: - from: 2020-10-24 store: tsdb object_store: filesystem schema: v13 index: prefix: index_ period: 24h pattern_ingester: enabled: true metric_aggregation: loki_address: localhost:3100 compactor: working_directory: /loki/compactor retention_enabled: true delete_request_store: filesystem frontend: encoding: protobuf

配置说明：

2. Promtail 配置 (promtail-config.yaml)

/* by 01130.hk - online tools website : 01130.hk/zh/formatcsql.html */ server: http_listen_port: 9080 grpc_listen_port: 0 positions: filename: /tmp/positions.yaml clients: - url: http://loki:3100/loki/api/v1/push scrape_configs: - job_name: xiaohashu static_configs: - targets: - localhost labels: job: xiaohashu __path__: /var/log/xiaohashu/*.log pipeline_stages: # 从文件名提取服务名: note.2025-07-01-0.log → service=note - regex: source: filename expression: '(?P<service>[a-z-]+)\.\d{4}-\d{2}-\d{2}-\d+\.log$' - labels: service: # 从日志内容提取级别: INFO/WARN/ERROR/DEBUG - regex: expression: '^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}\.\d{3} \[[^\]]+\] (?P<level>\w+)' - labels: level:

配置说明：

日志格式示例：

2025-07-01 10:30:00.123 [main] INFO com.example.Service - 启动成功

经过 pipeline 处理后，会自动添加标签：

• service=note（从文件名提取）
• level=INFO（从日志内容提取）

3. Docker Compose 配置

services: loki: image: grafana/loki:3.5.0 container_name: loki ports: - "3100:3100" volumes: - ./loki/loki-config.yaml:/etc/loki/local-config.yaml - loki-data:/loki command: -config.file=/etc/loki/local-config.yaml restart: unless-stopped promtail: image: grafana/promtail:3.5.0 container_name: promtail volumes: - ./promtail/promtail-config.yaml:/etc/promtail/config.yaml - /www/wwwroot/life_diary/logs:/var/log/xiaohashu:ro command: -config.file=/etc/promtail/config.yaml restart: unless-stopped depends_on: - loki grafana: image: grafana/grafana:11.4.0 container_name: grafana ports: - "3000:3000" environment: - GF_SECURITY_ADMIN_USER=admin - GF_SECURITY_ADMIN_PASSWORD=admin123 volumes: - grafana-data:/var/lib/grafana restart: unless-stopped depends_on: - loki volumes: loki-data: grafana-data:

关键配置说明：

部署步骤

1. 创建目录和配置文件

mkdir -p /docker/loki /docker/promtail cd /docker # 创建配置文件（内容见上文） vim loki/loki-config.yaml vim promtail/promtail-config.yaml vim docker-compose.yaml

2. 启动服务

cd /docker docker-compose up -d

3. 查看服务状态

docker-compose ps docker-compose logs -f loki # 查看 Loki 日志 docker-compose logs -f promtail # 查看 Promtail 日志

4. 配置 Grafana 数据源

1. 浏览器访问http://服务器IP:3000
2. 登录（默认 admin / admin123）
3. 左侧菜单 →Connections→Data sources
4. 点击Add data source→ 选择Loki
5. URL 填写：http://loki:3100
6. 点击Save & Test，显示绿色 ✓ 表示成功

LogQL 查询语法

基础查询

# 查看所有日志 {job="xiaohashu"} # 按服务筛选 {service="note"} {service="gateway"} # 按日志级别筛选 {level="ERROR"} {level="WARN"} # 组合条件 {service="note", level="ERROR"}

关键字搜索

# 包含关键字 {job="xiaohashu"} |= "Exception" {service="note"} |= "NullPointer" # 不包含关键字 {service="gateway"} != "health" # 正则匹配 {job="xiaohashu"} |~ "user.*login"

统计分析

# 最近 5 分钟各服务错误数 count_over_time({level="ERROR"}[5m]) by (service) # 每分钟日志量 rate({job="xiaohashu"}[1m]) # 错误率 sum(rate({level="ERROR"}[5m])) / sum(rate({job="xiaohashu"}[5m]))

常用运维命令

# 启动所有服务 docker-compose up -d # 停止所有服务 docker-compose down # 重启单个服务 docker-compose restart loki # 查看资源占用 docker stats loki promtail grafana # 查看日志 docker-compose logs -f --tail=100 loki # 清理旧数据（谨慎使用） docker volume rm docker_loki-data

常见问题

1. Promtail CPU 占用高

刚启动时需要扫描历史日志，属于正常现象。等处理完历史数据后会降下来。

2. Grafana 连接 Loki 失败

检查 URL 是否正确，容器内部通信使用服务名http://loki:3100，不是localhost。

3. 看不到日志

• 检查日志路径挂载是否正确
• 检查 Promtail 日志：docker logs promtail
• 确认日志文件名格式与__path__匹配

4. 磁盘空间不足

调整retention_period缩短保留时间，或手动清理：

docker-compose down docker volume rm docker_loki-data docker-compose up -d

总结

Grafana Loki 相比 ELK 更加轻量，适合中小型项目和资源有限的场景。通过合理配置 Promtail 的 pipeline，可以自动提取服务名和日志级别，实现高效的日志查询和分析。

对于已经使用 Prometheus + Grafana 的团队，Loki 是日志监控的最佳选择，可以在同一个 Grafana 界面中同时查看指标和日志，大大提升排查问题的效率。